Es geht doch:
- File -> New -> Other -> Other -> Web -> HTML Page
- Dort irgendwas reinschreiben
- Projekt -> Project Page Options öffnen
- In der Dropdown-Liste taucht jetzt die neu erstellte Datei auf
- diese auswählen
Damit hat es bei mir gerade in einem Testprojekt unter Delphi 10.4.2 funktioniert.
Wichtig ist anscheinend, dass die Datei Teil des Projekts sein muss (also in der .dproj-Datei stehen muss).