schon mal was von GIDF gehört?
help workshop download
wenn du die alte hilfe verwenden willst, so ist die
unit 
WinHelpViewer das richtige für dich.
ansonsten ist deine CHM schrott, das liegt nicht an delphi... kannst leicht testen, indem du im HWS auf testen gehst... da bringt er sicher den selben fehler.
wenn du es ordentlich machen willst, bau deine hilfe mit dem
HTML-WS neu auf (die grafiken sind besser), ausserdem funktioniert es auch ohne nachträgliche installation des HelpViewers. Sonst hat das keinen Vorteil.