Hast du schon die MaxLength mal verändert?
Windows wird bestimmt nur einen festen Speicherblock für das RichEdit oder irgendwo in der Verwaltung des Edits verwenden. Im Windows-Speicermanager ist der kleines voll nutzbare Block nunmal nur 64 KB groß ... da wird auch MaxLength nichts dran ändern können.