Zitat:
... externe Lösungen ...
Datenbank und
SQL? Sind extra dafür erfunden worden.
Käme nie auch nur im Ansatz auf die Idee, solche Datenmengen mit Stringlisten ... im Arbeitsspeicher zu verarbeiten. Das muss zwangsläufig irgendwann an Speichermangel scheitern. Und wenn nicht an logischen Speichergrenzen, dann an physikalischen.
Datenbanken können alles das, wonach Du suchst.
Alternativ einfach mal im Bereich der NoSQL-Datenbank nachschauen. Evtl. bieten diese Ja eine alternative zu einer herkömmlichen
SQL-Datenbank.
Stichworte wären hier Lucene (Volltextsuche), Graphen-Datenbanken (
https://de.wikipedia.org/wiki/Graphdatenbank) oder die "üblichen NoSQL-"Datenbanken" (
https://de.wikipedia.org/wiki/NoSQL)