Als Ergebniss habe ich herausgefunden, dass die Datenbank wohl mindestens um den Faktor 10 zunehmen muss, bis ich ca. 90% Genauigkeit erreichen werde.
Ich finde 70-80% sind einen ad-hoc Algorithmus schon ziemlich gut. Andererseits ist fraglich, ob du die 90% jemals erreichst ... nicht umsonst werden für Wettervorhersagen aufwendige Simulation genutzt, die von Meteorologen betreut werden.
Wenn du deinen Aufwand reduzieren willst, sehe ich drei Ansätze:
- Reduziere deine älteren Referenzdatensätze auf häufig genutzte "markante" Werte, die gute Vorhersagen liefern und die du dementsprechend wertest. Damit kannst deinen guten Algorithmus behalten. Möglicherweise kannst du mit verschiedenen Alters- und Aggregationsstufen arbeiten: z.B. globale Pattern (gesamte Historie, stark aggregiert) + Monats-Pattern (aktueller Monat aller Jahre, mittelstark aggregiert) + Daten des letzten Monats (nicht aggregiert).
- Benutze neuronale Netze für die Vorhersage. Schwierig ist dabei afaik das geschickte Auswählen der Aus- und Eingabedaten (zB. absolute vs. relative Temperaturänderung in der letzten Stunde).
- Suche "per Hand" nach Korrelationen in den gesammelten Daten. Das kann mühsam sein, allerdings könntest du vielleicht spannende Zusammenhänge entdecken. Vielleicht findest du auch andere Heuristiken, die du einfließen lassen kannst.
Natürlich lassen sich solche Techniken dann auch zusammen einsetzen und dann ein gewichtetes Mittel bilden.
Die Gewichte kannst du ermitteln, indem du alle drei Verfahren auf historische Datensätze anwendest und dann die Gewichte so einstellst, das global die geringste Abweichung besteht.
Insgesamt wird es immer eine Heuristik bleiben, wo du mit den Parametern rumspielen musst.