Umfrage : TEST bei komplexen Anwendungen

[bernhard_LA]

Wir haben eine komplexe Anwendung mit > 500K Zeilen Code, verteilt auf ca. 15 kleinere Anwendungen die jeweils einen Teilschritt im gesamten Prozess bearbeiten.
Um die Stabilität der gesamten Anwendung zu garantieren haben wir einige Unit tests eingebaut. Was uns fehlt sind gute Ideen um die gesamte Anwendungskette
(GUI / Funktion) zu testen ohne viel Code für entsprechende Tests zu schreiben.

Ich bin mir nicht socher ob Ansätze wie http://code.google.com/p/fit4delphi/ wirklich helfen oder nur viel Zeit kosten ....

Wie geht Ihr an dieses Thema heran ??

[Uwe Raabe]

Ohne das jetzt als Wertung verstanden zu wissen: Ich benutze dafür TestComplete. Nicht gerade billig ($999 bzw. $1999) aber sehr mächtig. Wie bei jeder anderen Lösung muss man sich halt einarbeiten, aber das geht eigentlich recht schnell.

Ich muss allerdings auch ehrlich zugeben, daß die Lizenzpolitik bei SmartBear (die machen übrigens auch das AQTime) nicht nur nervt, sondern mittlerweile an meinen Bedürfnissen total vorbei läuft. Will man die Software in einer VM einsetzen (auf Mac kaum anders möglich), kommt man um die deutlich teurere Floating-User-License ($2999 bzw. $4499) kaum herum. Da kommt das Preis-Leistungs-Verhältnis dann doch stark ins Wanken.

Fazit: das Produkt finde ich genial - die Lizenzpolitik ist für die Tonne.

[BasilBavaria]

Ich betreue mehrere Host- und Server-Anwendungen mit Online- und Batch-Komponenten. Auch sind Prozesse auf eine Vielzahl vom Programmen aufgeteilt (Eigen- und Fremdprodukte).

Ohne Details zu kennen: Stellt Testfälle zusammen mit möglichst vielen Kombinationen; diese sollten richtig und falsch sein - also nicht nur den Idealfall darstellen.
Sofern Ex- und Import-Schnittstellen vorhanden sind: Falsche Datentypen einpflegen und schauen ob's knallt.

Damit hab ich die besten Erfahrungen gemacht.

[Furtbichler]

Du kannst natürlich deine Klassen mocken und dann Tests schreiben, keine Ahnung, ob es das für Delphi gibt. Allerdings solltest Du schon ordentliche Unit-Tests schreiben, zur Not eben mit Dependency-Injection.

Für komplexe Projekte, die ständig Änderungen unterworfen sind, ist das überlebensnotwendig. Denn jede Änderung enthält natürlich Fehler, die -schlecht getestet- die Entwanzungsarbeit beinahe exponentiell anwachsen lassen.

Der Arbeitsaufwand zwischen Applikationsentwicklung und Schreiben von Tests ist zwischen 50:50 und 40:60. Man verbringt also mehr Zeit zum Schreiben der Tests, als mit der Entwicklung. Weiterhin sollte man sich für die Tests noch mehr Mühe geben, also für die Entwicklung (wobei man sich ja schon bei der Entwicklung sehr viel Mühe gibt).

Wir praktizieren das gerade in einem 1000 MT Projekt, wobei leider vergessen wurde, das diese Größenordnung im Budget einzuplanen. Rumms- fliegt uns das jetzt um die Ohren... Ich kann meine Hände in Unschuld waschen, weil ich erst dazugestoßen bin, als das Kind schon in den Brunnen gefallen ist.

[bernhard_LA]

zum Thema Mocking kenne ich diesen Link für D : http://nickhodges.com/post/Delphi-Mocks-The-Basics.aspx




ich stehe vor dem Problem einen Unit-Test über die Gesamte Anwendungskette von 15 verschiedenen Proramme zu schreiben,

eine Sequenz wie
app1.Buttonxypressed (.....);
app2.mainform.dosomething (....);
....
app15.Now_make_the_result(.....);

ewig lang und ewig viele Parameter die ich an darunterliegende Klasse weiterleiten muss .
Ferner müsste ich als Check

a) den Inhalt von DB Tabellen vergleichen, sind in beiden Tabellen die selben Records
b) sind Bitmaps identisch, ggf. Auschnitt BMP1 = Ausschnitt BMP2 ....
c) Verbindungen zwischen Ziel und ReferenzListe vergleichen, die Verkettungen müssen identisch sein, die Anordung innerhalb der Liste nicht
d) Vergleich von EXCEL Dateiein mit der Auswertung / Ergebnissen

[BUG]

Ich könnte mir vorstellen, dass ein Tool wie AutoHotkey bei Blackbox-Tests vom Programmen mit GUI ziemlich nützlich ist.
Scheint auch erfolgreich dafür benutzt zu werden; es gibt aber auch Produkte, die mehr auf das Testen zugeschnitten sind.

[bernhard_LA]

Bin auf der Suche nach TEST für die GUI auf die KLasse TGUITESTCASE gestoßen, welche schon ein Teil von Dunit sein sollte.
Gibt es positive Erfahrungen zum dieser Komponente ? Oder nette Demo Beispiele wie ich GUI testing effektiv mit diesem System durchführen kann ....

[jaenicke]

Zitat von Uwe Raabe:

Will man die Software in einer VM einsetzen (auf Mac kaum anders möglich), kommt man um die deutlich teurere Floating-User-License ($2999 bzw. $4499) kaum herum.

Finde ich aber auch grundsätzlich nicht falsch. VMs laden nun einmal zum Schummeln mit den Lizenzen ein.

Wir nutzen einen separaten physischen Rechner, der z.B. via RDP als Testrechner benutzt wird und der exklusiv für die Tests mit TestComplete benutzt wird.

Und was die Nutzung von Macs angeht: Bei dem Preis dafür sollte ja der Preis für TestComplete ohnehin kein Problem sein...

[Union]

Du musst im Testfall nur von TGUITestCase ableiten (uses GUITesting). Dann hast Du im Testfall Methoden zur Verfügung, z.b.
ClickLeftMouseButtonOn, Click, Enterkey uvm. Die baust Du in Published-Methoden ein für die RTTI und die Test-GUI sollte die dann selektieren und ausführen lassen.

[Uwe Raabe]

Zitat von jaenicke:

Zitat von Uwe Raabe:

Will man die Software in einer VM einsetzen (auf Mac kaum anders möglich), kommt man um die deutlich teurere Floating-User-License ($2999 bzw. $4499) kaum herum.

Finde ich aber auch grundsätzlich nicht falsch. VMs laden nun einmal zum Schummeln mit den Lizenzen ein.

Wir nutzen einen separaten physischen Rechner, der z.B. via RDP als Testrechner benutzt wird und der exklusiv für die Tests mit TestComplete benutzt wird.

Und was die Nutzung von Macs angeht: Bei dem Preis dafür sollte ja der Preis für TestComplete ohnehin kein Problem sein...

Das TestComplete ist bei mir auf einem physikalischen Windows System installiert. Das MacBook nutze ich fast nur unterwegs. Da die VM-License eine Netzwerkverbindung zu dem Rechner mit dem License-Manager benötigt, nutzt mir das unterwegs rein gar nichts. Für eine mobile Lizenz braucht man halt eine Node-License und die ist auf einem MacBook nicht möglich (zumindest nicht ohne BootCamp). Damit kann ich meine Tests unterwegs nicht nutzen. Ich finde das ist eine ziemlich starke Einschränkung, die ausschließlich dem Kopierschutz geschuldet ist.

Ich hatte sogar früher eine zweite Node-License für mein Windows-Notebook. Nachdem das durch einen Mac ersetzt wurde, war die faktisch wertlos.