Code coverage

[TurboMagic]

Hallo,

warte einfach noch einige Minuten.
Dann hab' ich evtl. eine neue Fassung im Development Branch.

Was ist dort dann neu:

• Umstellung auf die aktuelle Version von CodeCoverage.exe
• Dadurch moderner aussehendere HTML Ausgabe (man muss aber wissen wo man klicken kann bzw. drüberfahren)
• Weitere Optionen unter Output folders/formats
• Quellcode Ordner wird mittels Parameter -sd nun zur Batch Datei hinzugefügt

Grüße
TurboMagic

[freimatz]

Habe kurz mal die -sd manuell hinzugefügt zur Batch. Es wird nun wesentlich mehr gemacht als vorher. Gut ist es noch nicht, aber eins nach dem anderen. Ich warte dann mal auf die neue Version <lechz>

[TurboMagic]

Dein Durst kann seit eben gestillt werden!
Alle der bisher immer ausgegrauten Optionen unter dem AUsgabeformat Menü sind jetzt auch verfügbar.
Ist alles noch im Development Branch.

Grüße
TurboMagic

[TurboMagic]

Na, hat das deinen Durst für's Erste gestillt?
Bist du zum Testen gekommen?

[Stevie]

Ich habe mal an diejenigen, die schon CodeCoverage für ihre Unittests nutzen, folgende Fragen:
- Welchen Workflow nutzt ihr dafür? (Klassisches DUnit(X), TestInsight, Ausführung auf dem CI Server, etc)
- Wie schaut ihr euch den Coverage Report an? (meines Wissens nach generiert CodeCoverage ja so ein paar HTML Seiten oder auch andere Formate, welche noch weiter verarbeitet werden können).
- Wie gut funktioniert DelphiCodeCoverage bei euch? Meine Erfahrung ist, dass es entweder inakkurate Ergebnisse liefert oder sich auch mal mit AVs oder ähnlichem auf den Rücken legt.

Ich frage, da es mir schon seit langem ein Befürfnis ist, eine "ganzheitliche" Lösung dafür zu schaffen und speziell in Verbindung mit TI wäre das höchste der Gefühle natürlich, das ganze direkt in der IDE sehen zu können, wie man es auch in VisualStudio kann. Da wir GitLab benutzen und das wunderbar mit dem Cobertura Format klar kommt, um CodeCoverage anzuzeigen, hatte ich mal einen Prototypen für CodeCoverage gebaut, der dieses Format ausspuckt. Daraus wiederum kann man dann mit anderen externen Tools (wie zum Beispiel ReportGenerator) auch wunderbare HTML Seiten generieren oder auch in einem IDE Plugin das ganze in der IDE anzeigen.

[freimatz]

Zitat von TurboMagic:

Na, hat das deinen Durst für's Erste gestillt?
Bist du zum Testen gekommen?

Beides mal Nein. Es gibt da sowas das nennt sich "Release" - und da sind noch Fehler rein gekommen, die haben Vorrang.

[TurboMagic]

Die aktuelle Version des CodeCoverage kann jedenfalls auch XML im JaCoCo Format ausgeben.
Der Wizard (Version aus dem Development Branch) kann das seit heute Vormittag auch anschalten.
Darüberhinaus kann man dort seit heute Vormittag auch optional beliebige Parameter dieses
Kommandozeilen Programms angeben, damit auch Dinge nutzbar werden, die ich noch nicht vorgesehen
habe.

Grüße
TurboMagic

PS: habe in meiner einen EKON Session zum Unit Testen letzte Woche auch dein TestInsight gezeigt

[TurboMagic]

Zitat von freimatz:

Zitat von TurboMagic:

Na, hat das deinen Durst für's Erste gestillt?
Bist du zum Testen gekommen?

Beides mal Nein. Es gibt da sowas das nennt sich "Release" - und da sind noch Fehler rein gekommen, die haben Vorrang.

Verständlich! Nach dem Release, sofern möglich, gleich Regressionstests für die Fehler schrieben

[freimatz]

Zitat von TurboMagic:

Zitat von freimatz:

Zitat von TurboMagic:

Na, hat das deinen Durst für's Erste gestillt?
Bist du zum Testen gekommen?

Beides mal Nein. Es gibt da sowas das nennt sich "Release" - und da sind noch Fehler rein gekommen, die haben Vorrang.

Verständlich! Nach dem Release, sofern möglich, gleich Regressionstests für die Fehler schrieben

Nein, bei uns muss man die gleich machen wenn man die Behebung in Test geben will. Dafür wäre die Coverage dann auch gut.
Nice wäre auch etwas das prüft ob alle seit dem letzten master geändreten Zeilen abgedeckt sind. Aber erst muss das überhaupt mal tun.

[TurboMagic]

Zitat von Stevie:

Ich habe mal an diejenigen, die schon CodeCoverage für ihre Unittests nutzen, folgende Fragen:
- Welchen Workflow nutzt ihr dafür? (Klassisches DUnit(X), TestInsight, Ausführung auf dem CI Server, etc)
- Wie schaut ihr euch den Coverage Report an? (meines Wissens nach generiert CodeCoverage ja so ein paar HTML Seiten oder auch andere Formate, welche noch weiter verarbeitet werden können).
- Wie gut funktioniert DelphiCodeCoverage bei euch? Meine Erfahrung ist, dass es entweder inakkurate Ergebnisse liefert oder sich auch mal mit AVs oder ähnlichem auf den Rücken legt.

Ich frage, da es mir schon seit langem ein Befürfnis ist, eine "ganzheitliche" Lösung dafür zu schaffen und speziell in Verbindung mit TI wäre das höchste der Gefühle natürlich, das ganze direkt in der IDE sehen zu können, wie man es auch in VisualStudio kann. Da wir GitLab benutzen und das wunderbar mit dem Cobertura Format klar kommt, um CodeCoverage anzuzeigen, hatte ich mal einen Prototypen für CodeCoverage gebaut, der dieses Format ausspuckt. Daraus wiederum kann man dann mit anderen externen Tools (wie zum Beispiel ReportGenerator) auch wunderbare HTML Seiten generieren oder auch in einem IDE Plugin das ganze in der IDE anzeigen.

Die Frage ist auch in wieweit sich CodeCoverage seit deiner Begutachtung weiterentwickelt hat. Zwischen der Version
die ich ursprünglich benutzte (die beim ursprünglichen WIzard dabei war) und der aktruellen, die ich seit heute damit benutze
liegen auch irgendwie Welten. Mehrere neue Parameter für Ausgabeoptionen und auch die HTML Ausgabe sieht ganz anders (moderner)
aus, inkl. Prozentbalken und Tortendiagrammen.

Es stellt sich auch die Frage, ob man das, was im CodeCoverage evtl. noch nicht ganz passt fixen kann. Das Projekt scheint
ja schließlich grundsätzlich noch gewartet zu werden und es kann ja auch schon einiges...

Anbei mal ein paar Screenshots, die Anzeige ist hierbei die im Delphi Code Coverage Wizard Plus integrierte HTML Anzeige.
Mittels Option kann man sich das aber auch im mit HTML Dateien verknüpften Programm anschauen (ShellExec).

Grüße
TurboMagic