Software-Releasewechsel bei Banken

Ein Artikel von Steven Wrage und Jan Kalkofen, SAP Consultants im Team Consulting & Application Services Innobis | 20.09.2021 - 09:55

Der hauseigenen IT-Abteilunggelang es, in Zusammenarbeit mit den Fachabteilungen und Innobis als IT-Dienstleister, von 1.055 Testfällen rund 600 mit dem Testautomatisierungs-Tool Tricentis Tosca zu automatisieren.

Die Herausforderung: Hohe Anzahl an Tests in einem engen Zeitfenster

Aufgrund der komplexen Systemlandschaft (SAP-Add-on, diverse SAP-Module und Umsysteme), sowie den steigenden fachlichen und regulatorischen Anforderungen an Softwarequalität, Dokumentation und Revisionssicherheit, führte die Förderbank die Testautomatisierung ein. Aufwand und Komplexität manueller Releasewechseltests hätten sonst weiter zugenommen. Ziel war es, durch ein einfacheres Handling die Releasezyklen in Zukunft entscheidend zu verkürzen.

Das bisherige Vorgehen beim Regressionstest, der die Lauffähigkeit des Systems nach dem Releasewechsel gewährleistet, sah wie folgt aus: Die Testfälle wurden via Copy und Paste zu dem jeweiligen anstehenden Release bereitgestellt und dezentral gespeichert. Dieser Kopiervorgang führte zu Redundanzen und unterschiedlichen Beschreibungen für ein und denselben Testfall.

Die Testphase für das neue Release des SAP-Add-ons sollte über den Jahreswechsel stattfinden. Der Testzeitraum war kurz bemessen in Bezug auf die zu testenden Komponenten, aber unbedingt einzuhalten, um Folgeprojekte nicht zu verzögern.

Die Herausforderungen im Überblick:

  1. Das hohe und zeitintensive Regressionstest-Portfolio beim SAP-Add-on Releasewechsel.
  2. Die Durchführung von Tests in verschiedenen SAP-Modulen, wie SAP-BP, SAP-CML, SAP-FI, die mit dem SAP-Add-on interagieren.
  3. Das Vorhandensein weiterer Umsysteme (z.B. Web-Anwendungen und SAP-Eigenentwicklungen), die ebenfalls einem Regressionstest unterzogen werden mussten.
  4. Die Koordination vieler unterschiedlicher Fachbereiche und Tester.

Bei der Förderbank war bereits das Testmanagement- und Testautomatisierungstool Tosca von Tricentis vorhanden. Bisher wurde das Tool nur für manuelle Tests genutzt. innobis half mit seinem Spezialwissen das volle Potential des Tools zu entfalten und Testfälle zu automatisieren. Im Vordergrund standen, die Fachmitarbeiter zu entlasten und die Softwarequalität sicher zu stellen. Auch die revisionssichere Dokumentation und das Verkürzen der Releasezyklen waren entscheidend. Die erste große Hürde, die zu nehmen war, war die Fachmitarbeiter für die Automatisierung zu gewinnen und ihnen das Entlastungspotenzial aufzuzeigen.

Ein Vorgehen in mehreren Prozessschritten war unabdingbar, um bei der Implementierung des Prozesses eine hohe Automatisierungsquote und zeitgleich eine geringe Belastung des Fachbereichs zu erreichen. Marco Nowak, SAP Senior Consultant im Team Consulting & Application Services von Innobis, sagt: „Mit dem Wissen und der langjährigen Erfahrung im Testmanagement und in der Testautomatisierung sowie dem spezifischen Förderbanken-Know-how konnte innobis den Kunden optimal unterstützen. Zum Einsatz kam ein dreiköpfiges Spezialistenteam.“

Die sechs Prozessschritte der Testautomatisierung:

  1. Inhouse-Workshops, um die Fachbereiche frühzeitig in die Testautomatisierung einzubinden
  2. Abfrage der benötigten Regressionstestfälle pro Fachbereich
  3. Analyse der Automatisierungspotenziale für die ausgewählten Regressionstestfälle
  4. Aufzeichnung des Testfalls in persönlichem Austausch mit einem Vertreter des jeweiligen Fachbereichs
  5. Automatisierung der Testfälle mit dem Testautomatisierungs-Tool Tosca
  6. Qualitätssicherung der automatisierten Testfälle mit Abnahme durch den Fachbereich

Die Schritte drei bis sechs liefen dabei iterativ ab, um den Fachbereichen Zwischenergebnisse zu präsentieren und Anforderungen laufend zu aktualisieren. Das Kosten- und Nutzenverhältnis bestimmte wesentlich die Auswahl der zu automatisierenden Testfälle, stets mit dem Ziel, dem Fachbereich viel Aufwand bei deren Durchführung zu ersparen. Technisch ließen sich fast alle gewünschten Testfälle umsetzen. Darüber hinaus gab es auch Testfälle, die der Fachbereich weiterhin manuell ausführen wollte oder die technisch nicht umsetzbar waren, wie beispielsweise Drucktests oder Layout-Vergleiche.

Das Innobis Beraterteam koordinierte den Fachtest mit mehr als 30 Testern und 1.055 Testfällen, baute eine revisionssichere Dokumentation der Testdurchführung auf und unterzog auftretende Probleme dem Defect Management. Die Defects wurden beim Testen über die Atlassian Software Jira, eine Webanwendung zur Fehlerverwaltung, Problembehandlung und zum operativen Projektmanagement, erfasst und über einen geregelten Defect-Prozess bearbeitet.

Das gesamte Regressionstest-Portfolio wurde einer kompletten Analyse unterzogen, aufgeräumt und neu strukturiert. Heute befinden sich die Regressionstests an einer zentralen Stelle und sind unterteilt in Abteilungsordner, die in manuelle und automatisierte Tests gegliedert sind.

Aufbau des Testmanagements

Für das gesamte Testvorhaben bereitete Innobis Testpakete, sogenannte Ausführungslisten in Tosca, vor. Die erfolgreiche Koordination und Fortschrittsüberwachung der anstehenden Testdurchführung gelang über ein zielgerichtetes Reporting. Die Testverwaltung selbst erfolgte innerhalb von Tosca. Es entstand eine neue Regressionstestfallbibliothek bereinigt um Altlasten wie redundante oder veraltete Testfälle.

Besonderheiten während der Projektphasen

Das Projekt war begleitet von ständigen Änderungen im IT-Umfeld. Nennenswert sind an dieser Stelle beispielsweise Upgrades an der zu testenden Software, die noch nichts mit dem eigentlichen Releasewechsel zu tun hatten, Upgrades von Umsystemen oder ein Upgrade der Testautomatisierungs-Software Tosca. Diese Veränderungen beinhalteten zusätzliche Risiken während des Projekts, aber die automatisierten Testfälle blieben trotzdem lauffähig. Ein großer Vorteil war, dass einige der automatisierten Testfälle für die Tests der oben genannten Upgrades verwendet werden konnten.

Schwierigste Phase im Releasewechseltest

Als es zum Releasewechsel des SAP-Add-ons zur Abbildung des gesamten Fördergeschäfts kam, tat sich ein schwieriges Testzeitfenster von insgesamt neun Wochen auf, das sich aufgrund von Weihnachten, Neujahr und Jahresultimo auf sechs Wochen reduzierte. Involviert waren 20 Fachabteilungen mit 1.055 Testfällen; davon waren rund 600 Testfälle automatisiert.

Anschalttests wurden durchgeführt, um die Testumgebung zu prüfen. Nach deren erfolgreichen Abschluss konnte das Testvorhaben aus manuellen und automatisierten Testfällen starten. Abbildung 1 zeigt den Verlauf der erfolgreich ausgeführten manuellen und automatisierten Testfälle über den Testzeitraum hinweg. Die automatisierten Testfälle konnten zu Beginn des Testzeitraums in großer Stückzahl ausgeführt werden und lagen durchgängig über dem Planfortschritt. Dieses Vorgehen ermöglichte es, bereits sehr frühzeitig viele Defects aufzudecken.

SAP-Add-on_Releasewechsel_Ausführung_manueller_und_automatisierter_Testfälle.RGB.jpg

Abbildung 1: SAP-Add-on Releasewechsel: Ausführung manueller und automatisierter Testfälle © Innobis AG

Die Lessons Learned

Der Releasewechsel des SAP-Add-ons lief erfolgreich ab. Die wichtigsten Erkenntnisse aus diesem Projekt im Kurzüberblick:

  1. Um die wesentlichen Elemente der Testumgebung abzudecken, erweist es sich als Vorteil, für deren Aufbau inkl. Anschalttests genügend Zeit einzuplanen, um den Zustand des Testsystems beurteilen zu können.
  2. Um schon zu Beginn so viele Fehler wie möglich aufzudecken, ist es hilfreich, frühzeitig im Regressionstest viele automatisierte Testfälle auszuführen. Dadurch ergibt sich ein deutlicher zeitlicher Gewinn, da bei Fehlern mehr Zeit bleibt, diese zu untersuchen und zu beheben.
  3. Lohnend ist das Aufstellen von Expertenteams aus verschiedenen Fachbereichen, die systemkritische Infrastrukturen und Systemänderungen testen.
  4. Der Einsatz des Automatisierungstools Tosca bewährt sich, da es alle gewünschten Anforderungen an eine robuste Testautomatisierung und ein revisionssicheres Testmanagement erfüllte.

 

Der Einsatz von Testautomatisierung lohnt sich!

Bei der betroffenen Förderbank ließen sich der Testaufwand und Testzeitraum erheblich reduzieren. Die größten Einsparungen resultierten aus der verringerten Testausführungszeit eines automatisierten Testfalls im Vergleich zu einem manuellen Testfall. Pro automatisierten Testfall wurde die Ausführungsdauer im Mittel um 70 Prozent von 20 Minuten auf sechs Minuten verkürzt. Trotz des engeren Zeitfensters durch Weihnachten und Jahreswechsel von etwa 33 Prozent, schloss das gesamte Testvorhaben planmäßig ab.

Dank der Testautomatisierung wurde das manuelle Testfallportfolio in effektiv vier Wochen anstatt sechs Wochen durchgeführt, da nun deutlich weniger manuelle Testfälle ausgeführt werden mussten.

SAP-Add-on_Releasewechsel_Effizienzsteigerung_durch_Testautomatisierung.RGB.jpg

Abbildung 2: SAP-Add-on Releasewechsel: Effizienzsteigerung durch Testautomatisierung © Innobis AG

60 Prozent des automatisierten Portfolios wurde in den ersten zwei Wochen ausgeführt. Die Förderbank erlangte Zugriff auf über 3.000 Seiten an automatisierter, revisionssicherer Testdokumentation, die durch Tosca generiert und auf dem Netzlaufwerk abgelegt wurde. Aufgrund der Tatsache, dass alle automatisierten Testfälle im Vorfeld durch den Fachbereich abgenommen wurden, musste nach deren Testausführung lediglich die Abnahme der Testergebnisse noch manuell dokumentiert werden. Beim bisherigen manuellen Vorgehen kam es vor, dass ein kurzer Testfall eine Durchführungszeit von zwei Minuten aufwies, aber noch fünf Minuten Dokumentationszeit hinzukamen. Mit Blick auf eine verbesserte Softwarequalität ließen sich dank der Testautomatisierung kritische Fehler schneller aufdecken und beheben und Anpassungen unmittelbar ausführen. Die Softwarequalität erhöhte sich signifikant. Nach der Einführung der Testautomatisierung wird diese für zukünftige Regressionstests und Projekte genutzt und erweitert und ist damit wiederverwendbar – ein entscheidender Vorteil im Gegensatz zum manuellen Vorgehen.

Autor: Steven Wrage

SAP Consultant im Team Consulting & Application Services bei der innobis AG

Autor: Jan Kalkofen

SAP Consultant im Team Consulting & Application Services bei der innobis AG