Softwaretests. Eine Übersicht über Testarten und Teststufen

Es gibt viele Kriterien, nach denen wir Tests kategorisieren können. In der folgenden Übersicht unterscheiden wir Testarten nach Zweck, Technik und Ausführungsstufe.

Funktionale Tests

Die erste Art, die ein großes Feld des Softwaretestens abdeckt, sind funktionale Tests. Ihr Hauptzweck ist die Validierung, ob digitale Produkte (Software, App, Website) gemäß den Anforderungen funktionieren.

Mit anderen Worten: Funktionale Tests sind für die korrekte Leistung der Softwarefunktionen verantwortlich und werden daher als primäre Testart betrachtet.

Neben den oben genannten Unterarten umfassen funktionale Tests auch Regressionstests und API-Tests, wobei jede davon für bestimmte Produktteile und Entwicklungsstadien am besten geeignet ist.

So ist beispielsweise Smoke Testing als eine Praxis des funktionalen Testens gut für Fälle geeignet, in denen Sie die Funktionsfähigkeit kritischer Funktionen schnell überprüfen müssen, während Regressionstests verwendet werden, um die Qualität nach Änderungen an der Produktfunktionalität zu überprüfen.

Nicht-funktionale Tests

Die zweite Art von Softwaretests konzentriert sich in erster Linie auf Aspekte, die über die korrekte Arbeit von Produktfunktionen und -modulen hinausgehen. Der Hauptzweck ist die Überprüfung von Leistung, Sicherheit, Benutzerfreundlichkeit und Kompatibilität des Systems.

Dadurch werden auch nicht-funktionale Tests in mehrere Unterarten unterteilt.

Leistungstests

Eine Unterart nicht-funktionaler Tests, die primär für das Überprüfen des Systemverhaltens unter verschiedenen Bedingungen verantwortlich ist. Sie umfasst:

• Lasttests. Testen der Systemleistung unter normaler erwarteter Last, ihrer Leistung und Stabilität während langer Arbeitssitzungen.
• Stresstests. Setzen des Systems übermäßigen Arbeitslasten aus, um die Grenzen seiner Leistungsfähigkeit zu sehen und den Punkt zu finden, an dem es zusammenbricht, sowie sein Verhalten während der Wiederherstellung.
• Skalierbarkeitstests. Eine Unterart des Softwaretestens, die es ermöglicht, die Systemleistung dynamisch zu beobachten, indem die Arbeitslast schrittweise erhöht wird. Sie hilft zu verstehen, ob Engpässe durch Skalierung des Systems behoben werden können oder nicht.

Sicherheitstests

Eine Unterart nicht-funktionaler Tests, die den Schutzgrad des Systems vor sowohl externen als auch internen Ausfällen überprüft.

In den meisten Fällen wird die Systemsicherheit durch Penetrationstests (wenn Tester Cyberangriffe nachahmen) und Schwachstellentests (wenn Tester das System auf Sicherheitslücken und -schwächen scannen) herausgefordert.

Tests auf Benutzerfreundlichkeit und Kompatibilität

Eine weitere Unterart, die die Benutzerfreundlichkeit (d.h. wie einfach und effektiv das Produkt aus Nutzersicht ist) und die Kompatibilität (wie das Produkt auf verschiedenen Geräten, Betriebssystemen usw. funktioniert) eines Produkts sicherstellt.

Diese Unterart ist entscheidend für plattformübergreifende Produkte oder Websites, da sie hilft, eine Verbesserung des Nutzererlebnisses, der Benutzerfreundlichkeit und -zufriedenheit zu erreichen.

Wartungstests

Diese Art von Softwaretests wird traditionell nach der Produktbereitstellung und -auslieferung durchgeführt.

Das Ziel von Wartungstests ist es, die Stabilität des Produkts und einen reibungslosen, unterbrechungsfreien Betrieb sicherzustellen.

Die wichtigsten Praktiken zur Durchführung von Wartungstests sind sofortiges Testen nach Updates (Regressionstests) oder Sicherstellung der Ergebnisse früherer Bugfixes (Patch-Tests und -Validierung) . Darüber hinaus sind Wartungstests auch notwendig bei Aktualisierungen von Softwareversionen (wobei die Kompatibilitäts- prüfung durchgeführt wird), Migration auf einen neuen Server, Aktualisierungen von Betriebssystemversionen (sowohl Server als auch Client) und Datenbanken sowie bei Änderungen an APIs von Drittanbieterservices.

Spezialisierte Testarten

Die letzte Kategorie von Softwaretests vereint Testpraktiken und -techniken für spezifische Fälle.

KI- und ML-Tests sind beispielsweise eine Testpraxis, die sich auf die Validierung von Genauigkeit und Leistung von Machine-Learning- und KI-Lösungen konzentriert. Dabei verwenden Tester spezielle Tools wie TensorFlow und MLFlow, die es ermöglichen, KI-Systeme effizient auf Schwachstellen und Engpässe zu prüfen und die Logik von KI-Modellen zu validieren.

Die Qualität des Produkts wird durch konsequentes und effizientes Testen gewährleistet, bei dem alle Aspekte berücksichtigt werden. Daher existieren 4 Schlüsselstufen des Testens. Ihre Hierarchie ist im folgenden einfachen Schema dargestellt.

Unit-Tests

Die erste Stufe konzentriert sich auf das Testen einzelner Systemkomponenten, Funktionen oder Methoden in Isolation. Das Hauptziel ist es, zu überprüfen, ob diese Komponenten mit den funktionalen Anforderungen übereinstimmen und korrekt funktionieren.

QA-Spezialisten können beispielsweise prüfen, wie die Login-Funktion einer App auf ungültige Daten reagiert, oder die Verfügbarkeit von Waren im Warenkorb eines Online-Shops beim Hinzufügen überprüfen. Es ist jedoch erwähnenswert, dass Unit-Tests in erster Linie in der Verantwortung der Entwickler liegen, die diese Tests zusammen mit dem Code schreiben.

Automatisierte Unit-Tests können mit einer Reihe von Tools durchgeführt werden (die Wahl hängt vom verwendeten Ökosystem ab) wie JUnit (für Java), Pytest (für Python) oder NUnit (für C#) die Hunderte von Tests in nur Sekunden automatisch ausführen können, während Mockito und Unittest.mock Systemabhängigkeiten (wie Datenbanken und APIs) für isoliertes Testen von Systemeinheiten simulieren können.

Integrationstests

Die nächste Stufe ist für die Überprüfung der korrekten Interaktion zwischen Modulen verantwortlich. QA-Ingenieure prüfen beispielsweise die korrekte Integration zwischen dem oben genannten Warenkorb des Online-Shops und dem Payment-Gateway.

Dabei greifen Tester auch auf eine Reihe spezieller Tools wie Postman (für API-Tests) und Selenium (für UI- Integration) zurück.

Systemtests

Die dritte Stufe des Softwaretestens konzentriert sich auf End-to-End-Prüfungen des gesamten Systems und seiner Übereinstimmung mit den ursprünglichen Anforderungen sowie auf die Testung der Systemleistung.

Tools wie SoapUI oder LoadRunner ermöglichen es beispielsweise, die Aktivität mehrerer Benutzer zu simulieren, um die Leistung einer Website oder App zu testen.

In dieser Phase können QA-Tester Probleme finden, die auf den vorherigen Stufen nicht erkannt wurden, sodass alle Korrekturen vorgenommen werden können, bevor das System echten Benutzern präsentiert wird.

Abnahmetests

Die letzte Stufe des Softwaretestens ist für die Sicherstellung der Produktbereitschaft für die endgültige Auslieferung verantwortlich. Das Haupt- ziel ist die Zustimmung sowohl seitens des Geschäfts als auch der Benutzer.

Zu diesem Zweck starten Entwicklungsunternehmen Beta-Test-Kampagnen , bei denen eine begrenzte Anzahl von Benutzern mit dem Produkt interagieren darf.

Beispielsweise kann ein neu entwickeltes CRM-System dem Kunden vor der endgültigen Auslieferung zur Verfügung gestellt werden. Gleichzeitig sind Beta-Tests eine gängige Praxis in der Gaming-Branche, bei der eine begrenzte Anzahl von Spielern das Spiel vor dem offiziellen Release spielen kann.

Dadurch erhalten Unternehmen informatives Feedback über den tatsächlichen Zustand des Produkts und eine solide Grundlage für zusätzliche Tests und Bugfixes.

Trotz der großen Vielfalt an Testunterarten, -techniken und -tools machen Unternehmen immer noch Fehler, um den Produktentwicklungszyklus zu beschleunigen und die Kosten zu senken. Infolgedessen kommt es zu einem erheblichen Qualitätsabfall und einer Verringerung der Benutzerzufriedenheit.

Es gibt mehrere bekannte Fälle, in denen Unternehmen unter unzureichendem Testen litten.

• Y2K oder Jahr-2000-Problem. Der Begriff wird zur Beschreibung sowohl eines Ereignisses als auch eines technischen Problems im Zusammenhang mit den potenziellen Computerfehlern bezüglich der Formatierung und Speicherung von Kalenderdaten für Daten. Die Unfähigkeit von Computersystemen, Daten korrekt zu unterscheiden (wie 1900 und 2000), brach weltweit Infrastrukturen für computerabhängige Branchen zusammen. Infolgedessen wurden rund 450 Mrd. USD für präventive Maßnahmen (Software-Upgrades, Tests und Beratung) ausgegeben, während viele Organisationen weltweit insgesamt 10-20 Mrd. USD aufgrund von Ausfällen verloren.
• Lion -Air-Flug 610 Absturz 2018. Das folgenschwerste Unglück in der Boeing-737-Familie, bei dem 181 Passagiere und 8 Besatzungsmitglieder ums Leben kamen. Weitere Untersuchungen ergaben, dass eine neue Softwarefunktion im Flugsteuerungs- system das Flugzeug zum Absenken der Nase veranlasste , während die softwarebezogenen Informationen aus der Flugzeugdokumentation entfernt worden waren.
• CrowdStrike-bedingte IT-Ausfälle 2024. Die Sicherheitssoftware Falcon Sensor verursachte weitreichende Probleme mit Microsoft-Windows-Computern, auf denen die Software lief, aufgrund einer fehlerhaften Update-Verteilung. Infolgedessen stürzten schätzungsweise 8,5 Millionen Systeme ab und konnten nicht ordnungsgemäß neu starten.

Selbst ohne die oben genannten tragischen Fälle zu berücksichtigen, vernachlässigen Unternehmen immer noch viele Testpraktiken oder machen Fehler in der Qualitätssicherung. Hier sind die häufigsten Fehler, die Unternehmen machen.

Vernachlässigung der Testplanerstellung

Im Wesentlichen sollte das erste, was vor der Entwicklung einer neuen Funktion oder eines neuen Produkts und vor dem eigentlichen Testen geschehen sollte, die Erstellung eines Testplans sein.

Es handelt sich um ein Dokument, das den Prozess des bevorstehenden Testens beschreiben soll, in dem alle seine Schlüsselkriterien, Aspekte und Besonderheiten hervorgehoben werden.

Traditionell enthält das Testplandokument folgende Schlüsselpunkte:

• Einleitung. Kurzer Überblick über den Testplan, die Ziele und den Testumfang.
• Testobjekte. Liste der zu testenden Komponenten, Funktionen und Features (in der Regel mit Verweisen auf Design- und Anforderungsdokumentation).
• Testansatz. Beschreibung der geplanten Teststrategie (ob manuelles oder automatisiertes Testen erforderlich ist), Testarten (funktional, Leistung, Sicherheit usw.) und Teststufen (Unit, Integration, System usw.).
• Kriterien für Test bestanden/nicht bestanden. Definition, ob der Test bestanden oder nicht bestanden ist.
• Liste der Testergebnisse (Deliverables). Enthält die Liste der Dokumente, die während des Testens erstellt werden sollten ( Checklisten, Testfälle, Berichte, usw.).
• Verantwortlichkeiten. Festlegung, wer für verschiedene Aspekte des Testens verantwortlich ist (Testplanung, Testfallentwicklung, Fehlermanagement, Berichterstattung usw.).
• Zeitplan und Meilensteine. Enthält Test- aktivitäten, Zeitpläne und Fristen sowie verschiedene Meilensteine (zum Beispiel Start/Ende der Testausführung).
• Risiken und Notfallpläne. Beschreibt mögliche Risiken, Verzögerungen, Ressourcenknappheit und mögliche Lösungswege.

Der Testplan ist einer der wichtigsten Teile des Softwaretestens, da er es ermöglicht, alle durchzuführenden Aufgaben zusammen mit den erforderlichen Tools, erwarteten Zeitplänen, potenziellen Risiken und der geplanten Aufgabenteilung klar zu definieren.

Darüber hinaus gibt der Testplan die Eintritts- und Austrittskriterien an (d.h. die Festlegung der Punkte, an denen das Testen beginnen und enden soll).

Dadurch kann die Vernachlässigung der Erstellung von Testplandokumenten kurzfristig Zeit sparen, führt aber in Zukunft zu erheblichen Verzögerungen bei der Produkttestung und -bereitstellung sowie zu unnötigen Komplikationen in der Arbeit von Entwicklern und QA-Ingenieuren. Die Gründe dafür sind undefinierte Anforderungen und Verantwortlichkeiten, unklare Fristen und keine festgelegten Kriterien für den Testeintritt und -austritt.

Überspringen von Unit-Tests für "Geschwindigkeit"

Unternehmen beginnen lieber mit Integrations- oder Systemtests und ignorieren dabei die erste Stufe völlig. Auch wenn dies wie ein guter Zeit- sparplan erscheinen mag, führt es in Wirklichkeit zu einer größeren Anzahl von Problemen in weiterer Perspektive.

Laut IBM Systems Science Institute werden 70 % der Systemfehler auf der Unit-Test-Stufe erkannt. Das Überspringen dieser Stufe führt schnell zu einer sogenannten 'technischen Schuldenanhäufung', wenn unerkannte Fehler sich ausbreiten und immer mehr Probleme verursachen. Infolgedessen stecken Unternehmen, die in frühen Stadien Zeit sparen, fest, wenn das Produkt kurz vor der Auslieferung steht.

Vernachlässigung nicht-funktionaler Tests

Viele Unternehmen halten funktionale Tests auch für die wichtigste Testart und schenken anderen Aspekten nur minimale Aufmerksamkeit.

Nicht-funktionale Testunterarten wie Leistungs- oder Usability-Tests spielen jedoch eine entscheidende Rolle für die endgültige Produktqualität. Die Leistung und Benutzerfreundlichkeit eines Systems sind entscheidend für ein positives Nutzererlebnis, und ihre Vernachlässigung führt zu einem verringerten Interesse am Produkt.

Vermeidung frühen Testens

Einige Unternehmen schenken dem Testen in den frühen Phasen eines Projekts auch nicht genügend Aufmerksamkeit und verzögern es bis zum Ende der Entwicklung.

Der Hauptnachteil dieses Ansatzes ist, dass Fehler sich ansammeln können und die Fehlerbehebung dadurch komplizierter wird.

Deshalb sollte das Testen so früh wie möglich durchgeführt werden, bereits ab der Phase der Anforderungsvorbereitung. Eine gute Lösung dafür, die auch zusätzliche Zeit- und Geldausgaben vermeidet, ist die Integration von Tests in CI/CD-Pipelines und die Automatisierung sich wiederholender Testaufgaben.