Effiziente Teststrategien und Testmanagement

Klassische Testverfahren wie die Grenzwertanalyse und die Äquivalenzklassenbildung sind relativ bekannt. Auch findet oft implizit die Entwicklung einer Teststrategie als eine intuitive kontextbezogene Verknüpfung von Testverfahren mit Testobjekten und Teststufen statt.

Das Testen von immer komplexeren IT-Systemlandschaften stellt jedoch neue Anforderungen an das Testmanagement und die Teststrategie. Dabei ist insbesondere die Erkenntnis wichtig, dass das Testen selbst ein eigenständiger zu optimierender Prozess ist.

Teilnehmer: Hendrik Schreiber, Baris Güldali

Kontaktperson: Hendrik Schreiber

Beschreibung

Zweifellos existiert derzeit ein hoher Druck, neue Software möglichst schnell und kostengünstig zu entwickeln, um Wettbewerbsvorteile zu erzielen. Werden aber aus Kosten- oder Zeitgründen die qualitätssichernden Maßnahmen verringert oder sogar unterlassen, so führt dies im Allgemeinen zu einer mangelhaften Qualität des Produktes. Da aus diesem Mangel wiederum mittel- und langfristig Wettbewerbsnachteile entstehen können, ist die Bedeutung, Softwareprodukte im Entwicklungsprozess durch effiziente sowie effektive Teststrategien und entsprechende Testverfahren zu prüfen und zu bewerten, unumstritten.

Während klassische Testverfahren wie die Grenzwertanalyse relativ bekannt und eine intuitive Ermittlung einer Teststragtegie oft stattfindet, stellt die steigende Komplexität der IT-Systemlandschaften neue Anforderungen an das Testen. Es stellt sich die Frage, ob existierende Testverfahren und Methoden zur Entwicklung einer Teststrategie angepasst, erweitert oder neue erarbeitet werden müssen. Insbesondere ist aber auch die Erkenntnis wichtig, dass das Testen selbst ein eigenständiger Prozess ist. Es existiert somit die Herausforderung, (neue) Methodiken für das Testmanagement bereitzustellen. Diese Methodiken müssen es ermöglichen, den Testprozess an variable Anforderungen und Rahmenbedingungen des jeweiligen Unternehmens und Projektes auszurichten, um die Testeffektivität und -effizienz zu steigern.

Eine weitere Herausforderung ist die Ermittlung des Budgets und des Aufwandes in Personentagen für den Test. Oft wird hierbei pauschal mit 20% des Gesamtbudgets und der Gesamptprojektzeit geschätzt. Dabei findet keine Betrachtung der erforderlichen Testverfahren und Teststrategien statt. Auch werden weitere Rahmenbedingungen des Unternehmens und des Projektes, wie die Wünsche von Stakeholdern, Abhängigkeiten der Testumgebung, der zu testenden Software und der Testdaten, entweder gar nicht oder nur ungenügend in eine Schätzung miteinbezogen.

Durch die fehlende Betrachtung des Kontextes und die pauschale Schätzungen kommt es oft zu großen Budget und Zeitüberschreitungen. Um dies zu vermeiden sind separate unternehmens- und projektspezifische Schätzungen ohne die Verwendung von Pauschalen erforderlich. Dabei müssen der Kontext, die Teststrategie und die gewünschten Testverfahren berücksichtigt werden. Es stellt sich hierbei die Frage, ob existierende Schätzverfahren angepasst, erweitert oder neue erarbeitet werden müssen. Diese Verfahren müssen sich in den Testprozess integrieren und entsprechende Methodiken für das Testmanagement bereitstellen.

Kooperationen

• arvarto IT services
• Wincor Nixdorf International AG
• S&N AG

Bachelor-, Diplom-, Masterarbeiten

• Claudia Schuhmacher: Systematische Bewertung von Testprozessen nach TPI NEXT mit Geschäftsprozess-Mustern, Masterarbeit 2012 (in Kooperation mit  Sogeti Deutschland GmbH)
• Dominik Speicher: Automatische Berechnung von  Änderbarkeitskennzahlen in J2EE Anwendungen, Bachelorarbeit 2008 (in Kooperation mit Siemens IT Solutions and Services GmbH)
• Jan Kramer: Verbesserung von Testaufwandsschätzung und Fehlerprognose unter Einbeziehung von Funktionserweiterungen, Masterarbeit 2008 (in Kooperation mit Wincor Nixdorf International GmbH)

Verwandte Forschungsthemen

• Modellbasiertes Testen
• Testautomatisierung

Veröffentlichungen

Elke Bouillon, Baris Güldali, Andrea Herrmann, Thorsten Keuler, Daniel Moldt, Matthias Riebisch: Leichtgewichtige Traceability im agilen Entwicklungsprozess am Beispiel von Scrum. In U. Kelter (eds.): Softwaretechnik-Trends, vol. 33, no. 1, pp. 29-30. GI (2013)

[Show BibTeX]

@article{traceability,
  author = {Elke Bouillon AND Baris G{\"u}ldali AND Andrea Herrmann AND Thorsten Keuler AND Daniel Moldt AND Matthias Riebisch},
  title = {Leichtgewichtige Traceability im agilen Entwicklungsprozess am Beispiel von Scrum},
  journal = {Softwaretechnik-Trends},
  year = {2013},
  volume = {33},
  number = {1},
  pages = {29-30}
}

[Link]

Claudia Schumacher, Baris Güldali, Gregor Engels, Markus Niehammer, Matthias Hamburg: Modellbasierte Bewertung von Testprozessen nach TPI NEXT® mit Geschäftsprozess-Mustern. In Stefan Kowalewski, Bernhard Rumpe (eds.): Software Engineering 2013. , LNI, vol. P-213, pp. 331-344 (2013)

[Show Abstract]

Die Qualität eines zu entwickelnden Softwareprodukts wird entscheidend durch die Qualität des zugehörigen Textprozesses beeinflusst. Das TPI(R)- Modell ist ein Referenzmodell zur Bewertung der Qualität des Testprozesses, das mittels Kontrollpunkten den Reifegrad von Testaktivitäten bestimmt.

[Show BibTeX]

@inproceedings{SGENH2013,
  author = {Claudia Schumacher AND Baris G{\"u}ldali AND Gregor Engels AND Markus Niehammer AND Matthias Hamburg},
  title = {Modellbasierte Bewertung von Testprozessen nach TPI NEXT® mit Gesch{\"a}ftsprozess-Mustern},
  booktitle = {Software Engineering 2013},
  year = {2013},
  editor = {Stefan Kowalewski, Bernhard Rumpe},
  pages = {331--344},
  organization = {GI},
  month = {M{\"a}rz},
  note = {Fachtagung des GI-FachbereichsSoftwaretechnik26. Februar - 1. M{\"a}rz 2013AachenProceedings},
  abstract = {Die Qualit{\"a}t eines zu entwickelnden Softwareprodukts wird entscheidend durch die Qualit{\"a}t des zugeh{\"o}rigen Textprozesses beeinflusst. Das TPI(R)- Modell ist ein Referenzmodell zur Bewertung der Qualit{\"a}t des Testprozesses, das mittels Kontrollpunkten den Reifegrad von Testaktivit{\"a}ten bestimmt.},
  series = {LNI},
  volume = {P-213}
}

[Link]

Silke Geisen, Baris Güldali: Agiles Testen in Scrum – Testtypen und Abläufe. In Dr. Thorsten Keuler (eds.): OBJEKTspektrum (Online Themenspecials), no. Agility/2012, pp. 1-4. SIGS DATACOM (2012)

[Show Abstract]

Mittlerweile sind viele Unternehmen dazu übergegangen, ihre Software „agil“ zu entwickeln. Die damit verbundenen Erwartungen sind vor allem ein frühes Kundenfeedback sowie eine kürzere „Time-to-Market“ durch entsprechend schnelle Release-Zyklen. Hinter den Kulissen finden sich jedoch oftmals Probleme, sodass die erwarteten Vorteile agiler Softwareentwicklung nicht oder nur teilweise zum Tragen kommen. Gründe dafür liegen selten an technischen Hürden, sondern oftmals in einer zu oberflächlichen Interpretation der Philosophie von agiler Softwareentwicklung und den damit zusammenhängenden Kernzielen: Planung und Analyse auf ein sinnvolles Maß zu reduzieren und zugleich unnötige Arbeiten zu vermeiden. Was sinnvoll und was unnötig ist, stellt dabei eine der wesentlichen Herausforderungen dar.

[Show BibTeX]

@article{gg12,
  author = {Silke Geisen AND Baris G{\"u}ldali},
  title = {Agiles Testen in Scrum -- Testtypen und Abl{\"a}ufe},
  journal = {OBJEKTspektrum (Online Themenspecials)},
  year = {2012},
  number = {Agility/2012},
  pages = {1-4},
  month = {Oktober},
  abstract = {Mittlerweile sind viele Unternehmen dazu {\"u}bergegangen, ihre Software \glqq{}agil\grqq{} zu entwickeln. Die damit verbundenen Erwartungen sind vor allem ein fr{\"u}hes Kundenfeedback sowie eine k{\"u}rzere \glqq{}Time-to-Market\grqq{} durch entsprechend schnelle Release-Zyklen. Hinter den Kulissen finden sich jedoch oftmals Probleme, sodass die erwarteten Vorteile agiler Softwareentwicklung nicht oder nur teilweise zum Tragen kommen. Gr{\"u}nde daf{\"u}r liegen selten an technischen H{\"u}rden, sondern oftmals in einer zu oberfl{\"a}chlichen Interpretation der Philosophie von agiler Softwareentwicklung und den damit zusammenh{\"a}ngenden Kernzielen: Planung und Analyse auf ein sinnvolles Ma{\ss} zu reduzieren und zugleich unn{\"o}tige Arbeiten zu vermeiden. Was sinnvoll und was unn{\"o}tig ist, stellt dabei eine der wesentlichen Herausforderungen dar.}
}

[DOI] [Link]

Michael Mlynarski, Melanie Späth: Agiles Testen in Großprojekten mit TDD und Testaspekten: Beobachtungen und erste Erfahrungen. In E.E. Doberkat, U. Kelter (eds.): Softwaretechnik-Trends, vol. 30, no. 3, pp. 1-5. (2010)

[Show BibTeX]

@article{Späth2010,
  author = {Michael Mlynarski AND Melanie Sp{\"a}th},
  title = {Agiles Testen in Gro{\ss}projekten mit TDD und Testaspekten: Beobachtungen und erste Erfahrungen},
  journal = {Softwaretechnik-Trends},
  year = {2010},
  volume = {30},
  number = {3},
  pages = {1--5}
}

[Link]

Frank Brüseke, Yavuz Sancar, Enes Yigitbas: Erfolgsfaktoren von Testprozessbewertungsmodellen. In M. Sihling, A. Rausch, J. Friedrich, M. Kuhrmann (eds.): Proceedings of the Conference on Software & Systems Engineering Essentials 2010 (SEE 2010), Köln (Germany). Technische Universität München, pp. 277-298 (2010)

[Show BibTeX]

@inproceedings{SEE10Erf,
  author = {Frank Br{\"u}seke AND Yavuz Sancar AND Enes Yigitbas},
  title = {Erfolgsfaktoren von Testprozessbewertungsmodellen},
  booktitle = {Proceedings of the Conference on Software \& Systems Engineering Essentials 2010 (SEE 2010), K{\"o}ln (Germany)},
  year = {2010},
  editor = {M. Sihling, A. Rausch, J. Friedrich, M. Kuhrmann},
  pages = {277-298},
  publisher = {Technische Universit{\"a}t M{\"u}nchen}
}

[Link]

Yavuz Sancar, Claudia Schumacher: Erweiterung des TPI-Modells zur Reifegradbewertung unter Berücksichtigung von projekteigenen Anforderungen. In M. Sihling, A. Rausch, J. Friedrich, M. Kuhrmann (eds.): Proceedings of the Conference on Software & Systems Engineering Essentials 2010 (SEE 2010), Köln (Germany). Technische Universität München, pp. 299-314 (2010)

[Show BibTeX]

@inproceedings{SEE10ERW,
  author = {Yavuz Sancar AND Claudia Schumacher},
  title = {Erweiterung des TPI-Modells zur Reifegradbewertung unter Ber{\"u}cksichtigung von projekteigenen Anforderungen},
  booktitle = {Proceedings of the Conference on Software \& Systems Engineering Essentials 2010 (SEE 2010), K{\"o}ln (Germany)},
  year = {2010},
  editor = {M. Sihling, A. Rausch, J. Friedrich, M. Kuhrmann},
  pages = {299-314},
  publisher = {Technische Universit{\"a}t M{\"u}nchen}
}

[Link]

Yavuz Sancar, Frank Brüseke, Gregor Engels: Teststufenspezifische Qualitätsattribute für die Qualitätsbewertung von nichtfunktionalen Anforderungen. In Wagner, S.; Broy, M.; Deissenboeck, F. ; Münch, J.; Liggesmeyer, P. (eds.): Proceedings of Software-Qualitätsmodellierung und -bewertung (SQMB '10), Paderborn, Germany. Technische Universität München (München, Germany), pp. 50-57 (2010)

[Show BibTeX]

@inproceedings{SQMB10TQ,
  author = {Yavuz Sancar AND Frank Br{\"u}seke AND Gregor Engels},
  title = {Teststufenspezifische Qualit{\"a}tsattribute f{\"u}r die Qualit{\"a}tsbewertung von nichtfunktionalen Anforderungen},
  booktitle = {Proceedings of Software-Qualit{\"a}tsmodellierung und -bewertung (SQMB '10), Paderborn, Germany},
  year = {2010},
  editor = {Wagner, S.; Broy, M.; Deissenboeck, F. ; M{\"u}nch, J.; Liggesmeyer, P.},
  pages = {50-57},
  publisher = {Technische Universit{\"a}t M{\"u}nchen},
  address = {M{\"u}nchen, Germany}
}

[Link]

Yavuz Sancar, Frank Brüseke, Hendrik Voigt, Stefan Sauer, Gregor Engels: Towards Economical Software Release Recommendations. In ECOOP 2010 - Workshop on Testing Object-Oriented Software Systems (ETOOS). , pp. 59-67 (2010)

[Show BibTeX]

@inproceedings{Etoos2010,
  author = {Yavuz Sancar AND Frank Br{\"u}seke AND Hendrik Voigt AND Stefan Sauer AND Gregor Engels},
  title = {Towards Economical Software Release Recommendations},
  booktitle = {ECOOP 2010 - Workshop on Testing Object-Oriented Software Systems (ETOOS)},
  year = {2010},
  pages = {59-67},
  month = {June}
}

Baris Güldali, Stefan Sauer: Transfer of Testing Research from University to Industry: An Experience Report. In online Proc. of International TestIstanbul Conference 2010 (URL: www.testistanbul.org/presentations.html). Turkish Testing Board (2010)

[Show Abstract]

Software Quality Lab (s-lab) is an open multi-private-public partnership institute for knowledge and technology transfer. In s-lab, partners from industrial software development closely cooperate with research groups of the University of Paderborn. Together with partners from industry, s-lab develops and evaluates constructive and analytical methods and tools of software engineering for obtaining high-quality software. Testing plays an important role in analytical quality assurance within s-lab’s activities. Thereby our main focus lies on the development of testing methods, test automation tools and test management concepts for the individual needs of the industrial partners. Because of the different requirements of the university and the industry; the cooperation involves some challenges, e.g. defining projects aiming at the commercial interests of the industry and addressing interesting research questions.
In this paper, we give an overview of testing activities in s-lab and address targets and challenges of the cooperative work between industry and university. We also summarize the lessons learned during the numerous testing projects especially in the domain of business information systems.

[Show BibTeX]

@inproceedings{gs10,
  author = {Baris G{\"u}ldali AND Stefan Sauer},
  title = {Transfer of Testing Research from University to Industry: An Experience Report},
  booktitle = {online Proc. of International TestIstanbul Conference 2010 (URL: www.testistanbul.org/presentations.html)},
  year = {2010},
  publisher = {Turkish Testing Board},
  month = {May},
  abstract = {Software Quality Lab (s-lab) is an open multi-private-public partnership institute for knowledge and technology transfer. In s-lab, partners from industrial software development closely cooperate with research groups of the University of Paderborn. Together with partners from industry, s-lab develops and evaluates constructive and analytical methods and tools of software engineering for obtaining high-quality software. Testing plays an important role in analytical quality assurance within s-lab's activities. Thereby our main focus lies on the development of testing methods, test automation tools and test management concepts for the individual needs of the industrial partners. Because of the different requirements of the university and the industry; the cooperation involves some challenges, e.g. defining projects aiming at the commercial interests of the industry and addressing interesting research questions.In this paper, we give an overview of testing activities in s-lab and address targets and challenges of the cooperative work between industry and university. We also summarize the lessons learned during the numerous testing projects especially in the domain of business information systems.}
}

[Link]

Baris Güldali, Holger Funke, Michael Jahnich, Stefan Sauer, Gregor Engels: Semi-automated Test Planning for e-ID Systems by Using Requirements Clustering. In 24th IEEE/ACM International Conference on Automated Software Engineering (ASE 2009), 16-20 November 2009, Auckland, New Zeland. , pp. 29-39 (2009)

[Show Abstract]

In acceptance testing, customer requirements as specified in system specifications have to be tested for their successful implementation. This is a time-consuming task due to inherent system complexity and thus a large number of requirements. In order to reduce efforts in acceptance testing, we introduce a novel approach that exploits redundancies and implicit relations in requirements specifications, which are based on multi-viewpoint techniques, in our case the reference model for open distributed processing (RM-ODP). It deploys requirements clustering and linguistic analysis techniques for reducing the total number of test cases. We report on concrete experiences with this approach within joint R&D work of the Software Quality Lab (s-lab) of the University of Paderborn and HJP Consulting, an international consulting company, specialized in planning, procurement and acceptance testing of national electronic identification (e-ID) systems. The paper is concluded with an overview on the current tool support especially for automated detection of the redundancies and implicit relations in requirements. Also the future work on the tool support for the overall test specification process is discussed.

[Show BibTeX]

@inproceedings{gse+09,
  author = {Baris G{\"u}ldali AND Holger Funke AND Michael Jahnich AND Stefan Sauer AND Gregor Engels},
  title = {Semi-automated Test Planning for e-ID Systems by Using Requirements Clustering},
  booktitle = {24th IEEE/ACM International Conference on Automated SoftwareEngineering (ASE 2009), 16-20 November 2009, Auckland, New Zeland},
  year = {2009},
  pages = {29-39},
  abstract = {In acceptance testing, customer requirements as specified in system specifications have to be tested for their successful implementation. This is a time-consuming task due to inherent system complexity and thus a large number of requirements. In order to reduce efforts in acceptance testing, we introduce a novel approach that exploits redundancies and implicit relations in requirements specifications, which are based on multi-viewpoint techniques, in our case the reference model for open distributed processing (RM-ODP). It deploys requirements clustering and linguistic analysis techniques for reducing the total number of test cases. We report on concrete experiences with this approach within joint R\&D work of the Software Quality Lab (s-lab) of the University of Paderborn and HJP Consulting, an international consulting company, specialized in planning, procurement and acceptance testing of national electronic identification (e-ID) systems. The paper is concluded with an overview on the current tool support especially for automated detection of the redundancies and implicit relations in requirements. Also the future work on the tool support for the overall test specification process is discussed. }
}

[DOI] [Link]

Matthias Gehrke, Baris Güldali, Jan Meyer, Yavuz Sancar, Michael Spijkerman: “Metriken” – Kennzahlen zur Verbesserung der Softwarequalität, Teile 1 und 2. s-lab report, no. 3. University of Paderborn, s-lab (to be published) (2009)

[Show BibTeX]

@techreport{GGMSS09,
  author = {Matthias Gehrke AND Baris G{\"u}ldali AND Jan Meyer AND Yavuz Sancar AND Michael Spijkerman},
  title = {``Metriken'' -- Kennzahlen zurVerbesserung der Softwarequalit{\"a}t, Teile 1 und 2},
  institution = {University of Paderborn, s-lab (to be published)},
  year = {2009},
  type = {s-lab report},
  number = {3},
  month = {Dezember}
}