Die Zukunft des Testens – qualifizierte (Crowd-)Tester braucht das Land

von Veronika Wasza

Die Anforderungen an Softwaretester sind heute umfangreicher denn je: Die Systeme werden immer komplexer und die Entwicklungszyklen kürzer. Es muss schnell und effizient getestet werden, damit Unternehmen ihre Software zügig und fehlerfrei im Markt platzieren können. Gleichzeitig stellt die enorme Bandbreite an Geräten und Betriebssystemkombinationen eine große Herausforderung dar.

crowd-tester

Crowdtesting hat sich als Modell der ergänzenden Qualitätssicherung im Bereich des Softwaretestings mittlerweile etabliert. Mithilfe der weltweiten Internetgemeinde kann Software sowohl funktional als auch hinsichtlich Usability auf Herz und Nieren geprüft werden – und das auf einer großen Vielfalt an Endgeräten, wie sie für Unternehmen mit einem eigenen Pool so kaum abzubilden ist. Ein weiterer Vorteil von Crowdtesting besteht darin, dass neben zertifizierten Testern und IT-Experten auch Otto Normal- verbraucher testen. So kann das Feedback der Endverbraucher noch vor Release eingeholt werden. Gerade durch den Einsatz von nicht zertifizierten Testern stellt sich jedoch die Frage, wie die hohen Ansprüche hinsichtlich Qualität sichergestellt werden. Da alle Tester remote arbeiten, müssen die Ergebnisse des Testings zudem entsprechend genau und nachvollziehbar dokumentiert werden. Doch wie gestaltet sich dies in der Praxis des Crowdtestings? Wie lassen sich die Qualifikationen der Tester einschätzen? Und welche Skills müssen die Tester selbst in den Prozess einbringen?

Die Rahmenbedingungen müssen stimmen

Für den Erfolg und die Qualität von Crowdtesting ist ein reibungsloser Prozessablauf grundlegend. Bevor sich die Tester an die Arbeit machen, müssen durch den Crowdtesting-Anbieter die entsprechenden Rahmenbedingungen bzw. die Infrastruktur geschaffen werden. Hierzu zählen die Bereitstellung einer benutzerfreundlichen Plattform sowie ein festes Regelwerk für Testbedingungen und Ablauf. Bei Testbirds findet am Anfang jedes Projekts ein Briefing mit dem Kunden statt, bei dem die Testbedingungen spezifiziert und die Probanden ausgewählt werden. Im Anschluss wird ein spezifisches Setup mit einer detaillierten Beschreibung der zu vollziehenden Testschritte angelegt, das beispielsweise auch Details zur Installation der App enthält. Hierüber wird sichergestellt, dass die Tester genau wissen, welche Aufgaben sie zu erledigen haben. Da beim Crowdtesting alle Tester remote arbeiten, hat der Auftraggeber keine direkte Möglichkeit, ihnen über die Schulter zu schauen. Um den Prozess dennoch nachvollziehbar zu machen, ist eine genaue Dokumentation der einzelnen Schritte und Abläufe ausschlaggebend – unabhängig davon, ob nun professionelle zertifizierte Tester oder Otto Normalverbraucher eingebunden sind. Neben einer detaillierten Issue-Beschreibung sind die Tester auch aufgefordert, ihr Vorgehen mittels Screenshots oder Screencasts zu dokumentieren. Hierüber wird sichergestellt, dass alle Aufgaben erfüllt wurden und die volle Testabdeckung gewährleistet ist. Bevor die Ergebnisse für den Kunden einsehbar sind, werden sie nochmals von einem Projektmanager auf Vollständigkeit und Qualität überprüft.

Die Qualifikationen richtig einschätzen: Einstiegstest und Testerprofil

Auch wenn sich grundsätzlich jeder als Crowdtester anmelden kann: Die Einbindung normaler Endverbraucher bedeutet keinesfalls, dass nicht auch gewisse Fähigkeiten mitzubringen und Standards einzuhalten sind. Bei Testbirds müssen daher alle Tester nach der Registrierung einen Einstiegstest absolvieren, welcher die grundsätzliche Eignung überprüft. Tutorials und Videoanleitung, in denen die Funktionalitäten der Plattform erklärt werden – wie etwa das Anlegen von Bugs oder das Einreichen der Berichte –, leisten den Testern dabei Hilfestellung.

Der Einstiegstest ist vergleichbar mit echten Kundenprojekten. Die Tester müssen eine Website oder App hinsichtlich Benutzerfreundlichkeit oder Funktionalität analysieren und ihre Ergebnisse detailliert dokumentieren. Dabei zeigt sich, ob der Tester den Umgang mit seinem Gerät beherrscht, sich gut ausdrücken kann und gewissenhaft dokumentiert. Jeder Einstiegstest wird einzeln geprüft, und die Tester erhalten Feedback zu ihrem Vorgehen inklusive Verbesserungsvorschlägen. So wissen sie bei künftigen Projekten, welche Erwartungen sie zu erfüllen haben und welche Standards einzuhalten sind.

Jeder Tester verfügt darüber hinaus über ein persönliches Profil, das es regelmäßig zu aktualisieren gilt. Neben Daten zu den vorhandenen Endgeräten, auf denen getestet werden kann, enthält das Profil auch Informationen zu vorhandenen Zertifikaten und IT-Kenntnissen. Die eigenen Fähigkeiten dabei zu beschönigen, ist nicht zielführend. Denn je nach Test können entweder unvoreingenommene Endverbraucher gefragt sein oder IT-Profis bzw. zertifizierte Tester. Mithilfe der Profilinformationen können die Qualifikationen eingeschätzt und die jeweils passenden Tester ausgewählt werden.

Der Tester selbst ist in der Verantwortung

Der Crowdtesting-Anbieter muss optimale Rahmenbedingungen für professionelles Testing bieten. Der Schlüssel für qualitativ hochwertige Ergebnisse sind aber die Tester selbst. Wer als Crowdtester erfolgreich sein möchte, der muss hohe Anforderungen erfüllen: Präzision, Zuverlässigkeit und Flexibilität sind das A und O. Die Einladung zu einem Projekt kann oftmals spontan erfolgen und durchaus auch am Wochenende. Hier gilt es schnell zu reagieren. Bei der Dokumentation muss so ausführlich und präzise wie möglich vorgegangen werden. Jeder Testschritt muss genau beschrieben und mittels Screenshot belegt werden. Neugierde in Bezug auf neue Software und Technologien sind ebenso wichtige Eigenschaften von Testern wie Kreativität und Durchhaltevermögen bei der Bug-Suche. Gerade beim explorativen Testing ist der Einfallsreichtum der Tester gefordert, da sich funktionale Fehler natürlich nicht nur in den klassischen Anwendungsschritten finden.

Darüber hinaus ist es essenziell, dass die Crowdtester zuverlässig sind. Nur so können die Ergebnisse fristgerecht und schnell geliefert werden. Wer für einen Test zusagt und ohne sich zu melden keinen Bericht abgibt, der wird verwarnt. Bei mehrmaligem Vorkommen werden die Tester deaktiviert. So wird sichergestellt, dass nur interessierte und zuverlässige Tester an Kundenprojekten teilnehmen.

Qualitätssicherung durch qualifizierte Projektmanager

Eine wichtige Rolle bei der Qualitätssicherung übernehmen bei Testbirds die qualifizierten Projektmanager, die auf langjährige Erfahrung zurückblicken. Im Managed Service prüft das Projektmanagement sämtliche Berichte und Bugs auf Vollständigkeit, Nachvollziehbarkeit sowie Qualität. Doppelte Bugs und unzureichendes Feedback werden herausgefiltert. Haben die Tester wirklich auf den angegebenen Systemen getestet? Wurden alle Arbeitsschritte abgearbeitet? Welchen Schweregrad hat ein Bug? Für die Klärung von Fragen wie diesen sind die Projektmanager verantwortlich. Erfüllen die abgelieferten Dokumentationen nicht die qualitativen Standards, so werden die Tester aufgefordert, ihren Bericht nochmals zu überarbeiten. Erst wenn die Berichte vom Projektmanager geprüft und akzeptiert wurden, erfolgt die Auszahlung an den Tester. Sobald alle Berichte abgeliefert sind, werten die Projektmanager die Ergebnisse aus und formulieren konkrete Handlungsempfehlungen. Die einzelnen Tester-Feedbacks können vom Kunden jederzeit eingesehen werden – ein Garant für Transparenz und Nachvollziehbarkeit.

Tester-Motivation und Fortbildungen: Anreize für die Tester schaffen

Zufriedene Tester sind gute Tester. Damit qualitativ hochwertige Arbeit geleistet wird, sollten durch den Crowdtesting-Anbieter entsprechende Anreize geschaffen werden. Ein Aspekt ist hier sicherlich finanzieller Natur. So wird bei Testbirds beispielsweise pro Test für gewöhnlich ein Fixbetrag gezahlt. Um die Tester bei der Suche nach Bugs anzuspornen, werden zudem variable Prämien für jeden gefundenen Bug bezahlt, das sogenannte Pay-per-bug. Je mehr Bugs gefunden werden, desto höher der Pay-out und umso höher der Erkenntnisgewinn für den Kunden.

Ein weiterer Ansporn für die Tester ist der Gewinn von Erfahrungspunkten. Bei einigen Projekten sind Tester gefragt, die bereits über einen gewissen Erfahrungsschatz bei der Suche nach Bugs und Usability-Problemen verfügen. Mithilfe der Erfahrungspunkte können die passenden Kandidaten ausgesucht werden. Darüber hinaus wird bei Testbirds der sogenannte Bird of the Month Award verliehen. Jeden Monat werden damit in vier Kategorien die besten Tester ausgezeichnet: „Bester Bug-Finder“, „Besonders motiviert“, „Besondere Leistung“, „Bester Newcomer“. In der sogenannten Bird School können die Tester außerdem an Fortbildungen teilnehmen, um bei der Suche nach Bugs und dem Auffinden von Usability-Problemen künftig noch erfolgreicher zu sein.

Fazit

Crowdtesting leistet als ergänzende Methodik bei der Softwareentwicklung einen wertvollen Beitrag zur Qualitätssicherung. Gerade die Einbindung unvoreingenommener Endverbraucher ist entscheidender Vorteil dieses Ansatzes, da er Unternehmen einen neuen Blickwinkel eröffnet. Für den Erfolg und die Qualität der Ergebnisse sind Anbieter und Tester gleichermaßen in der Pflicht: Der Crowdtesting-Dienstleister muss einen optimalen Rahmen schaffen, den Testern genaue Anweisungen geben, was zu prüfen ist, und nicht zuletzt die Qualität der Ergebnisse überwachen. Die Tester wiederum müssen bei der Dokumentation ihrer Arbeit äußerst präzise vorgehen und neben Neugierde auch Eigenschaften wie Zuverlässigkeit, Flexibilität und Durchhaltevermögen mitbringen. Wer als Tester erfolgreich sein möchte, für den zählt nicht nur das Geld, sondern auch der Spaß daran, neue Technologien und Softwareprodukte zu entdecken.

Weitere Testing-Artikel im te Mag

Eine Frage der Haltung – Lösungsfokussierung im Testing

Das ultimative Werkzeug für alle zukünftigen Anforderungen

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Kategorien

Recent Posts