Erfahrungsbericht aus 2 Jahren Crowdtesting

von Jan Wolter

Vorteile, Herausforderungen und Fallstricke

Seit wenigen Jahren hat sich eine neue Art des Softwaretestings etabliert, welche die herkömmlichen Methoden grundlegend revolutioniert hat. Basierend auf dem Prinzip des Crowdsourcings, bei dem bestimmte Aufgaben auf große Menschengruppen umgelegt werden, nutzt Crowdtesting die Intelligenz der Masse, um effektiv und kostengünstig digitale Produkte auf ihre Benutzerfreundlichkeit und Funktionalität hin zu untersuchen.

Das innovative Konzept wird dabei ständig weiterentwickelt. Im Folgenden sollen die wichtigsten Einsatzmöglichkeiten dargelegt werden, die größten Vorteile erklärt, aber auch Herausforderungen aufgezeigt werden. Dieser Text ist das Resultat aus zwei Jahren intensivster Erfahrung mit Crowdtesting.

Erfahrungsbericht Crowdtesting

 

Grundlegende Aspekte des Ablaufs

Je eher zielgruppenorientiertes Feedback in den Entwicklungsprozess mit einfließt, umso besser kann man sicherstellen, dass am Ende ein erfolgreiches Produkt entsteht. Noch bevor die erste Zeile Code geschrieben wird, sollten also Designs und vorhandene Prototypen getestet werden. So lässt sich schnell UserFeedback generieren und daraus ableiten, wie man weiter vorgeht und worauf man achten sollte. Auf diese Weise kann man Feedback direkt einbinden und Probleme beheben, bevor sie teuer programmiert wurden. Die Durchführungen solcher Crowdtests bedürfen dabei keiner langwierigen Vorbereitung, sondern lediglich einer klaren Zielsetzung. Es muss also vorher überlegt werden, was überprüft werden soll, damit ein geeignetes Testkonzept erstellt werden kann. Diese können dann entweder mit der Hilfe von Test-Consultants oder selbstständig erstellt und auf geeigneten Plattformen eingestellt werden.

Bei Tests in der Entwicklungsphase lassen sich insbesondere zwei Methodiken abgrenzen. Einerseits der Usability-Test, um die Bedienfreundlichkeit eines Produktes zu überprüfen, und andererseits das Bug Testing, um Fehler zu identifizieren.

Bei Usability-Tests versucht man deshalb, Probanden die Nutzung möglichst realitätsnah simulieren zu lassen. Diese Benutzung wird per Video aufgezeichnet, die Kommentare der Probanden dienen als Audiospur. Für eine möglichst realitätsnahe Abbildung wählt man bei dieser Methodik die Teilnehmer nach der eigenen Zielgruppe aus. Die Ausführungszeit beträgt inklusive einer Analyse der Videos in der Regel 4–5 Tage.

Um bei der Qualitätssicherung ideale Resultate zu erhalten, sollten die technischen Anforderungen an das jeweilige Testobjekt eindeutig definiert sein. Die Testpersonen werden nach ihren verfügbaren Testsystemen ausgewählt. Nach erfolgtem Teststart melden die Tester innerhalb von 2–3 Tagen alle gefundenen Bugs, welche von einem Test Manager simultan verifiziert werden.

Vorteile und Mehrwerte der Methodik

Regelmäßiges Testing hilft dabei, Hürden oder Missverständnisse zu klären und Probleme frühzeitig zu identifizieren. Um ein solches Testing in die Prozesse einzubinden, ist der crowdbasierte Ansatz wegen seiner Flexibilität, Geschwindigkeit und Kostenvorteile eine optimale Ergänzung für die bestehenden Entwicklungsprozesse.

Um langfristig Kundenloyalität zu garantieren, müssen latente Kundenbedürfnisse so früh wie möglich erkannt und die Zufriedenheit des Kunden muss gesichert werden. Crowdtesting ermöglicht eine Erhöhung der Conversion-Rate bei gleichzeitiger Senkung der Bouncing-Rate. Ist für Kunden beispielsweise nicht direkt einsehbar, wie sie Informationen zu den Versandkosten finden, verlassen sie den Onlineshop noch vor Kaufabschluss.

Auch in der Qualitätssicherung kann Crowdtesting helfen, Kunden zufriedenzustellen. Ein konkretes Beispiel: Die offizielle McDonald’sApp für Android verspricht seinen Usern allerlei Features wie Gutscheine, Angebotsübersicht, Restaurantsuche und Nährwerttabellen mit Allergiefilter. Ein Blick auf die Bewertungen zeigt aber schnell, dass die Umsetzung nicht gut gelungen ist: Fast 50 % der abgegebenen Bewertungen sind 1-Stern-Bewertungen. Ein User schreibt: „Ungenügende Umsetzung. Lädt ewig. Reagiert oft nicht. Stürzt nach kurzer Zeit ab.“ Hier zeigt sich, dass die Vernachlässigung des Testings in der Entwicklungsphase zu Lasten der Benutzerfreundlichkeit geht, was sich u.a. in negativen Bewertungen widerspiegelt. Durch Betriebsblindheit werden solche Negativfaktoren meist gar nicht oder erst zu spät erkannt. Crowdtesting ist der effizienteste Weg, um genau dem entgegenzuwirken.

Ein weiteres Beispiel: Das Testing eines Online-Anbieters zur Verwaltung von Dokumenten ergab große Mängel sowohl in der Usability als auch in der funktionalen Qualität. Die Probanden fanden unter anderem eine fehlerhafte Suche und falsche Verlinkungen vor. Ferner gestaltete sich die Verwaltung der Dokumente sehr umständlich, und unpassende Fehlermeldungen traten auf. Der hohe Einsatz und die intensive Beschäftigung mit dem Projekt verursachte eine Betriebsblindheit bei dem Entwicklungsteam.

Usability Tests und frühzeitige Bug-Erkennung konnten bisher meist nur über teure Labortests durchgeführt werden. Aus Mangel an Geld und anderen Ressourcen wurden sie deshalb oft vernachlässigt. Zudem verhindert die Laborumgebung das natürliche Verhalten des Testers – und eben das ist wichtig, um die User Experience des Endkunden zu simulieren.

Crowdtesting revolutioniert dieses Feld vollkommen. Hier kann der Proband genau dort testen, wo er auch im echten Leben Reisen bucht oder Preise vergleicht: zu Hause und am eigenen Rechner. Crowdtesting vermeidet somit effektiv die Verfälschung der Ergebnisse unter Laborbedingungen. Ebenfalls nicht zu vernachlässigen: die erhebliche Kostenersparnis für den Kunden. Crowdtesting ist im Durchschnitt 80% günstiger als Labortests bei qualitativ hochwertigeren Testergebnissen.

Herausforderungen und Grenzen von Crowdtesting

Die große Anzahl an Vorteilen und die vielen flexiblen Einsatzmöglichkeiten des Crowdtestings ergeben sich vor allem durch den Einsatz einer großen Gruppe von Menschen, die mit ihren eigenen Geräten testen. Dieser Umstand birgt jedoch auch gewisse Grenzen, die jeder Crowdtesting-Anbieter kennen und akzeptieren muss. Sie sollten zudem von jedem Entwicklungsteam abgewogen werden, um den tatsächlichen Nutzen für sich zu evaluieren. So wie die Testpersonen einen frischen Blick auf eine Applikation oder Webseite werfen können, so fehlt ihnen gleichwohl die tiefere Vertrautheit mit dem Testobjekt. Bei der Mehrheit der Testobjekte – besonders in Bezug auf Frontend-Tests – führt diese Unvoreingenommenheit eher zu Vorteilen.

Bei komplexen Testobjekten, Backend-Tests oder komplexen Sachverhalten allerdings führt ein nur kurzweiliger Kontakt mitunter zu Missverständnissen, zu einer unzureichenden Tiefe des Testings oder einer unverhältnismäßigen Einarbeitungsphase, die die Motivation und Effizienz mindert. Solche Tests können deshalb momentan kaum befriedigend abgebildet werden. Ein Lösungsansatz besteht daher darin, Tester-Teams für solche Vorhaben zu bilden, denen eine Plattform zum spezifischen Austausch über das regelmäßige Testing des speziellen Produkts geboten wird. Weiterhin können in diesem Bereich zusätzliche Informationen und Schulungsunterlagen bereitgestellt werden. Ein verbessertes Briefing sowie eine größere Vertrautheit sind die Folge, die Tester werden praktisch Teil der eigenen Entwicklungsabteilung.

Je früher man die Tester nun in die Entwicklung miteinbezieht, desto wichtiger wird die Geheimhaltung des Projekts und der Details. Die Einbeziehung vieler Freelancer bringt gewisse Risiken mit sich, und die Gefahr, dass digitale Inhalte über das Internet weitergegeben werden, ist leider nicht auszuschließen. Dagegen steht zunächst einmal, dass jeder Tester mit seiner Anmeldung die AGB und damit die NDA von testhub akzeptiert. Jedwede Testinhalte sind also strikt geheim zu halten. Testet man nun in einer sehr frühen und heiklen Phase mit der Crowd, so bieten sich eben jene Test-Teams an, deren Mitglieder jeweils eine kundenspezifische NDA zu unterzeichnen haben. Der Kreis der eingeweihten Personen wird entsprechend begrenzt – die Absicherung verstärkt. Wie in allen Bereichen bleibt die absolute Sicherheit natürlich nicht erreichbar.

Damit die Produkte getestet werden können, müssen sie den Testern zur Verfügung gestellt werden. Sind die Webseiten oder Apps nicht öffentlich erreichbar, was in der Entwicklungsphase häufig der Fall ist, muss eine Alternative gefunden werden. Vieles ist glücklicherweise ohne große Umstände möglich, wie die Bereitstellung von AndroidApplikationen oder Staging-Webseiten über .htaccess oder eine VPN-Verbindung. Bei BetaApplikationen für iOS oder Windows Phones müssen beispielsweise weitere, aber machbare Vorkehrungen getroffen werden. Die Grenzen solcher Distributionen sind folglich von den Betriebssystemen abhängig. Sie bestehen aktuell bei der Einrichtung bzw. Simulation eines vollständig interagierenden Ecosystems in der Beta-Phase.

Begibt man sich in den Bereich der Usability Testings, so zeigen sich dort ebenfalls gewisse Einschränkungen. Bei guter Usability sollte kein Tester Probleme mit der Nutzung haben. Naturgemäß kann sich jedoch ein Proband der genauen Zielgruppe besser in die Situation einfinden und wertvolleres Feedback geben. Zudem mag bei speziellen Produkten ein gewisses Vorwissen der Probanden unerlässlich für die sinnvolle Nutzung sein. Dieses spezielle Wissen ist meist nicht im Profil hinterlegt, wo hauptsächlich soziodemografische Daten gespeichert sind. Durch Vorabfragen oder -informationen können jedoch die gewünschten Tester selektiert werden. Manche Zielgruppen bleiben naturgemäß dennoch schwerer abzubilden als andere.

Kriterien zur erfolgreichen Implementierung des Testverfahrens

Im ersten Schritt wird deshalb häufig kurz vor dem geplanten Release bzw. Deployment ein explorativer Test in den Entwicklungsprozess eingeplant, so dass die Gefahr von unerwarteten bzw. unerkannten Problemen deutlich reduziert wird. Im zweiten Schritt wird Crowdtesting tiefer und regelmäßig in den Entwicklungsprozess integriert. Dabei wird exploratives Testing und Testcase-Testing kombiniert, um die Entwicklungsgeschwindigkeit zu steigern.

Usability Testing sollte zusätzlich ab dem ersten Prototyp in regelmäßigen Abständen bis zum Launch in den Entwicklungsprozess integriert werden, um neben der technischen Sauberkeit auch die Verwendbarkeit zu überprüfen. Darüber hinaus empfiehlt es sich, bei größeren Veränderungen oder bei der Integration neuer Features regelmäßig Tests durchzuführen.

Die eigentliche Crowdtesting-Plattform agiert während den Tests als Bindeglied zwischen den verschiedenen Parteien zur Koordination und Steuerung der Tests. So lassen sich jederzeit Tests einstellen, überwachen und bearbeiten. Zudem kann auf der Plattform direkt mit den gelieferten Bug-Reports gearbeitet und bei Bedarf mit den Testern Rücksprache gehalten werden. Darüber hinaus lassen sich die Ergebnisse in eigene Systeme (z. B. JIRA oder Redmine) überführen, so dass dort in den bestehenden Prozessen weiter gearbeitet werden kann.

Return on Investment

Wie bereits aufgeführt, bringt Crowdtesting viele prozessuale Vorteile mit sich. Zusätzlich können durch den Einsatz auch finanzielle Effekte erwirkt werden.

Einerseits erlaubt der bedarfsgerechte und flexible Einsatz des Testings, dass beispielsweise die Kapitalbindung in gering ausgelastete Gerätepools verringert werden kann. Zusätzlich stellt sich der Einsatz des Crowdtestings als erheblich kostengünstiger gegenüber Inhouse-Testing heraus, für das ebenfalls Büroplätze etc. bereitgestellt werden müssen. Betrachtet man das Usability-Testing, so ergeben sich allein enorme Kostenvorteile gegenüber herkömmlichen Vorgehensweisen wie den Labortests.

Auf der anderen Seite bietet die Einbindung eine Verkürzung der Entwicklungsprozesse, da problematische Stellen früher entdeckt und behoben werden können. Eine solche verkürzte Entwicklungsphase wirkt sich neben einer Kosteneinsparung positiv auf den Umsatz aus, da das Produkt früher auf den Markt kann und sich Wettbewerbsvorteile ergeben. Umsatzerhöhungen erzielt man ebenso durch einen mitunter besseren Product/Market Fit und eine höhere Produktgüte.

Gesteigerte Nutzungszeiten, geringere Absprungraten und eine höhere Zufriedenheit resultieren daraus. Das kann beispielsweise im E-Commerce unmittelbar zu einer höheren Wiederkaufsquote und einem erhöhten Einkaufswert führen.

Die Summe aus Kosteneinsparung und Umsatzerhöhung übersteigt die Investition in ein solches Crowdtesting beträchtlich und führt somit zu einem sehr hohen Return on Investment.

Fazit

Crowdtesting ist herkömmlichen Methoden in vielerlei Hinsicht überlegen. Das Konzept der Nutzbarmachung der Masse flexibilisiert und verlagert den Arbeitsaufwand auf eine große Gruppe von Menschen und entlastet die eigenen Mitarbeiter und Ressourcen. Die Tests finden in natürlicher Umgebung statt und können die User Experience des Endkunden viel besser simulieren, als es in einer Laborumgebung jemals möglich wäre.

Die erhebliche Zeiteinsparung, die sich durch die inhärente Parallelität der Methode ergibt, lässt den Entwicklungsprozess eines Testsystems wesentlich effizienter gestalten. Wiederholte Tests während des gesamten Entwicklungsprozesses sind daher auch sehr zu empfehlen. Die Bereiche, die am meisten vom Crowdtesting profitieren, sind vor allem die App- und Softwareentwicklung, der E-Commerce-Sektor sowie Webseiten, die auf Kundenfreundlichkeit Wert legen. Generell kann Crowdtesting ein sehr weites Gebiet digitaler Produkte nachhaltig testen und zu einer deutlichen Steigerung der Qualität und Nutzerfreundlichkeit führen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Kategorien

Recent Posts