Crowdbasiertes Mobile App Testing

Artikel von Philipp Benkler und Anna-Lena Müller

Der Markt für mobile Anwendungen wächst und wächst. Smartphones und Tablets sind allgegenwärtige Begleiter. Die Herausforderung für Entwickler und Anbieter liegt unter anderem darin, dass mobile Apps sowie Webseiten auf allen auf dem Markt befindlichen Endgeräten, Betriebssystemen und Softwareversionen einwandfrei laufen und den Nutzern gefallen. Welches Unternehmen aber verfügt über die komplette Bandbreite an Smartphones und Tablets? Wie kommen Firmen an Nutzerfeedback vor dem Release? Philipp Benkler und Anna-Lena Müller (beide Testbirds GmbH) erklären anhand von zwei ausgewählten Beispielen wie mobile Apps mithilfe von Crowdtesting optimiert werden können.

Der Markt für smarte und mobile Geräte boomt. Die Liste an verschiedenen Herstellern gleichwie Software-Versionen für Smartphones und Tablets nimmt stetig zu. Das belegen auch die jüngsten Zahlen des Worldwide Quarterly Mobile Phone Tracker, der von der International Data Corporation (IDC) herausgegeben wird [IDC 2013]. Nach Angaben des IDC hat der Handymarkt weltweit im zweiten Quartal 2013 gegenüber dem Vorjahr um 6 Prozent zugelegt. Während in Q2 2012 insgesamt 407,7 Millionen Mobiltelefone verkauft wurden, waren es im vergleichbaren Zeitraum 2013 insgesamt 432,1 Millionen Smartphones. Auch was die Zahl der verfügbaren Apps in den größten App Stores anbelangt, liefern sich Apple und Google ein Kopf-an-Kopf-Rennen [Statista Juni 2013]. Mit alledem steigen sowohl die Auswahl für den Verbraucher als auch die Anforderung an die Entwickler und Hersteller – schließlich soll deren Software auf allen gängigen Endgeräten funktionieren.

Wie können Unternehmen aber bei der vorhandenen Geräte- und Systemvielfalt sicherstellen, dass ihre mobilen Anwendungen auf allen gängigen Android-, Apple-, BlackBerry- und Windows-Phone-Versionen funktionieren? Wie kann gewährleistet werden, dass Apps alle gängigen Betriebssystemversionen unterstützen? Und wie finden Unternehmen heraus, ob die Nutzer die App einwandfrei bedienen können und sie ihnen gefällt? Crowdtesting beantwortet ressourcenschonend und ergänzend zu internen Tests all diese Fragen.

Gerätevielfalt und Nutzerfeedback mittels Crowdtesting

Worte mit „Crowd“ sind gerade in Mode und scheinen nahezu beliebig anwendbar. Der Neologismus Crowdtesting setzt sich aus den Begriffen Crowdsourcing und Softwaretesting zusammen. Crowdtesting bedeutet also, mobile Apps und Webseiten auf Funktionalität und Usability mit Hilfe der Schwarmintelligenz des weltweiten Internets zu prüfen. Registrierte Tester prüfen hierbei auf ihren eigenen Geräten Software und geben Feedback zur Anwendung. Durch die Crowd, die sich aus einem heterogenen Pool von mehreren tausend Testern zusammensetzt, kann jede Software kundenspezifisch auf Herz und Nieren getestet werden – auch vor dem Release. Zugang zu unterschiedlichem Nutzungsverhalten, verschiedenen Vorgehensweisen und die Vielfalt an Endgeräten sind ausgewählte Aspekte und Vorteile dieser recht jungen Testingmethode. Der Ansatz ergänzt herkömmliche Testabläufe effektiv und effizient, indem dank optimaler RessourcenAllokation Kundenfeedback eingeholt und eine große Gerätevielfalt abgedeckt wird. Das kann vor allem für mobile Geräte wettbewerbsentscheidend sein, denn im Gegensatz zu Desktop-Computern gelten bei deren Nutzung andere, besondere Rahmenbedingungen. Während Desktop-Rechner meist stationär zuhause oder im Büro genutzt werden, kommen mobile Geräte nahezu überall zum Einsatz. Dabei sind jedoch nicht nur Ort und Art, das Endgerät zu bedienen, unterschiedlich, sondern auch Lichtverhältnisse oder der Empfang: ausgewählte Aspekte, die sich auf die Performance der Software auswirken und Störfaktoren für Apps und mobile Webseiten darstellen können. Daraus wiederum leiten sich unter anderem spezielle Anforderungen an die Usability von mobilen Apps und Webseiten ab.

Hinzu kommt, dass die Stores prall gefüllt sind mit den unterschiedlichsten Apps. Überzeugt den Nutzer eine Anwendung nicht oder nicht auf Anhieb, wird sie mit hoher Wahrscheinlichkeit deinstalliert, durch das Angebot der Konkurrenz ersetzt, bleibt ungenutzt oder wird im jeweiligen Store schlecht bewertet. Um diese Szenarien zu vermeiden, müssen spezielle Anforderungen an mobile Apps und Webseiten bei der Entwicklung berücksichtigt sowie im Anschluss ausreichend geprüft werden. Crowdtesting bietet neben automatisiertem und Inhouse-Softwaretesting eine Ergänzung mobilen Softwaretestings. Das Testsetup wird stets individuell angepasst. Welche Erkenntnisse dabei zu Tage kommen können, zeigen nachfolgend zwei Beispiele von Schnelltests.

Case 1: Schnelltest der mobilen Webseite von IKEA

Die mobile Webseite von IKEA wurde in einem Test ohne Kundenauftrag im April 2013 crowdbasiert unter die Lupe genommen. In dieser Evaluation wurde m.ikea.com/de von 40 Personen überprüft. Die Zielgruppe besaß unterschiedliches Internetnutzungsverhalten und spiegelt in Summe die Nutzergruppe der deutschsprachigen mobilen Seite von IKEA wider. Da Probleme häufig gerätespezifisch auftauchen, wurde die mobile Einrichtungsseite auf verschiedenen Geräte- und Betriebssystemkombinationen getestet. So wurde der Test mit den aktuell verwendeten iOS-Versionen, Android sowie auf Windows Phone 7 und 8 durchgeführt (s. Abbildung 1).

Die Tester entdeckten bei dem Test der mobilen Webseite mithilfe von definierten Use Cases zahlreiche Stärken, aber auch Schwächen. Es folgen Auszüge daraus:

Positives Feedback zur mobilen Webseite von IKEA

Beim Test wurden etwa der übersichtliche Aufbau und das minimalistische Design gelobt. Beide Aspekte tragen dem mobilen Nutzungsverhalten Rechnung und zeugen außerdem davon, dass die relativ kleine Bildschirmgröße von Mobiltelefonen bestmöglich genutzt wird. Ebenso positiv hervorgehoben wurde die Navigationsfunktion, die Filterfunktion sowie viele Detailangebote, die allesamt auf mobile Nutzung angepasst sind. Neben wohlwollendem Feedback wurden beim Schnelltest auch Schwachstellen entdeckt, aus denen sich Handlungsempfehlungen ableiten lassen.

Handlungsempfehlungen für die mobile Webseite von IKEA

Weniger gut hat den Testpersonen beispielsweise gefallen, dass das Entfernen der Produkte vom Merkzettel nicht intuitiv genug sei. Damit sich Nutzer schnell zurechtfinden, sollten Bedienelemente auf Bekanntes zurückgreifen. In diesem konkreten Fall empfiehlt sich zum Beispiel ein x oder ein Mülleimersymbol. Diese beiden Icons sind geläufige Zeichen für das Entfernen von Waren im E-Commerce und schnell verständlich. Außerdem kritisierten die Tester unglückliche Benennungen in der Navigation. So heißt es anstelle von Desktop-Ansicht zum Testzeitpunkt Gesamtseite. Diese Formulierung ist irreführend und beeinträchtigt den Bedienkomfort. Darüber hinaus sollte die Reihenfolge der Produktkategorien überdacht werden: Im April (und auch im Sommermonat August) wird eher unpassend als eine der ersten Produktkategorien die Rubrik Weihnachten angezeigt. Geeigneter und nachvollziehbarer wäre eine alphabetische Sortierung der Produktgruppen. Ferner wäre, insbesondere da die App von unterwegs aus genutzt wird, die Implementierung einer Standortfunktion sehr sinnvoll. Die Integration von GPS wäre eine hilfreiche Erweiterung der vorhandenen Einrichtungshäuser-Suche, damit es angelehnt an den bekannten Werbeslogan heißen kann: „Suchst du noch oder bist du schon da?“

Beim Testdurchlauf wurden die Tester befragt, welche drei Punkte sie an der mobilen Webseite konkret verbessern würden. Viele nannten hier eine Anpassung der Text- bzw. Feldgröße. Das ist ein für die mobile App Nutzung sehr wichtiger Punkt, da diverse Geräte verschiedene Bildschirmgrößen und -auflösungen haben. Darüber hinaus wünschten sich die Testpersonen einen Button zum Löschen der Produkte vom Merkzettel sowie eine Detailansicht der Produkte. Bei Letzterem eignet sich als Icon beispielsweise eine Lupe oder die Benennung 360°-Ansicht.

Fragen zur mobilen IKEA­Webseite

Auf die Frage, welche Funktion oder Information die Nutzer vermissten, wurden folgende Punkte häufig genannt:

  • die Möglichkeit, die Standortfunktion mittels GPS zu ermitteln,
  • ein Impressum,
  • das Hinzufügen einer Kauffunktion oder eines Onlineshops sowie
  • eine erweiterte Suchfunktion.

Bis auf die Standortfunktion sind das alles Aspekte, die Kunden von der Webseite gewohnt sind und auch in der mobilen Version erwarten. Eine Anpassung der App an den Standard der Webseite wäre empfehlenswert und würde dem Nutzer einen deutlichen Mehrwert bieten.

Technische Fehler beim Test der mobilen IKEA­Webseite Während des Tests wurden zudem insgesamt 30 Bugs mit unterschiedlichem Schweregrad ermittelt. Fehlerhafte Darstellungen, lange Ladezeiten und optisch defekte Bugs hinterlassen einen eher schlechten Eindruck und beeinträchtigen die Reputation einer App stark. Durch einen crowdbasierten Softwaretest können Unternehmen wie IKEA nicht nur solche Fehler vermeiden, sondern auch Feedback von ihrer Fokusgruppe erhalten und ihre App nachhaltig optimieren.

Case 2: Schnelltest der HSE24-­App

Ebenfalls ohne Kundenauftrag wurde im Juni 2013 bei einem Schnelltest die App von HSE24 durch 42 Personen mit unterschiedlichem digitalen Nutzungsverhalten getestet. Die Home Shopping Europe-App wurde mit 34 Smartphones und 8 Tablets auf Herz und Nieren geprüft. Insgesamt zeichneten sich ähnliche Ergebnisse ab wie bei dem Test der mobilen Seite von IKEA.

Positives Feedback zur HSE24­-App

Die Tester lobten unter anderem eine intuitive Navigation, klar strukturierte Produktbeschreibungen und die Tatsache, dass alle Informationen innerhalb der App ohne Browser-Verlinkungen angezeigt werden. Als sehr vertrauensstiftend erwähnten die Tester ferner das TÜV-Zertifikat, das die App erhalten hat. Im App-Bereich haben sich zwar noch keine Gütesiegel etabliert, eine positive Bewertung durch eine unabhängige Stelle wie den TÜV wirkt sich jedoch positiv aus.

Handlungsempfehlungen für die HSE24­-App

Bei der HSE24-App wurde angemerkt, dass sich diese nur im Hochformat nutzen lässt. Das beeinträchtigt insbesondere den Bedienkomfort für Besitzer von Smartphones mit kleineren Bildschirmen. Die Tester berichteten außerdem über teilweise unscharfe Bilder und Buttons. Zudem wurden lange Ladezeiten für Bilder und TV-Inhalte beklagt. All diesen Kritikpunkten sollte man entgegenwirken und beispielsweise Bilder für jede Screenauflösung zur Verfügung stellen – für Geräte mit geringer Auflösung bis hin zu hochauflösenden Retina-Displays.

Fragen zur HSE24­App Bei der Frage nach drei Punkten, die aus Sicht der Testpersonen in der App verbessert werden könnten, nannte die Zielgruppe sehr häufig die Integration von mehreren Produktbildern sowie die Suchfunktion anhand bestimmter Kategorien. Häufig wünschten die Tester explizit die angesprochene Ladezeit zu optimieren sowie per se eine größere Standardschrift zu verwenden. Empfehlenswert wäre zudem, diese individuell anpassen zu können. Gänzlich in der HSE24-App vermisst haben die Personen etwa:

  • eine Kategorisierung der Artikelgruppen,
  • eine Filterfunktion bei der Suche,
  • eine Merkliste für Produkte,
  • Kundenrezensionen oder aber ein Kontaktformular.

Technische Fehler beim Test der HSE24­-App

Die unterschiedlichen Bugs, die während des Tests auftraten, trüben die Performance der App. Darstellungsfehler in Verbindung mit dem Live-TV traten ebenso auf wie verschobene Texte oder aber Rechtschreibfehler. Obwohl die Tester die Menüführung der HSE24-App ansprach, wurde das Design weniger gut bewertet. Auch hier zeigt bereits der Schnelltest ohne Kundenauftrag, welch nützliche Informationen das Feedback der Crowd beisteuern kann. Chancen und Möglichkeiten von crowdbasiertem Softwaretesting für mobile Apps und Webseiten Die beiden skizzierten Testbeispiele der mobilen Webseite von IKEA und der App von HSE24 zeigen

Chancen und Möglichkeiten von crowdbasierten Softwaretestings für mobile Apps und Webseiten

Für unvoreingenommene Testpersonen erschließt sich die Logik einer Anwendung nicht so schnell wie für Entwickler derselbigen. Außerdem kann kaum ein Unternehmen die Vielzahl an verschiedenen Testgeräten und Betriebssystemen abdecken. Qualitativ hochwertiges Crowdtesting bietet deshalb für Verantwortliche von mobilen Apps und Webseiten die optimale Ergänzung zum traditionellen Testing, um auch vor dem Release Nutzerfeedback zu erhalten und zu überprüfen, ob die Anwendung auf allen Devices in möglichst vielen Umgebungen funktioniert und dem Kunden gefällt. Auf dem umkämpften App-Markt können genau diese Aspekte wettbewerbsentscheiden sein.

Quellennachweise

[ICD 2013]

Press Release: Growth Accelerates in Worldwide Mobile Phone and Smartphone Markets in the Second Quarter, According to IDC,

http://www.idc.com/getdoc.jsp?containerId=prUS24239313

(letzter Aufruf am 30.07.2013)

[Statista Juni 2013]

Anzahl der angebotenen Apps in den Top App-Stores im Juni 2013,

http://de.statista.com/statistik/daten/studie/208599/umfrage/anzahl-derapps-in-den-top-app-stores/

(letzter Aufruf am 30.07.2013)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Kategorien

Recent Posts