W listopadzie 2011 roku, K2 UX przeprowadziło dla Ministerstwa Rozwoju Regionalnego badania serwisu edukacyjnego o Funduszach Europejskich, skierowanego do dzieci i młodzieży. Euroman nie wygląda już tak, jak w czasie badania – obecna wersja jest wynikiem rozpoczęcia procesu wdrażania naszych rekomendacji.

Po wielu perypetiach i nieszczęsnych przestojach, udało nam się w końcu opublikować na stronie K2 krótkie case study z tego badania . Dostępny tam pdf, do zobaczenia również tu.

Poniżej trochę więcej informacji o badaniu oraz wiedza, o jaką wzbogaciliśmy się w tym projekcie.

Przebieg badania

Audyty eksperckie

Poza audytem w formie listy kontrolnej (ocena serwisu w oparciu o wcześniej zdefiniowaną listę kryteriów), zarekomendowaliśmy również wędrówkę poznawczą (cognitive waltkthrough), czyli przejście przez serwis „w skórze użytkownika” i zidentyfikowanie wszystkich miejsc potencjalnie problemowych. Obydwie metody zostały zastosowane niezależnie przez 3 ekspertów, a następnie połączone w jednym raporcie ze spójnymi rekomendacjami.

Audyty postanowiliśmy przeprowadzić w pierwszej kolejności, aby uniknąć wpływu obserwacji użytkowników na ocenę ekspercką. Przy okazji dobrze poznaliśmy serwis i byliśmy przygotowani do badania z dziećmi.

Badania z użytkownikami

Obserwacje użytkowników odbywały się w naszym laboratorium w Warszawie. Każdy respondent był badany indywidualnie. Rodzic mógł przebywać z dzieckiem w czasie badania bądź obserwować przez lustro weneckie -jednak w zdecydowanej większości nie czuli takiej potrzeby i zostawali w pokoju relaksacyjnym z kawą i gazetą w ręku.

Badanie w laboratorium składało się z następujących etapów:

Etapy badania z każdym dzieckiem

1. Kwestionariusz rodzica – przed rozpoczęciem badania, prosiliśmy rodziców o wypełnienie kwestionariusza. Chcieliśmy dowiedzieć się jak często dziecko korzysta z internetu, co zazwyczaj tam robi, jakie są preferowane formy nauki, poziom wiedzy o UE oraz prawdopodobieństwo zainteresowania tematem.
2. Rozmowa wprowadzająca – zaplanowaliśmy kilka wstępnych pytań skierowanych do dzieci, dotyczących m.in. formy spędzania wolnego czasu czy hobby. Celem wywiadu było rozluźnienie atmosfery oraz określenie roli moderatora.
3. Obserwacja użytkowników – głównie polegała na obserwacji swobodnej eksploracji serwisu przez dziecko. Zależało nam na zidentyfikowaniu najbardziej angażujących form przekazu i treści – które sekcje odwiedzają jako pierwsze, gdzie spędzają najwięcej czasu. I tak, przykładowo, 6 letni Olek obejrzał wszystkie opowiadania dostępne w serwisie (9 sztuk!).
   Mieliśmy również przygotowaną listę zadań, które chcieliśmy przetestować z każdym respondentem. Gdy badany przez przypadek zaczynał wykonywać zadanie z naszej listy, podążaliśmy za scenariuszem – prosiliśmy o wykonanie konkretnej czynności i zadawaliśmy zaplanowane pytania.
4. Karty reakcji – od razu po zakończeniu obserwacji, moderator rozkładał przed dzieckiem 22 karteczki z przymiotnikami, czytając na głos każdą z nich. Autorzy metody (product reaction cards) stworzyli pierwotnie 118 kart, jednak my ograniczyliśmy tą listę do prostych przymiotników, zrozumiałych dla dzieci i odpowiednich do oceny serwisu z grami. Dziecko wybierało 3 przymiotniki najlepiej określające serwis i uzasadniało swój wybór.
5. Wywiad końcowy – na zakończenie prosiliśmy o podsumowanie wrażeń oraz pytaliśmy o chęć korzystania z serwisu w domu czy polecania znajomym.

W podziękowaniu dzieci dostawały gadżety przygotowane przez Ministerstwo – np. klocki, książeczki czy kredki dla młodszych, pen drive’y dla starszych. Dodatkowo rodzicom wręczaliśmy wynagrodzenie finansowe (które i tak zazwyczaj przekazywali później dzieciom).

Analiza

O sposobie analizy danych z tego badania mogłabym napisać osobny elaborat, ale pozwólcie, że wspomnę tylko o najważniejszym – analizie obserwacji użytkowników.

W laboratorium zwracaliśmy bardzo dokładnie uwagę na wszelkie emocje, postawę ciała, spontaniczne pytania i komentarze, czas interakcji z różnymi treściami w serwisie, napotykane błędy czy utrudnienia. Zanim zaczęliśmy interpretować zebrane dane, zdefiniowaliśmy jakie cechy powinien posiadać skuteczny serwis edukacyjny dla dzieci:

• powinien zainteresować i wzbudzić chęć eksploracji
• być użyteczny
• przekazywać wiedzę w sposób zrozumiały i dostosowany do grupy odbiorców
• angażować na tyle, aby zdążyć wiedzę przekazać i utrwalić

W ten sposób powstała „piramida potrzeb”, na podstawie której oceniliśmy w jakm stopniu serwis Euroman realizuje się na każdym ze szczebli.

Piramida potrzeb w badaniu serwisu Euroman

Dokumentacja

To był jeden z najdokładniej udokumentowanych projektów badawczych jakie do tej pory zrobiłam. Opracowaliśmy następujące dokumenty:

Szczegółowy scenariusz badania zawierający nie tylko standardowy opis celów, przebiegu badania, zadań i pytań do wywiadu, ale również „strukturalizację problemu badawczego”, szczegółową listę pytań badawczych (którą zazwyczaj mam tylko w głowie) oraz „wstęp do badań dla użytkowników”, czyli to co mówię na początku badania (zazwyczaj z głowy).

Prezentacja warsztatowa zawierała najważniejsze obserwacje z badania oraz pierwsze rekomendacje i liczyła 55 slajdów. Warsztaty z przedstawicielami Ministerstwa zostały przeprowadzone kilka dni po badaniu z użytkownikami i służyły do wypracowania głównego kierunku zmian serwisu.

Analiza obserwacji, czyli nasz wewnętrzny dokument (tajny dla klienta), w którym spisałam szczegółowo wszystkie obserwacje i cytaty z wypowiedzi badanych. 51 stron w wordzie.

Raport liczący 253 strony. Składały się na niego:

• opis badania
• obserwacje i wnioski z badania z użytkownikami oraz wędrówki poznawczej ekspertów, poparte screenami i cytatami
• szczegółowe rekomendacje  zmian w liczbie 239
• analiza kart reakcji i wywiadu końcowego
• ocena projektu graficznego (dokonana przez jednego z art directorów K2)
• ocena serwisu na liście kontrolnej
• sylwetka każdego respondenta – zainteresowania, korzystanie z internetu, poziom wiedzy o UE

Tabela z rekomendacjami zebranymi w excelu, aby ułatwić klientowi ich przeglądanie i kontrolowanie na etapie wdrożenia.

Nagrania video – zarówno pełne nagrania badań, jak i wybrane najciekawsze fragmenty.

Prezentacja raportu, przygotowana na 194 slajdach ppt i wygłoszona przed klientem oraz firmą odpowiedzialną za wdrożenie zmian.

Lessons learned

Człowiek uczy się całe życie. Tak więc i z tego projektu badawczego wyciągnęliśmy kilka lekcji.

• Listy kontrolne to zło wcielone jako metoda audytu przeprowadzanego „dla klienta”. Never again. Moim zdaniem jedyne uzasadnienie ich istnienia, to wsparcie zespołów projektowych, w których nie ma konsultanta użyteczności.
• Przed rozpoczęciem pracy nad audytem, przygotuj formatkę do spisywania błędów i rekomendacji oraz dokładnie omów ją w zespole audytorów – w przeciwnym razie możesz potem spędzić wieki nad uspójnianiem dokumentu.
• Różnica w rozwoju dzieci w podobnym wieku może być ogromna. Mieliśmy na badaniu 17-latka, który był zachwycony grą przeznaczoną dla o wiele młodszych dzieci, jak i 12-latka, dla którego wszystko w serwisie było zbyt dziecinne.
• Pozwolenie dzieciom na swobodną eksplorację było bardzo dobrym podejściem w przypadku serwisu z grami, który ma jednocześnie edukować. Pozwala to dobrze ocenić potencjał edukacyjny i zaangażowanie użytkowników.
• Jednak utrudniało to czasem przejście przez wszystkie zadania w scenariuszu – gdy dziecko za bardzo wkręciło się w jakąś grę czy oglądanie opowiadań, skierowanie jego zainteresowania na inne treści bywało trudne. Moderator musiał wtedy być stanowczy, wytrwały i kilka razy powtarzać tą samą prośbę. Pomagało też podejście do dziecka i zachęcenie go do kliknięcia w konkretny link.
• Elastyczność moderatora, serdeczność i uśmiech są ważniejsze od scenariusza badania. Dzieci są energiczne i spontaniczne – trzeba być na to przygotowanym i uwzględnić odpowiedni zapas czasowy. Przykładowo 7-letni Karol musiał koniecznie pochwalić się nowo nabytą wiedzą „A ja umiem liczyć! Mogę teraz policzyć: raz… dwa… trzy… cztery… pięć… sześć… siedem… osiem… dziewięć… dziesięć.”
• Jeśli moderator zauważy negatywne emocje, nie powinien zbyt długo zwlekać z zakończeniem zadania. W przypadku dorosłych można pozwolić sobie na chwilę „pomęczenia respondenta”, aby zbyt szybko się nie poddał. Jednak w przypadku dzieci, lepiej w miarę szybko „odpuścić”, aby nie doprowadzić do spadku motywacji.
• Ciągłe dopytywanie i parafrazowanie są mega ważne – dzieci o wiele mniej precyzyjnie wyrażają swoje odczucia.
• Obecność dwóch badaczy przy badaniach z dziećmi ma swoje uzasadnienie – interpretacja zachowania dziecka jest trudniejsza od interpretacji dorosłego. Po każdej sesji podsumowywaliśmy z Tomkiem (drugim badaczem) obserwacje i nasze odczucia nie zawsze się pokrywały.
• Karty reakcji świetnie sprawdziły się jako metoda oceny satysfakcji wśród młodych respondentów. Należy tylko pamiętać o doborze odpowiednio prostych przymiotników.
• Uzasadnienie wybrania danego przymiotnika w kartach reakcji jest w przypadku dzieci niezwykle istotne. Ich definicja słowa może znacznie różnić się od interpretacji moderatora. Przykładowo „nowoczesny” oznaczało „takie jest to nowe wszystko”.

Planujesz sam przeprowadzić takie badania? Polecam dodatkowo zbiór artykułów Badania z dziećmi, a szczególnie mój artykuł Jak przeprowadzać badania użyteczności z dziećmi.