Skor Sempurna: Cara Menghitung Kelakuan Pengguna dan Membina Persembahan UX yang Lebih Tepat

Terdapat begitu banyak nilai dalam data kualitatif, tetapi ia dapat dengan mudah disalahtafsirkan apabila dianalisis oleh orang yang berlainan. Kita masing-masing mempunyai perspektif dan kecenderungan kita sendiri apabila kita cuba membongkar data dari temuduga, ujian kebolehgunaan, dan tinjauan. Ini adalah benar apabila kita menganalisis data temuduga pengguna untuk tujuan membina persona UX. Dalam catatan blog ini, saya akan membincangkan proses dalam melaksanakan panduan pemarkahan dan menangani beberapa isu yang kami hadapi apabila mengira data pengguna kualitatif.

Saya ingin menjelaskan bahawa siaran ini akan memberi tumpuan kepada menggunakan kaedah pemarkahan untuk membantu mentafsirkan data pengguna kualitatif untuk tujuan pembangunan persona.

Pengalaman pertama saya dalam pasukan penyelidikan adalah di IDC Herzliya dan Weizmann Institute, yang menjalankan penyelidikan tingkah laku bagi peserta dengan Autisme. Saya bertanggungjawab mengumpul dan mencetak tugas motor dan tingkah laku bagi setiap peserta. Kami mencatatkan pengukuran seperti panjang hubungan mata dan bilangan senyuman dalam perbualan. Tetapi ada juga data subjektif berharga yang harus diukur: apakah kualiti aliran perbualan mereka atau penglibatan afektif semasa perbualan? Salah satu perkara yang lebih menarik yang kami lakukan dalam penyelidikan kami adalah bagaimana kami bekerja untuk mengukur data kualitatif dan memastikan semua data subjektif kami diukur secara konsisten. Untuk melakukan ini, kami mencipta panduan pemarkahan piawai yang menggariskan takrif setiap ukuran tingkah laku dan menyeragamkan cara untuk menganalisis data dari perbualan ringkas untuk memberi pengguna skor tingkah laku.

Semasa saya berada di sebuah syarikat baru dan dalam industri baru, saya mendapati diri saya mempunyai masalah yang sama. Apabila Sam, Penyelidik UX Kanan kami, mula menyelam ke dalam data temuduga untuk pembangunan persona, dia mencipta dimensi untuk tingkah laku perjalanan yang berbeza, yang kami periksa untuk setiap pengguna. Dimensi-dimensi ini adalah dari kekerapan perjalanan untuk melancarkan kemalangan (lihat postingan blognya "Bagaimana untuk melakukan pemetaan persona dengan 50+ pengguna" untuk mengetahui lebih lanjut). Setiap dimensi dijaringkan pada skala 1 hingga 5 berdasarkan data pengguna kualitatif kami. Mari ambil frekuensi perjalanan sebagai contoh. Skor 1 bermakna pengguna bergerak setiap bulan, sementara skor 5 bermakna mereka pergi sekali setahun. Dimensi jenis ini adalah kuantitatif kerana skor didasarkan pada bilangan tertentu kali pengguna mengembara.

Bagaimana pula dengan dimensi seperti kecemasan perjalanan? Di sinilah pemarkahan menjadi rumit. Apa yang dimaksudkan jika seorang pengguna cerdas perjalanan? Adakah mereka sering berkunjung atau mempunyai satu tan keanggotaan, atau kedua-duanya? Apabila ia hanya seorang Penyelidik UX mengenai pemarkahan pasukan, maklumat semacam ini hanya wujud di kepala mereka dan skor mereka ditentukan lebih oleh perasaan daripada definisi. Ini tidak bermakna bahawa skor berdasarkan perasaan semestinya buruk. Apabila saya menjaringkan penglibatan yang berkesan dalam perbualan, saya mendapati bahawa saya dapat merasakan apabila seorang pengguna akan menjaringkan 1 atau 5. Namun, ia tidak mencukupi untuk hanya 'mengetuk' kerana tidak ada cara untuk memastikan bahawa anda secara konsisten menjaringkan setiap pengguna dengan cara yang sama, terutamanya jika lebih banyak Penyelidik UX akan menyumbang kepada data pengguna. Tanpa konsistensi, skor 1-5 akan bermakna sesuatu yang berbeza untuk setiap pengguna. Untuk mencapai skor (dan oleh itu mengukur) dimensi dengan tepat, kami memerlukan satu cara untuk mengukur data kualitatif. Akibatnya, kami mencipta panduan penilaian standard - dokumen yang menentukan secara terperinci bagaimana untuk menterjemahkan data tingkah laku ke dalam data berangka, berangka.

Apakah Panduan Pemarkahan Standard?

Ringkasnya, panduan pemarkahan piawai adalah seperti kamus. Ia mendokumenkan bagaimana anda membuat keputusan untuk menentukan julat berangka dalam dimensi. Ia memberikan contoh dan petikan untuk memberikan konteks definisi juga.

Berikut adalah dimensi kuantitatif mudah yang menentukan kekerapan perjalanan pengguna berdasarkan kekerapan perjalanan mereka setiap tahun. Julat yang dibuat di sini adalah berdasarkan tanggapan kami semasa wawancara pengguna. Nilai sebenar panduan pemarkahan standard digunakan untuk dimensi yang lebih rumit seperti yang di bawah:

Dimensi seperti kecemasan perjalanan boleh samar-samar tanpa garis panduan tertentu yang menggariskan bagaimana faktor yang berbeza memainkan skor pengguna. Dalam kes ini, kami memutuskan bahawa terdapat 4 faktor yang berbeza untuk dipertimbangkan ketika mengira kesilapan perjalanan.

1. Adakah pengguna mengumpul dan menggunakan mata keahlian?
2. Adakah mereka pergi lebih dari 6 kali setahun?
3. Adakah mereka bergerak di peringkat antarabangsa dan di dalam negara?
4. Adakah mereka mengetahui jalan mereka di laman web perjalanan? Adakah mereka mempunyai sistem yang mantap?

Sekarang kita mempunyai beberapa faktor yang mempengaruhi perjalanan kefasihan, kita dapat menjaringkan pengguna berdasarkan berapa banyak kriteria yang mereka temui. Seorang pengguna yang tidak mempunyai atau menggunakan mata keanggotaan, tidak mengembara di luar Amerika Syarikat, tetapi perjalanan dan perjalanan tempahan yang selesa ke California kerap dianggap sebagai 3 untuk keahlian perjalanan dengan memenuhi 2 dari 4 kriteria. Walaupun dengan garis besar ini, masih ada ruang untuk kesilapan ketika menafsirkan faktor seperti "mempunyai sistem tempahan yang mantap." Untuk mengambil kira itu, kami menambah contoh peserta yang sesuai 'sempurna' dengan skor yang ditetapkan. Dengan cara ini, jika terdapat sebarang kekeliruan, kita boleh kembali dan melihat bagaimana pengguna membandingkan dengan contoh pengguna.

Satu lagi cara untuk menentukan akan mempertimbangkan skor dalam setiap dimensi sebagai "jika ... kemudian ..." kenyataan. Mari kita pertimbangkan tabiat ...

Jika, pengguna A suka berbelanja secara istimewa, lebih suka hotel bintang 4, dan terbang ekonomi premium, maka pengguna A akan mendapat skor 2 untuk kebiasaan berbelanja.

Jadi ...

Di sini, kita masih melihat beberapa faktor yang mempengaruhi tabiat perbelanjaan, tetapi sebaliknya mengatakan "pengguna ini perlu menyemak 2 dari 4 faktor" yang kita lihat di mana mereka berada dalam faktor (seperti rating bintang hotel dan kelas perjalanan) untuk membantu kami menentukan bagaimana untuk mencetak tabiat perbelanjaan.

Bagaimana untuk memulakan membina panduan pemarkahan piawai anda

1. Tentukan julat anda berdasarkan wawancara pengguna anda

Anda boleh membuat dimensi anda dan menentukan setiap skor dalam dimensi anda sebelum anda memulakan wawancara pengguna anda, tetapi itu tidak akan membuat anda lebih baik. Ia mungkin benar-benar mengawal julat dengan tidak mengetahui bagaimana pengguna anda cenderung berkelakuan. Katakan anda menetapkan julat anda terlebih dahulu dan kemudian wawancara pengguna anda. Anda mendapati bahawa kebanyakan pengguna menjaringkan 5, tetapi semua pengguna dalam skor 5 itu mungkin mempunyai tingkah laku yang agak berbeza. Julat yang digunakan bukanlah bahagian kelakuan yang berkesan. Agar panduan menjadi berkesan, setiap pengguna - tanpa mengira tingkah laku mereka - perlu dipadankan dengan skor, supaya anda tidak mencairkan data dengan perlawanan longgar. Oleh itu, lebih baik untuk menilai bagaimana tanggapan anda berbeza di kalangan pengguna dan membentuk definisi dari sana.

2. Tentukan kes-kes penggunaan yang berbeza dan gunakannya dalam definisi anda

Selepas anda menjalankan sebahagian daripada wawancara anda, anda akan mempunyai idea yang lebih baik tentang apa julat anda akan kelihatan untuk dimensi yang berbeza. Mulakan dengan rangka kerja yang anda fikir akan masuk akal berdasarkan tanggapan anda. Apabila menentukan dimensi "kepentingan ulasan" ia bermula dengan sangat mudah:

Semasa kami melalui semua respons pengguna kami, kami dapat lebih jelas menentukan setiap markah:

3. Cari contoh terbaik! Mereka adalah penanda aras anda!

Takrif bertulis tidak mencukupi untuk memastikan pemarkahan yang konsisten. Walaupun semasa membaca garis panduan tertentu, masih ada ruang untuk penafsiran. Perkara yang paling baik untuk dilakukan di sini adalah memilih peserta contoh (dan petikan atau klip) yang mewakili skor dengan sempurna, atau sangat rapat. Menambah sebut harga kontekstual akan membantu mengekalkan konsistensi ketika mencetak gol.

4. Ia akan berkembang!

Semasa anda menemu duga lebih banyak pengguna, anda akan menemui beberapa kes di mana pengguna tidak sesuai dengan sebarang skor. Penting untuk diingat bahawa panduan pemarkahan adalah dokumen hidup dan pernafasan yang akan berubah di sana sini dari masa ke masa. Ini tidak bermakna anda mengubah definisi sepenuhnya, tetapi anda boleh menambah nota yang akan menangani kes penggunaan yang lebih spesifik. Satu contoh yang baik ialah apabila Sam menemuramah pengguna di UK dan mendapati bahawa cara kami menentukan perjalanan antarabangsa vs domestik di Amerika Syarikat tidak akan menggunakan cara yang sama kepada pengguna UK. Sebaliknya, kami terpaksa menambah kes penggunaan untuk pengguna tersebut:

Adalah penting untuk diingati bahawa panduan pemarkahan piawai bukanlah sains yang sempurna, dan masih ada ruang untuk berat sebelah. Walau bagaimanapun, pasukan kami mempunyai lebih banyak kepercayaan terhadap kualiti dan konsistensi analisis data. Walaupun proses ini pada mulanya digunakan dalam penyelidikan tingkah laku, ia juga boleh digunakan untuk mana-mana set data kualitatif. Di UX, ramai daripada kita datang dari latar belakang akademik dan profesional yang berbeza, yang boleh kita gunakan untuk menggunakan perspektif dan kaedah yang berbeza untuk meningkatkan pendekatan kami ke proses UX. Dalam kes kami, ia telah membantu kami dengan lebih tepat mewakili spektrum tingkah laku yang konsisten dan sebenar dalam personal kami, yang kami gunakan untuk meningkatkan reka bentuk kami.