PLAYTESTING AT GAMEPRIME EVENT : DIRECT TESTING MATTERS

Tanggal 29 Juli 2017 kemarin, telah diadakan perhelatan akbar tahunan game developer terbesar se-Indonesia bertajuk BEKRAF: GAMEPRIME ASIA 2017 di Balai Kartini, Jakarta. Pada tahun ini studio Arsanesia mendapat kesempatan untuk buka booth disana. Kesempatan ini kami gunakan sebagai momen renyah untuk gathering feedback game terbaru kami yang sedang dalam tahap development berkode nama PTowngame simulasi perbinatangan lucu pet virtual gituh yang referensinya dari Pet Society (game simulasi virtual pet yang booming di platform Facebook sekitar tahun 2009-an sampai 2013)

 

GAMEPRIME PREP

logo-gameprime2017

Baru saja sebulan kurang dari proses gathering feedback alpha testing yang diadakan sebelumnya via online (kalangan tertutup), kami harus langsung gercep memasukkan persiapan perintilan GAMEPRIME ke dalam sprint schedule. Saya sebagai game designer dan juga yang kecipratan jadi PM project aga-aga resah menggelinjang gimana gitu gyla. Khawatir alokasi waktu untuk revisi dari feedback alpha testing kemarin tidak bisa dijadikan deliverable build untuk di-showcase saat GAMEPRIME nanti. Sangat disayangkan banget kalau showcasing build game yang kurang polished di event skala besar, karena ini menyangkut moral team & juga persepsi calon player ataupun dari segi bisnis.

Stress nya lumayan cekaleeeeeww hahaha, karena sprint card dibagi 2 antara yang build GAMEPRIME & persiapan dekorasi/logistik. Alhamdulilah-nya Pak Bosh yang bagian PM-in urusan logistik, jadi saya bisa fokus PM-in project PTown-nya (bagi-bagi tugas lah). Seiring berjalannya hari, banyak banget fitur atau detail game yang tadinya dikira bisa kekejar, terpaksa harus di-cut atau di minimalisir biar build untuk showcase ga chaos. Ngeri-ngeri sedap karena disini sebagai PM dituntut untuk fast decision making, memikirkan beban kerja masing-masing personil sambil mempertimbangkan kerelevansian elemen-elemen game yang udah banyak diseleksi tadi untuk jadi suatu build yang layak. OH MEN, intinya emang jadi GD itu harus banyak mikirin dari berbagai macam sudut pandang dan hasil intergrasinya. >_< ~~

 

MAIN MISSION: TESTING

Misi utama partisipasi Arsanesia di GAMEPRIME adalah playtesting. Kami merencanakan persiapan yang agak spesifik untuk sesi testing ini. Pak Bosh Adam memberi saya link GDCTalk tentang Playtesting: Avoiding Evil Data oleh indie developer Adriaan de Jongh. Pembahasannya menurut saya sangat slap-moment sekali sih, bisa disimak di tautan ini lho:

Inti dari video tersebut adalah bagaimana kita sebagai developer harus mem-filter data feedback yang tidak relevan, selain itu metode yang dipakai Adriaan menurut saya juga sangat spesifik. Beberapa aspek pendekatan testing yang dia paparkan kira-kira begini garis besarnya:

1. Testing dengan Environment yang kondusif

Misalnya, game yang sedang dibuat adalah game bertema party. Bawa game tersebut saat lagi gathering bersama teman, sedang party atau momen-momen beramai-ramai. Kalau semisal membuat game casual, bisa coba mendatangi satu-satu tester dan biarkan tester mencoba game-nya saat dia di rumah dengan suasana yang santai. Mungkin pendekatan ini kurang cocok kalau mencari big data dan terkesan memakan banyak waktu atau lelah bikin janji-janji personal sama masing-masing orangnya, tapi salah satu keunggulannya bisa mendapat gambaran yang tepat antara integrasi game experience yang diharapkan dengan lingkungan yang kondusif.

2. Tester yang beragam

Perancangan game tidak lepas dari pengkerucutan target market. Tapi khusus untuk testing, tidak ada salahnya mencoba playtest dengan beragam tipe manusia. Terkadang output yang didapat bisa diluar perkiraan dan ada saja hal-hal tentang perilaku manusia yang selama ini tidak kita sadari penting untuk menjadi referensi pertimbangan.

3. Pentingnya pengamatan ‘langsung’

Metode survei online (seperti yang kami lakukan sewaktu sesi alpha testing sebelumnya) atau mengisi kuesioner, adalah metode yang rawan distraksi dan kurang akurat menurut Adriaan. Sebagai developer yang tidak melihat langsung cara bermain tester, banyak asumsi yang seringkali missing dan dari pihak tester pun secara alamiah menciptakan ‘gap’ informasi saat ia memberi input feedback. Atau bisa juga tester terlalu malas untuk menuliskan detail apa saja yang dia rasakan. Kondisi ini memperbesar resiko kehilangan informasi ‘user behavior’ yang krusial dan asumsi yang distraktif. Kalau sudah terdistraksi, makin banyak waktu yang dibutuhkan untuk menyelesaikan masalah yang tidak prioritas.

4. ‘Biarkan’ tester

Maksudnya adalah di sesi testing, sering ga sih greget untuk memberi tahu tester flow game kita bagaimana, cara bermainnya, ceritanya, dan lainnya. Metode ini sangat tidak dianjurkan, sebaiknya biarkan saja tester memainkan game kita tanpa ada distraksi informasi terlebih dulu. Hal ini biar kita bisa mencari tahu apakah game sudah intuitif dan sesuai dengan ekspektasi experience yang diinginkan? Kalau player stuck biarkan saja dulu, jangan lupa kondisikan player tidak apa-apa kalau dia tidak mengerti. Let it flow naturally~

 

Nah, berdasarkan video-nya Adriaan di atas, kami pun print 100-an lembar kertas yang membagi isi fokus observasi sesuai fitur/screen. Kami hanya mencantumkan sedikit checklist, dan sisanya isian kotak kosong besar. Berbeda dengan testing alpha sebelumnya yang penuh dengan pertanyaan dan poin-poin yang ‘membatasi’, form tester untuk GAMEPRIME kali ini didesain untuk pendekatan yang lebih organik. TARGET: 50 Tester! HUP HUP!

 

GAMEPRIME semakin mendekat, dan kami pun berangkat dengan rental mobil panjang Travello dari Bandung selama 4 jam~~*maaf ga penting

 

D-DAY: TESTING SESSION

YAY! GAMEPRIME START!

Lihat-lihat dekorasinya, uculs ya ada beanbag juga khusus untuk tester tercintah.

Jadi si Pak Bosh smart deh sengaja nyewa bean-bag biar testernya ena’. I think this was a brilliant move biar tester pas playtest santai jadi bisa konsen memainkan game-nya. Walaupun hal ini memungkinkan karena kebetulan kita bisa mendapat booth yang relatif besar.

Nah begini situasi pas testing. Ena’ kan duduk-duduk manis kayak customer service :’). Suasananya cair dan ga diburu-buru jadi saya berasumsi tester bisa relatif enjoy mainnya. Bagi-bagi tugasnya ada yang standby di meja (bertugas menjelaskan produk Arsanesia & Arsa Kids) dan minimal 2 orang observer yang bertugas mencatat dan mendampingi masing-masing tester. Pada praktik lapangannya, di hari pertama kita DED BANGET HAHA CAPE GYLA, ada 50 tester lebih kali dan itu sudah melebihi ekspektasi awal. Observer pun bertambah jadi 4 karena yang mau jadi tester berdatangan terus bahkan sampai antre device. Awalnya device yang dedicated untuk testing hanya 2, lama-lama volunteer device sendiri. Pelajaran untuk next session, siapkan jumlah maksimal untuk device dan usahakan standby di colokan. Males banget kalau pas testing atau ada yang antri habis batre~

 

Sebagai observer pun juga jangan ngasal tulis kayak lagi nulis jawaban soal essay jaman sekolah. Harus pinter-pinter filtering feedback, mana feedback yang bisa dianggap angin lalu mana feedback yang krusial. Contohnya kalau ada tester yang protes monsternya terlalu lucu, pingin manly dikit yawda cuekin aja kan gamenya juga emang temanya ucul-ucul. Sepengalaman jadi direct observer sih hal-hal ini yang diperhatikan:

  1. Tulis hal yang penting saja
  2. Setelah mendengar feedback tester, posisikan dari sudut pandang player biar bisa menimbang penting-nggaknya feedback tersebut
  3. Selalu berusaha mencari esensi. Semisal tester mengeluh ‘habis panah ini, harus ngapain ya?’ berarti esensinya adalah flow gamenya kurang jelas. 
  4. Selagi ada kesempatan direct testing, perhatikan raut wajah atau gestur badan tester (terutama tangan)

 

ENLIGHTENMENT: DIRECT PLAYTESTING IS IMPORTANT!

Setelah full day 2 hari playtesting di GAMEPRIME, buwanyak sekali another mind-blowing enlightenment yang kami dapat. Ternyata jauh lebih banyak pengamatan yang bisa diamati lewat direct testing dibanding indirect testing.  Poin-poin menarik yang at least mindblowing buat saya sih:

  • Ternyata BREAKER PLAYER nyata adanya! Mereka adalah tipe player yang mainnya ‘abusif’, misal suka repeatable tap, atau mencet-mencet UI diluar yang disuruh.
  • Freedom is ambiguous. Contoh kasusnya, game kami sekarang fokus di tutorial dan memang masih minim petunjuk obvious semacam ‘tap here!’ atau ‘tap when green!’ Kami kira cukup dengan visual cue yang sederhana dan ga banyak cingcong, sudah cukup intuitif untuk player. TETOT LAGI TETOT! Sense of freedom ternyata malah banyak membingungkan player dan memang petunjuk yang ada harus obvious gak bisa sok-sokan ga mau terlalu penuh terus ga nambahin UI yang clear
  • Fast-paced interaction. Desain mekanik awal game nya sih mengacu pada tap-tap, tapi nggak boleh sembarang continuous tap harus ada cooldownnya dulu sebentar. Setelah memperhatikan behavior tester, ternyata intuisi manusia cenderung kurang suka kalau begitu. Mereka lebih prefer untuk unleash repeatable tap (sekali lagi ini tinjauannya case by case ya karena game satu berbeda dengan game lainnya, tidak bisa digeneralisir). Aspek ini mengingatkan saya kalau mempelajari manusia itu memang paling baik melalui interaksi nyata.
20507499_10212047050465879_7092945584007191296_o

Total Feedback: 95! (Maboque compilenya)

 

CLOSING

GAMEPRIME pun selesai. Kami langsung pulang malamnya dengan wajah kuleheu dan banyak kertas feedback yang berteriak untuk segera di rekapitulasi. Tapi bisa dibilang momen playtesting di GAMEPRIME ini sangat efektif dan seru bisa reuni ketemuan sama teman-teman developer lainnya. (Agak greget ngiri juga sih kalo liat game-game lain udah super baguoshh).

Untuk pembelajaran dari sesi testing sebagai game designer, DIRECT TESTING ternyata sangat maha penting ! Game Designer bertugas mendesain experience yang tentunya harus bisa relatable dengan mau mempelajari manusia (NYATA!). Asumsi awal tetap ada namun untuk proses iterasi polishing game di kemudian hari, harus diupayakan adanya ‘riset dunia nyata’, dengan berbagai cara (bisa melakukan focus group kayak di GAMEPRIME ini, mendatangi personal ke rumah tester, janjian nongkrong bareng, ya pokoknya bebaskeun aja sih sesuai kebutuhan). Banyak banget asumsi yang terpatahkan ketika sudah direct playtesting, seringkali hasilnya diluar dugaan dan menantang untuk disolusikan dengan pendekatan lain. Tapi hati-hati jangan sampai terdistraksi keenakan jalan-jalan sampai lupa compiling feedback-feedbacknya.

Anyway, doakan Project PTown kami lancar ya! Terimakasih untuk tester-tester baik dari orang random maupun teman sendiri yang udah bersedia meluangkan waktu mencoba game kami dan memberi feedback yang konstruktif!

Ini video trailernya! Hehehe~

 

GDB_GP2017

Foto sama gengs Game Developer Bandung (lagi-lagi wanita sendiri yawda bodo mat)

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s