<img height="1" width="1" style="display:none;" alt="" src="https://dc.ads.linkedin.com/collect/?pid=115745&amp;fmt=gif">
zef_logo.png
Ë
ZEF ZEF • huhtikuuta 28, 2017

[Tutkimus] Automaattinen eteenpäinohjaaminen tuottaa laadukkaita vastauksia


automaattinen-ohjaaminen-laadukkaita-vastauksia-s.jpg

Tutkimme yhdessä Mick P. Couperin (Michiganin yliopisto, Yhdysvallat) kanssa ZEFin automaattisen eteenpäinohjaamisen mekanismia, jonka avulla vastaaja ohjataan kyselyssä vastauksen annettuaan seuraavaan kysymykseen. Vertasimme tätä ohjaustapaa kokeellisesti manuaaliseen ohjaustapaan, jossa vastaajien tulee vastauksensa annettuaan klikata hiirellä erillistä painiketta päästäkseen etenemään kyselyssä. Esittelimme tutkimuksemme tuloksia Berliinissä General Online Research - konferenssissa 17.3.2017 (http://www.gor.de). 

ZEFin automaattisen eteenpäinohjaamisen mekanismi on kyselypsykologian (survey psychology) näkökulmasta kiinnostava tapa ohjata vastaajia verkkokyselyssä. Kyselypsykologiassa tutkitaan kyselyvastaamista muisti- ja havaintoprosessien näkökulmista. Tutkimuksen kohteena olivat paperi- ja verkkokyselyiden kysymystyypit, vastausasteikot sekä kysymysten väliset yhteydet. Verkkokyselyissä kiinnostuksen kohteena ovat perinteiseen kyselymetodologiaan liittyvien tekijöiden ohella käyttöliittymät sekä erilaiset interaktiiviset toiminnot ja kysymystyypit, joita sellaisenaan ei voida paperikyselyissä toteuttaa. Tällaisia ovat esimerkiksi alasvetovalikot, hymiöt ja interaktiiviset kuvakysymykset. Myös automaattinen eteenpäinohjaaminen kuuluu tällaisiin interaktiivisiin, vuorovaikutteisiin ominaisuuksiin, joissa kyselysovellus reagoi vastaajien tekemiin valintoihin.

Informaation saatavuuden teoriasta

Informaation saatavuuteen (accessibility, availability,) perustuva arviointi on tutkituimpia ilmiöitä kognitiivisessa psykologiassa ja kyselypsykologiassa. Kyselyvastaamisessa informaation saatavuudella viitataan esimerkiksi ilmiöön, missä yksittäisen kysymyksen sisältämä informaatio vaikuttaa jäljempänä tulevan kysymyksen arviointiin. Yleensä vastaajat perustavat vastauksensa lyhytkestoisessa muistissa saatavimpana olevaan informaatioon. Koska edelliset kysymykset virittävät vastaajan muistissa tiettyjä teemoja ja käsitteitä, nämä käsitteet muodostuvat saatavimmiksi seuraavaan kysymykseen vastattaessa ja vaikuttavat vastauksen muodostumiseen.

Informaation saatavuuden näkökulma nousee oleelliseksi myös tutkittaessa ZEFin automaattista eteenpäinohjaamista, koska se saattaa keskeyttää sellaisten vastaajien vastausprosessin, joiden vastaustyyliin kuuluu nopea vastaaminen ja sen jälkeen vastauksen uudelleen harkitseminen. Todennäköisesti vastausprosessi keskeytyy erityisesti niiden kysymysten osalta, joihin liittyvän informaation saatavuus on heikkoa. Jos vastaajan tulee oikean vastauksen löytääkseen pohtia kysymystä tavanomaista kauemmin siihen liittyvän informaation heikon saatavuuden vuoksi, automaattinen eteenpäinohjaaminen oletettavasti heikentää vastauksen laatua pakottaessaan vastaajan siirtymään seuraavaan kysymykseen ennen vastauksen uudelleen harkintaa ja uuden vastauksen antamista.

Koeasetelma automaattisen ja manuaalisen eteenpäinohjaamisen vertaamiseksi

Ylläkuvatun hypoteesin testaamiseksi rakensimme koeasetelman, missä kysymyksiä manipuloitiin informaation saatavuuden suhteen. Esimerkiksi kahdessa kontrollikyselyssä (manuaalisesti ohjattu / automaattisesti ohjattu) kysyttiin, kuinka monta tuntia viikossa vastaajat harrastavat hevosurheilua. Kahdessa muussa kyselyssä (manuaalisesti ohjattu / automaattisesti ohjattu) puolestaan kysyttiin, kuinka monta tuntia viikossa vastaajat kävelevät tai käyvät lenkillä. Koska hevosurheilua harrastetaan hyvin vähän, suurimmalle osalle vastaajista vastaukseen liittyvä informaatio on hyvin saatavaa, ja vastaus helposti muodostettavissa. Sen sijaan vastausta kävely / lenkkeily- kysymykseen joutuu pohtimaan kauemmin aktiviteetin yleisyyden vuoksi. Informaation saatavuuden teoriaan perustuen oletimme, että vastausten laatu heikentyisi kävely / lenkkeily- kysymyksen ja muiden vastaavien kysymysten kohdalla silloin kun kyselyssä käytetään automaattista eteenpäinohjaamista.

Tutkimuksen tulokset

Ennakko-oletuksistamme huolimatta tulokset osoittavat vain lievää mahdollista vastausten laadun heikentymistä haasteellisissa kysymyksissä käytettäessä automaattista eteenpäinohjaamista. Tämä ilmeni muun muassa siten, että manuaalisesti eteenpäin ohjatuista vastaajista n. 12 % enemmän vaihtoi vastauksensa kävely - / lenkkeilykysymykseen verrattuna hevosurheilukysymykseen. Automaattisesti eteenpäinohjatuissa vastaajaryhmissä vastauksia kumpaankaan kysymykseen ei vaihdettu käytännössä lainkaan. Havainnot viittaavat siihen, että myös automaattisesti eteenpäinohjatuissa vastaajaryhmissä osa vastaajista (n. 12 %) olisi halunnut vaihtaa vastauksensa, mutta ohjaustavan vuoksi eivät kyenneet sitä tekemään. Vastausten laadun heikentymistä tapahtuu siten automaattisesti eteenpäinohjatuissa kyselyissä korkeintaan 12 % enemmän manuaalisesti ohjattuihin kyselyihin verrattuna. Mahdollinen vastausten laadun heikentyminen on siis varsin vähäistä ja koskee lähinnä haastavia kysymyksiä joihin liittyvän informaation saatavuus on heikkoa.

Informaation saatavuuteen liittyvien tekijöiden ohella kyselypsykologian tärkeimpiä oletuksia on väite vastausten laadun paranemisesta vastaamiseen käytetyn harkinta-ajan kasvaessa. Mitä pidempi harkinta-aika on, sitä laadukkaampia vastauksia saadaan. Laskimme tutkimuksessamme vastaajien kyselyyn käyttämän kokonaisajan ja yksittäisiin kysymyksiin kulutetun keskimääräisen harkinta-ajan. Tulokset osoittavat kyselyyn kokonaisvastausajan olevan keskimäärin 19 sekuntia pidemmän manuaalisesti eteenpäinohjatuissa kyselyissä. Tulos voidaan selittää ylimääräisen painikkeen kokonaisvastausaikaa lisäävällä vaikutuksella. Sen sijaan vastausten laatuun enemmän yhteydessä oleva yksittäisten kysymysten harkinta-aika oli keskimäärin 0,4 sekuntia pidempi automaattisesti eteenpäinohjatuissa kyselyissä.

Johtopäätöksenä voidaankin todeta, että riippumatta lievästä mahdollisesta vastausten laadun heikentymisestä haastavien kysymysten osalta käytettäessä automaattista eteenpäinohjaamista pidempi harkinta-aika osoittaa automaattisen eteenpäinohjaamisen olevan manuaalista ohjaustapaa suositeltavampi tapa siirtää vastaaja seuraavaan kysymykseen.  Koska myös kokonaisvastausaika lyhenee automaattista ohjaustapaa käytettäessä, on tämäkin katsottava automaattista ohjaustapaa suosivaksi havainnoksi. Toisaalta tuloksemme osoittavat kyselyyn vastaamisen kestävän kokonaisuudessaan kauemmin älypuhelinvastaajilla (n. 4 sekuntia) verrattuna PC / Tablet – vastaajiin. Lisäksi ero kokonaisvastausajassa älypuhelinvastaajien ja PC / Tablet – vastaajien välillä oli automaattisesti eteenpäinohjatuissa kyselyissä n. 25 sekuntia suurempi verrattuna vastaavaan eroon manuaalisesti eteenpäinohjatuissa kyselyissä. Näin vastaaminen älypuhelimella kestää kauemmin molemmissa ohjaustavoissa, mutta erot älypuhelinvastaajien ja PC / Tablet – vastaajien välillä olivat suuremmat automaattisesti eteenpäinohjatuissa kyselyissä.

Tutkijatohtori / tilastotieteen lehtori,
Arto Selkälä,
Lapin yliopisto

New Call-to-action


ZEF

Kirjoittaja ZEF

ZEF on työkalu, jonka avulla nostat interaktiivisen sisällöntuotantosi uudelle tasolle.




Ota yhteyttä

Palvelemme kaikissa kyselyihin liittyvissä asiakastarpeissa. Jätä yhteystietosi, niin otamme sinuun välittömästi yhteyttä.