Küsitluste korraldamise lihtsus muudab äärmiselt keeruliseks uuringute vahendajate ja lugejate elu, kirjutab sotsioloog Mai Beilmann Sirbis.
Mai Beilmann: kas iga küsitlus on uuring? (1)
Juhime tähelepanu, et artikkel on rohkem kui viis aastat vana ning kuulub meie arhiivi. Ajakirjandusväljaanne ei uuenda arhiivide sisu, seega võib olla vajalik tutvuda ka uuemate allikatega.
Küsitlusuuringu korraldamine on praegu äärmiselt lihtne: selle saab läbi viia igaüks, kellel on ligipääs arvutile ning kes oskab mõnda rohkem või vähem professionaalsesse küsitluskeskkonda (LimeSurvey, Survey Monkey, Google Forms jt) oma küsimused üles panna ja lingi potentsiaalsetele vastajatele laiali saata. Kui on raha, siis saab muidugi alati küsitluse korraldamise teenuse mõnelt uuringufirmalt osta. Selles, et küsitluse võib korraldada või tellida igaüks, ei ole iseenesest midagi halba, kui kogutud andmeid kasutatakse vaid enda tarbeks (nt kodutöö kirjutamiseks, klientidelt tagasiside saamiseks vms). Kui aga eesmärk on uuringu tulemusi avalikkusega jagada, teha põhjapanevaid järeldusi ühiskonna ja inimeste kohta ning võib-olla koguni poliitilisi otsuseid mõjutada, peaks uuring ja selle pinnalt tehtavad järeldused vastama kvaliteedikriteeriumidele.
Seega muudab küsitluse korraldamise äärmine lihtsus äärmiselt keeruliseks uuringute vahendajate ja lugejate elu, sest ajakirjanik uuringutulemuste vahendajana ning iga lugeja uuringutulemustel põhineva uudisloo tarbijana peab (või vähemalt peaks) iga kord põhjalikult kaaluma, kas see, mida talle esitletakse uuringuna, on tõsiseltvõetav ja usaldusväärne analüüs või lihtsalt hunnik suvalisi andmeid.
Kõigepealt on oluline eristada küsitlust uuringust (vt ka J. Kiviräha artiklit1). Küsitluseks võib nimetada igasugust andmete kogumist, uuring hõlmab peale empiiriliste andmete kogumise ka teoreetilist aluspõhja ning uuringu küsimused koostatakse hüpoteeside kontrollimiseks või uurimisküsimustele vastamiseks. Seega saab küsitluse korraldada ka teemat sügavuti tundmata, kuid uuring eeldab teooriasse, valdkonna debatti ning samal või sarnasel teemal tehtud uuringute tulemustesse ja metodoloogiasse süüvimist ehk valdkondlikku pädevust.
Asjatundmine on seda olulisem, et küsitlusuuringu läbiviimisel võivad vead tekkida absoluutselt kõigis uuringuetappides küsimuste koostamisest ja vastajate leidmisest kuni andmeanalüüsi ja tulemuste esitlemiseni. Kui küsitlusuuring on sedavõrd riskantne ettevõtmine, tekib õigustatud küsimus, millist uuringut saab siis usaldada ja millist mitte.
Kõige esimene asi, mida ühe uuringu puhul vaadata, on meetod ja valim ehk see, keda, kuidas, kus ja millal küsitleti ja kas valim on esinduslik.2 Peale vastajate arvu on väga oluline ka vastamismäär ehk see, kui paljusid taheti küsitleda ja kui paljud tegelikult vastasid. Suur vastajate hulk ei näita iseenesest veel midagi, sest uuring, mis kajastab 2000 inimese vastuseid, võib olla üsna nadi, kui uurijate eesmärk oli küsitleda 20 000 ja 18 000 jättis lihtsalt vastamata, ning 200 vastajat võib olla väga representatiivne tulemus, kui küsitleda sooviti 215 inimest.
Täiesti omaette teema on veebipõhised küsitlused, mille puhul küsitluse läbiviijad mõnikord ise ka ei tea, kui paljude vastajateni nad soovivad jõuda ning kui paljude ja milliste inimesteni küsitluses osalemise kutse jõudis. Sellisel juhul pole loomulikult võimalik välja arvutada ka vastamismäära. Selliste uuringute puhul tuleb arvestada eriti tugeva eneseselektsiooni efekti ehk sellega, et uuringule vastavad teatud tüüpi inimesed. Näiteks üksikud entusiastid, keda teema väga isiklikult puudutab, igavlejad, kellel küsimustiku lingi saamise hetkel ei ole absoluutselt mitte midagi teha või kes üritavad meeleheitlikult leida ettekäänet, et mitte asuda järgmise töö kallale, küsitluse läbiviija tuttavad, kellel ta on eraldi palunud osaleda, ning sarivastajad, kes täidavad professionaalsest kretinismist igasuguseid imelikke küsimustikke lootuses leida halvasti sõnastatud küsimuse eriti jabur näide. Seega tasub veebiküsitlustel põhinevate uuringute puhul pöörata eriti suurt tähelepanu sellele, kuidas vastajateni jõuti ning kas küsitluse läbiviijatel oli ülevaade oma valimist ja vastamismäärast (see on võimalik näiteks siis, kui vastajatele saadetakse personaalne kood vastamiskeskkonda sisselogimiseks).
Vastajate üldarvu ja vastamismäära kõrval võivad valimi kohta üsna palju öelda ka kõige põhilisemad sotsio-demograafilised tunnused, sest tulemused on ilmselt üsna erinevad olenevalt sellest, kas küsitlusele on vastanud kahekümnendates eluaastates mehed (enamasti on nad küsitlustele vastajate seas pigem alaesindatud) või pensioniealised naised (tavaliselt vastavad nad küsitlustele eelmainitud grupist hoopis meelsamini). Eesti puhul on näiteks oluline teada ka venekeelsete vastajate hulka valimis, sest eesti- ja venekeelsete vastajate väärtustes ja hoiakutes esineb olulisi erinevusi ning venekeelsete vastajate kaasamisel saame tavaliselt teistsugused tulemused kui nende väljajätmise korral.
Loomulikult ei tähenda eeltoodu seda, et kogu see detailne info tuleks alati kuhjata igasse ajakirjanduslikku uuringukajastusse. Ükski lugeja ei loe hea meelega uudist, kus vähemalt poole võtab enda alla kirjeldus stiilis: „Küsitlusele vastas 2020 inimest, vastamise määr oli 68%. Vastajatest 54% moodustasid naised, vastajate keskmine vanus oli 49,45 (standardhälve 19,01) ja mediaanvanus 49 aastat, vastajad on käinud koolis keskmiselt 13,16 aastat (standardhälve 3,86), 74% vastajate kodune keel on eesti keel, 25% vene keel ja 1% mõni muu keel …“ Sellise arvupudi koht pole tõesti uudises või arvamusloos, kuid kusagil kergesti leitavas ja avalikult kättesaadavas kohas peab see info uuringust põhjalikumalt huvitatud lugejale tutvumiseks ja kontrollimiseks siiski kättesaadav olema. Selline koht võib olla nii avalik uuringu aruanne kui ka uuringu koduleht. Paljude suurte rahvusvaheliste uuringute (nt Maailma ja Euroopa väärtuste uuringud, Euroopa sotsiaaluuring) puhul ei tutvustata nende uuringute andmetel põhinevates ajakirjanduslikes artiklites enamasti kuigi põhjalikult uuringu metoodikat, kuid kogu info uuringu teoreetiliste aluste, küsimuste täpse sõnastuse, uuringu läbiviimise metoodika, valimi ja vastamismäära kohta leiab kergesti uuringute kodulehtedelt. Eriti eesrindlike uuringute puhul on tehtud kättesaadavaks ka uuringu andmed, mis tähendab, et põhimõtteliselt igaüks, kes statistilisi meetodeid vähegi valdab, saab neid andmeid vabalt kasutada ja kontrollida, kas ta saab oma arvutuste tulemusena samasugused tulemused nagu avaldatud artiklis. Tänapäevased online-analüüsi võimalused on piisavalt kaugele arenenud, et lihtsamate analüüside (kirjeldav statistika, korrelatsioonianalüüs, lihtsam regressioonianalüüs) järeletegemiseks ei pea koduarvutis isegi kallist analüüsitarkvara olema.
Täiesti omaette teema on küsitlus- või uuringuandmete tõlgendamine ja avalikkusele esitlemine. Loomulikult pole ajakirjandusliku tekstina võimalik esitada kümneid lehekülgi pikka bullat, kus on lahatud käsitletavat küsimust iga võimaliku kandi pealt ja välja toodud uuritava fenomeni seosed väga suure hulga teiste tunnustega. Teiselt poolt aga peab püüdma uuringutulemuste kajastuses anda uuringust võimalikult ülevaatliku pildi ega tohi piirduda ühe küsimuse pinnalt väga julgete järelduste tegemisega. Sotsioloogia sõnaraamatus3 on defineeritud sotsioloogilised andmed infokildudena, mille põhjal tehakse järeldusi. Üksikute protsentjaoste uuringuna esitlemise puhul on probleemne seega see, et meile esitletakse sisuliselt jupikest andmeid olukorras, kus meil puudub ligipääs ülejäänud andmetele, mis võimaldaksid tulemuse laiemasse konteksti asetada. Kontekst on sotsiaalteadustes järelduste tegemisel aga a ja o.
Mõnikord ei olegi vaja väga kaua otsida, milline info on puudu, sest teabes torkab kohe silma, et midagi on juba küsimustiku koostamisel viltu läinud. Professionaalsed sotsiaalteadlased lähtuvad küsimustikku koostades kuldreeglitest. Küsimustik ei tohi sisaldada näiteks liiga pikki ja keerulisi küsimusi, kallutatud küsimusi või selliseid küsimusi, mis sisaldavad kahte või enamat küsimust. Kõigi nende reeglite vastu on korduvalt eksinud näiteks viimasel ajal palju kõneainet pakkunud MTÜ Ühiskonnauuringute Instituut. Nende 2016. aasta aprillis läbi viidud küsitluse „Eesti inimeste hoiakud erakoolide ja nende rahastamise suhtes“ küsimuste seast leiab näiteks sellise: „Mil määral Te nõustute väitega, et erakool aitab lastel saada võrdsed võimalused, kuna on erikohtlemist vajavaid lapsi, kellele sobiksid väiksemad klassid?“ Selline küsimus paneb vastaja raskesse olukorda, sest ta peab otsuse langetama vähemalt kuue väite osas: 1) erakool tagab lastele võrdsed võimalused, 2) osa lapsi vajab erikohtlemist, 3) osale lastele sobivad väiksemad klassid, 4) osale erikohtlemist vajavatele lastele sobivad väiksemad klassid, 5) just erakool tagab lastele vajaliku erikohtlemise, 6) just erakoolis on väiksemad klassid. Vastajal, kes nõustub kõigi nende kuue punktiga, on muidugi lihtne. Mida peab aga tegema vastaja, kes näiteks arvab, et erakool tagab lastele võrdsed võimalused, aga leiab, et ei ole erikohtlemist vajavaid lapsi? Pealegi sisaldab selline küsimus vaikimisi eeldust, et tavakool ei paku erikohtlemist vajavatele lastele piisavalt võimalusi ning tavakoolis on klassid liiga suured. Pika jutu kokkuvõte: kui küsimusse on kokku kuhjatud mitu küsimust või te peate küsimust mitu korda üle lugema, enne kui sellest aru saate, siis ei ole tegemist küsitluseks sobiva küsimusega ning sel juhul peaks järeldusi tegema ülima ettevaatusega (kui üldse).
Tahan lõpetuseks rõhutada, et ükski küsitlusi või uuringuid läbi viiv inimene ega organisatsioon pole ilmeksimatu. Kõigil, kes küsitlusi või uuringuid teevad, tuleb ette, et küsimuse sõnastus saab veidi vildakas või mitmeti mõistetav, vastamise määr on kõigi pingutuste kiuste väike, mõne kindla profiiliga respondendid on vastajate seas üleesindatud, tulemuste tõlgendus sai tagantjärele vaadates liiga julge jne. Professionaalne ja usaldusväärne uuringutegija toob sellisel puhul oma uuringu puudused ise välja või kui puudused selguvad tagantjärele, tunnistab oma viga, vabandab eksimuse pärast ja teeb oma parima väärinfo leviku takistamiseks.
Lõppkokkuvõttes pädeb küsitlusuuringute nagu paljude teistegi asjade puhul vana hea soovitus säilitada terve mõistus ja kriitikameel. Ühtegi küsitlust ega uuringut ei tasu usaldada pimesi.
Mai Beilmann on Eesti Sotsioloogide Liidu juhatuse liige, Tartu ülikooli sotsiaalpoliitika nooremteadur
1 Juhan Kivirähk, Ka konservatiivid tohivad arvamusuuringuid tellida. – Eesti Päevaleht 30. III 2017.
2 Esinduslik valim on selline, kuhu võib iga uuritava populatsiooni liige sattuda täpselt ühesuguse tõenäosusega. Iga valim ei pea olema esinduslik, aga seda tuleb tulemuste tõlgendamisel arvesse võtta.
3 Steve Bruce ja Steven Yearley, The SAGE Dictionary of Sociology. SAGE, Thousand Oaks, London 2006.