Egy kutatás megbízhatósága erősen függ a mintavételtől. Hiába írunk zseniális kérdőívet, hiába vagyunk kiváló elemzők; ha a minta összetétele torz, az abból kinyert adatok nem a valóságot tükrözik majd vissza, a következtetéseink pedig hibásak lesznek.
Online kutatás esetén az iskolai végzettség lehet az a banánhéj, amelyen leginkább elcsúszhatunk, ezért érthetetlen, hogy sokszor éppen ezt a demográfiai jellemzőt hagyják figyelmen kívül. A következmények pedig igen komolyak lehetnek.
MIÉRT IGRONÁLJÁK?
Adódik persze a kérdés, hogy ha egy kutatócég a mintavétel kialakítása során a kvótázásnál, súlyozásnál odafigyel szinte az összes fontos demográfiai ismérvre – nemre, életkorra, településtípusra, régióra –, akkor vajon miért hagyja ki a végzettséget? Nos, ennek oka valószínűleg az offline tradíciókhoz való ragaszkodás, a megszokás: az offline kutatásokban a végzettség szerinti megoszlás ugyanis általában automatikusan „beáll”.
A KSH adatai szerint például a 18-65 éves lakosság 47 százaléka rendelkezik legfeljebb alapfokú, tehát 8 általános vagy szakmunkás végzettséggel – és egy olyan személyes megkérdezésben, amelyben a többi demográfiai változót kvótázzuk, a végzettség különösebb odafigyelés nélkül is nagyjából ezt az arányt éri el.
Egy f2f kutatás esetén tehát valóban nem létkérdés odafigyelni az iskolai végzettség alakulására, és úgy tűnik, ez a gyakorlat átment az online megkérdezésekbe is. Mindezt ráadásul erősíti a nemzetközi online panelek gyakorlata is, amelyek jellemzően nem vállalnak iskolai végzettség alapján történő kvótázást.
AZ EREDMÉNY: TORZ ÖSSZETÉTELŰ MINTA
De mi a baj ezzel a gyakorlattal? Nos, ahogy a fenti példában láttuk, a 18-65 évesek közel fele rendelkezik alapfokú végzettséggel; ha azonban nem figyelünk oda a végzettség alakulására, akkor egy online mintában csupán 10 százalék körül lesz a legalacsonyabb végzettségűek aránya – még egy megbízható, jó minőségű válaszadói panel használata esetén is.
Ez a rendkívül alacsony arány több tényező eredőjeként jön létre. Egyrészt az internetező populáción belül már csak 35 százaléknyi alapfokú végzettségűt találunk. Másrészt a tapasztalatok azt mutatják, hogy az alacsony iskolai végzettséggel rendelkezők kevésbé nyitottak arra, hogy beregisztráljanak az online panelekbe, ráadásul már paneltagként is alacsonyabb válaszadási hajlandóság jellemzi őket.
Tehát már eleve alul vannak reprezentálva a válaszadói közösségekben, és még mozgósítani is nehezebb őket – így nem meglepő, hogy egy olyan kutatásban, amelynél a végzettségre nincs kvóta, csak nagyjából minden tizedik válaszadó tartozik ebbe a szegmensbe.
TELJESEN FÉLREVIHET
A minta torz összetételének természetesen komoly következményei lehetnek, és akár a kutatás megállapításait is teljesen félreviheti. Az iskolai végzettség ugyanis számos kutatási kérdés esetén differenciáló tényező: az alapfokú végzettségűek szokásai, attitűdje, véleménye gyakran szignifikánsan eltér a képzettebb szegmensekétől, és ez a különbség akár igen jelentős is lehet.
Ez esetben pedig nagyon nem mindegy, hogy a mintában a valós arányuknak megfelelően vannak-e jelen az egyes csoportok, vagy – ahogy esik, úgy puffan alapon – egy teljesen irreális megoszlást követnek.
De íme egy példa. Ha már a járványhelyzet úgyis röghöz köt minket, nézzük meg, a tavalyi évben hányan vettek részt valamilyen bel- vagy külföldi utazáson. A 18-65 éves lakosság körében végzett – és az iskolázottság alapján is reprezentatív – kutatásunk szerint 51 százalékra igaz ez az állítás; míg ha ugyanezt az adatot egy olyan mintából nyernénk ki, amelynek csupán egytizede rendelkezik alapfokú végzettséggel, lényegesen magasabb arányt, 65 százalékot kapnánk.
Egyik esetben a lakosság alig több mint fele, a másik esetben közel kétharmada – nagyon nem mindegy, és ez a szignifikáns különbség egyértelműen a torz mintavételből fakad.
A hiba persze könnyedén kiküszöbölhető azzal, ha az iskolai végzettséget is bevonjuk a kvótázási, súlyozási szempontok közé, és az NRC természetesen kezdetektől fogva ezt a gyakorlatot követi az online adatfelvételekben. Kétségkívül bonyolultabb, költségesebb – olykor időigényesebb – megoldás, de ez az egyetlen módja annak, hogy valóban megbízható online kutatásokat készítsünk.
Kurucz Imre, ügyvezető
ES 
HU 
EN 
DE 
FR