Az NRC Facial Recognition Software professzionális kutatási eszköze a piac- és véleménykutatásban elsősorban az audiovizuális anyagok, videók, képek, reklámfilmek tesztelésében nyújt újszerű megközelítést.

Az FRS emóciók felismerésére, olvasására és rögzítésére képes szoftver, ami optikai szenzorral, kamerával rendelkező eszközön megtekintett audio-vizuális tartalommal kapcsolatos spontán reakciók mérésére ad lehetőséget.

Az FRS-sel egy-egy kommunikációs kampány előkészítésében a korábbinál sokkal pontosabban lehet detektálni a neuralgikus pontokat, azokat a spontán reakciókat kiváltó momentumokat, melyek a reklámok egészének megítélését, és akár a reklámozott termék és a brand értékelését is meghatározhatják.

Miközben a fogyasztó valamilyen audiovizuális tartalmat (pl. reklámfilmet) néz készülékén, a szoftver az arckifejezések detektálásán keresztül méri be az adott tartalommal kapcsolatos emóciókat. Az FRS rögzíti a válaszadók reakcióit, arckifejezését az audiovizuális tartalom megtekintése közben, ezt a felvételt az FRS érzelemdetektáló szoftverének rendelkezésére bocsátja, amely elemzi és beazonosítja az arcokon látható érzelmeket, a Paul Ekman által leírt hat alapérzelemre vonatkozóan.

I. Az FRS kvalitatív tesztelése (2019)

Az adaptáció sikerességének tesztelése

A Facial Recognition Software üzleti sikerének elsődleges, kulcsfontosságú kritériuma az, hogy a meglévő piackutatási eszközökhöz történő adaptáció után, valós kutatási környezetben is kellő pontossággal ismerje fel a válaszadók arcán megjelenő spontán érzelmeket.

Az adaptáció sikerességét első lépésben kvalitatív interjúk során készített videófelvételek szakmai elemzésével végeztük. Azt vizsgáltuk, hogy az FRS által adott eredmények mennyire tükrözik valósan a leírt érzelmeket. A tesztelés következő fázisában nagymintás reprezentatív kutatások során a spontán és a tudatosan észlelt érzelmek kerültek összevetésre.

A validáció első szakaszában 15 személyes interjút készítettünk az FRS-t használó válaszadókkal, miközben nagyfelbontású felvételeket készítettünk róluk az NRC stúdiójában, majd ezeket a felvételeket összevetettük az FRS által adott eredményekkel.

A szakmai visszamérés során az FRS által adott eredményeket pontról pontra összevetettük a felvételeken látható arckifejezésekkel, minden kapott eredmény pontosságát meghatározva, minden vizsgált érzelemre vonatkozóan.

Meghatároztuk a siker kritériumait, egy egységes pontrendszer alapján állítottuk fel azt a kritériumrendszert, melynek az FRS megfelelni hivatott.

A legszélesebb körben elfogadott az arckifejezések biológiai determináltságán alapuló, Paul Ekman által 1972-ben kidolgozott megközelítés, amely a következő alapérzelmeket határozta meg:

a düh,
az undor,
a félelem,
az öröm,
a szomorúság és
a meglepődés

Elsőként kvalitatív kutatási tesztünkben azt vizsgáltuk, az FRS mennyire detektálja pontosan a vizsgálni kívánt ekmani hat alapérzelmet valós kutatási szituációban.

A kvalitatív tesztelési folyamat

Az FRS kvalitatív tesztelés elsődleges célja annak meghatározása volt, hogy a program milyen találati aránnyal azonosítja be az arcokon megjelenő érzelmeket.

Ennek vizsgálatára ebben a kutatási szakaszban 15 személyes interjút készítettünk. A válaszadók a stúdiószobában úgy töltötték ki az FRS érzelemmérést is tartalmazó kérdőívet, hogy közben róluk nem csupán az adott eszköz (laptop) kamerája készített felvételt, hanem arcukról nagyfelbontású felvétel is készült.

Az első szakaszban a pszichológiában használatos emócióstimuláló képszettek kerültek bemutatásra. A képszetteket kétszer tekintették meg a válaszadók, először minden további teendő nélkül, minden képet két másodpercig láttak, csak és kizárólag figyelniük kellett a látványt.

A teszt következő fáziásban a tudatos érzelmeket is mértük, a hat ekmani alapérzelemről kellett a válaszadóknak megmondania, hogy az adott érzelmet észlelik-e az aktuálisan megtekintett kép kapcsán.

Ez alapvetően a kvantitatív tesztet készíti már elő, és az NRC Spotlight Plus termékével való összekapcsolás teszi lehetővé. Ugyanis az NRC Spotlight Plus alkalmas arra, hogy audiovizuális tartalom megtekintése közben kérje a válaszadót folyamatos, tudatos, real-time reagálásra.

A tesztelési folyamat mellett kiemelkedő szerepet játszik a spontán reakciókról készült nagyfelbontású arcképek szakmai, pszichológus által történtő vizsgálata. A pszichológus a spontán érzelemméréshez és a tudatos érzelem észlelésnek megfelelő skálán, szintén 0-100% közé becsüli egy-egy adott érzelem megjelenését a vizsgált arcképen.

Az FRS validációját szolgáló kvalitatív tesztfázis során az FRS sikerét azzal mértük, hogy az általa adott eredmény mennyire támasztható alá a megfigyelés és a tudatos észlelés által.

A válaszadói spontán reakcióból származó FRS becslést hasonlítjuk össze érzelmenként a pszichológus szakember által adott, a nagyfelbontású arcfelvételek megfigyelésén és szakmai véleményezésén alapuló Érzelem Index (EI) és a válaszadó által adott tudatos érzelemészlelés (Spotlight Plus eszköz által biztosított) átlagával.

A bemutatott emócióstimuláló képszettek

A teszt során egy válaszadó 24 képet látott, minden érzelemhez 4 kötődött. A képeket random sorrendben látták, minden képet legalább 2 mp-ig és a képeket két körben, összesen kétszer tekintették meg. Összesen így ebben a fázisban 360 stimuláló kép kiváltotta érzelmet tesztelünk. A képek pszichológus által összeválogatott, klasszikus stimuli képszettből erednek, és beazonosítható róluk, hogy mely érzelmet tudják leginkább kiváltani.

A tesztelés feladatai, a siker kritériumai

Jelen kutatási fázis elsődleges célja az volt, hogy szemrevételezze az FRS által detektált érzelmek pontosságát, és javaslatokat adjon a fejlesztési, továbbtanítási irányokra. Ezen túlmenően célja az is volt, hogy a kvantitatív, nagymintás tesztelési szakasz előkészítését segítse oly módon, hogy kevesebb válaszadóval leteszteli magát a tesztkörnyezetet, a tesztkritériumokat, a tesztelési folyamatot és minden olyan, a kutatáshoz kapcsolódó folyamatot, ami szükséges a további online kutatások során.

Több tesztelendő kritérium mellett előzetesen meghatároztuk az FRS validálása során az elvárt találati arányt:

a kutatás ezen fázisában azt várjuk, hogy az FRS legalább 60%-os sikerrel jár az érzelmek beazonosításában, azaz az FRS által detektált érzelmek a 15*24=360 esetből legalább 216 esetében egyeznek a nagyfelbontású videófelvételek alapján készült kutatói pszichológus szakvélemény, valamint a válaszadó által adott tudatos értékelés átlagával.

Tesztelési mutatók, elvárt eredmény

A kvalitatív teszt során, 15 személyes interjúban interjúnként 24 kép került bemutatásra, minden vizsgált érzelemre vonatkozóan 4 kép. Összesen így ebben a fázisban 360 stimuláló kép kiváltotta érzelmet teszteltünk.

Három különféle eszközzel végeztük az érzelmek bemérését: a tesztelendő FRS-sel, a pszichológusi érzelembecsléssel és a SpotLight Plus adta tudatos érzelemészleléssel. Mindhárom eszköz minden képre és a hozzá tartozó érzelemre vonatkozóan egy 0-100%-ig terjedő valószínűségi eredményt ad, melynél az 50% feletti eredmény jelenti az adott érzelem „betalálását”: ekkor mondjuk, hogy az adott eszköz egy adott érzelmet egyértelműen látott az arcon a vizsgált kép esetén.

A validálási teszthez minden egyes interjú, minden egyes vizsgált képéhez több mutatókat rögzítettünk és hoztunk létre. Ezek segítségével létrehoztuk a validáló mutatókat és számítottuk kis az ún. „FRS SIKER hányadost”, amely azt mutatja meg, hogy az összes vizsgált eset hány százalékában sikerült az FRS-nek helyesen betalálnia a látott érzelmet.

Az összesített mutató lebontható és lebontandó minden egyes érzelemre vonatkozóan azért, hogy a további fejlesztési irányok pontosabban meghatározhatóak legyenek.

Tesztelési eredmények, validálási tapasztalatok, fejlesztési javaslatok

Az FRS kvalitatív kutatási validálási tesztje alapján elmondható, hogy az FRS integrációja meglévő kutatási eszközeinkbe sikeres volt:

hiba nélkül futtatható olyan kutatás, amelyben FRS kutatási eszközt is használhatunk
a kérdőív hiba nélkül lefut
a videó szinte minden esetben hiba nélkül lefutott, de esetenként viszonylag lassú volt betöltés
a Spotlighttal való összeköttetés hiba nélkül fut
az FRS által rögzített és továbbított videó megfelelő formátumban rendelkezésére áll a szoftvernek
az FRS adatai és a frequest kérdőívből származó adatokat tartalmazó adatbázis egyedi azonosítókulcs alapján jól összeköthetők

Mindez azt jelenti, hogy a kvalitatív tesztfázist követően az integrált FRS készen áll a nagymintás kutatási tesztekre.

Az FRS sikeressége

A validálási eredmények alapján – az előre felállított sikerkritériumnak megfelelően – a kvalitatív kutatási szakasz végén az FRS sikeresen detektálja az érzelmeket, azaz kellő pontossággal azonosítja be az arcon látható spontán emocionális reakciókat.

Az FRS sikermutatója jelen kutatási szakaszban: 64%, ami valamivel meghaladja az elvárt mutatót (60%).

Az FRS sikeresen detektálja az érzelmeket, de – a további tesztelési fázisok után –továbbtanítását javasoljuk. Vannak érzelmek (pl. az öröm), amit messze efelett az átlag felett képes azonosítani (80%-os sikermutatóval), és nincs olyan érzelem, ahol a pontossága 50% alá.

II. FRS kvantitatív tesztelés (2019)

A tesztelés kvantitatív fázisában nagymintás reprezentatív kutatások során a spontán és a tudatosan észlelt érzelmek kerültek összevetésre.

A validáció ezen második szakaszában 3 nagymintás kérdőíves kutatást végeztünk FRS és NRC Spotlight használatával. A kvantitatív kutatási fázisban 3 nagymintás, egyenként 500 fős online kérdőíves kutatást végeztünk. A minták külön-külön egyenként jól reprezentálják a felnőtt internetező lakosságot nem, kor, a lakóhely településtípusa és régiója szerint.

A kvantitatív tesztelés menete

A válaszadók a kvantitatív kutatás során is olyan képszetteket néztek, amelyek alkalmasak spontán emóciók kiváltására, kitöltés közben az FRS felvételt készített róluk, majd az arcfelvétel alapján minden egyes ekmani alapérzelemre vonatkozóan adott egy becslést.

A válaszadók ezután a Spotlight Plus eszköz használatával a tudatos/vélt érzelmeiket is rögzítették. A kvalitatív kutatási fázis során bebizonyosodott, hogy a Spotlight Plus értékeivel jól közelíthetők a valós érzelmek, a pszichológusi érzelembecslés meglehetősen közel esett a válaszadók által tudatosan érzékelt érzelmekhez, így jelen tesztelési fázisban bátran hagyatkozunk a Spotlight Plusra mint validáló eszközre.

A kvantitatív kutatási fázisban is meghatározunk egy egységes pontrendszert, mellyel meghatározható az FRS sikeressége, meghatározzuk az FRS-re vonatkozó sikerkritériumot, melynek az FRS megfelelni hivatott.

A kvalitatív fázis lezárásával a kvantitatív kutatási tesztünkben azt vizsgáltuk, hogy nagyobb populációkat (jelen esetben a felnőtt internethasználó lakosságot) alapul véve mennyire biztosan állítható, hogy az FRS pontosan detektálja a vizsgálni kívánt ekmani hat alapérzelmet valós kutatási szituációban.

A kvantitatív tesztelési folyamat

Az FRS kvantitatív tesztelés elsődleges célja annak meghatározása volt, hogy a program milyen találati aránnyal azonosítja be az arcokon megjelenő érzelmeket. Ennek vizsgálatára ebben a kutatási szakaszban 3×500 online kérdőíves interjút készítettünk. A válaszadók interneten keresztül töltötték ki az FRS érzelemmérést is tartalmazó kérdőívet, közben róluk az adott eszköz (laptop) kamerája készített arcfelvételt.

A kérdőíves kutatás során – a kvalitatív fázishoz hasonlóan, azokkal részben megegyezően – a pszichológiában használatos emócióstimuláló képszettek kerültek bemutatásra.

A képszetteket kétszer tekintették meg a válaszadók, először minden további teendő nélkül, minden képet két másodpercig láttak, csak és kizárólag figyelniük kellett a látványt. A teszt következő fázisában a tudatos érzelmeket is mértük: a hat ekmani alapérzelemről kellett a válaszadónak megmondania, hogy az adott érzelmet észlelik-e az aktuálisan megtekintett kép kapcsán.

Az FRS validációját szolgáló kvantitatív tesztfázis során az FRS sikerét azzal mértük, hogy az általa adott eredmény mennyire támasztható alá a tudatos észlelés által. A válaszadói spontán reakcióból származó FRS becslést hasonlítjuk össze érzelmenként a válaszadó által adott tudatos érzelemészlelés (Spotlight Plus eszköz által biztosított) értékével.

A bemutatott emócióstimuláló képszettek

Összesen így a kvantitatív tesztfázisban mindhárom nagymintás kutatásnál 12000 stimuláló kép kiváltotta érzelmet tesztelünk.

A tesztelés feladatai, a siker kritériumai

A kvantitatív kutatási fázis elsődleges célja az volt, hogy nagymennyiségű megfigyelés alapján, teljes populációra vonatkozóan határozza meg az FRS által detektált érzelmek pontosságát, és javaslatokat adjon a további fejlesztési, továbbtanítási irányokra.

Ezen túlmenően célunk az is volt, hogy feltárjuk azokat az esetleges technikai problémákat (videó lejátszás, videó továbbítás, böngésző- vagy eszközfüggetlenség hiánya) amelyek a nagymintás kutatási környezetben való használatkor nehezítenék az FRS mint professzionális kutatási eszköz használatát.

A kvantitatív kutatási fázisban meghatároztuk a tesztelendő kritériumokat és az FRS validálásához szükséges elvárt találati arányt (az összes megfigyelt eset 60%-a).

A kutatás ezen fázisában azt vártuk, hogy az FRS legalább 60%-os sikerrel jár az érzelmek beazonosításában.

Az FRS-t jelen tesztben akkor tekintettük jól működőnek, ha az előbb bemutatott kritérium szerint kutatásonként legalább 60%-ban egyezik az FRS és a validáló módszer szerinti kategorizáció (SpotLight).

Tesztelési mutatók, elvárt eredmény

A kvantitatív teszt során, 3*500 fős online kutatásban hullámonként 12 000 kép (24*500) kerül bemutatásra, minden vizsgált érzelemre vonatkozóan 4 kép. Minden hullám önálló képszettel dolgozott. Mindegyik stimuláló képsorozat pszichológus által összeválogatott, klasszikus stimuli képszettből eredt, és mindegyik képről egyértelműen beazonosítható volt, hogy mely érzelmet tudja leginkább kiváltani.

Kétféle eszközzel végeztük az érzelmek bemérését: a tesztelendő FRS-sel és a SpotLight Plus adta tudatos érzelemészleléssel. Mindkét eszköz minden képre és a hozzá tartozó érzelemre vonatkozóan egy 0-100%-ig terjedő valószínűségi eredményt adott, melynél az 50% feletti eredmény jelenti az adott érzelem „betalálását”: ekkor mondjuk, hogy az adott eszköz egy adott érzelmet egyértelműen látott az arcon a vizsgált kép esetén.

A validálási teszthez minden egyes interjú, minden egyes vizsgált képéhez rögzítettük a megfelelő mutatókat és kiszámítottuk az ún. „ FRS SIKER hányadost”, amely azt mutatja meg, hogy az összes vizsgált eset hány százalékában sikerült az FRS-nek helyesen betalálnia a látott érzelmet, azaz az FRS TRUE számot arányosítja az összes vizsgálati eset számához.

Tesztelési eredmények

Az FRS SIKER összesített találati arány elvárt mértéke minden kvantitatív hullámban minimum 60%.

A tesztelés és validálás a következő eredményt hozta (az eredmények minden kvantitatív kutatásra először külön, hullámonként, majd összesítve kerülnek bemutatásra):

Kvantitatív kutatások – összesített eredmények

Validálási tapasztalatok, fejlesztési javaslatok – az FRS sikeressége

Az FRS kvantitatív kutatási validálási tesztje is megerősítette, hogy az FRS integrációja meglévő kutatási eszközeinkbe sikeres volt.

A validálási eredmények alapján – az előre felállított sikerkritériumnak megfelelően – a kvantitatív kutatási szakasz végén is elmondható, hogy az FRS sikeresen detektálja az érzelmeket, azaz kellő pontossággal azonosítja be az arcon látható spontán emocionális reakciókat.

Az FRS sikermutatója jelen kutatási szakaszban: 65%, (hullámonként: 65%, 64%, 65%), ami valamivel meghaladja az elvárt mutatót (60%).

További fejlesztési javaslatok

az FRS további tesztelése a továbbtanítás egyes fázisai után
a stimuli képszettek javítása, az online kérdőíves környezetben is markánsabb érzelmeket generáló képszettek összeállítása
stimuli videók előkészítése: az eddigi statikus állókép alapú stimuli videók kiegészítése mozgóképpel
az FRS algoritmus továbbtanítása elsődlegesen a düh, a szomorúság és a meglepődés tekintetében (előbbi kettőnél a hamis negatív találatok, utóbbinál a hamis pozitív arányok visszaszorítása)