Mode-effekt - Mode effect

Tilstand effekt er en bred betegnelse for et fænomen, hvor en bestemt undersøgelse administration tilstand forårsager forskellige data, der skal indsamles. Når du f.eks. Stiller et spørgsmål ved hjælp af to forskellige tilstande ( f.eks. Papir og telefon), kan svar på den ene tilstand være markant og væsentligt forskellig fra svarene, der er givet i den anden tilstand. Mode-effekter er en metodologisk artefakt, der begrænser muligheden for at sammenligne resultater fra forskellige indsamlingsformer.

Teori

Særlige undersøgelsestilstande sætter respondenter i forskellige sindrammer, kaldet et mentalt "script". Dette kan påvirke de resultater, de giver. For eksempel:

• Ansigt-til-ansigt-undersøgelser beder om et "gæst" script. Respondenter behandler mere ansigt-til-ansigt-interviewere elskværdigt og gæstfrit, hvilket fører til, at de bliver mere behagelige og påvirker deres svar. Forskelle mellem de interviewere, der administrerer undersøgelsen, kan også føre til en række "interviewereffekter" på undersøgelsesresultater.
• Telefoninterviews beder om et "advokat" eller "telemarketer" script. Respondenterne lægger måske mindre prioritet på telefoninterviews, hvilket gør dem mere tilbøjelige til at tilfredsstille (besvare spørgsmål med mindst mulig indsats) for at afslutte interviewet før. At være opmærksom på, hvem der kan være i den anden ende af telefonen, kan også føre til, at respondenterne giver mere socialt acceptable svar, end der ville blive givet i andre undersøgelsestilstande.

Modeeffekter er sandsynligvis større, når forskellene mellem tilstande er større. Face-to-face-interviews adskiller sig væsentligt fra selvudfyldte pen-og-papir-former. I modsætning hertil er web-undersøgelser, pen-og-papir og andre selvudfyldte formularer meget ens (hver kræver, at respondenterne skal læse og svare privat på et spørgsmål), og derfor kan moduseffekter minimeres.

Brugere af undersøgelser skal overveje potentialet for tilstandseffekter, når de sammenligner resultater fra undersøgelser i forskellige tilstande. Dette er imidlertid vanskeligt, da moduseffekter kan være komplekse og genstand for interaktioner mellem respondentens demografi, emne og tilstand. Medmindre tilstandseffekterne formelt undersøges for undersøgelsesinstrumentet, er det vanskeligt at kvantificere deres størrelse og kvalitative vurderinger af eksperter, der er bekendt med emnet, og de respektive tilstande kræves i stedet.

Bias i social ønske

Undersøgelser af tilstandseffekter er undertiden modstridende, men nogle generelle mønstre opstår. F.eks. Har tendens til social ønske at være højest for telefonundersøgelser og lavest for webundersøgelser:

1. Telefonundersøgelser
2. Ansigt til ansigt undersøgelser
3. IVR-undersøgelser
4. Mailundersøgelser
5. Webundersøgelser

Da de data, der er indsamlet om følsomme emner (såsom seksuel adfærd eller ulovlige aktiviteter), vil ændre sig afhængigt af administrationsmodus, bør forskere derfor være forsigtige med at kombinere data eller sammenligne resultater fra forskellige tilstande.

Forskelle i spørgsmål mellem tilstande

Nogle tilstande kræver forskellige spørgsmålstekst fra andre for at passe til funktionerne i tilstanden. For eksempel kan selvudfyldte formularer bruge lister med eksempler eller omfattende instruktioner til at hjælpe respondenter med at besvare relativt komplekse spørgsmål. I telefonintervjuer er respondenterne derimod ofte begrænset af deres arbejdshukommelse og er usandsynligt, at de forstår et langt spørgsmål med flere underklausuler. Et andet eksempel er en 'matrix' af spørgsmål, der ofte findes på selvkomplette former, kan ikke let læses i en verbal samtale; snarere skal en matrix generelt skrives som en række individuelle spørgsmål.

Forskelle i spørgsmålets formulering på tværs af tilstande kan medføre, at forskellige data indsamles efter forskellige tilstande. Dette er dog ikke altid tilfældet, og passende tilpasning af spørgsmål til en ny tilstand kan give sammenlignelige data. Undersøgelsesdesignere skal overveje konventionerne i tilstanden, når de tilpasser spørgsmål. Selvom det for eksempel kan være acceptabelt at kræve, at respondenterne selv beregner de samlede tal i papirform, kan respondenterne opleve det som byrdefuldt, hvis dette er påkrævet i en webform (hvor respondenterne kan forvente, at totaler beregnes automatisk af computeren) . Dette kan igen ændre deres holdning til formen, ændre deres opførsel og i sidste ende ændre de indsamlede data.

Identificering og løsning af moduseffekter

Modeeffekter kan identificeres ved at indlejre et eksperiment i undersøgelsen, hvor en andel af respondenterne tildeles til hver tilstand. Forskelle i resultater fra hver tilstand skal identificere 'mode-effekten' for denne undersøgelse.

Når en tilstandseffekt er blevet kvantificeret, kan det være muligt at bruge denne information til at oparbejde eksisterende data og tillade sammenligning mellem data indsamlet i forskellige tilstande (f.eks. Ved backcasting af en tidsserie for at bestemme, hvilke resultater der tidligere havde været ', hvis de var blevet administreret i den nye tilstand).

Differentialdækning mellem tilstande

Forskellige administrationsmåder kan i sagens natur udelukke nogle dele af målpopulationen. Dette kan potentielt bias den prøve, der er taget, og ændre dataene fra, hvad der ville være blevet indsamlet ved hjælp af en anden tilstand. For eksempel er folk uden en hjemmetelefon udelukket fra undersøgelser af tilfældig digital opkald (RDD), og folk uden internetadgang er usandsynligt, at de vil gennemføre en webundersøgelse. Dette betyder, at der udtages forskellige prøver fra populationen, når man bruger forskellige tilstande. Medmindre eksperimenter er specifikt designet til at undersøge differentiel dækning, vil moduseffekter blive forvirret af dækning, og betydelige forskelle mellem tilstande / eksperimentelle forhold kunne have flere forklaringer:

• egenskaberne for tilstanden; com3
• forskellige 'typer' mennesker, der reagerer på de forskellige tilstande;
• både funktionsegenskaber og forskellige 'typer' af respondenter (på en additiv måde);
• en interaktion , hvor nogle respondenter er påvirket af egenskaberne i tilstanden, men andre ikke.

Dette problem forværres, når der i 'levende' administration af en undersøgelse bruges flere tilstande. Nogle undersøgelser bruger flere tilstande, så respondenterne kan vælge den mest praktiske metode til dem. Det vil sige, at forskellige 'typer' af respondenter forventes at gennemføre forskellige tilstande baseret på deres egne valg. I dette tilfælde er tilstandseffekter vanskelige at kvantificere, da tilfældig allokering af respondenter til en betingelse ikke afspejler deres præference. Et sådant eksperiment mangler ekstern gyldighed, og resultaterne vil ikke direkte generalisere til situationer, der giver respondenterne et valg. Undladelse af tilfældigt at tildele deltagere til en betingelse (dvs. at give dem mulighed for at vælge, og derved bevare ekstern gyldighed) ville betyde tilsyneladende forskelle mellem tilstande afspejler den kombinerede effekt af a) forskellige respondenttyper, der vælger hver tilstand og b) enhver moduseffekter.

Referencer