PROSJEKTMANUAL PPM-UNDERSØKELSEN

Transkript

1 PROSJEKTMANUAL FOR TV-UNDERSØKELSEN 2011 PROSJEKTMANUAL PPM-UNDERSØKELSEN AUGUST 2015

2 Innhold ENDRINGER FRA FORRIGE UTGAVE INNLEDNING ETABLERINGSUNDERSØKELSEN Formål med Etableringsundersøkelsen Datagrunnlag Analyse av panelkontroller Oppdatering av universverdier PANELET Rekruttering av panelhusstander Instruksjon av panelmedlemmer Godtgjøring av panelmedlemmer Kontroll av panelmedlemmers atferd Kontroll av panelets sammensetning Utskifting av panelmedlemmer PPM-TEKNOLOGIEN Hovedkomponentene Enkodere DATAPROSESSERING Polling/dataoverføring Videre prosessering Sikkerhetsrutiner Validering Kanalidentifikasjon Minuttaggregering Side 2

3 5.4.3 Kvalifisering til sample Panelmedlemmer på reise Tidsforsinket radiolytting In dock edit Vekting av paneldata KVALITETSKONTROLL Daglig kontroll av rapporterte lyttertall Overvåking av datasystemene Overvåking av enkoderne Monitorer og back up enkodere Kontinuerlig overvåkning av kodene Kontroll av koder i paneldata Trendovervåkning Rapportering av kvalitetskontroll PRODUKSJON AV RADIOLOGGER RAPPORTERING AV PANELDATA Rapportering av lyttertall Web-rapportering MÅLTE KANALER I PANELUNDERSØKELSEN Side 3

4 Endringer fra forrige utgave Fra 2014 til 2015 Generelt Bedriftsnavnet Arbitron er endret til Nielsen Audio. Målte kanaler Oversikten over målte kanaler er oppdatert per 15. august Side 4

5 1. INNLEDNING TNS Gallup har inngått en avtale med NRK, SBS og MTG om leveranse av en nøytralt gjennomført undersøkelse av radiolyttingen i Norge, som dokumenterer hvor mange som hører på de ulike radiokanalene og hvor lenge lyttingen foregår. Undersøkelsen skal også så presist som mulig angi hvilke personer som lytter. Formålet med undersøkelsen er å gi et representativt bilde av atferden knyttet til radiolyttingen i Norge, herunder styrkeforholdet mellom kanalene. Data fra undersøkelsen skal gi et presist grunnlag både for kommersiell og redaksjonell bruk. TNS Gallup har siden 1994 gjennomført intervjubaserte målinger ( CATI-måling ) av radiolyttingen i Norge. Siden april 2006 har selskapet også gjennomført elektroniske målinger av radiolyttingen ved hjelp av Nielsen Audios Portable peoplemeter (PPM). Disse lyttertallene framkommer ved at et representativt panel av personer 12 år og eldre har med seg et elektronisk meter som passivt registrerer all enkodet radiolytting som de er eksponert for. Måling av radiolytting vil også i tiden fremover bestå av to undersøkelser som samlet gir de offisielle tallene for radiolyttingen i Norge. Den elektroniske panelundersøkelsen er den offisielle målingen av lytteatferden i Norge for alle rikskanaler og andre radiokanaler/samkjøringer som anses å kunne måles ved undersøkelsen på en valid måte. CATI-målingen anvendes når den enkelte stasjonen eller området er for lite(n) til på en valid måte å kunne rapporteres gjennom den elektroniske panelundersøkelsen. CATI-undersøkelsen vil levere de offisielle lyttertallene i slike tilfeller. Dette dokument gjelder den elektroniske panelundersøkelsen og er utarbeidet for å gi alle brukere av lyttertall i det norske markedet utfyllende informasjon om undersøkelsen. Prosjektmanualen beskriver og dokumenterer alle sider ved etableringen og driften av panelundersøkelsen, og hvilke forpliktelser TNS Gallup har overfor Oppdragsgiver. Enhver endring av panelundersøkelsen vil bli beskrevet og dokumentert i Prosjektmanualen. Prosjektmanualen vil bli utgitt i revidert utgave hvert år. Side 5

6 2. ETABLERINGSUNDERSØKELSEN Formålet med Panelundersøkelsen er å gi et representativt bilde av atferden knyttet til radiolyttingen i Norge, herunder styrkeforholdet mellom kanalene. For å kunne rapportere korrekte tall for befolkningens radiokonsum ved hjelp av en utvalgsundersøkelse er det av sentral betydning at sammensetningen av de personene vi måler er så representativ som mulig for det universet vi skal beskrive. En viktig del av Radioundersøkelsen er dermed en grundig kartlegging og løpende overvåkning av det radiouniverset som panelet skal representere. Dernest rekrutteres og vedlikeholdes et panel som er representativt for radiouniverset på de egenskapene som er viktige når det gjelder variasjoner i radiokonsum. Opprettelsen og driften av et representativt panel er dermed en prosess som veksler mellom to nivåer. På den ene siden gjennomføres en Etableringsundersøkelse som har til hensikt å beskrive det nasjonale radiouniverset. Deretter etableres et panel av personer som er og forblir representativt for dette universet. 2.1 Formål med Etableringsundersøkelsen Formålet med Etableringsundersøkelsen er tredelt. 1. Innsamlede data vil bli analysert for å beskrive universet og fastsette panelstrukturen. Formålet er å avdekke de egenskaper som er viktigst når det gjelder å forklare variasjoner i radiokonsum. Hensikten er dermed å sikre at panelet som etableres er representativt for radiouniverset på de egenskapene som er relevante for det vi måler. 2. Videre vil Etableringsundersøkelsen være en kilde for rekruttering av husstander til panelet. For mest mulig effektivt å rekruttere et panel i tråd med den fastsatte panelstrukturen, er det en fordel at vi på forhånd kjenner egenskapene på de primære og sekundære panelkontrollene til husstandene vi forsøker å rekruttere. 3. For at variabler skal kunne benyttes som panelkontroller må de ha kjente fordelinger i populasjonen. Dette kan enten foreligge i form av offisiell statistikk fra Statistisk sentralbyrå, eller det kan estimeres universverdier med grunnlag i utvalgsundersøkelser. Etableringsundersøkelsens tredje formål er å fastsette universverdier for de panelkontrollene hvor det ikke finnes offisiell statistikk. I forbindelse med etableringen av Panelundersøkelsen i 2006 ble det gjennomført en initiell Etableringsundersøkelse med formål å definere det radiouniverset som panelet skal representere. Analysene har senere blitt gjentatt og blir nå gjennomført årlig for å se om det har skjedd endringer i Side 6

7 radiouniversets struktur og størrelse som gir grunnlag for å endre på de kontrollvariablene som benyttes for å kontrollere sammensetningen av panelundersøkelsen. 2.2 Datagrunnlag TNS Gallup gjennomfører Etableringsundersøkelsene ved hjelp av data fra telefondelen av Radioundersøkelsen som er en del av den multimediale Forbruker & Mediaundersøkelsen (F&M). Denne undersøkelsen inneholder allerede et stort antall spørsmål om radiolytting og relevante bakgrunnsvariabler. F&M gjennomføres med telefonintervju i året, mens datagrunnlaget for Etableringsundersøkelsene er ca 8000 intervju fordelt over 11 uker i løpet av året. Disse ukene legges det på noen tilleggsspørsmål som er relevante i forhold til analyser av radiouniverset samt rekruttering til panelundersøkelsen. Utvalget til F&M trekkes som et tilfeldig utvalg av befolkningen 15 år og eldre. Utvalget trekkes fra Bisnode Machits befolkningsdatabase. På fasttelefonnummer intervjues den personen i husstanden 12 år eller eldre som sist hadde fødselsdag og det praktiseres inntil fem tilbakering for å komme i kontakt med riktig person. På mobiltelefonnummer intervjues svarpersonene direkte og det praktiseres inntil tre tilbakering. 2.3 Analyse av panelkontroller Det viktigste formålet med Etableringsundersøkelsen er å gjennomføre en analyse for å fastsette panelkontroller. For å oppnå dette vil vi analysere datamaterialet med henblikk på hvilke faktorer som er mest relevante for å forklare variasjoner i radiokonsum. Analysen kommer frem til et sett av primære og sekundære panelkontroller eller kjennetegn som videre danner grunnlag for rekruttering, balansering og vekting av panelet. De primære panelkontrollene vil til sammen utgjøre en matrise som er styrende for rekrutteringen av husstander til panelet. I tillegg vil vi kunne ha sekundære panelkontroller som vil bli brukt i vektingen av paneldata for å sikre en representativ fordeling på ytterligere kjennetegn som er viktige for radiokonsum. For at variabler skal kunne benyttes som panelkontroller må de ha kjente fordelinger i populasjonen. De metodisk riktige panelkontrollene er de som har størst forklaringskraft i forhold til det vi ønsker å måle, i vårt tilfelle radiokonsum. Videre kan det være aktuelt å inkludere viktige markedsmessige rapporteringskategorier som panelkontroller. Eksempel på dette kan være geografiske inndelinger som følger radiokonsesjonsområdene. Panelkontrollanalysen vil baseres på flere ulike statistiske teknikker. Utgangspunktet vil være en CHAIDanalyse (Chi-squared Automatic Interaction Detection) som er en eksplorativ teknikk som deler et utvalg i to eller flere distinkte grupper basert på kategorier av de beste predikatorene for den avhengige Side 7

8 variabelen (radiokonsum). Deretter deles hver av disse gruppene inn i mindre grupper basert på andre predikatorvariabler. Analysen viser segmenteringen grafisk i et trediagram. Panelkontrollanalysene vil dessuten benytte andre statistiske teknikker som multippel regresjonsanalyse for å finne det utvalget av variabler som samlet sett gir den beste modellen for å beskrive radiouniverset. En viktig del av analysen blir ikke bare å finne de variabler som skal brukes som panelkontroller, men også hvilken kategorisering av de enkelte variablene som er mest hensiktsmessig. For eksempel må det vurderes hvor findelt aldersinndeling som er forsvarlig ut fra utvalgsstørrelsen. Størrelsen på panelet vil derfor være en vesentlig rammebetingelse i forhold til fastsettelse av panelkontrollene. Analysen vil konkludere med et anbefalt sett av primære og sekundære panelkontroller med spesifisert kategorisering, som til sammen gir et antall celler i vektemodellen som er optimal ut fra en gitt panelstørrelse. Cellematrisen for de primære panelkontrollene vil inneholde målverdier som er det optimale antallet husstander panelet skal ha i hver celle. For hver celle vil vi også fastsette tillatte toleransegrenser for hvor mye en celle kan avvike i forhold til målverdien. Dersom antallet husstander i en celle kommer utenfor disse grensene må det enten rekrutteres eller sies opp panelhusstander i den aktuelle cellen. Panelundersøkelsen opererer i dag med følgende primærmatrise for rekruttering av husstander til panelet. Sentralitet og alder på yngste person i husstanden Andeler Målverdi antall husstander Nedre toleransegrense Øvre toleransegrense Storbyområdene yngste <=19 år 13, Storbyområdene yngste år 11, Storbyområdene yngste år 5, Storbyområdene yngste 50 år + 13, Utenfor Storbyområdene yngste <=19 år 17, Utenfor Storbyområdene yngste år 9, Utenfor Storbyområdene yngste år 5, Utenfor Storbyområdene yngste 50 år + 23, ,0 600 Side 8

9 2.4 Oppdatering av universverdier Analysene av Etableringsundersøkelsen blir gjennomført innen utgangen av mai hvert år. Det blir beregnet nye universverdier for panelet som settes i funksjon fra 1. juli hvert år. Side 9

10 3. PANELET 3.1 Rekruttering av panelhusstander Panelundersøkelsen består per juni 2014 av et panel med 1000 netto rapporterende personer i alderen 12 år og eldre. Det rekrutteres hele husstander til panelet slik at alle personer 12 år og eldre som er bosatt i husstanden må bruke sin PPM. I en løpende paneldrift vil rekrutteringen av husstander være rettet inn mot å erstatte husstander som forlater panelet med nye husstander med tilsvarende egenskaper. Vårt viktigste hjelpemiddel i så måte er husstandsmatrisen som består av de primære panelkontrollene som Etableringsundersøkelsen har funnet fram til som de viktigste faktorer når det gjelder radiokonsum. Panelets sammensetning blir løpende kontrollert mot husstandsmatrisen, og når antallet panelhusstander ligger under målverdien for en gitt celle, vil det bli rekruttert nye husstander i cellen. Panelets sammensetning vil dessuten bli kontrollert i forhold til de sekundære panelkontrollene. Utvalgstrekkingen til rekrutteringen vil også ta høyde for eventuelle ubalanser når det gjelder de sekundære vektevariablene. For å sikre en balansert rekruttering er det et viktig prinsipp å bruke kanaler som når ut til alle deler av befolkningen. Videre er det viktig at husstander som sier ja til å delta i panelet gjør dette under informert samtykke, dvs. at de er godt informert om hva de sier ja til før vi iverksetter utsending av måleutstyr. Det er selvsagt ønskelig å få en høy rekrutteringsandel, men det er viktigere at vi sender måleutstyr til de panelhusstandene som har forstått hva medlemskapet innebærer og faktisk er innstilt på å gjøre det som forventes. Vi søker derfor å identifisere de som ikke er motivert for deltakelse på et tidlig tidspunkt i rekrutteringsprosessen. Rekruttering av panelhusstander blir gjennomført med spesialtrente medarbeidere. Rekrutteringsprosessen blir gjennomført som illustrert i figuren under. Side 10

11 3.2 Instruksjon av panelmedlemmer Når utstyret er koblet opp, vil hvert panelmedlem i husstanden ha sin personlige PPM som vi ber dem om å bære med seg fra de står opp om morgenen og gjennom alle sine daglige aktiviteter, enten det er hjemme, ute, i bilen, på jobb eller i fritiden. I kommunikasjonen med panelmedlemmene presenteres tre enkle regler for hva som forventes av deres deltakelse: 1. Ta ut PPM-en fra ladestasjonen så snart du står opp om morgenen. 2. Ta med deg PPM-en uansett hvor du er og sørg for at det grønne lyset er på. 3. Når du går til sengs om kvelden setter du PPM-en i ladestasjonen. Vi anbefaler at ladestasjonen plasseres på soverommet slik at panelmedlemmet ser den og tar PPM-en ut av ladestasjonen så snart de står opp om morgenen. Dette tidspunktet blir dessuten registrert i data slik at vi kan overvåke i hvilken grad dette faktisk skjer for hvert enkelt panelmedlem. Personer som tar ut sin PPM sent kan bli kontaktet av panelsupport for påminnelser om riktig bruk. PPM-en vil registrere radio- og TV-bruk også når den blir ladet. Hvor mye av denne lyttingen som skal regnes med blir parameterstyrt i den daglige datavalideringen (jf ). PPM-en har en innebygget bevegelsessensor som gir detaljert informasjon om hvorvidt PPM-en er i bruk. For panelmedlemmet er dette synlig gjennom et grønt lys på siden av PPM-en som vil lyse så lenge PPM-en er i bevegelse. Vi oppfordrer alle til å følge med på at det grønne lyset er på så lenge de bruker PPM-en. Dersom de legger den fra seg vil lyset begynne å blinke for å påkalle oppmerksomhet. Dersom PPM-en ikke berøres, vil det grønne lyset slukkes etter en stund. PPM-en vil begynne å lyse igjen etter en enkel berøring. De innkomne dataene fra hver person inneholder detaljerte opplysninger om bevegelsesstatus gjennom hele døgnet. På den måten vil panelsupport overvåke i hvilken grad panelmedlemmene bruker PPM-en tilstrekkelig antall timer hver dag. Personer som har for lite bevegelse (motion) vil bli kontaktet for påminnelser og fornyet opplæring. Vi anbefaler at panelmedlemmene fester PPM-en i beltet eller andre steder ved hjelp av bæreklemmen. Den kan også oppbevares i lommer eller vesker og vi tilbyr ulike former for tilbehør for å bære med seg PPM-en på enklest mulig måte. Panelmedlemmene er instruert til å lade PPM-en når de går til sengs. Displayet vil da vise hvor mange poeng panelmedlemmet har tjent i løpet av dagen basert på hvor lenge det grønne lyset har vært tent. Igjen vil det registreres et klokkeslett for når PPM-en lades, og panelsupport kan overvåke og eventuelt korrigere unormal eller manglende lading. Panelmedlemmet oppfordres til å ta med seg PPM og batterilader også når de er på reise eller borte fra hjemmet. Hver PPM er utstyrt med et GSM modem som sender inn data til våre sentraler hver natt, uavhengig av oppholdssted. Dataleveransen forutsetter at det er dekning og vil ikke bli aktivert ved opphold i utlandet. PPM-en må i praksis lades en gang i døgnet. Side 11

12 3.3 Godtgjøring av panelmedlemmer Den innebygde bevegelsessensoren i PPM-teknologien gjør det mulig å knytte godtgjøringen av panelmedlemmer direkte opp mot den tiden de bruker PPM-en på riktig måte. Teknologien tildeler automatisk 1 bonuspoeng hvert tiende minutt PPM-en er i bevegelse og det grønne lyset er tent. Når panelmedlemmet setter PPM-en i ladestasjonen om kvelden vil displayet på PPM-en vise hvor mange poeng de har tjent opp i løpet av dagen og hittil i uken. På denne måten har vi en unik mulighet til å motivere til korrekt bruk av PPM-en samtidig som panelmedlemmet får kontinuerlig tilbakemelding om sin egen innsats. Videre er incentivsystemet lagt opp slik at de opptjente bonuspoengene kan veksles inn i gaver fra en katalog. Det er etablert en nettbutikk hvor hvert panelmedlem kan se hvor mange poeng de har tjent opp og bestille produkter. Det finnes også en papirversjon av gavekatalogen og produktene kan bestilles per telefon eller post. I tillegg til grunnpoengene man tjener opp gjennom sin daglige bruk av PPM-en er det også etablert et ekstra bonusprogram for unge i alderen år. Dessuten blir det tildelt ekstra bonuspoeng i spesielle høytider og godtgjøring for henting av utstyr på posthuset. Med for høy direkte godtgjøring kan man risikere å tiltrekke seg spesielle segmenter i befolkningen og dermed introdusere skjevheter i undersøkelsen. Denne formen for godtgjøring har vist seg å ha en struktur og et nivå som imøtekommer målsettingen om at godtgjøringen skal være tilstrekkelig uten at den er en egentlig motivasjon for å delta i undersøkelsen. 3.4 Kontroll av panelmedlemmers atferd For å sikre radiodata av så høy kvalitet som mulig, vil TNS Gallup overvåke kvaliteten på panelmedlemmenes deltakelse. For det første vil alle panelmedlemmer bli gjenstand for en nøye vurdering av datakvalitet før panelhusstanden settes i produksjonsstatus for å inngå i det rapporterende panelet. Videre inneholder databehandlingssystemet en rekke kontrollmekanismer i forhold til å vurdere kvaliteten på panelmedlemmenes deltakelse. Disse er parameterstyrte på to nivåer. For det første kan en sette grenser for hvilket nivå av unormal atferd som eventuelt skal føre til at data fra panelhusstanden blir forkastet fra det rapporterende panelet gjeldende dag. For det andre kan en sette grenser for hvilket nivå av unormal atferd som eventuelt skal generere en rapport til vårt panelsenter for videre behandling. Side 12

13 Slike rapporter kan genereres både på grunn av tekniske og atferdsmessige årsaker. I et PPM-panel fokuseres det mye på oppfølging av motion og tidspunkt for når man setter PPM-en i ladestasjonen og når man tar den ut igjen. De detaljerte dataene som registreres som følge av motion detektoren i PPM-en gir unike muligheter for tett oppfølging av panelmedlemmene. For å overvåke kvaliteten på paneldata på aggregert nivå produseres det dessuten en rekke rapporter gjennom dataprosesseringen. Disse rapportene viser sentrale indikatorer som kontrolleres før utsending av data. For å kontrollere at panelmedlemmene gjennomfører sine plikter som avtalt vil TNS Gallup dessuten gjennomføre en årlig Koinsidensundersøkelse for å sammenligne den oppgitte radiolyttingen med den radiolyttingen som blir registrert gjennom panelundersøkelsen (jf. 6.5). 3.5 Kontroll av panelets sammensetning TNS Gallup vil løpende kontrollere at panelets sammensetning tilfredsstiller de krav med hensyn til panelstrukturen som fastlegges gjennom panelkontrollanalysene. Dette vil skje gjennom løpende rapportering av vekterapporter og panelbalanse. Det vil skje en løpende overvåkning av endringer i panelmedlemmenes kjennetegn både når det gjelder husstandsrelaterte og personlige karakteristika. Dette vil skje gjennom flere ulike kanaler. For det første vil panelhusstandene gjennom vår samarbeidserklæring forplikte seg til å informere om endringer i panelhusstandens sammensetning. Gallup Panelsenter har også rutiner for å spørre om det har skjedd endringer i husstanden ved den løpende kontakten vi har med våre panelmedlemmer. Som en mer formell validering vil alle bakgrunnskjennetegn bli kontrollert gjennom en årlig undersøkelse for oppdatering av demografiopplysninger. 3.6 Utskifting av panelmedlemmer I en panelundersøkelse vil det alltid være en kontinuerlig strøm av panelmedlemmer som forlater panelet og nye medlemmer som kommer inn. I henhold til TNS retningslinjer blir utskiftingen av panelmedlemmer basert på følgende prinsipper: a) Naturlig utskifting Den viktigste årsaken til panelrotasjon er at panelmedlemmene selv ønsker å forlate panelet. En del mister interessen eller kommer av ulike årsaker frem til at de ikke lenger ønsker å delta i panelet. b) Overvåking av datakvalitet og oppfylling av forpliktelser Side 13

14 Overvåking av datakvaliteten fra hvert enkelt panelmedlem er et viktig element i et veldrevet PPM-panel. Software for paneladministrasjon vil ha innebygget automatiske kontrollrutiner som identifiserer panelmedlemmer som ikke bruker PPM-en slik vi ønsker at de skal gjøre. Panelsupport vil kontakte disse panelmedlemmene for å minne om reglene for korrekt bruk. Dersom panelmedlemmet ikke viser forbedring etter gjentatte kontakter, vil vi til slutt måtte avslutte samarbeidet med medlemmet og resten av husstanden. c) Panelbalanse Det blir også benyttet tvungen utskifting i det kontinuerlige arbeidet med å balansere panelet i forhold til den fastsatte cellematrisen. I en del situasjoner kan panelmedlemmer endre kjennetegn slik at de havner i en annen celle enn opprinnelig. Dersom den nye cellen ligger over den tillatte toleransegrensen vil vi måtte avslutte samarbeidet med en panelhusstand i denne cellen. Dette kan skje ved flytting, skilsmisser eller ungdom som flytter hjemmefra. Videre vil vi gjennom den årlige revisjonen av panelstrukturen og oppdateringen av universverdiene kunne oppleve at panelet kommer i ubalanse i forhold til den nye cellematrisen. I slike tilfeller vil vi måtte bruke tvungen utskifting for å gjenopprette balanse i panelet. Side 14

15 4. PPM-TEKNOLOGIEN 4.1 Hovedkomponentene PPM-teknologien er en passiv målemetode som registrerer panelmedlemmenes mediebruk så lenge PPM-en er eksponert for en enkodet radiokanal. Panelmedlemmene skal bære med seg PPM-en fra de står opp om morgenen til de legger seg om kvelden og PPM-en registrerer automatisk panelmedlemmets radiolytting i løpet av døgnet. Hovedkomponentene i et PPM-system er som følger: En ikke-hørbar kode legges på radiosendingen via en enkoder som er plassert ute hos radiostasjonen. Denne koden inneholder informasjon om hvilken radiostasjon det lyttes til, og når innholdet ble sendt. Panelmedlemmet bærer med seg en PPM (Portable People Meter) som registrerer koden hver gang den befinner seg innenfor hørbar distanse (tilpasset det menneskelige øret) av et enkodet signal. Sammen med hver PPM følger en ladestasjon som PPM-en skal plasseres i når panelmedlemmet går til sengs. Alle medlemmene får en ekstra lader til bruk på reise. PPM-en inneholder en bevegelsessensor (motion detector) som registrerer om PPM-en er i bevegelse eller ikke. Dette gir detaljert informasjon om i hvilken grad PPM-en har blitt brukt, og panelmedlemmer kan bli forkastet i datavalideringen dersom de ikke har hatt PPM-en med seg tilstrekkelig antall timer hver dag. PPM-en må ha vært i bevegelse minst 8 timer for at dataene skal bli godkjent, noe som er en internasjonal praksis. Bevegelsessensoren gir videre informasjon om når PPM-en ble tatt ut av ladestasjonen om morgenen og når den blir satt i ladestasjonen om kvelden. Disse elementene er viktige når man skal vurdere respondentens compliance, altså hvor godt de oppfyller sine forpliktelser. PPM-en har et grønt lys på siden som viser at den fungerer. Lyset er styrt av bevegelsessensoren og vil lyse så lenge det registreres bevegelse. Lyset er en viktig påminnelse for panelmedlemmet om alltid å ha PPM-en med seg. Dersom de legger PPM-en fra seg, vil lyset etter en stund begynne å blinke for å påkalle oppmerksomhet. Dersom PPM-en ikke beveges vil det grønne lyset etter hvert slukkes. Bevegelsessensoren er også utgangspunktet for et poengsystem hvor panelmedlemmene tildeles bonuspoeng basert på hvor lenge de har hatt PPM-en med seg. PPM-en tildeler automatisk ett poeng hvert tiende minutt PPM-en er i bevegelse. Når panelmedlemmet setter PPM-en i ladestasjonen om kvelden vil displayet vise hvor mange poeng panelmedlemmet har Side 15

16 fått i løpet av dagen og uken. Disse bonuspoengene fungerer som en godtgjøring for den innsatsen panelmedlemmene gjør, og poengene kan brukes til å velge varer fra en gavekatalog eller nettbutikk. Alle panelmedlemmer får et hodetelefonadapter for å koble PPM-en til radioenheten, slik at vi også fanger opp radiolytting på bærbare enheter. Alle husstander i panelet mottar også en eller flere hjemmeindikatorer, avhengig av størrelse på boligen. Hjemmeindikatoren og PPM-en kommuniserer via blåtann, og registrerer om PPM-en befinner seg i boligen eller ikke. Alle lytterdata blir dermed rapportert med informasjon om lokasjon, altså om den foregår i eller utenfor hjemmet. Den unike koden som sendes ut fra enkoderne gjør det uproblematisk å identifisere hvilken kanal panelmedlemmet har lyttet til selv når flere radio- og/eller TV-kanaler sender samme innhold samtidig, såkalt simulcasting. Det er også mulig å identifisere hvilken plattform panelmedlemmet har benyttet. Dette krever at den enkelte radiokanal installerer separate enkodere for hver plattform, for eksempel FM, DAB og Internett. Fingeravtrykket som ligger i sendingen innholder også et tidsstempel som forteller når sendingen fant sted. Ved å sammenlikne tidsstempelet i PPM-en med tidsstempelet fra enkoderen kan man skille tidsforsinket fra live mediebruk. I og med at vi vet både når materialet er sendt og når det er lyttet til, er det mulig å rapportere tidsforsinket radiolytting tilbake til tidspunktet det ble sendt. Dersom panelmedlemmet befinner seg i en situasjon hvor GSM-modemet i PPM-en må skrus av kan dette gjøres ved hjelp av en knapp som sitter på forsiden av PPM-en. Samme knappen brukes for å deaktivere flymodus. Hovedelementene i PPM-systemet. Side 16

17 4.2 Enkodere Enkoderne installeres i sendekjeden hos radiokanalene og de passer inn i en vanlig studiohylle. Teknologien er basert på prinsippet om psykoakustisk maskering, som gjør det mulig å skjule lydsignaler i radiokanalens sending. Lydsignalet skaper et fingeravtrykk som består av en gitt serie sifre. Disse sifrene er enkoderens unike kode som gjør det mulig å identifisere hvilken kilde lyden kommer fra. Hver enkoder sender kontinuerlig ut slike fingeravtrykk på sendingen, slik at all lydeksponering fra radiokanalene umiddelbart vil bli fanget opp av PPM-en. PPM-en inneholder et dekodersoftware som søker og gjenkjenner kildekodene ved hjelp av en digital signal processor (DSP). Det er mulig å legge mer enn en kode på radiosendingen ved hjelp av multilayer encoding. Dette er nyttig i tilfeller hvor materialet allerede er kodet, men hvor man ønsker å legge til ytterligere informasjon, som for eksempel plattform. I tillegg til den unike kildekoden, legger enkoderen også på et tidsstempel med en nøyaktighet på 1 minutt. Dette gjør det mulig å identifisere tidsforsinket mediebruk ved å sammenlikne enkodertidsstempelet med tidsstempelet i PPM-en. Lydsignalet fra enkoderen er umulig å høre for det menneskelige øret. Side 17

18 5. DATAPROSESSERING 5.1 Polling/dataoverføring Data fra husstandene blir overført til TNS Gallups datasentral hver natt via telefonnettet. Det benyttes GSM modem innebygget i hver PPM. Hvert modem er programmert til å ringe inn til datasentralen fra et bestemt tidspunkt på natten etter klokken 03:00 for å overføre alle data som er registrert etter forrige kontakt med datasentralen. Ved mislykket dataoverføring er modemene programmert med et gitt antall gjentatte kontaktforsøk inntil dataoverføringen er gjennomført. Dataoverføringen skjer ved hjelp av Nielsen Audios software CDP. 5.2 Videre prosessering Etter at data fra husstandene har kommet inn til TNS Gallups datasentral, skjer den videre dataprosesseringen ved hjelp av TNS ComTel. ComTel er et system som har blitt utviklet gjennom mange års erfaring med audience measurement rundt i verden og er en fullstendig softwareløsning for dataprosessering av publikumsmålingsdata. Softwaret kjører på en LINUX server, og dataene er lagret i en Oracle database på samme server. ComTel-prosesseringen består av følgende rutiner: Validering og editering Aggregering av data til minuttnivå Vekting av panelet Produksjon av outputfiler til analysesoftware ComTel-prosesseringen er satt opp til å kjøre hver dag kl 07:30. Data fra alle husstandene blir prosessert og rapportert. Overnightdata er offisielle data. 5.3 Sikkerhetsrutiner En pålitelig, kontinuerlig drift av panelundersøkelsen er avhengig av god infrastruktur og etablerte sikkerhetsrutiner. Følgende sikkerhetsrutiner er etablert for drift av panelundersøkelsen: Automatisk overvåking av datamaskiner og prosessering ved hjelp av software som kontrollerer dataflyten og varsler personell dersom det oppstår problemer. Systemet er satt opp til å varsle både ved hardwarefeil, feil på dataprosesseringen og ved eventuell overoppheting som følge av feil på kjølingsanlegg. Side 18

19 Automatisk strømforsyning gjennom en høykapasitets UPS (uninterruptible power supply) som sikrer strømforsyning ved eventuelt strømbrudd. Det er også satt opp automatisk varsling av personell ved eventuelle strømbrudd. Nettverket er beskyttet ved bruk av firewall og antivirus software. Daglige back up til alternativ lokasjon. Det blir automatisk tatt daglig backup av alle vitale datafiler som blir overført til våre operasjoner i Oslo og London. Om nødvendig vil det være mulig å drifte datasystemene fra alternativ lokasjon i Norge eller fra London. TNS support team i London har både infrastruktur og kompetent personale som kan drifte panelundersøkelsen om nødvendig. 24/7 telefonsupport for både software og hardware gjennom TNS support team. Data blir behandlet i tråd med Datatilsynets retningslinjer for behandling av personopplysninger. Sikkerhetsrutiner sørger for at panelhusstandenes identiteter holdes konfidensielle, og at alle personopplysninger blir slettet 6 måneder etter avsluttet medlemskap. 5.4 Validering Kanalidentifikasjon PPM-en registrerer løpende de kodete signalene fra de radiosendinger den er eksponert for. PPM-en er i stand til å dekode de ikke-hørbare kodene som enkoderne sender ut, og disse blir lagret i PPM-en inntil de overføres til datasentralen hver natt. Med dette har vi et unikt fingeravtrykk som forteller nøyaktig hvilken kanal lyden kommer fra. Dersom en kanal er utstyrt med separate enkodere for ulike distribusjonsplattformer vil disse bli registrert som unike koder som også identifiserer plattform Minuttaggregering Enkoderne hos radio- og TV-kanalene vil kontinuerlig forsøke å sette inn den ikke-hørbare koden i sendingen. En PPM som er eksponert for en sending vil registrere og lagre den koden med best kvalitet hvert 15. sekund. Det foregår altså en løpende registrering av koder i PPM-en og en viktig del av datavalideringen blir dermed å aggregere mediedataene til minuttnivå. Ved rapportering på minuttnivå kan hvert minutt kun tildeles èn kanal per panelmedlem. Dersom det er registrert flere kanalkoder innenfor samme minutt vil den kanalen som har flest 15-sekundersperioder innenfor minuttet få tildelt hele minuttet. Ved likt antall vil den kanalen som ligger først bli tildelt minuttet. Side 19

20 5.4.3 Kvalifisering til sample I den daglige dataprosesseringen vil data fra hvert enkelt panelmedlem bli validert og vurdert i forhold til spesifikke krav for kvalifisering til sample. Hver person må positivt kvalifiseres for å inngå i det rapporterende sample på individuelt grunnlag. Dette kan skje fra det tidspunkt husstanden er satt i produksjonsstatus. I tråd med internasjonal praksis kreves at panelmedlemmet må ha brukt PPM-en minst 8 timer en gitt dag for å kvalifisere for rapporterende sample. For personer i alderen år gjelder krav om minst 5 timer motion. I tillegg må det ikke identifiseres tekniske feil i data som tilsier at de rapporterte lytterdataene ikke er dekkende for panelmedlemmets radiolytting en gitt dag. Nivået på rapporterende sample i prosent av personer i produksjonsstatus (In tab rate) vil bli rapportert løpende til oppdragsgiver gjennom kvalitetskontrollrapporteringen Panelmedlemmer på reise Fra 1. oktober 2012 ble reglene for behandling av panelmedlemmer på reise endret slik at vi skiller mellom innenlands- og utenlandsreiser. Personer som er på reise i utlandet blir fra 1. oktober 2012 inkludert i datagrunnlaget som 0-lyttere. Med begrunnelsen at personer som oppholder seg i utlandet ikke blir eksponert for norsk radio, vil det være metodisk korrekt å la denne gruppen representeres med null radiolytting. Endringen innebærer dermed en metodisk forbedring og kvalitetsheving av de rapporterte lyttertallene, samt en harmonisering av valideringsreglene i tråd med tilsvarende radioundersøkelser i Danmark og Sverige. Panelmedlemmer som er på reise innenlands skal ta med seg PPM og batterilader og bruke den på vanlig måte. Fram til ble endelige data levert etter 3 dager, fra til ble endelige data rapportert etter 7 dager. Fra 1. januar 2014 gjelder overnightdata som offisielle data Tidsforsinket radiolytting PPM-målingen registrerer alle enkodete radiosendinger, både de som konsumeres i live og tidsforsinket. Kodene som sendes ut gjennom de installerte enkoderne består av en kanalidentifikasjonskode sammen med et tidsstempel som forteller når sendingen fant sted. Ved å sammenlikne dette enkodertidsstempelet Side 20

21 med tidsstempelet i PPM-en som forteller når sendingen ble konsumert, kan man identifisere om mediebruken skjedde live eller tidsforsinket og i så fall hvor mye. I datavalideringen finnes det fleksible muligheter for hvordan man ønsker å rapportere tidsforsinket mediebruk. Per dags dato blir tidsforsinket radiolytting identifisert og fjernet fra de rapporterte data. Foreløpig er volumet av tidsforsinket radiolytting svært lavt og man har valgt å ikke utsette leveransen av endelige data til markedet In dock edit PPM-en er i stand til å registrere koder også når den står i ladestasjonen. Radiolytting som registreres når PPM-en står i ladestasjonen på soverommet kan i mange tilfeller være reell, mens i andre tilfeller er den ikke reell. Panelmedlemmer vil ofte lytte til radio mens de er til sengs, men vi risikerer også at noen setter PPM-en i ladestasjonen mens de selv oppholder seg et annet sted. For slike situasjoner er det etablert editeringsregler som har som målsetting å fjerne radiolytting som ikke er reell uten at man fjerner den reelle radiolyttingen. I dagens panelundersøkelse godkjennes radiolytting de første 3 timene etter at PPM-en er satt i ladestasjonen og de siste 3 timene før den tas ut av ladestasjonen. 5.5 Vekting av paneldata Siste trinn i prosesseringen av data som rapporteres som dagens lyttertall er vekting av paneldata. Vektingen korrigerer for eventuelle skjevheter på de primære og sekundære panelkontrollene samt sørger for at lyttertallene kan uttrykkes som befolkningsstørrelser og ikke bare som andeler av utvalget. Det benyttes en form for vekting som kalles randvekting, eller proporsjonal skalering. Denne prosedyren tilpasser et utvalg til å bli konsistent i forhold til en lang rekke vektevariabler kalt randvekter. Kalkulasjonen skalerer først utvalget til å bli konsistent i forhold til den første randvekten. Så tilpasses vektene ved ytterligere skalering slik at utvalget er konsistent i forhold til den andre randvekten. Slik fortsetter modellen videre gjennom alle randvekter som er definert i modellen. Dette kalles en iterasjon. Etter iterasjonen foretas en konvergenstest som avgjør hvorvidt de vektede verdiene er innenfor de spesifiserte konvergenskravene for hver randvekt. Dersom konvergenstesten feiler på minst en vektevariabel, fortsetter kalkulasjonen gjennom en ny iterasjon og en ny konvergenstest. Iterasjonene og testene fortsetter helt til de beregnete vektene passerer konvergenskravet for alle vektevariablene. Vi har da etablert det endelige settet av vekter for gjeldende dag. Paneldata blir vektet på daglig basis etter kjønn, alder, utdanning, storbyområdene og alder på yngste person i husstanden. Nivået på vektene blir rapportert regelmessig til oppdragsgiver gjennom kvalitetskontrollrapporteringen. Side 21

22 6. KVALITETSKONTROLL 6.1 Daglig kontroll av rapporterte lyttertall Leveranse av offisielle lyttertall krever en systematisk overvåking av kvaliteten på rapporterte data. Panelundersøkelsen skal rapportere nøyaktige estimat på radiolyttingen i befolkningen på grunnlag av et panel av lyttere som representerer radiobefolkningen til enhver tid. TNS Gallup overvåker en rekke indikatorer når det gjelder kvaliteten på paneldataene. I den daglige produksjonen av paneldata finnes en rekke automatiske og visuelle rutiner for å kontrollere datakvaliteten før rapportering. Disse kontrollene omfatter: Daily response report: Panelstatus, rapporterende sample, in tab rate, motion statistikk og hovedtall for radiolyttingen Daglige vekterapporter: Konvergens og oppsummering av nivået på vektene Daglig enkoder rapport: Kontrollerer tilstedeværelsen av kanalkoder Lyttertallsrapporter for daglig dekning, lyttertid og markedsandeler sammenliknet med same dag foregående uke Lyttertall per minutt per kanal 6.2 Overvåking av datasystemene TNS Gallup er ISO sertifisert av Veritas. Denne sertifiseringen viser at TNS Gallups styringssystem både er i henhold til ISO 9001 og den nye bransjestandarden ISO Panelundersøkelsen er et kontinuerlig målesystem som er avhengig av en stabil drift av datasystemene. For å overvåke produksjonssystemet benyttes Nagios et software som er satt opp for å overvåke alle maskiner og prosesser i PPM systemet ( De viktigste funksjonene er: Kontrollere at alle maskiner er tilgjengelig Kontrollere lagringskapasitet Kontrollere flyten av datafiler Kontrollere fullført prosessering Varsle om unormale nivå på sentrale indikatorer Alarmere supportpersonell Side 22

23 Systemet er satt opp som et trafikklyssystem med grønne, gule og røde indikatorer for de maskinene og prosessene som blir overvåket. Systemet er også satt opp med varslingsrutiner til relevant personell ved unormal drift. Systemet produserer en rekke rapporter og logger for alle feil som blir identifisert. 6.3 Overvåking av enkoderne Det er den enkelte radiokanal sitt ansvar å installere enkoderne på riktig sted i sendekjeden og sørge for at kanalen til enhver tid er enkodet. Riktig enkoding er en forutsetning for rapportering av lyttertall fra panelundersøkelsen. Enkoderne er stort sett vedlikeholdsfrie og har dessuten innebygget varsling dersom det skulle oppstå feil på enkoderen. Det kan likevel oppstå situasjoner hvor radiosendingen ikke blir enkodet, eksempelvis ved ombygging av sendekjeden. Panelundersøkelsen benytter en kombinasjon av tiltak for å overvåke at den enkelte radiokanal er forskriftsmessig enkodet til enhver tid Monitorer og back up enkodere En del radiokanaler er utstyrt med en enkodermonitor som er installert i sendekjeden. Monitoren kontrollerer hvorvidt den faktiske radiosendingen inneholder gyldige koder fra enkoderen. Monitoren vil varsle teknisk personell dersom den mottar et ugyldig eller ikke kodet signal. Radiokanalene kan også ha lagret back up enkodere som kan installeres på kort varsel dersom det skulle oppstå feil på den installerte enkoderen. Dette sikrer en rask gjenoppretting av koden og reduserer omfanget av bortfallet. Det er også mulig å installere en back up enkoder permanent i sendekjeden som automatisk trer i kraft dersom det oppstår problemer med hovedenkoderen Kontinuerlig overvåkning av kodene Som en ekstra sikkerhet i forhold til å overvåke tilstedeværelsen av kodene er det etablert et system for monitorering av de største radiokanalene hos TNS Gallup. Radiokanalene tunes inn fra en tilgjengelig kilde til en monitor som videre er koblet til et kontrollpanel med lys som indikerer tilstedeværelsen av koden. Systemet er også satt opp med software som loggfører tidspunkt for eventuelle bortfall av koder Kontroll av koder i paneldata For å kontrollere forekomst av kodene i paneldata blir det også produsert en daglig rapport som viser mengden registrerte koder per installerte enkoder. Rapporten viser dessuten registrerte koder som ikke er definert i kanallisten og eventuelle kanaler som det ikke er registrert koder for i panelundersøkelsen siste døgn. Side 23

24 Som en sluttkontroll blir det også kjørt ukentlige dekningsrapporter for hver enkelt enkoder i systemet. Disse rapportene vil kunne identifisere radiokanaler med lite eller ingen lytting, og disse vil så bli undersøkt nærmere. 6.4 Trendovervåkning Paneladministrasjonssoftwaret har automatiske prosedyrer som identifiserer panelmedlemmer med potensielt unormale lytterdata. Systemet produserer rapporter over panelmedlemmer som overskrider gitte grenser for høyt eller lavt radiokonsum. I tillegg gjennomfører TNS Gallup longitudinelle analyser av paneldata som søker å avdekke tilfeller av unormal lytting som ekstrem lojalitet til enkeltkanaler, endringer i kanallojalitet, nullytting og ekstremlytting. Analysene blir utført i eget software utviklet av TNS spesielt for å analysere paneldata for kanaler og målgrupper over tid. 6.5 Rapportering av kvalitetskontroll TNS Gallup har etablert et system for regelmessig rapportering av kvalitetskontroll til oppdragsgiver. Rapporteringen er tilrettelagt i en egen webportal for tilgang over Internett. Kvalitetskontrollrapporteringen inneholder blant annet følgende rapporter: Lyttertallstrender per kanal og målgruppe In tab rates og rapporterende sample Motion statistikk Panelbalanse- og vekterapporter Panelrotasjon Panelkontrollanalyser Side 24

25 7. PRODUKSJON AV RADIOLOGGER For å kunne knytte lytterdata opp mot reklame og program, blir det produsert sendelogger for rapporterende radiokanaler. TNS Gallup produserer reklame- og programlogger basert på korrekte daglig innrapporterte avviklingslogger fra kanalene samt tilleggsinformasjon om spotene fra Nielsen Media Research. Avviklingsloggene skal inneholde nøyaktige start- og sluttidspunkt for hvert sendeelement i tillegg til informasjon om sendingen som tittel og genre. Med unntak av helger og helligdager skal TNS Gallup motta loggdata fra oppdragsgivers radiokanaler hver dag. Loggdata leveres i standard format etter nærmere avtale og overføres eller gjøres tilgjengelig elektronisk. Partene har et felles ansvar for å tilstrebe størst mulig nøyaktighet i rapporteringen og for å bistå til å bygge opp systemer og rutiner internt som er nødvendige for å sikre optimal kvalitet. TNS Gallup har etablert kontrollrutiner slik at feil og mangler i loggdata fra oppdragsgiver best mulig kan fanges opp og rettes. Loggdata behandles i databasesoftwaret LogWizard. Softwaret er utviklet av TNS Gallup og har vært brukt i den offisielle loggproduksjonen for radio og TV i Norge siden LogWizards primære oppgave er å samkjøre de ulike radiokanalenes logger, klassifisere og tittelere sendeelement, samt å kontrollere for start- og sluttidspunkt. Arbeidsprosessen i LogWizard er som følger: Loggene fra radiokanalene leses inn Det kontrolleres for korrekt filformat og komplette loggdata Det kontrolleres for overlappende start- og sluttidspunkt samt eventuelle hull Sendetype kontrolleres mot sendelengde for å avdekke eventuelle feil Program som kan klassifiseres automatisk på bakgrunn av tidligere logger klassifiseres Program som sendes for første gang tildeles et programnummer og klassifiseres med bakgrunn i informasjon i de mottatte loggene. Reklamefilmer klassifiseres mot reklamefilmregisteret basert på filmkode fra Nielsen Media Research Fellesloggene konverteres til standard filformat Ukategoriserte spoter blir oversendt Nielsen Media Research for kategorisering. NMR tildeler også en filmkode hvis dette mangler. Dette gjøres som en del av loggproduksjonen for å sikre at alle spoter er kategorisert før rapportering av endelige data. Side 25

26 TNS Gallup konverterer og standardiserer program- og reklameloggdata til en felleslogg for bruk koplet mot data fra panelundersøkelsen. Leveransen av loggdata består av to daglige filer. For nærmere dokumentasjon, se Datakodebok under Side 26

27 8. RAPPORTERING AV PANELDATA 8.1 Rapportering av lyttertall Lyttertall fra panelundersøkelsen blir rapportert som overnight filer til markedet. Filer blir rapportert hver virkedag innen kl 09:00. Loggfilene blir rapportert hver virkedag innen kl 12:00. Leveransen inkluderer all nødvendig informasjon for planlegging, salg og analyse. Fra 1. januar 2014 er overnightdataene offisielle data. Paneldata er tilgjengelig i et åpent dataformat for bruk av bookingsystem, salgssystem og for uavhengige analysesoftware i markedet. Dokumentasjon av det åpne dataformatet er tilgjengelig på TNS Gallups nettsider og blir løpende oppdatert. Se også datakodebok på Lyttertallene blir rapportert i form av to daglige filer. Eventfilen (AUyymmdd.swd) inneholder informasjon om hver enkelt lyttersesjon for hvert panelmedlem bestående av tid, kanal, platform og lokasjon (in home/out of home). Demografifilen (AUyymmdd.dem) inneholder informasjon om bakgrunnsopplysninger og vekt for hvert enkelt panelmedlem. Loggene leveres som to separate filer. Spotloggen (SPddmmyy.std) inneholder informasjon om hver enkelt spot. Programloggen (DEddmmyy.std) inneholder informasjon om hvert enkelt programsegment. Alle data er også tilgjengelig for analyse i TNS software Infosys. Uoffisielle lyttertall for mindre kanaler og regionale kanaler som inngår i samkjøringer eller nasjonale kanaler, kan bli rapportert til det enkelte radioselskap for intern bruk. Disse dataene rapporteres i et eget datasett. 8.1 Web-rapportering Det publiseres offentlig tilgjengelige lyttertallsrapporter fra panelundersøkelsen på TNS Gallups nettsider hver uke. Rapportene omfatter aggregerte lyttertall som dekning, lyttertid i minutter og markedsandeler per kanal. Side 27

28 MÅLTE KANALER I PANELUNDERSØKELSEN Per NRK P1 P1 nasjonal NRKP1 Digital P1 Østlandssendingen P1 Østfold P1 Buskerud P1 Telemark P1 Vestfold P1 Hedmark P1 Oppland P1 Sørlandet P1 Rogaland P1 Hordaland P1 Sogn og Fjordane P1 Møre og Romsdal P1 Sør Trøndelag P1 Nord Trøndelag P1 Nordland P1 Troms P1 Finnmark NRK P2 P2 P2 - Digital NRK P3 P3 P3 Digital NRK P1+ NRK P1+ NRK Nyheter FM NRK Nyheter FM NRK Nyheter Digital NRK Nyheter Digital NRK mp3 FM NRK mp3 FM NRK mp3 Digital NRK mp3 Digital NRK Sport NRK Sport NRK Klassisk NRK Klassisk NRK P13 NRK P13 P4 P4 P4 - web P4 - DAB Radio Norge Radio Norge Radio Norge - web Side 28

29 Radio 1 Radio Rock Radio Norge Soft P5 NRJ P4 Andre Radio Norge - DAB Radio 1 Oslo/Romerike Radio 1 Bergen Radio 1 Trondheim Radio 1 - web Radio 1 - DAB The Voice WEB Radio Rock Oslo Radio Rock Oslo - web Radio Rock Trondheim Radio Rock Bergen Radio Rock Stavanger Rock Klassiker Radio Norge Soft P5 Trondheim P5 Stavanger P5 Oslo P5 Bergen P5 Fredrikstad P5 Halden P5 Moss P5 Sarpsborg NRJ Digital NRJ Bergen NRJ Stavanger NRJ Kristiansand NRJ Oslo NRJ Røyken og Hurum NRJ Trondheim P6 Rock P7 Klem Digital P7 Klem FM Nesodden/Oslo P8 Pop Side 29