Filuttrekk til skjemaet for avløpsrapportering Versjon 1.2 Oppdatert 19.1.2017 Skjemaet «Årlig rapporting for avløpsanlegg» har en knapp hvor rapportøren kan laste opp èn -fil som inneholder opp til fire datasett: 1. Informasjon om -filen 2. Enkeltanalysene for BOF5, KOF, SS, P-TOT og N-TOT 3. Konsentrasjonene for BOF5, KOF, SS, P-TOT, N-TOT, tungmetaller og miljøgifter 4. Årlig utslipp av BOF5, KOF, SS, P-TOT, N-TOT, tungmetaller og miljøgifter Kapittel 1 og 2 beskriver hvordan -filen skal se ut. Kapittel 4 beskriver importjobben til Miljødirektoratet. 1. -filen 1.1 Nytt i versjon 1.1 og 1.2 Kapittel 2.3 «konsentrasjoner» er nytt i versjon 1.1. Kapittel 2.4 «arlig_utslipp» er nytt i versjon 1.2. Andre endringer av betydning er vist med rød tekst. -filer basert på versjon 1.1 og 1.0 vil fortsatt fungere. 1.2 Omfang En -fil skal ha informasjon fra kun ett anlegg. -filer kan lages for både kapittel 13 og 14 anlegg. Noen felter, som felter for enkeltanalyser, gjelder ikke for kapittele 13-anleggene. Hvis slike felt har data for kapittel et 13-anlegg, vil de ikke vises i skjemaet, men bli sendt inn. 1.3 Lagringsnavnet Lagringsnavnet til -filen kan bestå av: - året som rapporteringen gjelder for, - anleggets navn, eller anleggets nummer brukt i KOSTRA og - datetime. De to første bidrar til at rapportøren laster opp sine -filer til de riktige anleggene. Det er særlig viktig for rapportører som rapporterer for flere titalls anlegg. Tilsvarende gjelder for datetime. datetime bidrar dessuten til at enhver -fil får et unikt navn. Men hensynene kan løses på andre måter, det er opp til programvareleverandørene å bestemme hvordan. Jobben vår som importerer dataene fra -filen til skjemaet tar ikke hensyn til lagringsnavnet. Men unngå svært sære tegn i navnet. Filen skal slutte på «.json». 1.4 Formatering Bruk følgende regler ved formatering av feltene i -filen: a) Tall i desimalfelt kan ha maksimalt 9 sifre til venstre for komma og inntil 6 desimaler. Desimaltegnet skal være punktum. b) Ikke-obligatoriske felt kan med fordel utelates fra -filen i de tilfeller feltet er tomt. Alternativet er at det står null (med små bokstaver). c) Datofelt skal ha formatet YYYY-MM-DD. Inkluder gjerne linjeskift og innrykk i -filen slik at informasjonen er lesbar for rapportøren i notisblokk o.l. 2. Felter Vi følger disse reglene når vi navnsetter feltene i -filen og bruker IDer: d) Navnene på feltene skal være - med små bokstaver,
- hvor æ=e, ø=o og å=a og - med underscore som space e) Våre IDer, som komponent-id, enhet-id osv er like uansett hvor i -filen de brukes. Vår importjobb bruker feltnavnene angitt i kapittel 2. Feltenes rekkefølge i -filen spiller ingen rolle, men for oversiktens skyld ha dem helst lik feltrekkefølgen i tabellene beskrevet under. 2.1 info -filen skal ha èn "info" med feltene angitt i tabellen under. Navn på feltet i Obligatorisk Format Kommentar ar Ja Heltall Året rapporteringen gjelder for. Eksempel: Rapporteringen i 2015 er for året 2014 kostranummer Ja Tekst 8 tegn, dette er anleggsnummeret brukt i KOSTRA opprettet_dato Ja Dato Datoen for genereringen av -filen forsystem Ja Tekst Navnet på forsystemet eller programvareorganisasjonen. Maks 100 tegn skjema Ja Tekst Default verdi: "Avlop" (Stor "A") formatversjon Ja Desimal For øyeblikket 1.2. Men 1.0 og 1.1 er også akseptert 2.2 enkeltanalyser -filen kan ha null eller en "enkeltanalyser" med feltene angitt i tabellen under. Navn på feltet i Obligatorisk Format Kommentar provenr Ja Heltall Løpenummer generert når forsystemet lager -filen. Hver ny -fil starter med tallet 1 provetakingsdato Ja Dato Datoen skal være i rapportåret vannmengde_innlop Nei Desimal Tallet skal være i m3/døgn vannmengde_overlop Nei Desimal Tallet skal være i m3/døgn vannmengde_utlop Nei Desimal Tallet skal være i m3/døgn komponent_id Ja Heltall Bruk IDene vist i tabellen under konsentrasjon_innlop Nei* Desimal Tallet skal være i mg/l konsentrasjon_utlop Nei* Desimal Tallet skal være i mg/l forsystemreferanse Nei Tekst IDer brukt av forsystemet, i den hensikt å øke muligheten for å kunne spore opp rapporterte data. Maks 100 tegn * Det er meningsløst å ha rader hvor begge verdiene mangler. Siden "enkeltanalyser" omfatter 5 komponenter (stoffer), skal -filen ha minst 1 og maks 5 komponent-ider per provenr. Strukturen på "enkeltanalyser" skaper redundans. Derfor gjelder følgende regel: For ethvert unikt provenr skal - alle verdiene i provetakingsdato være like - alle verdiene i vannmengde_innlop være like - alle verdiene i vannmengde_overlop være like - alle verdiene i vannmengde_utlop være like Hvis en prøve inngår i både døgnblandprøve (SS, KOF, BOF5) og ukeblandprøve (P-TOT og N-TOT) vil vannmengdene være forskjellige. Ergo to provenr selv om de har samme provetakingsdato. komponent_id Komponentkode 156 KOF 176 N-TOT 195 P-TOT 300 SS 360 BOF5
2.3 konsentrasjoner -filen kan ha null eller en "konsentrasjoner" med feltene angitt i tabellen under. komponent_id og provetakingssted_id er primærnøkkelen. Flere rader kan altså ikke ha samme komponent_id og provetakingssted_id. Navn på feltet i Obligatorisk Format Kommentar komponent_id Ja Heltall Bruk IDene vist i tabellen under provetakingssted_id Ja Heltall Innløp = 2624. Utløp = 2626 antall_prover Ja Heltall Tallet skal være >= 0 konsentrasjon_laveste Nei* Desimal konsentrasjon_middel Nei* Desimal konsentrasjon_hoyeste Nei* Desimal enhet_id Ja Heltall Avhengig av komponent, se tabellen under fordelingsenhet_id Ja Heltall Avhengig av komponent, se tabellen under analyser_forskriftsgrense Nei* Heltall Tallet skal være >= 0 analyser_deteksjonsgrense Nei* Heltall Tallet skal være >= 0 kommentar Nei Tekst Maks 300 tegn forsystemreferanse Nei Tekst IDer brukt av forsystemet, i den hensikt å øke muligheten for å kunne spore opp rapporterte data. Maks 100 tegn. * Reglene for når disse 5 er obligatoriske beror på flere faktorer (omtalt i kap. 4). Men for å ha en fleksibilt filuttrekk og import er de ikke obligatoriske. konsentrasjoner arlig_utslipp komponent_id Komponent enhet_id fordelingsenhet_id enhet-id 156 KOF 68 60 103 176 N-TOT 68 60 103 195 P-TOT 68 60 103 300 SS 68 60 103 360 BOF5 68 60 103 45 Arsen 6 60 51 74 kadmium 6 60 51 101 kobber 6 60 51 140 kvikksølv 6 60 51 182 Nikkel 6 60 51 201 Bly 6 60 51 349 sink 6 60 51 397 krom 6 60 51 179 nonylfenol og nonylfenoletoksilater (NFE) 6 60 51 355 heksabromsyklododekan (HBCD/HBCDD) 6 60 51 474 di-(2-etylheksyl)ftalat (DEHP) 6 60 51 596 PAH-16 (NS9815) 6 60 51 466 polyklorerte bifenyler (PCB7) 6 60 45 468 2,2',6,6'-tetrabrombisfenol A (TBBPA) 6 60 45 489 2,2',4,4'-tetrabromdifenyleter (BDE47) 6 60 45 490 2,2',4,4',5-pentabromdifenyleter (BDE99) 6 60 45 491 2,2',4,4',6-pentabromdifenyleter (BDE100) 6 60 45 495 2,2',3,4,4',5',6-heptabromdifenyleter (BDE183) 6 60 45 497 2,2',3,3',4,4',5,5',6,6'-dekabromdifenyleter (BDE209) 6 60 45 Forklaring på enhet_id og fordelingsenhet_id: id Forklaring 6 mikrogram (µg) Eksempel: For KOF skal 68 og 60 45 gram brukes for konsentrasjoner, det 51 kilo tilsvarer mg/l. 60 liter 68 milligram (mg) 103 tonn
Metodene for å beregne konsentrasjon_snitt for tungmetaller og miljøgifter fremgår av kapittel 7 i «Veileder for prøvetaking og analyse av miljøgifter i innløps- og utløpsvann fra avløpsrenseanlegg» (TA-2378/2008). Veilederen kan søkes opp på www.miljødirektoratet.no. "konsentrasjoner" tar ikke hensyn til at visse data ikke omfattes av rapporteringen. Per i dag gjelder det: - SS, BOF5 og KOF for kapittel 14 anlegg - Min og maks innløp for P-TOT og N-TOT for kapittel 14-anlegg - Min utløp for P-TOT og N-TOT for kapittel 14-anlegg - Analyser_forskriftsgrense og analyser_deteksjonsgrense for P-TOT, N-TOT, BOF5, SS og KOF - Tungmetaller og miljøgifter for kapittel 13-anlegg - Min og maks innløp for P-TOT, N-TOT, BOF5, SS og KOF for kapittel 13-anlegg - Min utløp for P-TOT, N-TOT, BOF5, SS og KOF for kapittel 13-anlegg Det er uproblematisk at slike data likevel finnes i -filen. 2.4 arlig_utslipp -filen kan ha null eller en "arlig_utslipp" med feltene angitt i tabellen under. Navn på feltet i Obligatorisk Format Kommentar komponent_id Ja Heltall Bruk IDene vist i tabellen i kapittel 2.3 mengde_innlop Nei* Desimal mengde_utlop Nei* Desimal enhet_id Ja Heltall Avhengig av komponent, se tabellen i kapittel 2.3 grunnlag_verdi Ja Heltall Bruk 2412 for målt, 2413 for beregnet og 2414 for estimert kommentar Nei Tekst Maks 300 tegn forsystemreferanse Nei Tekst IDer brukt av forsystemet, i den hensikt å øke muligheten for å kunne spore opp rapporterte data. Maks 100 tegn. * Det er meningsløst å ha rader hvor begge verdiene mangler. For næringssalt og organisk stoff er begge feltene relevante. For tungmentaller og miljøgifter krever regelverket utløpsmengder for visse anlegg. komponent_id er primærnøkkelen. Flere rader kan altså ikke ha samme komponent_id. 3. Eksempler 3.1 info Ingen eksempler. 3.2 enkeltanalyser Fillutrekk Skjema Avlop, versjon 1.0.json inneholder dataene vist i tabellen under. 3.3 konsentrasjoner Ingen eksempler.
4. Import Kapittelet beskriver importjobben til Miljødirektoratet. Rapportøren gjør følgende: - Logger seg på Altinn og finner avløpsskjemaet - Velger det anlegget hun skal rapportere data fra - Fyller inn data i skjemaet, herunder om ønskelig bruke importknappen Regler for importen: - Rapportøren får importert data dersom all validering går bra, - altså enten blir alt importert eller ingenting importert - Importen sletter eventuelle eksisterende data i skjemaet for de datasettene som finnes i -filen - I skjemaet kan rapportøren endre på de opplastede dataene, herunder legge til eller slette dataene Eksempel: Rapportøren legger inn konsentrasjoner manuelt i skjemaet. Deretter importerer hun en -fil som inneholder datasettene info, enkeltanalyser og arlig_utslipp. Importen sletter ikke konsentrasjonene. Hvis hun så importerer en ny -fil som også har konsentrasjoner, vil alle datasettene i skjemaet bli oppdatert. Hensikten med importreglene er å sikre at dataene kan lagres i databasen og at dataene kan vises i skjemaet. Ergo skal importjobben feile dersom: - Et obligatorisk eller betinget obligatorisk felt, ref. kapittel 2, mangler, har en tom verdi, eller er null - Formateringen av et felt er feil, ref. kapittel 2, f.eks. at det er tekst i et heltallsfelt - Ikke alle Id ene er gyldige, ref. kapittel 2 - Et tektsfelt har flere tegn enn grensen angitt i kapittel 2 Skjemaet har flere regler, herunder at noen felter er obligatoriske eller betinget obligatoriske (hvis antall prøver = 0), at høyeste verdi må være >= middelverdi, noen komponenter er kun et krav for kapittel 13-anlegg, andre kun for kapittel 14-anlegg. Reglene kan endres over tid. For å kunne ha en -fil som ikke må endres hyppig grunnet endringer i skjemaet og for å ikke gjøre reglene for filuttrekket og importjobben unødvendig komplisert, holdes den typen regler utenfor filuttrekket og importjobben. Konsekvensen er at rapportøren etter å ha importert data, må legge inn og om nødvendig rette informasjon i noen felter. Importjobben skal lagre den sist opplastede -filen i dokumenttabellen. 4.1 info Importen skal feile dersom -filen ikke har en og bare en "info". Bruk disse to feltene til å sjekke om -filen gjelder den egenrapporten rapportøren skal laste opp dataene til. Navn på feltet i Klifinn ar Året til egenrapporten kostranummer dbo.anlegg.kildesystemidref Importer disse dataene til undergruppe = 78, dersom valideringen er ok: Navn på feltet i Felt i Forurensning Validering: Skal feile opprettet_dato Teksten (datoen) skal inn i TekstLiten2 med 3462 i Heltall1 dersom datoen ikke er i intervallet 1.12. i rapportåret og frem til dags dato forsystem Teksten skal inn i TekstLiten2 med 3463 i Heltall1 skjema Teksten skal inn i TekstLiten2 med 3464 dersom teksten ikke er «Avlop» i Heltall1 formatversjon Teksten skal inn i TekstLiten2 med 3465 i Heltall1 dersom verdien ikke er «1.0» eller høyere 4.2 enkeltanalyser = undergruppe 86 Hvis importen inneholder «enkeltanalyser», skal de eksisterende radene i undergruppe 86 slettes logisk. Importreglene fremgår av tabellen. Importer dataene til undergruppe 86. En rad i «enkeltanalyser» tilsvarer en rad i undergruppen.
Navn på feltet i Lagringskolonne Regler provenr Heltall1 provetakingsdato Dato1 vannmengde_innlop Desimal2 vannmengde_overlop Desimal3 vannmengde_utlop Desimal4 komponent_id KomponentID konsentrasjon_innlop HovedMengde konsentrasjon_utlop Desimal1 - MaleenhetID Bruk 68 (milligram) - FordelingsenhetID bruk 60 (liter) forsystemreferanse TekstLiten2 4.3 konsentrasjoner = undergruppe 80 Hvis importen inneholder «konsentrasjoner», skal de eksisterende radene i undergruppe 80 slettes logisk. Radene opprettet av uttrekket fra Forurensning skal likevel bestå, men uten data lagt inn av importen eller rapportøren. Importreglene fremgår av tabellen. Importer dataene til undergruppe 80. En rad i «konsentrasjoner» tilsvarer en rad i undergruppen. Importen skal feile dersom det finnes duplikate rader av kombinasjonen av komponent_id og provetakingssted_id. Importen skal bruke de 6 gruppeid ene til skjemaet som gjelder for undergruppe 80 til å ikke importere rader og data i kolonner som ikke inngår i skjemaet. Navn på feltet i komponent_id provetakingssted_id antall_prover konsentrasjon_laveste konsentrasjon_middel konsentrasjon_hoyeste enhet_id fordelingsenhet_id analyser_forskriftsgrense analyser_deteksjonsgrense kommentar forsystemreferanse Lagringskolonne KomponentID Heltall8 Heltall2 Desimal2 Desimal3 Desimal4 MaleenhetID FordelingsenhetID Desimal5 Desimal6 KommentarR TekstLiten2 4.4 arlig_utslipp Hvis importen inneholder «arlig_utslipp», skal de eksisterende radene i undergruppe 87 slettes logisk. Importreglene fremgår av tabellen. Importer dataene til undergruppe 87. En rad i «arlig_utslipp» tilsvarer en rad i undergruppen. Importen skal ikke importere datasettet dersom -filen har duplikate rader av komponent_id, men gi en feilmelding. Navn på feltet i Lagringskolonne Regler komponent_id KomponentID mengde_innlop Hovedmengde mengde_utlop Desimal1 enhet_id MaleenhetID grunnlag_verdi Heltall10 kommentar KommentarR forsystemreferanse TekstLiten2 Skjemaet fyller data i Heltall1.