P-sys H Hovedprosjekt

Transkript

1 P-sys H Hovedprosjekt Forprosjekt Avdeling for Ingeniør- og Naturfag H Hovedprosjekt vår 2014 Av Magnus Pihlstrøm Lars Magnus Kaasa Lars Fredrik Tvinde Øystein Berge

2 1.0 Referanseside TITTEL HO2-300 Hovedprosjekt RAPPORTNUMMER 1 DATO PROSJEKTTITTEL P-sys TILGJENGELIGHET Åpen ANTALL SIDER 19 (uten vedlegg) FORFATTERE Magnus Pihlstrøm (prosjektleder) Lars Magnus Kaasa Lars Fredrik Tvinde Øystein Berge OPPDRAGSGIVER Førde lufthavn Bringeland STYRINGSGRUPPE Joar Sande (prosjektansvarlig) SAMMENDRAG Dette er et forprosjekt i faget HO2-300 Hovedprosjekt ved HiSF-AIN våren Prosjektet er et samarbeid med Førde lufthavn Bringeland. Oppdragsgivers spesifikasjoner er å erstatte det nåværende parkeringsavgiftsystemet med et nytt. Det nye systemet skal regne hver bruker sin parkeringstid, basert på innog utregistreringer. I denne rapporten drøfter vi hvordan vi kan løse oppdragsgivers spesifisering. Gruppen har kommet frem til en teknisk løsning. Vi skal videre i vår bygge opp programvaren og modell etter planen som blir laget, og begrunnet, i denne rapporten. EMNEORD Bildegjenkjenning, OCR, OpenCV, JavaCV, Wampserver, Xampp 2

3 2.0 Forord Forord er skrevet med bakgrunn fra Emneomtale HO2-300 Bacheloroppgave. I løpet av vårsemesteret 3. året ved automasjonslinjen på Høgskulen i Sogn og Fjordane (HiSF), skal studentene gjennomføre et prosjekt i forbindelse med faget HO2-300 Hovedprosjekt vår Prosjektet er et fordypningsemne som skal vere praktisk og/eller teoretisk, helst eit utviklings- eller utgreiingsprosjekt for industrien/næringslivet eller offentleg forvaltning. Det oppfordres til å finne et prosjekt selv, eller finne en oppdragsgiver. Vår oppdragsgiver er Kjell Otto Gjesdal ved Førde lufthavn Bringeland. Det er krav om at prosjektet skal innbefatte prosjektbeskrivelse, forprosjekt, midtveispresentasjon, plakat, pressemelding og muntlig presentasjon. Noe som omfatter planlegging, kostnadsoverslag, litteraturstudiar, prosjektering, konstruksjon, større målingar/undersøkingar og utvikling av eventuell prototype. Sluttvurdering blir gjort ut ifra dokumentasjon og kvalitetssikring av resultatet. Gruppen består av 4 personer som det er anslått skal bruke 500 timer hver. Gruppen består av: Magnus Pihlstrøm Prosjektleder Lars Magnus Kaasa Student Lars Fredrik Tvinde Student Øystein Berge Student Styringsgruppe: Joar Sande Prosjektansvarlig Førde, Magnus Pihlstrøm Lars Magnus Kaasa Lars Fredrik Tvinde Øystein Berge 3

4 3.0 Innholdsfortegnelse 1.0 Referanseside Forord Innholdsfortegnelse Fagterminologi og forkortelser Sammendrag Innledning Funksjonsbeskrivelse Ønsket funksjon Teknisk funksjon Ankomst og avgang Kunderegistrering Avvik Løsning på programvare Program for registrering Programalternativer Bibliotekalternativer Program for bildebehandling Ulike typer OCR Tesseract OCR Oppbygging av database Lagret database Registrering til database Konklusjon Framdriftsplan Tidsressurser Møteplan Budsjett Organisering Oppdragsgiver Styringsgruppen Prosjektgruppen Figurliste Bibliografi

5 15.0 Vedlegg

6 4.0 Fagterminologi og forkortelser HiSF HiSF-AIN SVV JAVA SWING Netbeans JavaCV CV (Computer Vision) OpenCV Bibliotek Algoritme Open source Wrapper Python C++ Database MySQL MySQL Lite php phpmyadmin Apache http server OCR (Optical Character Recognition) Høgskulen i Sogn og Fjordane Avdeling for Ingeniør og Naturfag ved Høgskulen i Sogn og Fjordane Statens vegvesen Programmeringsspråk og metode Grafisk verktøysett for JAVA Utviklingsverktøy for JAVA, php, C/C++ Grensesnitt til Java som gir mulighet til å bruke CV-bibliotek Algoritmer for at datamaskin skal oppnå visuell forståelse av ett eller flere bilder Bibliotek med metoder for bruk i JAVAprogrammering Samling av funksjoner og klasser Gjenbrukbar funksjonalitet for programmering Software hvor kildekoden er åpen til offentligheten Grensesnitt som muliggjør bruk av bibliotek på tvers av programmeringsspråk Høynivå programmeringsspråk Programmeringsspråk Strukturert samling av relaterte data Program for databasekonstruksjon php webapplikasjon for insetting og oppdatering av egen MysSQL-database Programmeringsspråk for webutvikling Gratis php-skrevet program for administrering av MySql-database http server med åpen kildekode, utviklet for Windows og Unix Program/bibliotek som brukes til tegngjenkjenning fra bilder 6

7 5.0 Sammendrag Dette er et prosjekt i faget HO2-300 Hovedprosjekt, som er en del av 6. semester i utdanningen ved HiSF-AIN våren Denne rapporten handler om et automatisert avgiftsystem for parkeringen ved Førde lufthavn Bringeland. Spesifikasjonene fra Førde lufthavn er at vi skal kunne lage et program som gjør det mulig å regne parkeringstid basert på inn- og utregistreringer, for så at kunde kan betale avgift i ettertid. Fordelene med dette er at kundene vil betale for den faktiske tiden, det er ikke mulig å snike seg unna parkeringsavgift og oppdragsgiver vil unngå klagehåndtering som følge av utskrevne bøter. I denne rapporten drøfter vi løsninger på oppdragsgivers ønsker. Vi ser på muligheter for registrering av inn- og utkjøring ved hjelp av bildebehandling. Vi ser også på muligheter for bruk av databaser for å kunne knytte registrerte biler mot riktig eier. I en rapport i forbindelse med faget OR2-300 Prosjektstyring med prosjekt høsten 2013, kom vi frem til at et slikt system ikke er mulig å montere ved oppdragsgivers parkeringsanlegg i løpet av vår studietid. I den rapporten så også på krav i henhold til lagring av personopplysninger. Vi ser på denne rapporten som en videreføring av rapporten fra høsten 2013 og vil derfor fokusere på å finne løsning på programvare. Vi har med denne rapporten en god plan til å lage en programvare. Vi skal senere i vår bygge en prototype for å kunne vise prinsippet på en god måte. 7

8 6.0 Innledning Dette er en forprosjektrapport for hovedprosjekt ved ingeniørutdanningen ved HiSF-AIN våren I forprosjektrapporten drøftes de muligheter det er for å gjennomføre hovedprosjektet. Prosjektgruppen består av Magnus Pihlstrøm, Lars Fredrik Tvinde, Øystein Berge og Lars Magnus Kaasa. Gruppen skal gjennomføre hovedprosjektet på oppdrag for Førde lufthavn Bringeland, med Kjell Otto Gjesdal som kontaktperson. Førde lufthavn vil ha et nytt system for å behandle parkeringsavgift. I dag er det en automat inne på terminalen der en må forhåndsbetale for parkeringsbillett, for så å legge denne i frontruten. Etter diskusjon om problemløsing mellom prosjektgruppen og Gjesdal, kom vi frem til en plan som er utgangspunktet for dette prosjektet. Vi vil lage et system som regner enkeltbilers parkeringstid, ved bruk av inn- og utregistreringer. Deretter regnes skyldig avgift, som betales på etterskudd. Det er en del hensyn som må tas i forbindelse med et slikt prosjekt. I rapport skrevet høsten 2013 i faget OR2-300 Prosjetstyring med prosjekt, konkluderte vi med at dette prosjektet er gjennomførbart ved hjelp av skiltgjenkjenning. Vi kom også frem til at det i løpet av vår studietid ikke er mulig å installere et slikt system, ved innkjøringen til Førde lufthavn. Problematikk som følge av Personopplysningsloven, som gir begrensinger til hvordan en programvare for registrering blir bygget opp, ble også kartlagt i rapporten fra høst Målet med denne rapporten er å finne en løsning for å kunne registrere kjøretøy, beregne parkeringstid og knytte kjøretøy opp mot en bruker. Ved hjelp av et program. 8

9 7.0 Funksjonsbeskrivelse Vi la en overordnet plan for hvordan systemet vårt skal fungere, før vi tenkte ut en mer detaljert virkemåte. 7.1 Ønsket funksjon Vi har diskutert hvordan vi lettest kan knytte en bil opp mot en bruker. Det som alle biler har felles, men som likevel er særegent, er registreringsnummer. Vi vil sammenligne registreringsnumrene mot en database med brukere. Skal vi kunne klare dette, må vi registrere bilene når de kjører inn på parkeringsplassen. For å kunne vite hvem som er parkert til hvert tidspunkt, må vi vite hvem som er knyttet til hver bil. Dette må gjøres ved hjelp av en database. Under arbeidet med en rapport vi skrev i faget OR2-300 Prosjektstyring med prosjekt høsten 2013, tok vi kontakt med Statens Vegvesen (SVV) og forhørte oss om tilgang til deres kjøretøysdatabase. I denne databasen ligger all informasjon som er knyttet opp mot en bil, inkludert eier. Eneste måte å få tilgang til denne databasen, er ved å kjøpe en CD med innholdet. Problemet med dette er at informasjonen på denne CDen kun er oppdatert den dagen vi kjøper den. Dvs at biler som bytter eier etter vi har kjøpt CDen, står fortsatt registrert med den gamle eieren [1]. Alternativet er å lage vår egen database. Dette kan vi gjøre ved at brukeren registrerer seg selv. 7.2 Teknisk funksjon For å kunne registrere parkeringstid, har vi laget en plan over hvordan opplevelsen skal være for kunde. Gruppen har diskutert hvordan vi ser for oss at systemet vårt til slutt vil fungere. Dette er den planen vi kommer til å jobbe mot Ankomst og avgang Ved ankomst til lufthavnen, skal bilen registreres ved hjelp av et kamera som tar bilde av bilen. Vi skal lage et program som leser registreringsnummeret og gir oss eier av bilen og tidspunkt for anomst. Når en forlater etter endt parkering, vil bilen igjen bli registrert på samme måte som ved ankomst. Programmet vårt vil regne ut parkeringstid og avgift som skal betales. Det vil dermed være klargjort for å skrive ut faktura. 9

10 7.2.2 Kunderegistrering For å kunne knytte den registrerte informasjonen, som beskrevet over, må vi som nevnt tidligere ha en database. Inne på terminalen vil det være plassert en skjerm med et enkelt brukergrensesnitt. Der kan brukeren registrere informasjonen som kreves. Har brukeren registrert seg en gang tidligere, er det ikke nødvendig å gjøre noe. 7.3 Avvik Enkelte ganger kan det være svikt i registreringssystemet. Dette kan blant annet være pga vær, ved f.eks snø på registreringsskiltet, eller ved at skiltene er så skitne at det ikke er mulig å lese nummeret. Ved slike situasjoner, vil det fortsatt kunne være mulig å fylle inn informasjonen manuelt. En databehandler vil også ha tilgang til databasen og kan endre denne hvis det skulle oppstå feil. 8.0 Løsning på programvare Her drøfter vi mulighetene vi har når vi skal løse oppgavene beskrevet i 7.0 Funksjonsbeskrivelse. 8.1 Program for registrering Når en bil skal registreres ved inn- og utkjøring, har vi kommet frem til at vi skal ta bilde av bilene som passerer, for så å behandle bildet Programalternativer Vi har sett på program som Netbeans og Python. Når vi har valgt program, er det også viktig å tenke på hvilke biblioteker vi har tilgang til. Java er et programmeringsspråk vi har lært å bruke gjennom fag på skolen, ved bruk av Netbeans. Det at dette er et program vi kjenner fra før, gjør at det kan være en fordel å velge dette for å gjennomføre prosjektet. Det andre programmet vi har sett på, er Python. Python er et programmeringsspråk vi ikke har noe erfaring med. Det, sammen med at Python ikke er objektorientert, gjør at vi kommer til å fortsette med Netbeans som utgangspunkt [2]. Objektorientert programmering er en form for programmering med pakker. Dette gjør at en kan lage metoder, små programpakker, som en kan peke til og bruke senere i programmet [3]. Med dette blir programmet vårt mer oversiktlig og kompakt. 10

11 8.1.2 Bibliotekalternativer Etter undersøkelser og drøfting, har vi kommet frem til at OpenCV er et åpent bibliotek som brukes, både faglig og kommersielt, til bildebehandling. CV står for Computer Vision og er et fellesnavn for programmer som tillegner, prosesserer, analyserer og forstår bilder. OpenCV er en åpen kildekode innenfor denne kategorien. OpenCV er skrevet i C++, men har også grensesnitt for bruk i Java og Python [4]. Skal en bruke OpenCV i Java Netbeans, må en bruke det gjennom JavaCV. JavaCV er det som kalles en wrapper. Dette gjør at det er mulig å overføre metoder og kommandoer fra OpenCV til Java-biblioteket [5]. Med dette finner vi området som skal bildebehandles. Det klipper ut registreringsskiltet før det sendes videre til neste fase. 8.2 Program for bildebehandling For å ha mulighet til å hente ut og lese bokstavene som er i området Java-programmet vårt finner, må vi ha enda et program. Dette kan gjøres via OCR (Optical Character Recognintion). OCR-funksjonen er et bibliotek som inneholder algoritmer for tegngjenkjenning fra bilde, men det finnes også ferdige program som figur 8.1 viser. Disse er ofte brukt til å konvertere tekst fra et skannet dokument, slik at det kan redigeres i et tekstbehandlingsprogram, som for eksempel Word. Figur 8.1 Eksempel på program med OCR. Til venstre er det en PDF-fil som blir avlest, og til høyre er teksten skrevet inn i et Word-dokument. 11

12 8.2.1 Ulike typer OCR Det finnes i hovedsak to ulike typer prinsipp for OCR. Matrix matching og Feature extraction. Matrix matching baserer seg på å sammenligne hvert tegn sitt mønster med en mal. Det som er negativt med Matrix matching, er at teksttypen til det leste tegnet må være identisk med teksttypen i malen (se eksempel i figur 8.2). Det vil si; skal en lese en tekst skrevet i Times New Roman, må også malen være i Times New Roman. Figur 8.2 Eksempel Matrix matching. Der hvor tegntypen vi har tatt bildet av (Times New Roman) finnes som mal, får vi riktig resultat. Der hvor bildet er av en bokstav i Calibri, som ikke er en del av malen, får vi ikke noe resultat. Feature extraction er kanskje den mest brukte typen. Her prøver algoritmen å ignorere de mest variable delene i et tegn. Et eksempel, som vist i figur 8.3, er bokstaven H. Den består alltid av to parallelle linjer vertikalt og en linje horisontalt. I algoritmen vil den se etter likheter med det i malen, istedenfor at det skal være helt identisk [6]. Figur 8.3 Eksempel med Feature extraction. Programmet finner de to vertikale linjene og ser dermed likheten til bokstaven H. Dermed får vi i resultat med begge skrifttyper. Fordelen med feature extraction er at den vil fungere på flere skrifttyper ettersom algoritmen er mindre kresen småforskjeller. Ettersom registreringsnummer på bil er skrevet i flere skrifttyper [7], vil den sistnevnte algoritmen passe best for vårt formål. 12

13 8.2.2 Tesseract OCR Tesseract OCR er en tegngjenkjenningsmotor som ble utviklet av Hewlett Packard (HP) mellom 1985 og I senere tid ble teknologien kjøpt opp av Google, som forbedret koden, og la den ut som Open Source. Tesseract OCR regnes som den mest nøyaktige tegngjenkjenningsmotoren blant dem som er gratis [8]. Algoritmene brukt i Tesseract har etter hvert blitt veldig avanserte. Opprinnelig er koden skrevet i c/c++, men det finnes også en wrapper for Java. Denne wrapperen er kalt Tess4J [9]. Tesseract OCR blir jevnlig oppdatert. Det at godt etablerte selskaper og systemer, slik som Google, bruker dette [10], er et godt tegn. 8.3 Oppbygging av database For å finne en god løsning på hvordan databasedelen skal løses, har vi brukt tid på undersøkelse av mulige løsninger. Vi fant flere databaseprogrammer som kan gi oss den funksjonaliteten vi trenger, men bestemte oss for å undersøke innenfor for det vi har mest kunnskaper om fra før. Vi prøvde oss frem med programmer som Wampserver, Netbeans, MySQL workbench, Xampp, Notepad++ og Codelobster. Vi fokuserer i den videre drøftingen på det som er mest relevant Lagret database Planen var i første omgang å bare bruke MySQL workbench sammen med Java Netbeans, men vi ville sjekke om vi kunne finne en enklere løsning. Vi prøvde Xampp som er et open source program som inneholder Apache HTTP Server og MySQL database. Xampp tolker koding skrevet i PHP og Perl programmeringsspråk [11]. Samtidig som dette testet vi Wampserver, også det et open source program. Forskjellen på Xampp og Wampserver er ikke så store. De har stort sett de samme funksjonene, men litt ulike utforminger. Vi ble anbefalt av vår lærer Marcin Fojcik å bruke Wampserver. I følge han var Wampserver enklest å ta i bruk. Vi ville bruke den delen av Wampserver som heter PhpMyAdmin. PhpMyAdmin er et databaseprogram som inneholder MySQL lite.det er laget for å kunne administrere MySQLdatabasen ved bruk av en web-browser [12]. 13

14 8.3.2 Registrering til database Wampserver er et «alt-i-ett»-program. Derfor ville vi også bruke dette til ikke bare lagring, men også inntasting av informasjon. Ved hjelp av Apache HTTP Server kan vi lage et brukergrensesnitt. Siden denne delen av Wampserver bruker PHP-koding, noe vi ikke har hatt før, ble dette vanskeligere enn først antatt. Ved å bruke Java Netbeans, kan vi lage et SWING-program, det som brukeren skal registrere seg via. Java Netbeans har vi allerede kunnskap om og det blir derfor lettere å programmere brukergrensesnittet her, for så å koble opp mot databasen i PhpMyAdmin. 14

15 9.0 Konklusjon I løpet av forprosjektperioden har vi kommet frem til en god løsning for å kunne lage et program som oppnår oppdragsgivers spesifikasjoner. Ved å ta bilde av bilene ved inn- og utkjøring, og behandle disse bildene, finner vi ut hvor lenge bilene har vært parkert. Vi bruker Java til å finne feltet, registreringsskiltet, som skal tydes. Til dette bruker vi biblioteket til OpenCV. Selve lesingen gjøres med TesseractOCR med feature extractionmetoden. Databasen konstrueres i PhpMyAdmin som vi finner i Wampserver. Swing-programmet for innskriving til databasen, lager vi i i Netbeans. Hele programmet i sin helhet samles i en modell, som blir et grunnlag for Førde lufthavns videre søknadsprosess om et automatisk anlegg. Mål for videre arbeid blir å lage et program for bildegjenkjenning som kan knytte bil mot eier og registrere brukt parkeringstid. 15

16 10.0 Framdriftsplan Vi bruker programmet Merlin, lignende MS Project, for å planlegge vår fremdrift (se vedlegg 1). Fremdriften for gruppen kan følges på vår hjemmeside Tidsressurser I emneomtalen for H Bachelor vår 2014, står det at det er forventet et timeantall på 500 timer pr. student. Vi har en plan om å jobbe fra 0830 til 1400 hver ukedag (vedlegg 2) og på den måten holde en kontinuerlig fremdrift og forhindre at unødvendig tidsnød på slutten av prosjekttiden skal ødelegge for vår måloppnåelse. Noen dager kan være unntak fra vår ordinære plan, dette pga kurs, jobbintervju, sportsarrangementer osv. Gruppen har samlet sett tre forskjellige valgfag. De timene noen av oss har valgfag, vil de andre jobbe med prosjektet Møteplan Prosjektgruppen treffes hver ukedag. I tillegg er det planlagt internt statusmøte hver tirsdag kl Det vil også bli satt opp møter mellom prosjektgruppen og styringsgruppen, og prosjektgruppen og oppdragsgiver ved oppnåelse, eventuelt i forkant, av noen milepæler. Vi har også laget en gruppe på Facebook, slik at vi kan opprettholde kontakten hvis vi ikke skal jobbe på skolen, eller det er noen beskjeder som må ut Budsjett Utgiftene til dette prosjektet er små. Vi har budsjettert kostnadene på bygging av en modell. Totale utgifter er kr Dette klarer vi å dekke ved at skolen støtter med kr 1500, oppdragsgiver støtter med kr 2800 og vi har tilgang til noe materiell gratis, som vi ellers måtte betalt for. Detaljert informasjon finner en i vedlegg 4. 16

17 12.0 Organisering Figur 12.1 Organisasjonskart 12.1 Oppdragsgiver Oppdragsgiveren vår er Førde lufthavn Bringeland ved Kjell Otto Gjesdal. Førde lufthavn er en regional flyplass i Gaular kommune. Flyplassen har besøkende i året og gjennomsnittlig syv avganger pr. dag. Førde lufthavn har i dag 35 ansatte. 17 fra Avinor, 9 fra Widerøe og 9 fra Securitas Styringsgruppen Styringsgruppen har det overordnede ansvaret under prosjektperioden. Den består av Joar Sande som er ansatt ved HiSF Prosjektgruppen Prosjektgruppen består av avgangsstudenter ved HiSF. Medlemmene har forskjellig erfaring fra både arbeidslivet og drift av en organisasjon. 17

18 13.0 Figurliste Figur 8.1 Eksempel på program med OCR. 11 Figur 8.2 Eksempel Matrix matching. 12 Figur 8.3 Eksempel med Feature extraction. 12 Figur 12.1 Organisasjonskart Bibliografi [1] M. Knoff og J.-A. Saarnak, Interviewees, Bachelorprosjekt 2013/14. [Intervju]. 31 oktober [2] Python TM, «Python about,» Python TM, [Internett]. Available: [Funnet 13. februar 2014]. [3] A. Brunland, K. Hegna, O. C. Lingjærde og A. Maus, «Innføring i objektorientert programmering,» i Rett på Java, Oslo, Universitetsforlaget, 2011, p [4] itseez, «OpenCV About,» OpenCV, [Internett]. Available: [Funnet 13. februar 2014]. [5] S. Audet, «JavaCV,» [Internett]. Available: [Funnet 13. februar 2014]. [6] OCRWizard, «How OCR Software Works,» OCRWizard, [Internett]. Available: [Funnet 13. februar 2014]. [7] T. Eng, «Uryddig vei til nye bilnummerskilt,» Typografi i Norge, [Internett]. Available: [Funnet 13. februar 2014]. [8] Ubuntu, «OCR - Optical Character Recognition,» Ubuntu, [Internett]. Available: [Funnet 13. februar 2014]. [9] Sourceforge.net, «Tess4J,» Sourceforge.net, [Internett]. Available: [Funnet 13. februar 2014]. [10] R. Smith, «An Overview of the Tesseract OCR Engine,» Google Inc.. [11] Apache Friends, «XAMPP Apache + MySQL + PHP + Perl,» Apache Friends, [Internett]. Available: [Funnet 13. februar 2014]. [12] «Start with Wampserver,» Wampserver, [Internett]. Available: [Funnet 13. februar 2014]. 18

19 15.0 Vedlegg 1. Gantt-skjema 2. Timeplan P-sys 3. Rapport OR2-300 Prosjektstyring med prosjekt høst P-sys 4. Budsjett 5. Milepæler 6. Risikovurdering 19