Forprosjektrapport. Bruk av maskinlæring og videoanalyse for klassifisering av objekter B019-G09

Transkript

1 Forprosjektrapport Bruk av maskinlæring og videoanalyse for klassifisering av objekter B019-G09 Vegard Hermansen, Christoffer Nymoen Olsen, Jørgen Ringstad og Ole-Henning Undrum 16. januar 2019

2 Prosjektgruppen Gruppen Gruppen består av fire 3. års dataingeniørstudenter som alle har fullført forkurs for ingeniør. Medlemmene startet å jobbe sammen i første semester av dataingeniørutdanningen, og har siden dette samarbeidet på flere hobbyprosjekter ved siden av skolen. Vegard Hermansen Vegard Hermansen studerer dataingeniør ved Høgskolen i Østfold. Han kommer fra Nes i Akershus og er 24 år gammel, for tiden bor han på Remmen i Halden. Tidligere har han gått dataelektroniker på videregående skole og har så fullført forkurs for ingeniørutdanning. Han har vært studentassistent i faget Matematikk 1. Christoffer Nymoen Olsen Christoffer Nymoen Olsen er 28 år og kommer fra Larkollen i Østfold. Han har tidligere gått bilmekaniker og elektronikk på videregående, og studerer i dag til dataingeniør. Fra tidligere har han arbeidserfaring som butikkmedarbeider, selger og lagermedarbeider. Jørgen Ringstad Jørgen Ringstad har tidligere utdanning innen svakstrøm fra videregående og er utdannet personlig trener. Han kommer fra Askim og er 33 år gammel. Fra tidligere har han arbeidserfaring som lageransvarlig, selger, personlig trener og butikksjef. Har skaffet mer erfaring med IT prosjekter gjennom nåværende jobb og andre kodeprosjekter ved siden av studiet. Jobber nå som IT Ansvarlig i Belron Solutions og studerer 3. år som dataingeniør. Ole-Henning Undrum Ole-Henning Undrum er 29 år og kommer fra Sarpsborg, hvor han bor sammen med sin kone og to barn. Han har fra tidligere svennebrev som blikkenslager, med åtte års erfaring i faget og to års utdanning innen teknisk byggfag på videregående skole. Han har fullført forkurs for ingeniør og studerer i dag til dataingeniør ved Høgskolen i Østfold. Oppdragsgiver Borregaard er et børsnotert selskap med over tusen ansatte fordelt på fabrikker og salgskontorer i 17 land i Europa, Afrika, Amerika og Asia, med en årlig omsetning på rundt 4 milliarder NOK. Borregaard produserer en rekke kjemiske produkter som alle er basert på tømmer som råvare. Kontaktperson for Borregaard er Stian Myrvold, han har stillingen team manager. 1

3 Oppdraget Gruppen skal i regi av Borregaard utvikle en løsning for å oppdage feil på en prosess, ved hjelp av maskinlæring for klassifisering av bilder. Prosessen som skal kontrolleres er lokalisert i syklonanlegget i etanolfabrikken. Syklonens funksjon er separasjon av tyngre og større partikler fra væsken. Det er her satt opp et kamera som overvåker ti sykloner. Det er i dag kun manuell kontroll av disse. Gruppens oppgave blir å detektere tette sykloner ved å inspisere videostrøm fra kamera. Videostrømmen skal deles opp i enkeltbilder, for så å utføre klassifisering av bildene via en skybasert maskinlæringsplattform. Deretter skal det gis en tilbakemelding på syklonenes status. Klassifikasjonene vil være tett eller ikke tett i første omgang. Tetninger i syklonanlegg fører til lavere produksjon og mer arbeid for operatører. Det er viktig å oppdage en tetning tidlig, da tetning over lenger tid kan føre til store problemer. Det vil også være nyttig for Borregaard å bekrefte at nåværende kamerateknologi kan benyttes i bildegjenkjenningsoppgaver. Dette siden lignende overvåkningssystemer er benyttet i store deler av produksjonsarbeidet til Borregaard. Følgelig kan en implementasjon i stor skala føre til store økonomiske besparelser. Oppgaven er definert slik at gruppen står fritt til å velge maskinlæringsplattform basert på egne vurderinger. Det er videre slik at oppgavens natur ikke gjør det hensiktsmessig å definere verktøy som skal benyttes før deler av oppgaven er gjennomført. Formål Hovedmål Automatisert visuell kontroll av en prosess. Delmål 1 Bekreftelse på om eksisterende kamerateknologi kan benyttes i bildeklassifisering. Delmål 2 Grundig vurdering av tilgjengelige skybaserte maskinlæringsplattformer. Delmål 3 Forslag til sikker tilkobling til valgt skybasert maskinlæringsplattform. Delmål 4 Komplett løsning for klassifisering av bilder fra videostrøm. Leveranser 1. Prosjektkontrakt 2. Gruppekontrakt 3. Nettside 4. Forprosjektrapport 5. Prosjektplakat 2

4 6. Refleksjonsnotater 7. Hoveddokument Metode (a) Konklusjon i form av rapport, vedrørende hvilken teknologi som bør benyttes. (b) Forslag til løsning for sikker innsamling av data fra videostrøm og konklusjon for valg av skyplattform. (c) Fungerende løsning for klassifisering av bilder direkte fra videostrøm og visualisering av resultat fra dataanalyse. Hente inn informasjon og undersøke lignende problemstillinger. Vurdere eksempelbilder fra prosess for å bedømme om bildets kvalitet er egnet for klassifisering. Hvis kamerateknologien ikke er god nok, må alternative teknologier undersøkes. Undersøke tilgjengelige skyplattformer for maskinlæring og sammenligne disse. Undersøke og finne en metode for sikker oppkobling til valgt skyplattform. Utvikle programvare for klassifisering av bilder fra videostrøm. Benytte maskinlæring for å analysere datagrunnlaget for å avdekke mønster. Visualisere resultatet fra analyse. 3

5 Prosjektplan Det er her satt av tid til oppgaveskriving i alle aktivitetene. En aktivitet anses ikke som ferdig før den er ferdig dokumentert og godkjent av resten av gruppen. Det er også beregnet at det vil brukes en del tid på innhenting av ressurser og planlegging for hver aktivitet. Underveis vil det også gå med en del tid til generelt arbeid med hoveddokumentet. Aktivitet 1: Definering av problemstilling Start: 07/01 Slutt: 15/01 Bemanning: Alle. Leveranse: Ingen leveranse. Beskrivelse: Gruppen skal i samarbeid med Borregaard definere en endelig problemstilling. Aktivitet 2: Undersøke lignende løsninger Start: 10/01 Slutt: 23/01 Bemanning: Christoffer og Jørgen. Leveranse: Sammendrag av funn. Beskrivelse: Det skal undersøkes hvordan lignende problemstillinger er løst. Det skal så utarbeides et sammendrag av aktuelle dokumenter. Aktivitet 3: Undersøkelse av eksisterende kamerateknologi Start: 15/01 Slutt: 04/02 Bemanning: Ole-Henning og Vegard. Leveranse: Rapport. Beskrivelse: Det skal undersøkes om Borregaards eksisterende kamerateknologi er tilstrekkelig for utførelse av bildeanalyse. En rapport skal skrives med konklusjon. Aktivitet 4 (Alternativ): Vurdere endringer for forbedring av bildekvalitet. Start: 21/01 Slutt: 11/02 Bemanning: Alle Leveranse: Forslag til endringer i oppsett. Beskrivelse: Hvis eksisterende teknologi ikke er egnet til bildeanalyse, må gruppen undersøke alternativ teknologi og foreslå en aktuell kandidat. Det kan også være mulig å forbedre bildets kvalitet ved å endre lysforhold eller kameravinkel. Aktivitet 5: Vurdere skybaserte maskinlæringsplattformer Start: 04/02 Slutt: 18/02 Bemanning: Jørgen og Vegard. 4

6 Leveranse: Foreslå plattform. Beskrivelse: Gruppen må vurdere og foreslå en skybasert plattform som skal benyttes. Det holdes en liten presentasjon for gruppen. Aktivitet 6: Sikker tilkobling til skyen Start: 04/02 Slutt: 25/02 Bemanning: Christoffer og Ole-Henning. Leveranse: Forslag til implementasjon. Beskrivelse: Gruppen skal se på hvordan eksisterende plattform kan kobles til skyen på en sikker måte. Det holdes en liten presentasjon for gruppen. Aktivitet 7: Løsning for klassifisering av bilder Start: 25/02 Slutt: 25/03 Bemanning: Christoffer og Vegard. Leveranse: Fungerende løsning for klassifisering av bilder. Beskrivelse: Det skal utvikles programvare som skal kunne hente bilder fra en direkte videostrøm. Disse bildene skal så analyseres, og de skal klassifiseres som feil/ikke feil. Dette skal gjøres ved hjelp av maskinlæring på en skybasert plattform. Aktivitet 8: Analyse av datagrunnlag Start: 04/03 Slutt: 25/03 Bemanning: Ole-Henning og Jørgen. Leveranse: Fungerende løsning for analyse av datagrunnlag. Beskrivelse: Det skal utvikles programvare som analyserer data fra aktivitet 7. Programvaren skal kunne se på dataene og detektere feilmønster og trender. Aktivitet 9: Visualisering av resultat Start: 25/03 Slutt: 08/04 Bemanning: Alle. Leveranse: Utvikle programvare for visualisering av resultat. Beskrivelse: Det skal utvikles programvare for visualisering av resultat fra dataanalyse. Det vil også være aktuelt med et varslingssystem mot mobil. Aktivitet 10: Sluttføring Start: 08/04 Slutt: 16/05 Bemanning: Alle. Leveranse: Hoveddokument Beskrivelse: Sluttføring av hoveddokument. 5

7 Risikoanalyse Gruppen har vurdert forskjellige faktorer som kan bidra til å forsinke gangen i prosjektet. Risikoene er vurdert fra veldig lav til veldig høy. Risiko Frafall fra gruppen Ikke ferdig produkt Utgått frist ved innlevering Konflikt i gruppen Konflikt med arbeidsgiver Konflikt med veileder For lavt faglig nivå Sannsynlighet Lav Lav Veldig Lav Lav Veldig Lav Veldig Lav Lav 6

8 Gjennomføring Møter med Borregaard skal avtales etter behov, det vil ikke bli satt opp faste møtetider. Gruppen vil holde arbeidsgiver oppdatert på hvordan de ligger an i arbeidsprosessen via epost. Arbeidsgivers rolle vil være å bidra med teknisk kompetanse innenfor aktuell prosess. Det er forventet at arbeidsgiver skal gi en innføring i eventuelle systemer det kreves kjennskap til. Gruppeanordning Alle i gruppen er ansvarlig for arbeidet som utføres, men gruppen har i tillegg følgende roller: Leder: Roterer mellom Jørgen, Ole-Henning og Vegard i en periode på tre uker om gangen. Ansvar for å lede interne møter. Følge opp fremdrift i prosjektet. Delegering av oppgaver. Ta opp eventuelle problemer. Teknisk kvalitetsikring: Vegard. Ansvarlig for å kontrollere teknisk utførelse på de oppgavene hvor dette er relevant. Skriftlig kvalitetsikring: Jørgen og Vegard. Ansvarlige for å kontrollere rettskriving og kvalitet på tekst. Nettsideansvarlig: Christoffer. Ansvarlig for jevnlige oppdateringer og annet innhold på nettsiden. Dokumentasjonsansvarlig: Ole-Henning. Ansvar for å sikre at all nødvendig dokumentasjon er på plass. Dette inkluderer kilder, forklaringer, figurreferanser og lignende. Løsningskoordinator: Jørgen og Vegard. Ansvarlige for at prosjektet holder seg innenfor de satte rammene. Det skal også holdes oversikt over hvilke moduler som trengs og hvordan de skal settes sammen. Kontaktperson for gruppen: Jørgen. Kontaktperson mot Borregaard: Ole-Henning. 7

9 Arbeidet skal hovedsaklig foregå på grupperom i Halden. Det skal i tillegg avholdes to møter ukentlig hvor medlemmene diskuterer fremgang og planlegger videre arbeid. Gruppen har utarbeidet en timeplan hvor møter og arbeid med prosjektet er satt opp. Det er også forventet at medlemmene bruker tid på oppgaven hjemme, utenom oppsatte møtetider. Ved møter skrives det referat og sekretærrollen roteres mellom medlemmene. Gruppen har valgt å benytte følgende verktøy for dokumentasjon og organisering: For kildekode benyttes GitHub til versjonskontroll og backup. For andre dokumenter brukes Google Drive. For hoveddokumentet benytter gruppen Overleaf. Til oppgaveorganisering brukes Trello. Intern kommunikasjon foregår på Discord. Gruppen har blitt enig om et advarselsystem. Dette brukes ved avvik fra avtale angående oppmøte og arbeidsinnsats. Det er opprettet et dokument for logging av advarsler. Ved gjentagende overtredelser kan utelukkelse fra gruppen bli diskutert med veileder. Det er avtalt med veileder, Marius Geitle, at gruppen er ansvarlig for å komme med spørsmål angående oppgaven. Er dette krevende spørsmål bør dette sendes til veileder på forhånd, slik at veileder kan forbrede seg. Møter med veileder skal avholdes ukentlig og innenfor gruppen er det møteplikt på disse. 8