Overvåking av transportbånd

Høgskolen i Østfold Avdeling for informasjonsteknologi Fag IAD33505 Bildebehandling og mønstergjenkjenning Laboppgave nr 5 Overvåking av transportbånd Sarpsborg 03.02.2005 05.02.05 Ny oppgave Log LMN Log, LMN Rev. Dato. Beskrivelse. Skrevet av Kontrollert Godkjent Fil : Skrevet ut av : i 03.02.2005 12:25 Antall sider : 14

Labkjøring: Alle gruppene må senest ha kjørt oppgaven i uke 7. Presentasjon og skriftlig innlevering etter gjennomført laboppgave. Dette er likt for alle laboppgavene med mindre annet er beskrevet særskilt i oppgaven. Presentasjonsdel: Straks etter at gruppen har gjennomført laben, skal gruppen gi en muntlig presentasjon, en slags miniforelesning (trening mot hovedprosjekt), av laboppgaven. Maks. 30 min. Gruppen avtaler tidspunkt og sted med faglærer. Alle i gruppen skal delta i presentasjonen! Alle bilder som gruppen har tatt, skal inngå i presentasjonen (se også skriftlig del). Alle spørsmål i oppgaveteksten skal besvares (se også skriftlig del). Følgende spørsmål skal også besvares under presentasjonen: Hvilke problemer møtte dere på underveis? Hvilke forbedringer, eventuelt ny løsningsstrategi, ville bli gjort dersom oppgaven skulle være løst på nytt? Oppgavens vanskelighetsgrad? (1 (lett) 5 (meget vanskelig)). Skriftlig del: Denne delen skal være en skriftlig labbesvarelse i kortversjon. Alle bilder tatt under labkjøringen skal inngå. Pass på at de kommer i kronologisk rekkefølge. Alle spørsmål i laboppgaveteksten skal besvares. Dersom gruppen har skrevet egne MatLabprogrammer, så skal de vedlegges. Til slutt skal rapporten inneholde en konklusjon som oppsummerer oppgaven: hva dere har lært, hvilke problemer oppsto underveis og hvilke forbedringer bør gjøres. Innføring i bildebehandling - HIØ side 2

Innledning. Før start av systemet som skal styre roboten og transportbåndet er det viktig at dere forstår bruken av kameraet, PC med framegrabber samt programvaren som benyttes. Denne oppgaven kan dermed sees på som en innledning til den større oppgaven med ABB-roboten og transportbåndet. Dere skal lære bruken av LabView og de innebygde bildebehandlingsfunksjonene som utgjør ekstrapakken IMAQ Vision. Dette skjer ved at dere skal benytte et digitalt kamera styrt fra LabView til å fange inn bilder, gjøre dem binære, samt lagre disse bildene til disk. Formål. Bli kjent med bildebehandlingsutstyret som benyttes i forbindelse med ABB-roboten og transportbåndet. Få erfaring i bruk av et grafisk menystyrt programmeringsspråk. Utstyr. PC som kjører Windows NT med installert LabView og IMAQ Vision. Digitalt kamera med strømforsyning. Framegrabber-kort av typen IMAQ PCI-1408. Diverse klosser med forskjellige former og intensitet (lyse/mørke). Litteratur. Læreboka: Digital Image Processing using MatLab av Rafael C. Gonzalez, Richard E. Woods, Steven L. Eddins. Innføring i bildebehandling - HIØ side 3

Oppgave A: Konfigurering av et digitalt kamera Begynn med å sjekke at kameraet er koblet korrekt til framegrabber-kortet på baksiden av PC en og til strømforsyningen som skal levere 12V. Start programmet IMAQconf.exe fra ikonet på skrivebordet. Her kan dere teste at kameraet fungerer som det skal ved enten å ta et snap av et enkelt bilde, eller grab av en bildesekvens som fungerer som en film. Figur 1 viser konfigurasjonsmenyen til IMAQconf og et innfanget testbilde. Figur 1: IMAQconf og et innfanget bilde til å justere skarphet. Gjør dere kjent med hvordan kameraet virker og still linsen på kameraet slik at bildet blir skarpt og har den riktige lysfølsomheten ved å ta bilder av klosser på transportbåndet. Etter at dere er fornøyde med innstillingene, lukk programmet. Hva tror dere er de viktigste støykildene i dette oppsettet? Oppgave B: Innføring i LabView Vi skal nå se på bruken av LabView i forhold til kameraet. LabView er et grafisk programmeringsspråk hvor det klikkes og trykkes i stedet for inntasting av koder, slik som vanlige programmeringsspråk. Siden LabView har svært mange avanserte funksjoner ferdig innebygget, kommer man raskt i gang med kompliserte beregninger. Start LabView fra ikonet som ligger på skrivebordet. Hvis dere velger New VI fra oppstartskjermen, vil det komme to vinduer til syne, slik som vist i figur 2. Vinduet med hvit bakgrunn kalles diagramvindu, mens vinduet med grå bakgrunn kalles control panel. I tillegg vil det også komme to mindre vinduer tilsyne, merket tools og controls. Dersom diagramvinduet gjøres aktivt, vil et nytt vindu vises, merket functions. Vinduet, merket functions, Innføring i bildebehandling - HIØ side 4

kommer dere til å benytte mest. Ved å gjøre dere litt kjent med menyene i dette vinduet, kan dere klikke og dra ulike funksjoner og bokser inn i diagramvinduet. Kontrollpanelet (grå bakgrunn) vil automatisk lage de nødvendige kontrollerne for applikasjonene laget i diagrammet. Gjør dere litt kjent med de forskjellige verktøyene som finnes på menyene. Figur 2: Åpningsskjerm i LabView. Oppgave C: IMAQ vision LabView-filer kan hentes frem fra enten diagramvinduet eller kontrollpanelet fra filmenyen. Hent frem filen C:\Øving for LabVIEW\Imaq_ex\imaq_ex.llb. (Henter dere filen fra cd-platen, skal dere selvsagt forandre C-drevet til noe annet.) Her får dere opp en meny hvor det kan velges mellom flere brukbare eksempler på bruk av kameraet og bildepakken IMAQ vision. Dere kan begynne med å velge Snap using Martins tools. Dette er et simpelt oppsett for å ta bilder med CCD-kameraet og lagre dem til disk. I første omgang vil dere kun se et nytt kontrollpanel på skjermen. Velg Show diagram fra Windows-menyen på kontrollpanelet, og diagrammet vist i figur 3 vil komme frem. For at programeksempelet skal fungere, må bildeformatet (BMP, TIFF, etc.) spesifiseres i kontrollpanelet, samt path en og filnavn hvor bildefilen skal lagres. I tillegg må det også spesifiseres nummer på de to vinduene som skal vises, ellers vil de to bildene vises i samme vindu. Kjør programeksempelet noen ganger ved å trykke på den hvite pilen på enten diagramvinduet eller kontrollpanelet, slik at det vises et bilde i et vindu samt et annet vindu med et identisk bilde uten feilmeldinger. Det ene av disse to bildene vil også lagres til disk. Prøv å ta noen testbilder av klosser på transportbåndet (uten at båndet går). Hvorfor er det viktig å få så kontrastklare, skygge- og refleksjonsfrie bilder som mulig? Oppgave D: Justeringer på kontrollpanelet Kontrollpanelet gir muligheter for justering av egenskaper i diagrammet. Som nevnt tidligere kan du bestemme bildeformat, filnavn og vindusnummer. I tillegg kan du sette noen parametre. For kameraet, forsterkning og anti-chroma filter. Som en test for hvordan funksjonene virker, er det lagt inn en funksjon for dreining av det ene av de to bildene. Sjekk hvordan denne fungerer ved å justere vinkelen med kontrollpanelet. Kan dere se ut fra diagrammet hvilket av de to bildene som blir lagret til disk? Innføring i bildebehandling - HIØ side 5

Figur 3: LabView-diagram for programeksempelet Snap using Martins tools. Oppgave E: Terskling av bilde (Denne delen er svært beslektet med labkjoering1. Av den grunn gjør så mye som dere finner hensiktsmessig.) Dere skal nå prøve å lage deres egen applikasjon ut fra dette oppsettet. Alle funksjoner for bildebehandling i LabView finner dere i vinduet functions ved å trykke på ikonet nederst i vinduet som ser ut som et øye. Finn en funksjon som utfører terskling og bytt ut dreiningsfunksjonen med denne i det opprinnelige oppsettet. For at tersklingen skal fungere, må det opprettes en kontroller som gir mulighet for å sette terskeldata. Bruk gjerne hjelpefunksjonen for å finne ut av dette. 1. Ta et bilde av en lys kloss på svart bakgrunn. Velg et passende tersklingsintervall og omgjør bildet til et binært bilde slik at alle verdier under en viss verdi blir svarte. Forklar hvordan et histogram med pikselverdier kan gi informasjon med hensyn til valg av en fornuftig terskelverdi. Lagr bildet og sammenlikn det med originalen. 2. Ta så et bilde av to like klosser, hvor den ene klossen hviler mot den første klossen og underlaget, slik at den blir liggende på skrå. Dette blir mer komplisert ved at bildet inneholder flere detaljer. Gjenta så punkt 1. Innføring i bildebehandling - HIØ side 6

3. Nå skal dere velge to klosser med forskjellig intensitet, slik at det ligger en hvit og en trefarget kloss på båndet. Klarer dere å lage to bilder, hvor det på det ene bildet bare vises den hvite klossen, og på det andre bildet kun den trefargete klossen? 4. Forklar hvorfor det i noen tilfeller kan være hensiktsmessig å forenkle et bilde til et bilde med kun to gråtoner (binært bilde) og hvilke problemer som forbindes med valg av terskelverdi. Innføring i bildebehandling - HIØ side 7

HOVEDOPPGAVE: Innledning Oppgaven går ut på å styre ABB-roboten og transportbåndet ved LabVIEW og dllfiler. Systemet skal finne klossene som kommer på transportbåndet og plukke disse opp. Formål Få trening i å kalibrere kamera. Få trening i bildebehandling. Benytte systemet med robot, transportbånd og kamera. Utstyr IRB 1500 ABB robot. Transportbånd. Kamera Elmo CCD model TSR 322 S med 8,0 mm linse. 3 klosser med målene (14 x 4.5 x 4.5) (9.5 x 4.5 x 4.5) (4.5 x 4.5 x 4.5). PC med installert I/O PC-AO-2DC, kamerakort IMAQ PCI-1408 og programvaren LabVIEW med IMAQ vision. Visual C++ for utvikling av DLL er. Programvare utviklet under LabVIEW for styring av transportbånd og gjenkjenning av objekter. Generelt om oppgaven Oppgaven går ut på å få roboten til å plukke opp klosser som kommer på transportbåndet og sette dem sammen til en enhet. For å få til dette må en kunne analysere bildet av transportbåndet og trekke ut egenskaper som gjør at roboten kan finne klossene på det. Slik programmet er nå, klassifiserer vi klossene kun ved å sjekke omkretsen. Det sier seg selv at dette er en dårlig gjenkjenningsoperasjon. Objekter med samme omkrets, men med annen fasong, vil bli klassifisert som en kjent kloss selv om de ikke er det. Det er dette dere skal forbedre. Før dere kan gjøre noe som helst, må systemet settes opp først. Det vil si at dere må kalibrere trasportbånd og kamera i forhold til roboten. Dokumentasjon Hvis det skulle være noen uklarheter i denne labøvingen, kan dere se i hovedprosjektoppgaven Overvåking av transportbånd. Programmeringsverktøy LabVIEW med IMAQ vision. Innføring i bildebehandling - HIØ side 8

Oppgave 1 Kalibrering av transportbånd og kamera 1. Kopier katalogen Øving for LabVIEW fra cd en og over til HD en. 2. Det første som må gjøres er å sjekke at transportbåndet står parallelt med robotens x-akse (se figur 4 for plassering av transportbåndet i forhold til roboten). Dette gjøres ved å kjøre programmet som ligger i katalogen C:\Øving for LabVIEW\Kalibrering\Transportbånd. Start opp prosjektet Transportbånd.dsw. Robotens koordinatsystem y-akse x-akse Avstander fra robot til (0, 0) punktet i kamerabildet (470, 0) x (0, 0) y (470, 512) (0, 512) Transportbånd med kamerabildet Kameraets koordinatsystem Kamerastativ Figur 4 Plassering av roboten i forhold til transportbånd med kamerabilde og (0, 0) punkt. 3. Før programmet kjøres, må blyantholderen til roboten settes i robotkloa (se figur 5). Om nødvendig, juster kloa slik at den klarer å gripe rundt blyantholderen. Pass også på at det er fjæring i blyanten, slik at det ikke gjør noe om roboten kjører kloa for lavt. Robotkloas gripepunkt på blyanten sett forfra Blyantholder 85mm Blyant Figur 5 Gripepunkt på blyantholder. Innføring i bildebehandling - HIØ side 9

4. Nå må roboten settes i automodus, og den må stå i FJÄRR MODUS (se på styrekonsollen til roboten). 5. Kjør prosjektet (CRTL+F5) og følg med. Roboten kjører kloa til to punkter på transportbåndet som den skal treffe (se figur 6 og 7). Følg med på om den gjør det. Figur 6 Punkt 1 på transportbånd. Figur 7 Punkt 2 på transportbånd. 6. Hvis roboten ikke treffer de to punktene, må transportbåndet rettes på. Slå av automodus og la roboten stå i den stillingen den har stoppet i. Den stopper like over punkt 1 på transportbåndet. 7. Flytt på transportbåndet det som er nødvendig, og kontroller punktene på nytt med å styre roboten manuelt. Da er det viktig at roboten står i rektangulært koordinatsystem, og at de to knappene øverst til høyre på styrekonsollen står innstilt slik at de to lysindikatorene til venstre på hver knapp lyser. Det er også viktig at man ikke skrur på styrespaken, for da vil roboten bevege seg ut av den riktige avstanden til transportbåndet. Etter at man har plassert transportbåndet riktig, kan man godt sjekke ved å kjøre roboten i automodus igjen, men det er strengt tatt ikke nødvendig (det er kun for å være helt sikker). Oppgave 2 Kalibrering av kamera og robot 1. Nå står kalibrering av kameraet for tur, og det er viktig at det blir gjort så nøyaktig som mulig. For å få det loddrett ned på transportbåndet må vi bruke et vater på to sider av kamerahuset (se figur 8). Hvis ikke kameraet står loddrett ned på transportbåndet, vil det bli vanskelig å få kamerabildet til å passe til kalibreringsmalen. Innføring i bildebehandling - HIØ side 10

Sett vateret slik på to av sidene av kameraet. Vateret må altså settes på denne siden også Transportbåndet er her Figur 8 Vatring av kameraet. 2. Legg kalibreringsmalen på transportbåndet etter de oppmerkede strekene med (0,0) punktet øverst i høyre hjørne (se figur 9). Legg noe oppå slik at den ligger i ro. Ikke legg noen gjenstander ved/på (0,0) punktet, da roboten skal kjøre kloa til dette punktet. Her er kamerastativet montert (0,0) punkt Transportbånd sett ovenfra Kalibreringsmal Figur 9 Illustrasjon på hvordan kalibreringsmal skal ligge. 3. Nå kan kalibreringsprogrammet Kamera.dsw som ligger under C:\Øving for LabVIEW\ Kalibrering\Kamera kjøres. Før programmet startes, må blyanten tas ut av kloa, og roboten må igjen settes i automodus. Programmet kjører roboten til kamerabildets (0,0) punkt, og midtpunktet på kloa skal flukte med (0,0) punktet på malen (se figur 10). Det kan godt tenkes at det ikke stemmer helt, da det kan være vanskelig å legge kalibreringsmalen helt korrekt hver gang. Det løses ved å flytte på malen, slik at den ligger riktig etter robotkloa. Når kalibreringsmalen ligger korrekt, må roboten kjøres vekk fra kamerabildet. Dette kan gjøres ved å kommentere vekk noen linjer i programmet slik at disse linjene blir kommentarer og så sette roboten i automodus. Se kommentarer i main()- delen av programmet for å finne ut hvordan dere skal gå frem. Innføring i bildebehandling - HIØ side 11

Kalibreringsmal Tegnet kamerabilde Robotkloa (0,0) punktet Figur 10 Illustrasjon av robotkloa sett ovenfra som viser hvor robotkloa skal stoppe. 4. Start opp IMAQconf.exe som ligger i katalogen Ni-imaq på programmenyen. Konfigurer bildet slik at det er mulig å se streken som er tegnet på malen. Disse justeringene skjer under Camera taben og videre under Basic taben (kameraet er tilkoblet kanal 0). Bildestørrelsen som er (470, 512), skal ikke forandres fordi lengdeenhetene til roboten er beregnet utfra denne bildestørrelsen. Trykk på play knappen for å få frem kamerabildet. 5. I IMAQconf skal også (0,0) punktet til kamerabildet justeres slik at det stemmer med (0,0) punktet på malen. Det kan være problematisk å se hele kalibreringsmalen i kamerabildet, men det blir godt nok resultat hvis man stiller inn kamerabildet slik at man tilnærmet kan se alle hjørnene. Litt avvik kan godtas fordi en piksel i kamerabildet tilsvarer under 1 mm (x-retn: 387/470, y-retn: 353/512). 6. Nå som kamera og roboten er kalibrert i forhold til hverandre, gjenstår det å konfigurere kamerabildet slik at støy forsvinner (se figur 11). Det vil si at man skal konfigurere bildet, slik at det blir svart/hvitt. Ta bort malen, og legg en kloss i kamerabildet. Konfigureringen foregår i IMAQconf. Figur 11 Støyfritt bilde. Innføring i bildebehandling - HIØ side 12

7. På grunn av at transportbåndet har noen ujevnheter, må vi starte transportbåndet og la det gå noen runder mens kamerabildet er oppe (ta bort klossen). Dette fordi det er noen lysere områder på transportbåndet som kan lage støy i kamerabildet (pass også på at transportbåndet er rent). Det skal altså ikke komme noen forstyrrelser i kamerabildet mens transportbåndet går. Start transportbåndet ved å kjøre programmet Start transportbånd.vi, som ligger under C:\Øving for LabVIEW\Kalibrering. Her ligger også Stopp transportbånd.vi, som naturligvis stopper transportbåndet. (Dere vil sikkert synes det er tungvint med to programmer for å starte og stoppe transportbåndet, men vi har ikke funnet ut noen annen måte å gjøre det på. Dere står selvfølgelig fritt til å fikse på dette selv.) Oppgave 3 Kalibrering av klossene 1. Vi må nå finne hva omkretsen er på de forskjellige klossene. Det er for at vi skal klare å klassifisere klossene. Start opp LabVIEW programmet Omkrest.vi som ligger under katalogen C:\Øving for LabVIEW\Kalibrering. Ta 10 tester på hver kloss med forskjellig plassering og orientering på transportbåndet. Da vil vi se at omkretsen vil forandre seg en del på på hver kloss. Merk hvilke grenseverdier omkretsen varierer mellom. Det er min/max verdiene vi er ute etter. 2. Start opp Main.vi som ligger under C:\Øving for LabVIEW. Grenseverdiene for de forskjellige klossene skal settes inn i denne LabVIEW-koden. Det kan være greit å runde av verdiene. Hvis vi for eksempel har grenseverdiene 396 427 kan det være greit og sette inn 390 435. Det er for å være helt sikker på at vi skal klare å klassifisere klossen. Velg Show Diagram under Windows menyen. Se etter tekst med grønn bakgrunn i LabVIEW-koden. Det henviser til hvor i programmet grenseverdiene skal settes inn. Oppgave 4 Test systemet 1. Legg på en kloss med en tilfeldig orientering på transportbåndet (fra nord ). Nå vil roboten begynne å bevege seg, så stå klar ved nødstoppen i tilfelle!! Roboten skal nå klare å plukke opp de tre klossene og sette dem sammen til en pyramide, uavhengig av rekkefølgen til klossene. Koordinatene fra kamerabildet bli mer nøyaktig hvis klossen ligger inn mot midten av transportbåndet, og roboten klarer derfor å gripe klossen mer nøyaktig. 2. Når LabVIEW-programmet kaller opp (programmet som kjører) roboten, henger alt seg. Det vil si at pc en blir låst når roboten utfører jobben sin. Først når roboten er ferdig med oppgaven og transportbåndet starter igjen, er det mulig å gjøre noe på pc en igjen. Programmet stopper automatisk etter at de tre kjente klossene har blitt klassifisert, og man må trykke play for å starte programmet på nytt. Ta kontakt med labansvarlig og vis hva som er gjort. Innføring i bildebehandling - HIØ side 13

Oppgave 5 Selve oppgaven: Til nå har vi sett at systemet rundt roboten er i stand til å skille mellom et sett av tre klosser med forskjellig omkrets. Dere skal nå simulere at det er to sett klosser som er like i form. Forskjellen mellom de to settene skal være intensitetsforskjeller på overflatene. Kun det opprinnelig settet skal bli klassifisert som kjente klosser. Intensitetsforskjeller kan oppnåes ved for eksempel klistre på noen tape-biter eller lignende på flere av sidene på klossene slik at de blir mer komplekse. Det blir da avhengig av hvilken side av klossen som ligger opp, for at den skal bli klassifisert som en kjent/ukjent kloss. Dere må derfor utbedre gjenkjenningen i LabVIEW-koden, slik at dere klarer å klassifisere de forskjellige klossene fra hverandre. Sjekk ut LabVIEW-programmet der det er kommentert med gul tekst. Innføring i bildebehandling - HIØ side 14