BOKMÅL Side 1 av 10 NORGES TEKNISK-NATURVITENSKAPELIGE UNIVERSITET INSTITUTT FOR DATATEKNIKK OG INFORMASJONSVITENSKAP LØSNINGSFORSLAG TIL EKSAMEN I FAG TDT4250 MODELLERING AV IS Lørdag 11. desember 2004 Oppgave 1 Oppgaveanalyse og modellering (18 poeng) a) (6 poeng) Beskriv kort sammenhengen mellom oppgaveanalyse og oppgavemodellering. Svar: Oppgaveanalyse er en prosess hvis formål er å fange opp og beskrive brukerens domene og arbeidsoppgaver. Oppgavemodellering er en strukturert og (relativt) formell måte å formulere (en del av) resultatene fra oppgaveanalysen. Oppgaver struktureres typisk som et mål-middel-hierarki, med beskrankninger på hvordan midler settes sammen i sekvens for å nå mål. Ikke alt som fanges opp i en oppgaveanalyse kan formuleres i en oppgavemodell. Oppgavemodellen er nøytral ift. skillet mellom HCI- og etnografiteknikker, som settes opp i GTA-artikkelen. I artikkelen GTA: Groupware Task Analysis - Modeling Complexity av van der Veer diskuteres metoder for å bedre forståelsen av brukeren og hennes verden. b) (6 poeng) Presenter kort hovedpoengene i den nevnte artikkelen av van der Veer. Svar: 1) Oppgaveanalyse fra HCI-tradisjonen er en prosess hvis formål er å fange opp (ekspert)brukerens (nødvendige) kunnskap om domenet og arbeidsoppgavene hennes. Dette fanges gjerne opp i en oppgavemodell. Beskrivelsen av dagens situasjon formuleres i en såkalt oppgavemodell 1 (current task model i CTT-artikkelen), mens en tenkt fremtidig arbeidsstruktur formuleres så i en oppgavemodell 2 (envisioned task model). Fra en oppgavemodell 2 kan en så begynne å beskrive samspillet mellom bruker og system (i en dialog), i det som artikkelen kaller en User Virtual Machine, dvs. brukerens bilde av det konseptuelle designet. Dette ble tonet ned i forelesningen og er ikke så viktig at er med. 2) Etnografiske teknikker komplementerer oppgaveanalysen ved at de ser mer på relasjoner mellom (grupper av) aktører, deres forhold til omgivelsene, bruk av verktøy og fordeling av arbeid for å nå mål. I tillegg til et videre fokus, er det som nevnt et poeng at ukjente og implisitte strukturer avdekkes, ikke bare brukeren(e)s eksplisitt forståelse av domenet. 3) Det er et sentralt poeng i artikkelen at teknikkene fra de to tradisjonene (poeng 1 og 2) er komplementerende (implisitt at begge har mangler) og bør brukes sammen. Uansett kilde, er det et viktig poeng at forståelsen av domenet, som avdekkes av teknikker fra både HCI- og etnografitradisjonene, bør fanges opp i eksplisitte og strukturerte beskrivelser (modeller), bl.a. for å bedre kommunikasjonen innen designteamet. Slike modeller kan fungere som et lim mellom de nevnte komplementerende teknikkene. I artikkelen presenteres et rammeverk av konsepter som kan brukes i en slik modell, som omfatter domenet (begreper/klasser og relasjoner inkl. generalisering), aktører og oppgavestrukturer.
BOKMÅL Side 2 av 10 I artikkelen Model-Driven Requirements Engineering: Synchronising Models in an Air Traffic Management Case Study av Maiden presenteres Human Activity Modelling (HAM) som en aktivitet/metode for å bedre forståelsen av brukeren. Nedenfor ser du en del av en slik modell, tatt fra artikkelen. c) (6 poeng) Sammenlign Human Activity Modelling med teknikkene som er presentert i GTA-artikkelen av van der Veer. Vurder HAM spesielt i forhold til de to tradisjonene som er nevnt i GTA-artikkelen. Svar: HAM omfatter aktører, deres omgivelser og samspill mellom hverandre og omgivelsene, bruk av verktøy og ressurser og målstrukturer. Ut fra den relativt overfladiske presentasjonen, kan det virke som HAM dekker begge perspektivene/tradisjonene som er beskrevet tidligere i oppgaven. Innholdet i en HAM-modell (smør på flesk) virker således svært dekkende, men formen er mindre formell enn oppgavemodellen som GTA legger opp til i den andre GTA-artikkelen (om DUTCH-metoden). En besvarelse bør gå mer detaljert gjennom nøkkelordene i modellen over, og relatere til en eller begge nevnte perspektiver/tradisjoner. F.eks. så er communication noe som vektlegges innen etnografitradisjonen, mens cognitive actions er HCI-orientert.
BOKMÅL Side 3 av 10 Oppgave 2 Modellering, i* (26 poeng) Ved University X har man i forbindelse med klager på karakter for øyeblikket den praksis at en klage må fylles ut på et bestemt papirskjema. (Siden klager ofte inntreffer om sommeren, og mange studenter da er bortreist på ferie, virker dette ganske forsinkende på prosessen, særlig hvis studenten har glemt å ta med seg klageskjemaer hjem på ferie da må han først henvende seg til universitetsadministrasjonen for å få tilsendt skjema, deretter fylle ut, signere og sende tilbake.) Disse papirskjemaene blir deretter lagt i posthyllene til de aktuelle faglærere, som i første omgang skal vurdere klagen. (Igjen kan dette være et forsinkende moment; enkelte faglærere henter ikke papirposten sin veldig ofte om sommeren, både pga ferieavvikling og fordi de er mye bortreist på vitenskapelige konferanser når det ikke er forelesninger. En del klager kan dermed bli liggende usett i ukevis). Hvis faglærer selv gir klagen medhold (dvs. innrømmer å ha gjort en feil ved opprinnelig sensur), rapporteres dette til administrasjonen, som umiddelbart foretar endringen. Hvis faglærer derimot avviser klagen, går den videre til en egen klagebehandlingskomite som tar i betraktning oppgaver, løsning, studentens begrunnede klage og faglærers begrunnede avvisning av samme klage igjen oversendes alt på papirform. Det er stor misnøye med det nåværende systemet, særlig blant studenter, som for eksempel kan være avhengige av å få behandlet en klage i tide før eventuell kontinuasjonseksamen. Det vurderes derfor å lage et webbasert system hvor studentene kan finne ut hvilke karakter de har fått (mens dette tidligere krevde telefonoppringning) og deretter be om begrunnelse eller klage på karakteren, og sjekke tilbakemeldinger på dette, faglærere kan finne ut hvilke klager og forespørsler om begrunnelse som de har liggende, og legge inn begrunnelser og beslutning om å avvise eller ta til følge en klage, administrasjonen kan sjekke saker som begynner å nærme seg fristen, for å kunne purre på faglærere som bruker lang tid, eller evt. finne en vikar til å gjøre jobben hvis man ser at faglærer vil være bortreist så lenge at det blir vanskelig å overholde fristen, og medlemmer av klagekomiteen kan se hvilke saker de har fått inn, med tilhørende vedlegg, og legge inn sitt endelige vedtak. a) (12 poeng) Lag ved hjelp av i* en strategisk avhengighetsmodell av nå-situasjonen, dvs. papirbasert løsning. b) (14 poeng) Lag ved hjelp av i* en strategisk avhengighetsmodell som inkluderer det ovennevnte web-baserte systemet. Du kan i begge tilfeller gjøre utfyllende antagelser som er naturlige for caset hvis du finner at opplysningene som er gitt er uklare. Eventuelle antagelser bør forklares tekstlig. Vedlegg 1 viser en i*-modell fra pensum. NB: Denne modellen har ingen sammenheng med caset ovenfor, men er kun tatt med for å vise den aktuelle diagramnotasjonen.
BOKMÅL Side 4 av 10 Svar 2a: Kommentarer: I denne løsningen har vi gjort den antagelsen at alle sakspapirer går via administrasjonen, dvs. at det ikke er noen direkte kommunikasjon mellom student og faglærer (naturlig valg mhp å ivareta studentens anonymitet), ei heller mellom student og klagekomité (av samme grunn), eller mellom faglærer og klagekomité (naturlig valg mhp å forhindre at faglærer prøver å påvirke komitéen). Om noen har gjort motsatte antagelser her, er dette likevel ikke feil. Merk også at det godt kan være variasjoner i hva slags type avhengigheter som er brukt; for eksempel kunne ressursavhengigheten Klageskjema, som viser at Student er avhengig av Adm mhp å motta et klageskjema, like gjerne ha vært modellert som en sekskantet oppgaveavhengighet Send klageskjema (dvs. Student avhengig av at Adm gjør denne oppgaven), eller en oval målavhengighet Klageskjema er oversendt. Det man imidlertid bør legge vekt på ved retting, er - at navngivingen av ikonet er i overenstemmelse med typen avhengighet som er brukt (da manglende samsvar her kan tyde på at studenten ikke har skjønt forskjellen på de ulike typer avhengigheter), dvs. o de rektangulære ressursavhengighetene bør typisk være navngitt ved substantiv (da dette er ressurser, for eksempel dokumenter som aktøren trenger) o de sekskantede oppgaveavhengighetene bør typisk være navngitt ved verb + substantiv, da disse dreier seg om utførelsen av handlinger o de ovale målavhengighetene bør typisk være navngitt ved fraser som inneholder et verb i partisippform (som for eksempel frister blir overholdt her), eller andre fraser som viser at et mål er tilfredsstilt o mykmålavhengigheter (mer skyformede symboler) bør tilsvarende være navngitt for å indikere at et mål er tilfredsstilt. Forskjellen på de to typene mål er at vanlige mål som frister blir overholdt er slike hvor man kan svare J/N på om de ble nådd eller ikke, mens mykmål er slike som kan tilfredsstilles mer eller mindre (snarere enn enten eller), for eksempel rask klagebehandling, dvs. i navngivingen av disse vil det ofte forekomme adjektiver - at retningen på avhengigheten er riktig. Dette vises av halvsirklene; for eksempel er det Student som er avhengig av å motta ressursen Klageskjema fra Adm i dette diagrammet, ikke omvendt. Imidlertid er den halvsirkelnotasjonen som i* har for dette noe ugunstig, så det bør ikke trekkes veldig mye om man har blingset litt på retningen for et par avhengigheter. - at alle aktører får det de er avhengig av for å utføre sine oppgaver. Hvis for eksempel Faglærer ikke mottar noen klage (i dette tilfellet modellert som ressursen Saksdokumenter), er han heller ikke i stand til å gjøre noen klagebehandling; dette vil være en langt mer alvorlig feil enn feil retning på en relasjon - at avhengigheter ikke er unødig dobbel- eller trippelmodellert. Som nevnt over kan det ofte være hipp som happ om man bruker en ressursavhengighet, oppgaveavhengighet eller målavhengighet. Men hvis man bruker alle tre for den samme avhengigheten (for eksempel både ressursen Klageskjema, oppgaven Send klageskjema og målet Klageskjema er oversendt som avhengighet fra Student til Adm i samme modell) oppnår man kun å gjøre modellen unødvendig kompleks uten å tilføre noe nytt.
BOKMÅL Side 5 av 10
BOKMÅL Side 6 av 10 Svar 2b: De samme betraktningene som i forrige oppgave gjelder mhp riktig bruk av avhengigheter her også. Det er verdt å merke seg at oppgave 2b ikke bare etterspør en ren automatisering av det som fantes før (2a) men også ser ut til å etterspørre noe nytt, nemlig at man skal være i stand til å finne ut når en faglærer ikke er i stand til å overholde klagefristen (for eksempel pga ferieavvikling eller konferansereiser) og da oversende klagen til en vikar i stedet. Hvis man ønsker at websystemet skal kunne understøtte dette, må Faglærer kunne legge inn informasjon om sin agenda (oppgaveavhengigheten Legg inn agenda ), slik at websystemet kan vite at faglærer er bortreist og ikke vil kunne holde fristen. Det må også være oppnevnt en vikar, og det mest naturlige er gjerne at faglærer selv foreslår en vikar ( Foreslå vikar ) heller enn at Adm skal gjøre dette (siden de kanskje ikke vet hvem andre som har peiling på samme fag). Også antatt at den foreslåtte må akseptere vikaransvaret ( Aksepter vikar-ansvar ), ellers kan det lett skje misforståelser ved at vedkommende er på ferie samtidig som Faglærer eller ikke er klar over ansvaret, slik at jobben likevel ikke blir gjort. Oversikt over problemer, som er en ressurs Adm får fra websystemet, kan dreie seg om diverse mulige problemer som krever en spesiell aksjon, for eksempel Faglærer som ikke har foreslått noen Vikar innen fristen for dette, Vikar som ikke har akseptert vikar-ansvar, Faglærer / Vikar som pga endret agenda (f.eks sykdom) likevel ikke er i stand til å gjøre en planlagt jobb, Faglærer som ikke har lagt inn agenda, saker som nærmer seg eller er forbi fristen uten at noe har skjedd, Velg aksjon kan likeledes dreie seg om en rekke alternative aksjoner som det går utover oppgaven å angi i nærmere detalj (for eksempel å oppnevne ny vikar, purre faglærer, overføre en sak direkte til klagekomite uten at faglærer har svart, ) Mhp purring er dette satt som Adm s ansvar, heller enn websystemets. Noe purring kan uansett være implisitt i websystemet, særlig hvis det er mulighet for push i overføringen av ressursen Oversikt over gjøremål. Men en mulig årsak til at Faglærer eller Klagekomité ikke har gjort jobben sin, kan jo være tekniske problemer med websystemet selv, eller at vedkommende ikke har logget seg inn på dette pga ferie, jobbreise eller sykdom, og i så fall funker ikke purring gjennom websystemet må derfor for sikkerhets skyld også ha en annen purrekanal (for eksempel ved telefon). For Vikar er det antatt at også denne er en Faglærer (om enn ikke for samme fag), vist ved ISA -relasjonen. Vikaren vil dermed arve de avhengighetene som faglæreren har og man trenger kun modellere i tillegg det som er spesifikt for vikarer, nemlig å akseptere vikaransvar. Modellen dekker dermed også den muligheten at Vikaren igjen kan foreslå en ny vikar hvis det viser seg at han selv må bort i deler av den perioden da han egentlig skulle vikariere. Mulighet for ressursen Ikke-elektronisk besvarelse levert fra Faglærer til Klagekomite er tatt med siden det ikke er garantert at alle fag er av en slik art at besvarelser lar seg scanne inn og leses gjennom websystemet (ressursen Saksdokumenter ). For eksempel kan det i arkitektur eller kunstfag dreie seg om modeller i kartong eller tre, skulpturer, malerier eller lignende, hvor man er avhengig av å se selve gjenstanden for å kunne gi en riktig bedømmelse av den.
BOKMÅL Side 7 av 10
BOKMÅL Side 8 av 10 Oppgave 3 Sammenligning av modelleringsspråk (16 poeng) a) (10 poeng) Diskuter gyldigheten av PP s konklusjoner. Hva kan man med sikkerhet slutte seg til ut fra eksperimentresultatene? Fins det mulige feilkilder i eksperimentdesignet som han ikke har tatt hensyn til? (Her kan du både nevne åpenbare feil, og punkter hvor informasjonen er såpass uklar at det kan være betydelige feil. Du kan dog anta at selve tellingen og den statistiske analysen er riktig utført, slik at feil i beregningene som sådan ikke er et aktuelt diskusjonstema.) Svar: Dessverre kan man ikke trekke særlig bastante konklusjoner på grunn av diverse svakheter mhp design og gjennomføring av eksperimentet: - ingen kontroll på om de to studentgruppene (dvs. de som velger UML og de som velger NewML) er like dyktige, eller like motiverte. Mulig trussel: De mest ambisiøse studentene velger å bruke NewML (det mest komplekse av språkene), mens de andre velger UML, da ikke rart at de førstnevnte gjør det bedre. I pensumartikkelen hvor man sammenlignet ER- og OO-baserte modelleringsteknikker i et lignende studenteksperiment (Sinha og Vessey, 2000) var man nettopp nøye med å la alle studentene bruke begge de alternative modelleringsteknikkene (men i ulike rekkefølger for å kontrollere for læringseffekten). I artikkelen om et eksperiment som så på ulike teknikker for distribuert kravinnhenting (Lloyd et al., 2003) lot man derimot studentene velge fritt (som PP gjør), men dette (pluss begrenset studentantall) førte nettopp til at man i denne artikkelen ikke kunne trekke særlig sterke konklusjoner. - PP har selv laget caset som skal modelleres. Mulig trussel: case som favoriserer NewML, caset ikke nødvendigvis relevant for realistiske industrielle problemer? Problemer med tendensiøse case og lav industriell relevans er diskutert i artikkelen om bruk av standardeksempler i modellering, Requirements & Specification Exemplars, (Feather et al., 2000). - PP har selv laget fasitene, uten at de er blitt kontrollert av andre eksperter. Mulig trussel: Fasiter kan være feilaktige eller tendensiøse. - Feil analyseres ved ren telling, uten at det f.eks skilles mellom alvorlige og mindre alvorlige feil. Mulig trussel: Selv om NewML-studentene gjør færre feil, har de kanskje større andel av alvorlige feil? - NewML er undervist i kurset, mens UML er undervist tidligere år. Mulig trussel: UML har gått litt i glemmeboka, mens NewML ligger mer framme i hukommelsen. I den ovennevnte artikkelen (Sinha og Vessey, 2000) er man nettopp nøye med å gi like mye instruksjon i begge teknikkene forut for eksperimentet. - verktøystøtten er ikke nødvendigvis et problem, men kan være det (forklares ikke i detalj). Mulig trussel: verktøyet som brukes for NewML er bedre enn det som brukes for UML, eller i det minste bedre kjent for studentene fordi det nettopp er brukt i øvingsopplegg i faget? Jfr råd fra artikkelen (Gemino og Wand, 2003) at man bør holde konstant alle andre faktorer enn den man prøver å sammenligne. - En annen ting som kan være et problem (dvs., fremgår ikke direkte av teksten, men heller ikke klart at PP har hatt kontroll på det), er ujevn motivasjon: Har studentene hatt noen spesiell grunn til å prøve å gjøre sitt beste i eksperimentet? (belønninger, at man fikk poeng som talte på karakter, ) Siden NewML er laget av PP selv, kan studentene ha følt at han ønsket et resultat mest mulig i favør av dette språket, slik at de som har valgt NewML har prøvd å gjøre det best mulig, mens de som har valgt UML, ikke har tatt det så nøye.
BOKMÅL Side 9 av 10 - urettferdig sammenligning? Det er gitt at NewML s klassediagrammer har større uttrykkskraft enn UML s klassediagrammer. Derfor ikke overraskende at modellene i NewML kan unngå en del inkompletthet og tvetydighet som vil finnes i UMLdiagrammene. Kanskje ville en mer interessant sammenligning vært NewMLdiagrammer på den ene siden, mot UML-diagrammer + tekst (enten i naturlig språk eller for eksempel som formler i OCL) på den andre, slik at man sammenlignet to teknikker som var i stand til å uttrykke det samme og kunne vurdere hvorvidt det er fordelaktig å ha mest mulig uttrykkskraftige diagrammer eller hvorvidt enklere diagrammer + tekst for detaljene kan være vel så gunstig. - Eksperimentet har kun sett på en diagramtype (klassediagrammer), mens konklusjonene sier noe om hele UML vs. hele NewML. Selv om de ovennevnte svakheter ved eksperimentet ikke hadde eksistert og NewML s klassediagrammer dermed hadde fordeler vs. UML s klassediagrammer kunne det godt hende at UML til gjengjeld hadde bedre dekning av andre modellperspektiver, f.eks gjennom sekvensdiagrammer eller aktivitetsdiagrammer. Alt i alt kan man dermed si at alle konklusjonene blir for drøye. K1 og K2 pga manglende sammenligningsgrunnlag forårsaket av svakheter i eksperimentet, K3 på grunn av at det ikke er sannsynliggjort at caset som ble modellert var representativt for industrielle problemstillinger. For K2 kan man dessuten legge til at behov for menneskelig forståelse i modelleringsprosessen ikke er begrenset til de som er spesielt opplært i å bruke et modelleringsspråk (slik de aktuelle studentene var) men også andre interessenter (kunder, brukere, ) som ikke er skolerte i modellering. Konklusjonen om menneskelig forståelse er dermed temmelig upresis i forhold til hva de tilgjengelige dataene egentlig handler om. Likevel kan det legges til at en reduksjon fra 12 til 3 feil i snitt er interessant, så det kan godt hende at NewML har noe for seg. PP bør derfor gjøre flere (og bedre!) eksperimenter, samt også forsøk på praktisk evaluering av NewML i mer realistiske industrielle situasjoner. b) (6 poeng) Diskuter i hvilken grad et studenteksperiment er en velegnet metode for å finne svar på det PP er ute etter mhp punkt (I) og (II) over (dvs., feil på tross av og på grunn av valgt modelleringsspråk). Svar: Studenteksperimenter kan godt være en av flere nyttige komponenter i evalueringen av et modelleringsspråk, men bør suppleres med andre metoder, slik som utprøving på virkelige prosjekter i industrien (case-studier). Mhp eksperimenter kan det dessuten være vel så bra å bruke industripersoner som studenter, men dette blir ofte kostbart (vanskelig å få forsøkspersoner uten å betale). Mhp punkt II virker det som PP bruker eksperimentet kun for å bekrefte at NewML har større uttrykkskraft enn UML. Dette kunne like godt ha vært vist ved en analytisk sammenligning av de to språkene, for eksempel knyttet til de 7 perspektivene for modelleringsspråk (Krogstie/Sølvberg) eller ved å mappe begge språkene til en ontologi som BWW (jfr. artikkel av Opdahl/Henderson-Sellers), dvs. her kan det stilles spørsmål om bruken av eksperiment som metode egentlig var godt gjennomtenkt.
BOKMÅL Side 10 av 10 Vedlegg 1 Eksempel på en i* strategisk avhengighetsmodell