Ekspert-kunnskapkunnskap

Transkript

1 Ekspert-kunnskapkunnskap - hvordan hente ut - hvordan systematisere Jo Hannay PREPARE-gruppa Simula Research Laboratory 1

2 Hva er det: Ekspert-kunnskap kunnskap 1. Hva eksperter tenker; deres mentale modeller 2. Hva eksperter gjør Mental modell: En mental representasjon av et domene/situasjon/problem som gjør oss i stand til å føle/tenke/resonnere om det. Til hverdags og fest (jobb). Påvirker alt vi gjør. Bedømmelser Krig og konflikt Hvorfor interessant? Vite hva ekspertise er for å utvikle og teste ekspertise For å bygge felles forståelse i prosjekter For å forstå hva slags systemer og verktøy man skal bygge 2

3 Mentale modeller Uventet hendelse Årsak 3

4 Hva er det: Ekspert-kunnskap kunnskap 1. Hva eksperter tenker; deres mentale modeller 2. Hva eksperter gjør Mental modell: En mental representasjon av et domene/situasjon/problem som gjør oss i stand til å føle/tenke/resonnere om det. Til hverdags og fest (jobb). Påvirker alt vi gjør. Bedømmelser Krig og konflikt Hvorfor interessant? Vite hva ekspertise er for å utvikle og teste ekspertise For å bygge felles forståelse i prosjekter For å forstå hva slags systemer og verktøy man skal bygge 4

5 Hvordan ser de ut? Mentale bilder av fysiske systemer Mentale modeller Logiske syllogismer [(p=>q) & p] => q; [(p=>q) & q] => p Hvordan uthente? Ulike samtaleteknikker Observasjoner av atferd Hvordan representere? Diagrammer Bayesiske nett Ontologier 5

6 Vanlige intervjuer er tidkrevende og lite fokuserte Samtaleteknikker Kan være for direkte og får kun ntak i informasjon som er åpenbar for den som blir intervjuet Repertory grid Concept mapping 6

7 Repertory grid -en åpen intervjuteknikk, som likevel muliggjør relativt strukturert analyse (Kelly: Personal Construct Theory, 1952, Fransella: Repertory Grid Technique, 2004) Brukes for å hente ut en persons begrepsapparat/forståelse/mentale modell Hensiktsmessig i både eksplorative og bekreftenede studier Minimerer påvirkning fra forskeren Som spørreundersøkelse, men intervjuobjektet definerer selv faktorene og skalaene (kontraster) som disse vurderes på Faktorer du tar hensyn til ved leveranse-planleggingl l Kontraster: fås ved å sammenlikne tre og tre faktorer Ditt personlige verdisett Kan og ha predefinerte kontraster (som i trad. spørreskjema) Alle elementene rangeres så på alle kontraster 7

8 Repertory grid Analyser for hvert intervjuobjekt 8

9 Repertory grid Aggregerte analyser over alle intervjuobekter Kategorisere alle elementene i kategorier. Kategorisere alle kontrastene i kategorier. Rognerud & Hannay 2009: Challenges in Enterprise Software Integration: An Industrial Study using Repertory Grids 9

10 Repertory grid Store smidige utviklingsprosjekter Stort og smidig mer og mer vanlig (og nødvendig), men gir motstridende ttid d krefter. Stort: Mye penger Ekstrem kompleksitet Høy risiko Behov for koordinering Giant scrum? Prosjekteiere ønsker kontroll og forutsigbarhet Smidig: Krav som kommer sent eller endres Ingen unødvendig funksjonalitet Kontinuerlig reevaluering av tid og kost og justering av skop Støtter ikke langsiktig planlegging Mange anekdoter og anbefalinger for stort + smidig. Lite forskning. 10

11 Repertory grid Stort smidig utviklingsprosjekt PERFORM 1. Produktivitetshemmere it t i store smidige prosjekter Hvilke hindere til produktivitet opplever du i prosjektet? Repertory grid intervjuer på 13 personer (tverrsnitt) i PERFORM 2. Leveranseplanlegging l i store smidige prosjekter Hvilke vurderinger gjør ulike interessenter i PERFORM for å komme fram til en leveranseplan? 11

12 1. Produktivitetshemmere i store smidige prosjekter Vi spurte 13 prosjektdeltakere om deres oppfatninger av produktivitetshemmere i PERFORM 10 problemområder: Hannay & Benestad 2010: Perceived productivity threats in large agile software development projects, ESEM Kontraktsmessige forhold og kulturforskjeller begrenser fellesskapstenking og prosessforbedring 2. Lav prioritet til arkitektur og tekniske kvaliteter forsinker ferdigstilling av produksjonsklar kode 3. Ubalanse mellom hensynene til styring og fleksibilitet gir sub optimale prosesser for prosjektstyring, utvikling og test 4. Endringer og forsinkelser i eksterne føringer belaster nøkkelressurser og gir overskridelser i estimater 5. Mangel på felles visjon for systemet hindrer utvikling av delløsninger som drar i samme retning 6. Begrenset spredning av rik funksjonell kunnskap er til hinder for effektiv utvikling og gode løsninger 7. Koordinering av avhengigheter mellom ulike deler av produktet er utfordrende og mangelfull 8. Lav tilgjengelighet på nøkkelkompetanse gir overbelastning hos nøkkelpersoner og hindrer utvikling tikli av god løsning 9. Konfigurering av effektive og behovstilpassede tekniske miljøer for utvikling og test er vanskelig og tidkrevende 10. Koordinering av utvikling, test og produksjonssetting mot linje og eksterne parter er vanskeligog tidkrevende 12

13 Mangel på felles visjon for systemet hindrer utvikling av delløsninger som drar i samme retning Vi har et målbilde, men det er ikke godt nok kommunisert Vi er usikre på om det gode overordnede oversikten og målbildet faktisk finnes Nyanseforskjeller i hvordan dette oppfattes Uansett nyanse oppfattes dette å påvirke prosjekts suksess gjennom: Løsningens behovsoppfyllelse Dobbeltarbeid/tilbakekalling av kode Mulige startpunkter for forbedring: 1. Sette av tid til å kommunisere målbildet til hverandre 2. Fjerne usikkerhet om hvorvidt total oversikt finnes 13

14 Begrenset spredning av rik funksjonell kunnskap er til hinder for effektiv utvikling og gode løsninger Kunnskap om brukere Kunnskap om domenet 14 Kunnskap om gammelt system Rik funksjonell kunnskap Kunnskap om NAV integrasjon For få ressurser med slik lkkunnskap, k spesielt i eksterne leverandørteam, hindrer gode løsninger og fører til feil og tilbakekalling av kode Mulige startpunkter for forbedring: 1. Allokere hensiktsmessig funksjonell kompetanse på kritiske steder 2. Koordinere tidspunkter for nødvendig infoflyt fra forretning til utvikling 3. Hjelpe til å overføre funksjonell kunnskap ved testspesifisering

15 Repertory grid Stort smidig utviklingsprosjekt PERFORM 1. Produktivitetshemmere it t i store smidige prosjekter Hvilke hindere til produktivitet opplever du i prosjektet? Repertory grid intervjuer på 13 personer (tverrsnitt) i PERFORM 2. Leveranseplanlegging l i store smidige prosjekter Hvilke vurderinger gjør ulike interessenter i PERFORM for å komme fram til en leveranseplan? 15

16 2. Leveranseplanlegging i store smidige prosjekter De 7 elementkategorier (hovedfaktorer for leveranseplanlegging) Verdi for bruker Klarhet og målbildeoppnåelse i løsningsbeskrivelser Ressurstilgang og roller (kompetanse) Oppdragsavtale og leveransedato Avhengigheter i løsning Teknisk og funksjonell bærekraftighet Eksterne krav De 5 kontrastkategorier (hovedkontraster) Eksterne føringer vs. prosjektets prioriteringer Hensyn til prosjektorganisering vs. sluttproduktets kvaliteter Funksjonalitet vs. tekniske kvaliteter Rammer for leveransen vs. optimal gjennomføring Dilemma mellom smidig og styring 16

17 Concept mapping -Fokusgruppe-teknikk (Trochim & Linton 1986) Brukes for å hente ut en gruppes begrepsapparat/forståelse/mentale modell Predefinerte elementer Hver deltaker grupperer elementer (lik hverandre) Likheter aggregeres i et concept map Deltaker 1 Deltaker Deltaker N

18 Concept mapping 4 systemer med lik funksjonalitet men med ulik arkitektur - Vedlikeholdbarhet ldb h Hvilke karakteristikker kan brukes til å forstå vedlikeholdbarhet av de 4 systemene? Concept mapping på 4 eksperter 18

19 Concept mapping Concept Mapping System A System B System C Software Design (control variable) Maintenance Project System D as sessm ment Data collect ion Hypothetical outcomes Effort Accuracy of estimation Defect rate Motivation of developers Do they match? Observed outcomes Effort Accuracy of estimation Defect rate Motivation of developers

20 Concept mapping Pattern Matching Analysis Software Design (Maintainability Maps) Maintenance Project ment sessm as ion collect Data Pattern matching Theoretical outcome pattern Observed outcome pattern

21 Hva er det: Ekspert-kunnskap kunnskap 1. Hva eksperter tenker; deres mentale modeller 2. Hva eksperter gjør Arbeidslivsstudier: Systematisk observasjon Hvorfor interessant? Vite hva ekspertise er for å utvikle og teste ekspertise For å bygge felles fll forståelse i prosjekter For å forstå hva slags systemer og verktøy man skal bygge 21

22 Hvordan foregår egentlig estimering i grupper? 22

23 Hvordan foregår egentlig estimering i grupper? Mange estimeringsmetoder baserer seg i en stor grad på analogibasert tenkning(sammenlikning med standard-user story, sammenlikning med tidigere løste oppgaver). 23 Teorier for analogi-basert tenkning (Gentner 2002, Holyoak 2005) Model av top-down estimering (Jørgensen 2004) Verktøy (Shepperd) Eksisterende teorier og verktøy reflekterer idealer. Funker ikke optimalt. Hva skjer i virkeligheten? Børte 2010: Challenges faced by software professionals in analogy based top down estimation; Submitted to European Journal of Information Systems

24 Hvordan foregår egentlig estimering i grupper? Socio-kulturelle teorier brukes for å forklare hva som skjer i samarbeidssituasjoner hvor folk kan ha forskjellige oppfatninger av situasjonen. Tidligere funn fra estimering 20 0 Ch ll f db f viser at analogitenkning i grupper er mye mindre strukturert enn modeller og verktøy forutsetter. Børte 2010: Challenges faced by software professionals in analogy based top down estimation; Submitted to European Journal of Information Systems Børte & Nerland 2010: Software effort estimation as collective accomplishment: An Analysis of estimation practice in a multi specialist team; Scandinavian Journal of Information Systems 24 PLASMA

25 Systematisere ekspert-kunnskap kunnskap Repertory grid skalaer Concept maps Bayesiske nett 25

26 Slutt 26 PLASMA