3rd Nordic Conference of Computational Linguistics NODALIDA

Transkript

1 32 Gunnar Thorval< sen Reqlstrerlnqssentral for historiske data Universitetet 1 Tromsø NORMALISERING AV PERSONNAVN. Historiske navnedata som folketeliinqer oq kirkebøker blir brukt til manqe forsknlngsformal. Ofte består mye av kildestrevet i å finne iqjen personer fra den ene klida til den andre for å få oversikt over Individers livsløp. Skal dette arbeidet bli overkomme!iq, er det nesten en forutsetning at ki'<dene fins i maskinlesel ig versjon. Gjenfinning kan tenkes foretatt automatisk ved hjelp av EDB-programmer, men hittil har den vanlige metoden vart å sortere kildene etter ulike nøkler, og finne fram 1 datalistene manuelt. Det viktigste kriterium for identifikasjon er gjerne for- og etternavn. Den som prøver metoden, finner snart ut at på 1800-tallet var skrivemåten av navn langt mindre konsekvent enn nå. VI kan si at skrivemåten snarere fulgte skriveren enn den som bar navnet. Presten eller folketelleren skrev Niels eller Nils etter eget hode. Dette medfører at arbeidet tid. Skal vi se etter Anne Ni(e)1sdatter til etternavn kombinasjoner. En form for standardisering v1l dermed i listene. Og skal automatl EDB-programmene bli fortalt sannsynligvis er synonyme, navneqransking er det ikke endres før de legges inn i med identifikasjon tar svært mye eller Ane? Heter hun kan vi i alle fall tenke ose 4 normalisering eller kunne spare oss for mange oppslag sk lenking ha noe for seg, må hvilke navneformer som Siden kildene brukes bi.a. i akseptabelt at navneformene mask 1nen. Her har vi emnet for denne artikkelen: Hvordan kan vi rasjonalisere identifikasjon ved å redusere antall navneformer uten å ta bort noe vesentlig av den Informasjon som ligger i at navn skal være ulike? Siden siktemålet er praktisk, skai vi ta forholdsvis lett på fonetisk teori omkring navneformer. Vi legger heller til grunn en mer intuitiv forståelse av hvilke skrivemåter av navn som er synonyme, og konsentrerer oppmerksomheten om det tekniske. Det betyr på ingen måte at kommentarer til denne artikkelen bør følge samme oppskrift! Vi kan i utgangspunktet tenke oss å utføre normaliseringen på to ulike hovedmåter. Enten ved å formulere formelle kriterier for hvilke tegn og tegnsekvenser som skal forandres (alle forekomster av -ie- forandres til -(-?). Eller vi lar EDB-programmet slå opp i ei ordliste hvor det 32

2 33 for hvert navn finner hvilken form som er stanc^ard. Jeq har selv prøvd begqe disse opplegq på et par folketellinger. En vurdering av resultatene følger her. Utgangspunktet var folketel 1 inqa for ATta i Her fins navn og andre opplysninger om 2419 individer. Et EDB-program ble skrevet som går igjennom tell inga, plukker ut alle fornavn, sorterer og oversetter hvert av de m ifølge formelle kriterier etter førstnevnte modell. Hvilke kriterier var innbakt i programmet? 1. To like tegn reduseres til ett. (Anne bl ir Ane) 2. h fjernes, men ikke i begynnelsen av ord. (Alethe bl ir Alete) 3. c biir til k, foran e og 1 til s. (Pari biir Karl, Cecilie biir Sesilie) 4. aa bllr til å (unntak fra regel 1). 5. ou biir til au. (Poul bl ir Paul) 6. w bl ir til V. 7. ph bl ir til f. (Philip bl ir Filip) 8. I endel sene -na r -ia. -ta -ka. -la bl ir a erstattet med e. Mia bl ir M5e. 9. I endel sene -rd. -id. -Id -nd bl ir d fjernet. Sigrid bl ir Sigri s biir til e (Bæret biir Beret) Endelsen -af og -au bl ir til -av. (Olaf bl ir Olav) Kriteriene er resultat av mange navnelister og mye prøving og feiling. En nyttig metode var å sortere navna baklengs for å få oversikt over endeisene. Flere algoritmer måtte fjernes, f.eks, hadde det liten hensikt å erstatte ie med i i Niels når Daniel samtidig ble Danil. Resultatet ble ei liste med ustandardlserte og standardiserte navneformer hvor programmet etter mltt syn har gjort mer nytte enn ugagn. Dvs. at for hvert kriterium er antall vellykkede standardiseringer større enn antall mislykkede. For hvert navn har programmet også satt på antall forekomster av navnet i kilda og et merke for type standardisering. Den oppmerksomme leser vil forstå at lista inneholder en rekke navn som har blitt forandret uten grunn. F.eks, vil det bare forvirre når Johan finnes som Joan. Dessuten fins det mange standardiseringer som det er tungvint å skrive algoritmer for fordi de er vanskelige å innpasse i noe m ø n s t e r. Dette gjelder f.eks, fjerning av den aiste e'en i Henery. For å gi en ide om problemenes omfang har jeq laget en tabell over forekomsten av de uiike typer standardisering (vertikal variabel) og hvor vellykkede de ble (horisontal variabel). Verdiene vertikalt tilsvarer standardiser Ingstypene ovenfor, biank er ingen standardisering. 33

3 34 Horisontalt stsr for ipislykket standardisering, for manuell standardisering oo "s" for ukurant term ("udøpt", "barn" o.l. kan knapt karles fornavn). - 6 MANUE MISLY UKURA INGEN SUM 1 DOBBEL H BORT O S / K AA> A OD>AU W > V PH> F NA>E RD>R Æ > E INGEN SUM Vi ser at de 2419 menneskene i 1875-tel1 inga for Alta hadde 641 ulike fornavn. (Doble navn er delt opp, ett-tegns forkortelser er kuttet ut.) Når det gjelder opptelling av de ulike typer standardisering må jeg understreke en viktig begrensning. For hvert navn er det hare plass til en kode. Mange navn biir standardisert etter flere kriterier, og da er siste tilslag avmerket. En form for maskineil standardisering er foretatt 1 nesten halvparten av tilfellene. Som regel dreier det seg om forandring av endelser etter regel 8 og 9, fjerning av h eller forenkling av doble tegn (regel 1 og 2). Langs den vertikale variabelen ser vi at det varierer hvor vellykket programmet arbeidet, men 1 under 10* av tilfellene gjorde det vondt verre. Dette er rettet med editor. Verdien "manuelt" gjelder noe annet. Dette er tilfeller hvor navna ikke var standardisert maskinelt, men hvor vi allikevel kunne ha nytte av et redusert antall skrivemåter. I mange tilfeller gjelder det også navn som allerede var forandret i programmet, men ikke nok. Dette er gjort med editor og gjelder ca. 17* av navna. Med tillegg for de mislykkede, måtte 20* endres manuelt. Det viktigste er allikevel at de 641 navneformene er redusert med vel en en tredjedel til 420. Resultatene bl ir noe anderledes for andre kilder eller regioner. Men det kan neppe rokke ved den konklusjon at mange navn kan standardiseres ved hjelp av forholdsvis enkle algoritmer. Disse vil imidlertid lett gripe inn der det er uønsket, samtidig som de ikke tar seg av en rekke navn som vi ønsker å standardisere. Problemene kan møtes med mer 34

4 36 kompliserte regler for konvertering, men antagelig vil en annen strategi vsre mer rasjonell: Søking 1 navnelister som nevnt innledningsvis. Ei slik Tiste må inneholde to former av navna, den originale og den standardiserte. Og det var jo ei slik liste vi nettopp produserte! Denne lista inneholder da alle fornavn 1 den kilda vi tok utgangspunkt i, slik at navna der nå kan standardiseres ut fra den. Søking 1 slike lister tar nødvendigvis en del maskintid siden vi får et oppslag pr. navn, men ved såkalt binar søking går det forholdsvis raskt. Et annet problem er at når vi går løs på nye kilder vil det dukke opp navn som ikke finnes 1 lista. VI må derfor ha en prosedyre som standardiserer dem, først maskinelt og deretter manuelt. Når de er kontrollert kan de Inkorporeres i navnelista slik at den gradvis bygges opp. For at den ikke skal bli for stor og uhåndterlig kan vi sette grenser for hvilke navn som kommer med, f.eks, kutte ut alle med forekomst lik en. Ved å trekke inn folketellinga fra år 1900 for Harstad har jeg prøvd ut et slikt opplegg. Her bodde 2109 personer med tilsammen 3306 fornavn. 811 var ulike, og av dem var det 511 som ikke fantes tel1 inga for Alta. Altså en betydelig restkategori, men hele 344 av disse forekom bare en gang. Dette tyder på at det vil gå forholdsvis raskt å bygge opp et register over frekvente fornavn med standarder. Det kan gjøres med utgangspunkt i følgende flytskjema: Hver gang vi sorterer el kilde på navn og ønsker normalisering, slår programmet opp i lista over navneformer med standarder. Når et navn ikke fins her, kommer det med i lista over nye navn. Denne krympes slik at hvert navn bare forekommer en gang sammen med en frekvens. Lista gjennomgår deretter en automatisk normalisering, og på grunnlag av kontrollutskri ften foretas en manuell oppretting. Eventuelt kan man utelate de minst vanlige navna før den nye lista innlemmes 1 den gamle, voksende navnelista. Hvis det var mange nye navn, vil det lønne seg å kjøre sorteringsprogrammet om igjen for den aktuelle klldeflla slik at alle navn i utskriften er sortert etter sin normalversjon. Slik det er skissert her tar systemet seg bare av fornavn. Det vil imidlertid vare en enkel utvidelse å ta med etternavn. Og når det gjelder patronymika, kan man basere seg på fornavnlista. 35

5 36 FLYTSKJEMA FOR NORMALISERING AV PERSONNAVN 36

6 37 A L L M E N N N Y T T E A V D A T A F R A R H D I N A V N E G R A N S K ING R e g i s t r e r i n g s s e n t r a l f o r h i s t o r i s k e d a t a v e d U n i v e r s i t e t e t i T r o m s ø h a r s o m o p p g a v e å d a t a b e h a n d l e f o l k e t e l l i n g e r o g k i r k e b ø k e r f ra t a l l e t f or u t v a l g t e d e l e r a v N o r g e. S i d e n k i l d e n e s k r i v e s m e s t m u l i g b o k s t a v r e t t av, m e n e r vi E D B - u t g a v e n e o g s å v i l v æ r e til n y t t e i n a v n e g r a n s k l n g. N a v n e t l l f a n g e t 1 m a t e r i a l e t o m f a t t e r b å d e p e r s o n - og s t e d s n a v n. N å r d e t g j e l d e r p e r s o n n a v n skal de n e v n t e k i l d e n e i n n e h o l d e h e l e b e f o l k n l n g a o g d e r m e d u t g j ø r e e n b o r t i m o t f u l l s t e n d i g n a v n e - samllng. (Et v i k t i g u n n t a k g j e l d e r e t s l s k e m i n o r i t e t e r ). N å r d e t g j e l d e r s t e d s n a v n g i r n o k d e n e v n t e k i l d e n e b a r e en g r o v e r e o v e r s i k t. De a l l e r f l e s t e g å r d s - o g b r u k s n a v n er med, o f t e m e d u l i k e s k r i v e m å t e r 1 de u l i k e k i l d e n e. D e t er n o e m e r t i l f e l d i g 1 h v i l k e n g r a d t e l l e r n e h a r fått m e d n a v n på m i n d r e (husmanns) p l a s s e r o g j o r d l a p p e r. I m i d l e r t i d a v s p e i l e r k i l d e n e g o d t h v o r m a n g e m å t e r m a n k u n n e s k r i v e (og uttale) et n a v n på. D e s s u t e n å p n e r d e s t o r e m u l i g h e t e r for f o r s k e r e s o m v i l s e t t e n a v n i s a m m e n h e n g m e d e g e n s k a p e r som yrke, f ø d e s t e d o.l. H v o r d a n k a n v i så p r e s e n t e r e d a t a f or b r u k e r n e? F o r d e t e n e kan v i l e v e r e m a s k i n s k r e v n e k o p i e r a v k i l d e n e. V i d e r e k a n v i a l f a b e t i s e r e p e r s o n e r og b o s t e d e r e t t e r de u l i k e n a v n e t y p e r f ør u t s k r i f t. O g e n d e l i g k a n vi l e v e r e m a g n e t b å n d m e d n a v n e t i l f a n g e t til f o r s k e r e s o m s e l v ø n s k e r å b e a r b e i d e k i l d e n e m e d EDB. R e g i s t r e r i n g s s e n t r a l e n v i l i f ø r s t e o m g a n g k o n s e n t r e r e s eg o m k i l d e r fra u t v a l g t e d e l e r av landet. E n f o r e l ø p i g o v e r s i k t er v e d l a g t. B å d e N o r d -, M i d t -, V e s t - o g Ø s t - N o r g e b l i r r e p r e s e n t e r t. Vi t i l s t r e b e r o g s å en n æ r i n g s g e o g r a f i s k r e p r e s e n t a t l v i t e t. H e l t a v g j ø r e n d e e r a l l i k e v e l f o r s k e r n e s b e hov. M e l d d e r f o r fra o m k o n k r e t e f o r s k n i n g s p r o s j e k t h v o r d e t er b e h o v for k i l d e m a t e r i a l e t. På l e n g e r s i k t er d e t a k t u e l t å s t a r t e r e g i s t r e r i n g av m a t e r i a l e s om v i l v æ r e m e r d e t a l j e r t m h t. s t e d s n a v n. VI t e n k e r da f.eks, på m a t r i k k e l f o r a r b e i d e o g p a n t e b ø k e r. 37