3rd Nordic Conference of Computational Linguistics NODALIDA

Transkript

1 125 M e t t e - C a t h r l n e J a h r S t i g J o h a n s s o n B r i t i s k I n s t i t u t t U n i v e r s i t e t e t 1 O s l o G R A M M A T I S K M E R K I N G A V T H E L A N C A S T E R - O S L O / B E R G E N C O R P U S : O R D K L A S S E B E S T E M M E L S E V E D H J E L P A V O R D S L U T T 1 M å l s e t t i n g 1 f o r b i n d e l s e m e d p r o s j e k t e t " G r a m m a t i c a l T a g g i n g o f t h e L a n ~ c a s t e r - O s l o / B e r g e n C o r p u s " h a r vl 1 Oslo s p e s i e l t k o n s e n t r e r t o s s o m å r e v i d e r e G r e e n e o g R u b i n s s u f f l k s l l s t e o g o r d l i s t e for B r o w n C o r p u s. ^ V å r e r e v i d e r t e l i s t e r t ar h e n s y n t il b å d e B r o w n C o r p u s o g L a n c a s t e r - O s l o / B e r g e n LOB) C o r p u s, dvs. t i l s a m m e n ca. 2 m i l l i o n e r o r d l ø p e n d e t e kst. R i k t i g n o k e r d e t t e e t r e l a t i v t b e s k j e d e n t m a t e r i a l e 1 f o r h o l d t il a l t s o m f i n n e s a v e n g e l s k e t e k s t e r, m e n v l t r o r l i k e v e l a t d e r e s u l t a t e n e v l e r k o m m e t f r e m til, er g a n s k e a l l m e n n g y l d i g e. 2 P r o b l e m s t i l l i n g F o r d e n s o m ø n s k e r å u t f ø r e en a u t o m a t i s k g r a m m a t i s k analyse, b y r e n g e l s k på s p e s i e l l e p r o b l e m e r, b å d e f o r d i s p r å k e t I n n e h o l d e r e t u s e d v a n l i g s t o r t a n t a l l h o m o g r a f e r, o g f o r d i d e t så g o d t s o m f u l l s t e n d i g m a n g l e r d l s t l n k t l v e b ø y n i n g s e n d e l s e r. I k k e d e s t o m i n d r e v i s e r G r e e n e o g R u b i n s a r b e l d (1971) k l a r t a t d e t 1 s t o r u t s t r e k n i n g l a r s e g g j ø r e å b e s t e m m e o r d k l a s s e r u t fra a v l e d n i n g s e n d e l s e r o g a n d r e t y p e r s l u t t s e k v e n s e r. ( B e t e g n e l s e n e " s u f f i k s " o g " e n d e l s e r " v l l h e r b l l b r u k t 1 b e t y d n i n g e n o r d s l u t t e l l e r s l u t t s e k v e n s. ) 3 M a t e r i a l e o g m e t o d e D a G r e e n e o g R u b i n (1971) l a g e t s i n s u f f l k s l l s t e, b r u k t e d e f o r u t e n e n f I n a l - a l f a b e t l s k o r d l i s t e f or B r o w n C o r p u s (ca ordtyper), f I n a l - a l f a b e t l s k e o r d l i s t e r fra D o l b y o g R e s n l k o f f (1967). V I h a r b e n y t t e t en l i g n e n d e f r e m g a n g s m å t e 1 a r b e i d e t m e d å r e v i d e r e s u f f l k s l l s t e n. F ø l g e n d e m a t e r i a l e b l e b r u k t : A: E n f I n a l - a l f a b e t l s k o r d l i s t e o v e r d e t i l s a m m e n ca o r d t y p e n e ( g r a f i s k e ord) s o m f i n n e s 1 B r o w n C o r p u s o g L O B C o r p u s. B: E n f r e k v e n s l i s t e o v e r g r a m m a t i s k e k o d e r s o m f o r e k o m m e r v e d h y p p i g e e n d e l s e r (fra é n tll f e m b o k s t a v e r ), b a s e r t på d e n g r a m m a t i s k m e r k e d e v e r s j o n e n a v B r o w n C o r p u s ( h e r e t t e r k a l t s u f f i k s / k o d e - l l s t e n ). N o e n e k s e m p l e r : 3 125

2 126 IVE JJ (= adjektiv) 254 NN (= s u b stantiv, sg.) 50 NP ( = e g e n n a v n ) 25 V B (= verb. Infinitiv) 20 CD (= grunntall) 10 RIVE V B ( = verb. Infinitiv) 7 SIVE JJ (= adjektiv) 65 NN (= substantiv, sg.) 6 T I V E JJ (= adjektiv) 182 N N (= s u b stantiv, sg.) 36 NP ( = e g e n n a v n ) 16 N e d r e f r e k v e n s g r e n s e b l e satt til 5, dvs. e n g r a m m a t i s k k o d e m å t t e o p p t r e s a m m e n m e d et b e s t e m t s u f f i k s m i n s t fem g a n g e r for å b ll tatt Inn 1 listen. C; F l n a l - a l f a b e t l s k e o r d l i s t e r fra D o l b y o g R e s n l k o f f (1967), s o m b y g g e r på S h o r t e r O x f o r d E n g l i s h D i c t i o n a r y o g M e r r l a m W e b s t e r N e w I n t e r n a t i o n a l D i c t i o n a r y. ^ D: F o r s k j e l l i g e v e r k e r s o m b e h a n d l e r m o r f o l o g i o g o r d d a n n e l s e 1 engelsk, s p e s i e l t L j u n g (1974) o g M a r c h a n d (1969). V I tok v å r t u t g a n g s p u n k t 1 d e n f l n a l - a l f a b e t l s k e o r d l i s t e n b a s e r t på de to k o r p u s e n e (LOB o g Brown) o g b e g y n t e m e d å m e r k e o r d e n e e t t e r G r e e n e o g R u b i n s s u f f i k s r e g l e r o g s k i l l e u t alle unntak. V e d å s a m m e n l i g n e a n t a l l o r d s o m d e k k e s a v en r e g e l m e d.a n t a l l unntak, k u n n e vi b e d ø m m e h v o r e f f e k t i v h v e r e n k e l t regel var. b l e v i o p p m e r k s o m m e på fell o g u o v e r e n s s t e m m e l s e r. L i t e e f f e k t i v e r e g l e r b l e a v s l ø r t o g n y e r e g e l m e s s i g h e t e r b le oppdaget. S o m h j e l p e m i d l e r 1 a r b e i d e t m e d å finne frem til n ye r e g e l m e s s i g e e n d e lser, b e n y t t e t vi o g s å I l s t e n e n e v n t u n d e r p u n k t B, C o g D ovenfor. D e t t e s k u l l e gi a r b e i d e t v å r t s t ø r r e g e n e r e l l gyldighet. 4 Den reviderte s u f f Iksllsten R e s u l t a t e t av v å r t a r b e l d er e n r e v i d e r t og u t v i d e t s u f f l k s l l s t e o v e r vel 600 s u f f i k s e r m e d t i l h ø r e n d e g r a m m a t i s k e koder. I u t g a n g s p u n k t e t m e n e r vi at G r e e n e o g R u b i n s m e t o d e er god. V I har d e r f o r u t a r b e i d e t d e n r e v i d e r t e s u f f I k s l l s t e n e t t e r d e r e s p r i n sipper. De f o r a n d r i n g e n e vi h ar gjort, b e r ø r e r Ikke s e l v e s t r u k t u r e n 1 m e r k e p r o g r a m m e t deres. U n d e r p u n k t 6 n e d e n f o r v i l vi I m i d l e r t i d d i s k u t e r e n o e n m e r r a d i k a l e e n d r l n g e r s om k a n s k j e b u r d e o v e r v e i e s nøyere. 4.1 S t r y k i n g a v s u f f i k s r e g l e r Ca. 80 av G r e e n e og R u b i n s s u f f i k s r e g l e r er b l l t t tatt u t av listen. I e k s e m p l e n e n e d e n f o r er e n d e i s e n e s k r e v e t f o r f r a på 126

3 127 vanlig måte slik at de er lettere å identifisere og lese: LB > NN: Regelen dekker bare tre ord (D e k a l b, K o l b, b u l b ), hvorav to er egennavn som vi ikke behøver å ta hensyn til 1 suffikslisten. Det tredje ordet dekkes av en annen ek sisterende regel: B * NN-VB. leld» NN-VB: Regelen dekker bare fem ord (s h i e l d, w i n d s h i e l d, s u n s hleld, w i e l d, y i e l d ). VI lar en annen eksisterende regel behandle dem: LD NN-VB. 4 ZARO V NN: Det er bare fem vanlige ord som slutter på ZARD, hvorav to er unntak fra regelen. De to unntakene settes inn 1 ordlisten, de øvrige bllr Ivaretatt av en annen eksisterende regel: RD V NN. RDE > N N : Foruten egennavn er det bare ett vanlig ord som dekkes av denne regelen (h o r d e ). VI lager en ny, effektiv suffiksregel: DE» NN, som dekker 42 tilfeller og bare gir ett unntak. UGE V NN: Regelen dekker følgende vanlige ord: g a u g e, r e f u g e, centrifuge, h u g e, d e l u g e, g o u g e, r o u g e. Ett av disse er et adjektiv, de andre kan være bade substantiv_:og:.yerb. Vi setter huge inn 1 ordlisten og lar de øvrige bil tatt hånd o m av en annen eksisterende regel: GE > NN-VB. EPE V NN-VB'I OUPE k NN j: Disse regiene behandler bare tre vanlige ord (hvorav ett biir galt k o d e t ) : c r e p e, c a n t a l o u p e, t r o u p e. Vi Innfører en ny r e g e l : PE > NN som dekker 24 ord og gir ett unntak. GNE V NN: Det eneste vanlige ordet som ender på GNE er champagn Vi Innfører en ny regel: NE > NN. Denne regelen dekker 46 ord og gir ingen unntak. EFY > VB: To vanlige ord har denne sluttsekvensen, ett av dem et adjektiv: defy og b e e f y. Vi setter begge i ordlisten. Noen av Greene og Rubins suffiksregler er høyst merkelige, f.eks. LYE > JJ (adjektiv) og LOREN > NNS (substantiv, p l u r a l ). Sekvensen LYE finner vi bare 1 sitater fra eldre engelsk, og LOREN forekommer bare som et egennavn. De suffiksene vi har fjernet, dekker svært få ord og ville ofte ha ført til at ord var blitt galt kodet. Som eksemplene ovenfor viser, har vi latt de berørte ordene bli behandlet (1) av andre eksisterende regler, (2) ved å innføre nye og mer effektive regler, eller (3) ved å sette de relevante formene inn i or dlisten. 4.2 Endring av grammatiske koder I ca. 25 tilfeller der de opprinnelige suffiksreglene ble beholdt. 127

4 -128 endret vi de grammatiske kodene. Koder ble fjernet i ftfllgende tilfeller: _ Fjernet kode Effektivitet AD * NN-JJ JJ 67/ e SIDE» JJ-NN JJ 61/10 LE - + NN-VB VB 164/ 2 OLE» NN-VB VB 61/ 5 TIME» NN-JJ JJ 61/ 5 RNE - NN-VB VB 29/ 0 ITE» NN-VB-JJ VB 140/14 H» NN-VB VB 122/12 PH - * NN-VB VB 15/ 1 TEN - NN-VB NN 36/ 6 IN - * NN-VB VB 400/21 ON > NN-VB VB 393/ > NN-VB VB 879/44 ER» NN-VB-JJR-RBR RBR 453/17 IR * NN-VB VB 34/ 4 UENT» NN-JJ NN 15/ 3 EST * JJT-RBT RBT 267/61 Som vi ser av forholdet mellom antall behandlede ord og antall unntak, virker de reviderte reglene ganske godt.6 Etter mye n^ling bestemte vi oss for å stryke RBR (= adverb i komparativ form) og RBT (= adverb 1 superlativ form) fra kodesettet for ER og EST. Tallene i suffiks/kode-listen taler imidlertid for seg selv: ER NN (= substantiv, sg.) 913 VB (= verb, inf.) 123 JJR (= adjektiv 1 komparativ form) 140 RBR (= adverb i komparativ form) 24 EST JJT (= adjektiv i superlativ form) 143 RBT (= adverb i superlativ form) 9 I grammatikker (bl.a. Quirk et al. 1972:294) påpekes det dessuten at det bare er et lite antall adverb som kompareres med ER og EST. Komparativ- og superlativformer på ER og EST som kan være adverb, ble satt inn 1 ordlisten. I seks tilfeller føyde vi til koder: Tilføyet kode Effektivitet AID > VBN-VBD JJ 33/ 4 WARD > RB JJ 44/13 NINE > JJ NN 16/ 1 BORNE > VBN JJ 10/ 0 ESQUE > JJ NN SIZE V NN-JJ VB 11/ 1 20/ 1 En av våre hovedregler har vært ikke å sette til nye koder fordi dette innebærer at regiene biir mindre presise. VI har i stedet foretrukket å spesifisere unntak i ordlisten. For suffiksreglene nevnt ovenfor, ville antall unntak imidlertid ha blltt uakseptabelt høyt hvis vi ikke hadde satt inn de nye kodene. I to tilfel- 128

5 129 l er v a r v i i s t e r k tvil o m h v o r v i d t v i s k u l l e f ø y e t i l n y e k o d e r e l l e r ikke: ED I NG - * V B N - V B D - * V B G +JJ? + N N - J J? S i d e n o r d på E D o f t e er a d j e k t i v e r o g d e på I N G o f t e a d j e k t i v e r e l l e r s u b s t a n t i v e r, v a r d e t f r i s t e n d e å s e t t e t il d e k o d e n e vi h a r f ø r t o p p o v e n f o r m e d s p ø r s m å l s t e g n. N å r v i a l l i k e v e l b e s t e m t e o s s for i k k e å g j ø r e d e t her, v a r d e t d e l s p å g r u n n a v a t v e r b - f o r m e n e a v s l i k e o r d f o r e k o m m e r l a n g t h y p p i g e r e, d e l s f o r d i v i i k k e ø n s k e t å ø d e l e g g e m u l i g h e t e n e f or e n s a m m e n l i g n i n g m e l l o m L O B og B r o w n på d e t t e p u n k t e t. I f ø l g e n d e t r e t i l f e l l e r e n d r e t v i d e g r a m m a t i s k e k o d e n e helt: U N D * J J E D E - -» N N W H E R E V N N N y k o d e N N V B RB E f f e k t i v i t e t 16/3 13/2 7/1 V i f ø l t e o s s o g s å f r i s t e t t il å e n d r e k o d e n t il N P 1 e n d el t i l f e l l e r : E f f e k t i v i t e t m e d N P - k o d e W E I Z HR» N N - V B * N NS» N N - V B» NN 2 2 / / / 1 1 8/ 0 L a n g t d e f l e s t e o r d m e d d i s s e s l u t t s e k v e n s e n e er e g e n n a v n. M e n s i d e n e g e n n a v n b e h a n d l e s g j e n n o m e n s p e s i a l r u t l n e i m e r k e p r o g r a m m e t (se H o f l a n d s a r t i k k e l ), b e s t e m t e vi o s s for i k k e å e n d r e k o d e n e. T o a v d e o p p r i n n e l i g e s u f f i k s r e g i e n e b l e s l ø y f e t (for W E o g H R ), o g o r d s o m ikke e r e g e n n a v n, b l e s a t t i n n i o r d l i s t e n. R e g e l e n I - > N N S b l e b e h o l d t, s i d e n p l u r a l f o r m e r a v s u b s t a n t i v e r u t g j ø r e n g a n s k e s t o r g r u p p e a v o r d på I. V i b e h o l d t o g s å r e g e l e n Z * N N - V B. D e n n e r e g e l e n g i r i n g e n u n n t a k s e l v o m d e n b e h a n d l e r s v æ r t få v a n l i g e ord. M e n i n g e n er at r e k k e f ø l g e n av k o d e n e skal gi u t t r y k k for d e n r e l a t i v e f r e k v e n s e n, dvs. a t d e n h y p p i g s t e o g m e s t s a n n s y n l i g e k o d e n k o m m e r først. V i e n d r e t d e r f o r r e k k e f ø l g e n på k o d e n e i f ø l g e n d e t i l f e l l e r : R e t t e t til A C J J - N N N N - J J xd N N - J J J J - N N E ND N N - V B V B - N N ISE N N - V B V B - N N W I S E J J - R B R B - J J E R S E N N - V B - J J V B - J J - N N E T E N N - V B - J J J J - N N - V B TI V E N N - J J J J - N N 129

6 130 SH A S H IAN H U M A N L I E R N C T A N T N E N T RENT T E N T LY E RY A R R Y R e t t e t til V B - N N N N - V B» V B - N N N N - V B» N N - J J J J - N N» N N - J J J J - N N» N N - J J R J J R - N N * N N - J J J J - N N» N N - J J j j -Nn» N N - J J J J - N N» N N - J J J J - N N N N - J J J J - N N J J - R B R B - J J J J - N N N N - J J * N N - V B V B - N N F o r å b e s t e m m e r e k k e f ø l g e n på kodene, b r u k t e vi s u f f I k s / k o d e - l l s t e n for B r o w n C o r p u s o g d e n m e r k e d e f I n a l - a l f a b e t l s k e o r d l i s t e n for b å d e L O B C o r p u s o g B r o w n C o r p u s (jfr. p u n k t 3 A o g B ), D e n f ø r s t n e v n t e l i s t e n er Ikke t i l s t r e k k e l i g 1 s eg selv fordi d e n b a r e t ar h e n s y n til B r o w n Corpus, og f o r d i d e n g ir f r e k v e n s e n e for h v e r s l u t t s e k v e n s u t e n h e n s y n til s u f f I k s r e g l e n e, slik at a l l e o r d på f.eks. L E R Y o g N E R Y er i n k l u d e r t i s t a t i s t i k k e n " for o r d s om s l u t t e r på ERY. I s u f f i k s l i s t e n v i s e r "statistikken" b a r e d e f o r e k o m s t e n e på E R Y s om Ikke a l l e r e d e er b e h a n d l e t av r e g l e n e for L E R Y o g NERY. 4.3 I n n f ø r i n g a v n ye s u f f I k s r e g l e r D e n s t ø r s t e e n d r i n g e n i f o r h o l d til G r e e n e og R u b i n er at vi har i n n f ø r t ca. 240 n ye suffiksregler. I e k s e m p l e n e n e d e n f o r er nye s u f f i k s e r u n d e r s t r e k e t : E f f e k t i v i t e t 1C J J - N N 256/ 1 RIC JJ 0 1/ 7 ISTIC JJ 0 1/ 1 D N N - V B 165/ 23 HOOD N N 23/ 1 NE NN 46/ 0 INE N N - V B 222/20 NINE N N - J J 16/ 1 RINE N N - J J 27/ 1 TINE ^ N N - J J 30/ 1 ZINE» NN 0/ 0 TE NN 7 0/ 1 A TE V B - N N - J J 266/ 2 CATE V B - N N 34/ 4 DATE V B - N N 14/ 1 GATE V B - N N 4 6/ 2 P H A T E NN 9/ 2 late V B - N N 34/ 6 LATE V B - N N 60/ 4 T A T E V B - N N 4 0 / 0 V A T E > V B 12/ 1 130

7 131 A L I C A L io n a l U R E U R - * JJ- - * JJ JJ NN > N N - V B» N N E f f e k t i v i t e t 8 1 1/ / / 6 30/ 19/ D e f l e s t e av d e n y e s u f f i k s r e g l e n e g i r e n m e r p r e s i s o r d k l a s s e a n g i v e l s e. F o r R I C o g ISTIC, for e k s e m p e l, t r e n g e r v i b a r e 6n kode, m e n s d e v i l l e få to k o d e r h v i s d e s k u l l e b e h a n d l e s a v IC, s o m i G r e e n e o g R u b i n. I n n f ø r i n g e n a v N E o g T E i l l u s t r e r e r en a n n e n e n d r i n g i f o r h o l d til G r e e n e o g R u bin. A l l e o r d s o m s l u t t e r på N E o g T E m å d e e n t e n f ø r e o p p i o r d l i s t e n e l l e r m e r k e N N - V B - J J, dvs. d e t k o d e s e t t e t s o m b i i r g i t t til a l l e o r d s o m i k k e d e k k e s a v l i s t e n e e l l e r a n d r e r u t i n e r i m e r k e p r o g r a m m e t. E n d e l n y e s u f f i k s e r e r b l i t t t a t t inn i l i s t e n s o m f ø l g e a v at v i h ar f o r s ø k t å v æ r e m e r k o n s e k v e n t e e n n G r e e n e o g R u b i n (1971: 30) n år d e t g j e l d e r å gi så m a n g e o r d s o m m u l i g e n e n t y d i g g r a m m a t i s k k o d e så t i d l i g s o m m u l i g, s e l v o m d e t t e i k k e n ø d v e n d i g v i s b e t y r e n m e r n ø y a k t i g o r d k l a s s e - a n g i v e l s e. V i k a n gi n o e n e k s e m p l e r s o m i l l u s t r e r e r d e t t e (nye s e k v e n s e r er u n d e r s t r e k e t ) : E f f e k t i v i t e t E LY RB / 1 6 A T E L Y» RB 4 2/ 2 I V E L Y» RB 90/ 1 A L L Y» RB 98/ 3 C A L L Y - * RB 191/ 0 N A L L Y - * RB 54/ 0 R A L L Y - > RB 22/ 1 U A L L Y» RB 27/ 0 1ST» N N 58/ 7 C I S T» N N 11/ 0 O G I S T - # N N (G&R: GIST) 23/ 0 L I S T» NN 55/ 2 M I S T» NN 13/ 1 N I S T - * NN 53/ 0 R I S T» NN 33/ 2 O G Y - * NN 6/ 0 O L O G Y» N N 54/ 0 N y e s u f f i k s r e g l e r b l e i n k l u d e r t h v i s d e er s v æ r t e f f e k t i v e o g / e l l e r h v i s d e r e p r e s e n t e r e r p r o d u k t i v e e n d e l s e r. V i k a n ikke p å s t å at vi har v æ r t h u n d r e p r o s e n t k o n s e k v e n t e. N o e n a v v å r e s u f f i k s r e g l e r k u n n e g o d t u t e l a t e s o g a n d r e s e t t e s inn, m e n vi h a r ikke sett på d e t t e s o m så f o r f e r d e l i g v i k t i g, s i d e n s l i k e e n d r i n g e r i k k e h a r n o e n i n n v i r k n i n g på v a l g e t av g r a m m a t i s k k o d e. 131

8 132 5 D en r e v i d e r t e o r d l i s t e n V å r r e v i d e r t e s u f f i k s l i s t e er s u p p l e r t m e d en ny o r d l i s t e på noe u n d e r 5000 o r d m e d t i l h ø r e n d e g r a m m a t i s k e koder. O r d l i s t e n I n n e h o l d e r u n n t a k fra s u f f I k s r e g l e n e såvel s om a l l e o r d 1 L OB C o r p u s m e d en f r e k v e n s på 50 e l l e r høyere. V I h ar s e t t b o r t fra f ø l g e n d e unntak: u t e n l a n d s k e ord, a r k a i s k e former, f o r k o r t e l s e r o g o r d m e d u n o r m a l e s t avemåter. V i d e r e har vi Ikke t a t t h e n s y n til e g e n n a v n o g o r d m e d b i n d e s t r e k, f ordi d i s s e b e h a n d l e s v ed h j e l p a v s p e s i e l l e r u t i n e r 1 m e r k e p r o g r a m m e t. I a r b e i d e t m e d å s k i l l e ut u n n t a k o g b e s t e m m e g r a m m a t i s k e k o d e r h ar vi h o v e d s a k e l i g h o l d t oss til L o n g m a n D i c t i o n a r y o f C o n t e m p o r a r y E n g l i s h ( u t g a v e n ), s e l v o m vi også h ar b r u k t a n d r e o p p s l a g s v e r k e r, s p e s i e l t A G r a m m a r of C o n t e m p o r a r y E n g l i s h (1972). F o r å ø k e n y t t e n av d e n r e v i d e r t e o r d l i s t e n, h ar v i i t i l l e g g tatt med a l l e f o r m e r fra G r e e n e og R u b i n s o r d l i s t e s om e n t e n er u n n t a k fra v å r e s u f f i k s l i s t e r, e l l e r h ar e n f r e k v e n s på 50 e l l e r h ø y e r e (i B r o w n C o r p u s ). D e t t e s k u l l e g j ø r e a r b e i d e t v å r t m e r a n v e n d e l i g. Idet d e t g år u t o v e r g r e n s e n e for v å r t p r i m æ r e s i k t e mål, n e m l i g en g r a m m a t i s k m e r k i n g a v L O B Corpus. 6 D i s k u s j o n V å r e r e v i d e r t e ord- og s u f f i k s l i s t e r t ar h å n d o m e n b e t y d e l i g d e l av d e t i l s a m m e n ca o r d t y p e n e i L O B C o r p u s o g B r o w n Corpus. H v i s a n t a l l o rd s o m b e h a n d l e s av s u f f i k s r e g l e n e l e gges sammen m e d antall ord i ordlisten, ko m m e r vi opp i o v e r De a l l e r f l e s t e a v d i s s e får b a r e én g r a m m a t i s k kode. I m i d l e r t i d er d e t v a n s k e l i g å si h e l t n ø y a k t i g hvor e f f e k t i v e de nye l i s t e n e er. T a l l e t er for så v i d t for høyt, s i d e n d e t I n k l u d e r e r e g e n n a v n og o r d m e d b i n d e s t r e k, s o m b e h a n d l e s av s p e s l a l r u t l n e r i m e r k e p r o g r a m m e t (rutinen for o r d m e d b i n d e s t r e k gjør r i k t i g n o k også b r u k av I l s t e n e ) P å d e n a n n e n side b i i r et s t o r t a n t a l l a v d e r e s t e r e n d e ca o r d t y p e n e t a t t h å n d o m a v a n d r e s p e s l a l r u t l n e r i p r o g r a m m e t. D e t t e g j e l d e r s æ r l i g g r u n n t a l l og o r d e n s t a l l, o r d m e d a p o s t r o f o g de f l e s t e o r d på S (hvor s p e s i a l - r u t i n e n også a n v e n d e r o r d l i s t e n ). Ikke d e s t o mindre, h v a de n ø y a k t i g e t a l l e n e for " e f f e k t i v i t e t " e n n m å t t e være, er d e t h e l t k l a r t at d e er s v æ r t høye. R e s u l t a t e n e biir enda m e r i m p o n e r e n d e h v i s vi, i stedet for å se på a n t a l l o r d t y p e r s om b e h a n d l e s, ser på d e t t o t a l e a n t a l l l ø p e n d e ord 1 de to k o r p u s e n e s om biir t i l f r e d s s t i l l e n d e m e r k e t v e d h j e l p a v listene. D e t t e h a r vi ikke r e g n e t ut, m e n t a l l e t m å v æ r e e n o r m t høyt, f ordi o r d l i s t e n o m f a t t e r alle h ø y f r e k v e n t e o r d i b e g g e k o r p u s e n e, og v i v e t at d i s s e u t g j ø r en m e g e t stor del av en l ø p e n d e tekst. D et er i m i d l e r t i d ikke nok at d e r e v i d e r t e l i s t e n e k a n b e h a n d l e alle o r d i de to k o r p u s e n e. F or at de skal k u n n e ha s t ørre a l l m e n n interesse, må d e også k u n n e a n v e n d e s på a n d r e e n g e l s k e tekster. G r e e n e o g R u b i n (1971:41) h e v d e r at d e t er "almost c e r t a i n that a ny 'new' w o r d c o n t a i n e d in a sample of p r e s e n t - d a y 132

9 133 A m e r i c a n E n g l i s h w i l l be g i v e n its c o r r e c t tag(s) b y m a t c h i n g w i t h t h e S u f f i x L i st". V i b e s t e m t e o s s for å t e s t e v å r r e v i d e r t e s u f f i k s l i s t e på e t u t v a l g a v n y e ord. F e m t e n s i d e r a v A D i c t i o n a r y o f N e w E n g l i s h ( ) b l e v i l k å r l i g u t v a l g t, o g a l l e n y e f o r m e r på d i s s e s i d e n e b l e r e g i s t r e r t. E g e n n a v n, o r d m e d b i n d e s t r e k o g f o r k o r t e l s e r b l e h o l d t u t e n f o r testen. V i d e r e u n n l o t v i å ta m e d t i l f e l l e r d e r gamle, e t a b l e r t e o r d h a d d e f å t t n y e b e t y d n i n g e r, m e d m i n d r e d e t t e falt s a m m e n m e d n y e g r a m m a t i s k e f u n k s j o n e r. A v d e 94 o r d e n e v i r e g i s t r e r t e, fikk 52 6n enkelt, k o r r e k t kode, 33 fikk to k o d e r h v o r a v én v a r d e n r i k t i g e. E t t o r d f i k k t re k o d e r i n k l u s i v e d e n r i k t i g e, et a n n e t o r d b l e i k k e b e h a n d l e t i d e t h e l e tatt, o g s yv o r d b l e g a l t k o d e t. 8 D e t t e f ^ r e r o s s o v e r til en v u r d e r i n g a v v i s s e s v a k h e t e r v e d s u f f i k s l i s t e n vår, o g m u l i g e f o r b e d r i n g e r a v m e r k e p r o g r a m m e t. F i r e av d e syv o r d e n e s o m b l e g a l t k o det, v a r a d j e k t i v e r m e d p r e f i k s e t m u l t i -. S e l v o m p r e f i k s e r v a n l i g v i s i k k e e r s æ r l i g p å l i t e l i g e s o m o r d k l a s s e - i n d i k a t o r e r, er d e t å p e n b a r t n o e n s o m g a n s k e r e g e l m e s s i g o p p t r e r v e d s p e s i e l l e o r d k l a s s e r. F ø l g e n d e p r e f i k s e r i n n l e d e r for e k s e m p e l b a r e s u b s t a n t i v e r o g a d j e k t i v e r ; m i c r o m u l t i - n o n p r o t o - pseudos e m i u l t r a - v i c e - E n a v G r e e n e o g R u b i n s s p e s i a l r u t i n e r s er på en k o m b i n a s j o n av et p r e f i k s o g et s u f f i k s, n e m l i g U N... E D. D e t m å t t e v æ r e m u l i g å i n k o r p o r e r e en p r e f i k s r u t i n e v e d s e k v e n s e r s o m e r t y p i s k e for s p e s i e l l e o r d k l a s s e r. T o a v d e n y e o r d e n e s o m b l e g a l t kodet, er e k s e m p l e r på s u b s t a n t i v e r b r u k t s om v e r b (c o l l a g e o g n e t w o r k ). D e t er i k k e lett å s i k r e s e g r i k t i g k o d i n g a v s l i k e t i l f e l l e r b a r e v e d h j e l p av e n d r i n g e r i s u f f i k s l i s t e n e l l e r a n d r e d e l e r a v m e r k e p r o g r a m m e t. V i må i n n r O m m e a t d e t a l l t i d v i l v æ r e e n l i t e n g r u p p e o r d s o m ikke k a n b e h a n d l e s r i k t i g. D e t t e er p r i s e n v i m å b e t a l e for å o p p n å en m e r e k s a k t s p e s i f i s e r i n g i de a l l e r f l e s t e t i l f e l l e n e. E n a l v o r l i g i n n v e n d i n g m o t G r e e n e o g R u b i n s s u f f i k s l i s t e, s å v e l s o m v å r e g e n r e v i d e r t e liste, er at d e n ikke g j ø r b r u k av v i s s e o p p l a g t e r e g e l m e s s i g h e t e r i e n g e l s k o r d d a n n e l s e. V i v e t for e k s e m p e l a t o r d s o m e n d e r på E R er k o m p a r a t i v f o r m e r a v a d j e k t i v e r h v i s r e s t e n av o r d e t er et a d j e k t i v (o l d - e r ), o g a t d e er s u b s t a n t i v e r h v i s d e n ø v r i g e d e l e n a v o r d e t er et v e r b (s p e a k - e r ), etc. G r e e n e og R u b i n h a d d e en r e g e l s o m g a v d i s s e o r d e n e fire koder: E R ^ N N - V B - J J R - R B R. D e t t e b e t y r at s t o r e g r u p p e r a v v a n l i g e o r d får f l e r e k o der, n o e s o m vil f ø r e til p r o b l e m e r på et s e n e r e s t a d i u m n å r k o n t e k s t r e g l e n e skal t r e i f u n k s j o n. D e t er o g s å a n d r e v a n l i g e s u f f i k s e r s o m i k k e b i i r t i l f r e d s s t i l l e n d e b e h a n d l e t : E D > V B N - V B D : M a n u t n y t t e r ikke d e t f a k t u m at E D - f o r m e r er a d j e k t i v e r n å r d e t ikke er et v e r b s o m g å r f o r u t for ED ( w i c k - e d ). 133

10 134 E N ISH > JJ-NN: V i k l a r e r Ikke å f ange o p p at EN er en r e g e l m e s s i g a d j e k t i v - e n d e l s e h v i s d e t står et s u b s t a n t i v f o r a n (w o o d - e n, e a r t h - e n ) o g like r e g e l m e s s i g en v e r b - e n d e l s e h v i s d e t k o m m e r et a d j e k t i v f oran (b l a c k - e n, s t i f f - e n ). > JJ-VB: M a n k a n f a k t i s k si at h v i s d e t s o m s t å r f o r a n ISH er et ord, er k o m b i n a s j o n e n et a d j e k t i v (s e v e n - l s h, q r e y - i s h, b o y - i s h ). LY > R B - J J : V i g år g l l p p a v m u l i g h e t e n til å t r ekke d e n o p p lagte slutning at et a d j e k t i v fulgt av LY er et adverb. Y > JJ-NN: Vi kan ikke få frem at et substa n t i v fulgt av Y n o r m a l t er et a d j e k t i v (b e e f - y, h i l l - y ). V e d a l l e d i s s e vanlige, p r o d u k t i v e e n d e i s e n e fører v å r e r e g l e r til u n ø d i g tvetydighet, selv o m t v e t y d i g h e t e n i m a n g e t i l f e l l e r r e d u s e r e s v e d at vi innfører l e n g r e s e k v e n s e r m e d e n t y d i g e k o d e r (spesielt n å r d e t g j e l d e r o r d på L Y ). D e t v i l l e s a n n s y n l i g v i s v æ r e m y e b e d r e å i n n f ø r e f lere a v k o r t i n g s r u t l n e r s om s v a r e r til d e n for o r d som s l u t t e r på S (se H o f l a n d s a r t i k k e l ). V i h a r k o m m e t m e d n o e n f o r s l a g til h v o r d a n G r e e n e o g R u b i n s m e r k e p r o g r a m s k u l l e k u n n e f o r b e d r e s v e d å i n n f ø r e s p e s l a l r u t l n e r s o m i n n e b æ r e r a t p r o g r a m m e t ser på p r e f i k s e r o g k u t t e r a v s u f f i k ser. S e l v o m d e n n e d e l e n av m e r k e p r o g r a m m e t m u l i g e n s b l i r noe m e r k o m p l i s e r t enn nå,^ v i l d e t t e d e l v i s k u n n e k o m p e n s e r e s v ed a t m a n k a n e l i m i n e r e n o e n av de e k s i s t e r e n d e s p e s i a l r u t l n e n e (jfr. H o f l a n d s a r t i k k e l ). G r u n n t a l l og o r d e n s t a l l k u n n e for e k s e m p e l b e h a n d l e s a v et lite a n t a l l suffiksregler, o g m a n g e v a n l i g e former med apostrof kunne bare settes inn 1 ordlisten. L e g g også m e r k e til at s p e s l a l r u t l n e n for o r d s o m U N... E D v i l l e b li o v e r f l ø d i g hvis ED b le b e h a n d l e t på en m e r g e n e r e l l måte. V i d e r e v i l l e l e n g d e n på s u f f i k s l i s t e n k u n n e r e d u s e r e s b e t r a k t e l i g h v i s s u f f I k s a v k o r t i n g b l e b r u k t 1 s t ø r r e utstrekning. T il s l u t t v i l v i n e v n e at d e t er en m e n g d e s u f f i k s e r s o m n e s t e n u t e l u k k e n d e f o r e k o m m e r i e g e n n a v n (BURGH, SHIRE, FORD, SKI, etc.). D e t er k l a r t at et stort a n t a l l e g e n n a v n k u n n e b e h a n d l e s ved at m a n i n n f ø r e r N P - s u f f I k s r e g l e r. D e t t e v i l l e r e d u s e r e b e h o v e t for p r e - e d i t i n g (som d e n n å v æ r e n d e r u t i n e n forutsetter). 7 K o n k l u s j o n S e l v o m d e t f i nnes p r o b l e m e r i f o r b i n d e l s e m e d s u f f i k s l i s t e n (og m u l i g e f o r b e d r i n g e r er b l i t t f o r e s l å t t ), må v å r k o n k l u s j o n b li at d e n i d e t s t o r e o g h e l e f u n g e r e r m e g e t bra.^*^ V i h ar sett at l i s t e n g ir t i l f r e d s s t i l l e n d e b e h a n d l i n g av o r d e n e i d e to k o r p u s e n e s å v e l som a v d e "nye" o r d e n e 1 u t d r a g e n e fra A D i c t i o n a r y of N e w E n g l i s h. K a n d e t t e b e t y at d e t er s t ø r r e o v e r e n s s t e m m e l s e m e l l o m o r d f o r m og o r d k l a s s e i e n g e l s k enn d et vi h i ttil har a n t a t t? D et er helt o p p l a g t at vi finner en g a n s k e stor grad av r e g e l m e s s i g h e t så snart vi b e v e g e r o ss u t e n f o r d en s e n t r a l e k j e r n e n av h ø y f r e k v e n t e, f ørst og fremst g ermanske, ord. D et er i n t e r e s s a n t å o b s e r v e r e at d e n n e r e g e l m e s s i g h e t e n ikke b e g r e n s e r 134

11 135 s eg til s u f f i k s e r i l i n g v i s t i s k f o r s t a n d, m e n o g s å o m f a t t e r o r d s l u t t i sin a l m i n n e l i g h e t. B l a n t d e "nye" o r d e n e s o m f i k k én e n e s t e og r i k t i g kode, f i n n e r vi f o r m e r s o m d u e n d e, d u k a og d u m d u m. R e g e l m e s s i g h e t e r a v d e n n e a r t k u n n e b a r e o p p d a g e s v e d h j e l p av d a t a m a s k i n o g bør u t e n tvil u t n y t t e s m a k s i m a l t i a u t o m a t i s k g r a m m a t i s k analyse. F O T N O T E R 1 K n u t H o f l a n d s a r t i k k e l (i d e n n e p u b l i k a s j o n e n ) o m g r a m m a t i s k m e r k i n g av L O B C o r p u s tar o g s å for seg G r e e n e o g R u b i n s " A u t o m a t i c G r a m m a t i c a l T a g g i n g of E n g l i s h " (1971) b a s e r t på B r o w n Corpus. V i f o r u t s e t t e r d e r f o r at d e t t e e r k j e n t s t o f f o g h e n v i s e r h e r e t t e r til H o f l a n d s a r t i k k e l n å r d e t g j e l d e r s p e s i e l l e p u n k t e r i G r e e n e o g R u b i n s m e r k e p r o g r a m. 2 L i s t e n e n e v n t u n d e r p u n k t A o g B er l a g e t v e d N A V F ' s E D B - s e n t e r for h u m a n i s t i s k f o r s k n i n g i B e r g e n, N o r g e. P r o g r a m m e r e r : K n u t Hofland. 3 S u f f i k s e r o g g r a m m a t i s k e k o d e r vil b l i s k r e v e t m e d s t o r e b o k s t a v e r, s l i k at d e t er l e t t e r e å s k i l l e d e m u t fra d e n ø v r i g e t e ksten. 4 M e d " v a n l i g e o r d " m e n e r vi e n k e l t o r d (uten b i n d e s t r e k ) m e d n o r m a l s t a v e m å t e, u n n t a t t e g e n n a v n o g f o r k o r t e l s e r. E g e n n a v n o g o r d m e d b i n d e s t r e k b e h a n d l e s v e d e g n e r u t i n e r i p r o g r a m m e t (se H o f l a n d s a r t i k k e l ). 5 " S t a t i s t i k k e n " s o m er o p p f ø r t v e d h v e r r e g e l i d e n r e v i d e r t e s u f f i k s l i s t e n a n g i r h v o r " e f f e k t i v " h v e r r e g e l er. T a l l e n e 1 v e n s t r e k o l o n n e a n g i r d e t t o t a l e a n t a l l o r d m e d e n b e s t e m t s l u t t s e k v e n s (som i k k e a l l e r e d e er b e h a n d l e t av r e g l e r for l e n g r e s e k v e n s e r ), m e n s t a l l e t i h ø y r e k o l o n n e a n g i r a n t a l l u n n t a k fra regelen. 6 De o p p r i n n e l i g e s u f f i k s r e g l e n e v i l l e o g s å ha g i t t en g o d d e l unntak. 7 I n k l u d e r t i d e t t e t a l l e t er o g s å ca f o r e k o m s t e r av o r d på ED o g I NG s o m vi m e n e r ikke b l i r t i l f r e d s s t i l l e n d e kodet. 8 R e s u l t a t e n e a v d e n n e t e s t e n f i k k o s s til å f o r e t a n o e n m i n d r e e n d r i n g e r i s u f f i k s l i s t e n, s l i k at a n t a l l g a l t k o d e d e o r d d e r m e d er b l i t t r e d u s e r t fra s y v t il f e m (4 a d j e k t i v e r m e d p r e f i k s e t m u l t i - s a m t n e t w o r k b r u k t s om v e r b ). E n n y s u f f i k s r e g e l (É > NN-JJ) t ar s eg nå a v d e t o r d e t s o m ikke b l e b e h a n d l e t i d e t h e l e tatt. 9 En del av d i s s e r u t i n e n e v il m u l i g e n s f o r u t s e t t e en s t ø r r e o r d l i s t e. 10 D en f u l l s t e n d i g e s u f f i k s l i s t e n v il b li p u b l i s e r t i J o h a n s s o n og J a h r (under u t g i v e l s e ). 135

12 136 R E F E R A N S E R Barnhart, C l a r e n c e L., Stelnmetz, Sol og Robert K. Barnhart A D i c t i o n a r y of N e w E n g l i s h London: L o n g m a n. Dolby, J.L. og H.L. Resnikoff T h e E n g l i s h W o r d S p e c u l u m. B i n d III og V. Den Haag: Mouton. Greene, B a r b a r a B. og G e r a l d M. Rubin A u t o m a t i c G r a m m a t i cal T a g g i n g of English. P r o v i d e n c e, R.I.: D e p a r t m e n t of E nglish, B r o w n U n i versity. J o h a n s s o n, S t i g og M e t t e - C a t h r i n e Jahr. " G r a m m a t i c a l T a g g i n g of the L a n c a s t e r - O s l o / B e r g e n Corpus: P r e d i c t i n g W o r d C l a s s from W o r d E n d i ngs". I S t i g J o h a n s s o n, u t g., C o m p u t e r C o r p o r a in E n g l i s h L a n g u a g e R e s e a r c h. N A V F ' s E D B - s e n t e r for h u m a n i s tisk f orskning, Bergen, (under utglvelse) Ljung, Magnus A F r e q u e n c y D i c t i o n a r y of E n g l i s h M o r p h e m e s. Data l i n g u l s t l c a 9, U n i v e r s i t e t e t i Goteborg. S tockholm: A W E / G e b e r s. L o n g m a n D i c t i o n a r y of C o n t e m p o r a r y E n g l i s h. L o n g m a n London: M a r c h a n d, Hans The C a t e g o r i e s a n d T y p e s of P r e s e n t - D a y E n g l i s h W o r d - F o r m a t i o n. A n n e n utgave. M u nchen: C.H. B e c k ' s c h e V e r l a g s b u c h h a n d l u n g. Quirk, Randolph, Greenbaum, Sidney, Leech, G e o f f r e y N. og Jan Svartvik A G r a m m a r of C o n t e m p o r a r y E n g l i s h. London: L o n g m a n. 136