TROFAST Årsrapport 2012 Ola Ødegård

Universitetet i Oslo Universitetets senter for informasjonsteknologi TROFAST Årsrapport 2012 Ola Ødegård Vi har hatt en meget tilfredsstillende driftssituasjon på Trofast i 2012 med minimalt nedetid og fornøyde brukere. Vi har hatt noe vekst i antall brukere og institusjoner. Infrastrukturkostnadene har endret seg noe. Behovet for lagring og backup har økt, mens behovet for øvrig infrastruktur har blitt redusert. Dette henger sammen med satsing på virtualisering av servere. For FS henger økt lagringsbehov bl.a. sammen med muligheten for å lagre bildeinformasjon. Driftsmiljøet har vært stabilt og proaktive i forhold driftsstans, slik at brukerne i mindre grad har opplevd bortfall av tjenestene. Reduksjonen i antall supportsaker kan være et tegn på dette. Timeforbruket har økt med 1500 timer mer enn i 2011, noe som delvis skyldes to store oppgraderingsprosjekter. For hele året brukte vi 12 284 timer. Den samlede faktura for 2012 ble på 10,6 mill. kr mot 8,9 mill. kr i 2011. Oslo, 24.1.2013

2 INNHOLD Innledning... 3 Status support/henvendelser... 3 Krav til oppetid... 5 Ephorte... 5 Sikkerhetshull oppdaget... 5 Virtualisering... 6 ViRTUALISERING AV CITRIX... 6 Statistikk og overvåkning... 7 SCOM... 8 Ny lagringsløsning... 8 Terminalservere... 8 Citrix... 8 Agresso terminalservere... 8 FS terminalservere... 8 Fysiske servere... 8 Agresso... 9 Felles Studentsystem... 9 Infrastruktur 2012... 10 Timeforbruk i 2012... 11 Fakturering 2012... 11 Prosjekter... 12 Administrative aktiviteter... 12

3 INNLEDNING På vegne av UNINETT har Trofast har driftsansvar for nettbaserte IT-tjenester til mer enn 50 høgskoler og universiteter i Norge. Pr. 31.12.2012 driftet vi administrative systemer til 200 000 studenter og flere tusen ansatte. Vi har for tiden 116 servere og 124 databaser. For å få dette til var 26 fageksperter ved USIT involvert. I 2012 håndterte vi 816 supporthenvendelser. Tjenestegruppen har driftsansvar for følgende tjenester: Felles Studentsystem (FS, studentadministrasjon) med moduler ephorte (sak og arkiv) Agresso, (økonomistyring og budsjett) LifeRay (samarbeidsplattform) STATUS SUPPORT/HENVENDELSER Det har i løpet av 2012 vært en betydelig nedgang i antall supporthenvendelser som er registrert som RTsaker i Trofast-drift. I hele 2012 ble det behandlet 816 saker mot 1175 saker i 2011. Det ble behandlet 828 saker i 2010. Her er Trofast forpliktet til responstider som er definert i driftsavtalen med UNINETT. Vi innførte kategorisering av RT-sakene i Q4 2011. Sakene er kategorisert med hensyn på type tjeneste og alvorlighetsgrad. Figur 1 RT-saker fordelt etter tjeneste Siden vi innførte kategorisering av henvendelsene, kan det virke som om det har skjedd en relativ endring i supportbildet. Det er fortsatt flest ephorte-saker, men størst økning er det i FS og Citrix-saker. Økningen i i

4 Citrix-saker forklares ved at det er en økning i antall Citrixbrukere generelt, og at den versjonen vi nå bruker (versjon 4) går mot slutten i sin levetid. ephorte benytter ikke Citrix, så dersom vi summerer FS og Citrix, så vi dette utgjøre nesten halvparten av alle sakene. Figur 1 RT-saker fordelt etter alvorlighetsgrad. Figur 2 viser at vi hadde 30 RT-saker av kategorien A. Dette er saker som krever respons fra USIT innen en time. Figur 3 Fordeling av RT-saker av kategorien A

5 Figuren viser at ephorte hadde definitivt flest henvendelser som var så alvorlige at de krevde umiddelbar behandling. Denne kategorien karakteriseres ved at den angår mange samtidige brukere. Av disse sakene framgår det at alle sakene untatt tre ble løst innen en time. KRAV TIL OPPETID Hardware og støttesystemer hadde særdeles lite nedetid i 2012. Dokumentlageret hadde 100 % oppetid i arbeidstiden og var kun nede ved patching/restart om natten. I løpet 2012 opplevde vi imidlertid to situasjoner som krevde avviksrapportering. I forbindelse med av vedlikehold på en strømtavle i serverrommet på IFI1, ble det av dekket en feil som førte til at UH sektoren mistet både ephorte-tilgang og Agresso-tilgang i 70 minutter. Det andre tilfellet angikk FS hvor flere institusjoner opplevde problemer med skrivere. Begge situasjoner ble behørig meldt og rettet. Kravet til oppetid i henhold til SLA ble imidlertid innfridd. EPHORTE Sakarkivsystemet ephorte har i 2011 vært rimelig stabilt. I 2011 brukte vi stadig mindre tid på ephorte. I 2012 derimot har vi satt i gang med oppgradering til versjon 4. Dette var påkrevet av flere grunner. Et sikkerhetshull som ble oppdaget ville bli løst i en oppdatert versjon, i tillegg var det forbedret funksjonalitet og støtte for Office 2008. SIKKERHETSHULL OPPDAGET Før sommeren ble oppdaget et sikkerhetshull i forbindelse med skanning-løsningen/importsentral. Hullet hadde vært der i flere år. Det var mulig for en relativt datakyndig bruker/saksbehandler å gå skrive inn stien til området der alle skannede dokumenter ble mellomlagret. Dette gjaldt også andre institusjoner enn ens egen. Vi satte i gang et midlertidig tiltak som hindret snoking mellom institusjonene, men kollegasnoking var fortsatt mulig. For å bøte på dette installerte vi triggere som ga oss beskjed om kollegasnoking. ITsikkerhetssjefen ved UiO har godkjent ordningen.

6 VIRTUALISERING Virtualisering av fysiske server fortsetter. Det gjelder Agresso applikasjonsservere, terminalservere, webservere, statistikkservere og lisensservere, antivirusservere og portalservere. Men mest av alt så har vi virtualisert ephorteservere. Virtualisering gir veldig god driftsøkonomi. Samtidig ivaretar den virtuelle løsningen alle krav til redundans og failover for de virtuelle serverne og letter driftssituasjonen betraktelig. Det tar nå bare et par timer å få opp en ny server fra bunnen av, i forhold til flere uker tidligere (om hardware måtte anskaffes). Tabell 1. Oversikt over virtualiserte servere Pr. 31.12.2012 har Trofast 122 virtuelle servere som fordeler seg slik på de ulike tjenestene: 31.12.2011 31.12.2012 Agresso applikasjon 4 5 Agresso TS 1 3 Agresso web 2 2 Agresso-test (XA 5.0) 1 Alfresco 1 1 Awstat 1 1 Citrix 2 fellesfunksjoner 7 Citrix og Vmwaretest 2 Mule 2 ephorte 73 86 FS TS 1 6 FS-test (XA 5.0) 1 1 FASportal 2 2 Antivirus 1 1 Liferay 2 2 Sum 90 122 VIRTUALISERING AV CITRIX I 2012 satte vi i gang et prosjekt med oppgradering av Citrix terminalservere til Xenapp 6.5. Dette var nødvendig for versjon 5 ikke lenger ville bli støttet, men også for å oppnå forbedret ytelse. I tillegg er det bedre profilhåndtering med Citrix eget system. Den viktigste grunnen er imidlertid mulighetene for å virtualisere terminalservere. Dette innebærer at vi kan virtualisere disse og redusere behovet for fysiske

7 maskiner fra 22 til virtuelle servere som kjører på fem fysiske hoster. Dette ventes å bli satt i produksjon i Q1 2013. STATISTIKK OG OVERVÅKNING Nedenfor vises grafen over samtidige Citrix-terminalbrukere av Agresso og FS-brukere basert på antall Citrixsesjoner Dette er en egenutviklet løsning. Vi ønsker også en tilsvarende løsning for ephorte, noe vi hadde i 2011. Dette krever imidlertid innkjøp av en egen lisens for dette. Figur 1 viser samtidige brukere av Agresso og FS i løpet av en dag (22.1.2013) Oversikten viser at det både før og etter lunsj var drøyt 900 samtidige brukere av Agresso og FS. Dette er en økning på ca. 50 samtidige brukere på samme dag i 2012.

8 SCOM Trofast kjører overvåkning på alle fysiske og virtuelle Windowsservere som er i vårt driftsmiljø. Det benyttes systemet SCOM (System Center Operations Manager) som leveres av Microsoft. Dette er et veldig effektivt system som gir ende til ende overvåkning om at alle tjenestene som inngår i samme økosystem faktisk er oppegående. NY LAGRINGSLØSNING I 2012 ble det innkjøpt ny lagringsløsning for UiO. Løsningen fra Hitachi skal i løpet av 2013 erstatte de eksisterende løsninger. Prising er ikke fastsatt. TERMINALSERVERE CITRIX Antallet Citrix 5-servere er økt i løpet av året for å bedre ytelse og redundans. Det kjøres nå 11 terminalservere på FS og 5 på Agresso. Citrix 4.0 er faset ut sammen med den siste ABM-serveren. Utrulling av Citrix 6.5 er påbegynt med ferdigstillelse i løpet av Q1 2013.. AGRESSO TERMINALSERVERE Det er stabil drift, ingen større oppgraderinger eller endringer i driftsoppgaver. Det er en svak økning i antall brukere, maks antall samtidige januar 2012 ca. 300-350. Antall terminalservere i produksjon: 5 FS TERMINALSERVERE Det er stabil drift med få problemer. Det har vært en svak økning i antall brukere, maks antall samtidige januar 2013 ca. 750-800. Antall terminalservere i produksjon: 11. FYSISKE SERVERE Tabell 2 nedenfor viser at det har skjedd en reduksjon i behovet for hardware på over 50 % de senere årene. Dette gir seg utslag i enklere drift og lavere infrastrukturkostnader. Tabell 2 Fordelt på funksjon 31.12.2009 31.12.2010 31.12.2011 31.12.2012 FS TS 16 6 9 11 Agresso TS 17 3 4 5 ABM TS 3 1 1 0 Admin- og fellestjenester 8 VMWare 5 Database 8

9 Fasportal (web) 3 Sum 33 10 15 40 Totalt antall 95 54 45,7 40 Det er verdt å merke seg at behovet for fysiske maskiner har blitt redusert fra 95 til 40 på fire år selv om behove for datakraft har økt betraktelig i samme periode. Fordelt på operativsystem Linux 17,7 11 Windows 24 VMware 3,6 5 Sum 40 AGRESSO Agresso er i stabil drift, ingen store problemer eller endringer. Alle applikasjonsserverne er nå virtualisert, men de har til tider hatt ytelsesproblemer med 100 % CPU-forbruk. Det vurderes fortløpende i samarbeid med UIT om antallet applikasjonsservere skal økes slik at lasten kan spres på flere virtuelle servere. FELLES STUDENTSYSTEM I løpet av 2012 har alle de nye skolene kommet til og vi har passert 50 skoler og institusjoner, noe som har ført til at vi har passert 100 databaser som skal vedlikeholdes. I august var vårt databasecluster sprengt, og vi måtte erstatte maskinpark med nyere hardware. Vi benyttet hardware som allerede var innkjøpt til et annet formål. Dette førte til at vi kunne øke klusteret med to maskiner og beholdt full redundans. Den omfattende operasjonen ble gjennomført uten merkbare konsekvenser for brukerne. Databaseclusteret har nå oppgradert til siste versjon av Red Hat Linux 5 og har full redundans. Oppgradering var helt nødvendig for å tilby de nye skolene demo- og produksjonsbaser. Felles VPD-prosjektet har kommet et langt skritt videre i løpet av 2012. Selve utviklingsarbeidet er ferdig testet, og testingen med sammenslåinger har kommet godt i gang. Dette skal skje i fem puljer i løpet av året med et håp om at alle er overført i løpet av høsten 2013.

10 INFRASTRUKTUR 2012 Tabell 3 Oversikt over Backup 31.12.2012 Backup Tape lagring 54,334 Disk lagring 5,67 Tabell 4 Oversikt over lagring: 31.12.2012 31.12.2012 Leie av lagringsplass Antall TB Virt lager 7,33 Dokumentlager 1,49902344 Profilclusteret 0,38769531 Testcluster 0,01074219 EVA-8100 RAID1 5,512 EVA-8100 RAID5 10,948 Sum 25,6874609 Trofast benyttet ved slutten av året 25,68 TB lagringsplass ved UiO. Dette er en økning fra 2011. Tabell 5 viser utviklingen i infrastrukturkostnader i løpet av 2012.(Tall i NOK) Infrastrukturkostnader Maskin, nett Lagring Backup januar 59 611 69 674 14 686 februar 59 611 69 674 14 686 mars 59 611 69 674 14 686 april 59 611 69 674 14 686 mai 59 611 69 674 14 686 juni 59 611 69 674 14 686 juli 53 270 92 231 19 583 august 53 270 92 231 19 583 september 53 270 92 231 19 583 oktober 53 270 92 231 19 583 november 53 270 92 231 19 583 desember 53 270 92 231 19 583 Sum 677 285 971 427 205 616 Sum Infrastruktur hele 2013 1 854 328

11 Tabellen viser at maskinkostnader (strøm, nett, UPS etc.) reduseres som en følge av den pågående virtualisering av servere. Samtidig stiger behovet for lagring og backup. TIMEFORBRUK I 2012 Totalt utførte timeverk på Trofast i 2012 var 12 284 timer Tabell 6 Oversikt over timeforbruk pr. system (Tall i timer) A B Sum Agresso 43,75 1 385,66 1 429,41 ephorte 1 439,00 2 511,52 3 950,52 FS 2 141,30 4 763,22 6 904,52 Felleskost 8 660,40 8 660,40 Sum 12 284,45 12 284,45 Rel. Kost 16 % 29 % 55 % Vi beregner at de ulike systemene Agresso, ephorte og FS belaster fellesdriften hhv. med 16 %, 29 % og 55 %. I tabellen kollene A viser timene før felleskostnaden er fordelt. I kolonne B er felleskostnaden relativt fordelt. Felleskostnad inkluderer server og databasedrift, støttesystemer og administrasjon. Til sammenlikning ble det utført 10 508 timer i 2011. Det har vært en økning i arbeidsmengde både i drift av FS/Citrix og ephorte, samtidig som vi har hatt større oppgraderingsprosjekter på disse områdene. FAKTURERING 2012 Tabell 7 Q1 og Q2 2012 Kostnad fordelt på system (55/16/29) Infrastruktur Timekostnader FS 421 229 2 237 392 Agresso 122 539 884 630 ephorte 222 102 1 365 303 Totalt 765 871 4 487 326 Q3 og Q4 2012 Kostnad fordelt på system (55/16/29) Infrastruktur Timekostnader FS 570 102 2 184 279 Agresso 165 848 446 043 ephorte 300 599 1 399 449 Totalt 1 036 549 4 029 771 Sum 2012 1 802 420 8 517 097 Totalt fakturert i 2012 10 319 517

12 Forskjellen i infrastrukturkostnad mellom første og andre halvår kan forklares ved at det ble etterfakturert 138 000 kr for lagring og backup fra første halvår, og at investert utstyr på 174 000 ble viderefakturert andre halvår. PROSJEKTER Oppgradering av ephorte I juli 2012 ble det initiert et oppgraderingsprosjekt av ephorte (nevnt ovenfor) Slike oppgraderinger er vanligvis ganske tidkrevende prosjekter da det kreves mye testing fra brukerinstitusjonene, bugfiksing og testing. Vi håpet på en rask innføring på grunn av behov for å tette sikkerhetshull (se ovenfor), men ephorte er ikke oppgradert i skrivende stund. (Planlagt å gå i produksjon i februar. 2013) ADMINISTRATIVE AKTIVITETER Det har blitt gjennomført 16 ordinære driftsmøter med UNINETT. Det har blitt gjennomført et styringsgruppemøte, og to møter med UNINETT i Trondheim. I tillegg har vi deltatt på den årlig SUHSkonferansen i Trondheim. I desember ble det gjennomført et internseminar med fokus på utarbeidelse av handlingsplaner for 2013. Det dokumentet oppdateres flere ganger årlig. I 2011 satte UNINETT og USIT et arbeid med klargjøring av rollefordeling. Flere møter ble gjennomført i Q1 2012, og notat har blitt utarbeidet. På grunn av utskiftning av personell hos UNINETT, har prosessen har blitt forsinket. For mer informasjon: http://www.usit.uio.no/om/tjenestegrupper/trofast/ https://www.usit.uio.no/for-ansatte/arbeidsstotte/oppdrag/kat-uh-drift/uninett-fas-trofast/