Generelt om permanent lagring og filsystemer

Transkript

1 Generelt om permanent lagring og filsystemer

2 Filsystem Den delen av OS som kontrollerer hvordan data lagres på og hentes frem fra permanente media Data deles opp i individuelle deler, filer, som får hvert sitt navn/identifikator file : Fra papirbaserte informasjonssystemer Filsystemet er strukturen, reglene og mekanismene som brukes for å håndtere filene Ulike OS (og media) bruker ulike filsystemer vi skal for det meste bruke standard filsystem i Linux som eksempel

3 Permanente media/sekundærminne For å lagre store datamengder til lav kostnad Ikke direkte tilgjengelig for CPU Aksesseres gjennom I/O-kanaler/-enheter Data overføres gjerne i større sammenhengende blokker for å øke hastigheten Ulike typer media (sortert etter hastighet): Solid-state drive (SSD/flash-disk) Magnetiske disker (hard drives) Optiske disker Magnetisk tape

4 Oppgavene til filsystemet Håndtere tilgang til: Innholdet i filene Metadata om filene Strukturere lagringsplassen som er tilgjengelig Sikre pålitelighet og effektivitet * Tilby brukerne verktøy for å håndtere filer Sørge for god datasikkerhet Muliggjøre deling av data Backup og redundans (?) * Se f.eks. avsnittet om Ytelse og caching i læreboken

5 Filsystemer og (disk)blokker Alle filsystemer er blokkbaserte: Det settes av plass til minst en blokk (typisk 4K) med data når en fil opprettes I tillegg lagres filens metadata internt i filsystemet Gjennomsnitlig sløsing med plass (slack space) for en fil er halvparten av blokkstørrelse Store blokker: Mye slack space hvis det er mange små filer Små blokker: Mye overhead hvis det er mange store filer

6 Slack space eksempel (Wikipedia): 4Kbyte = 4096 bytes blokkstørrelse filer, hver fil er på bare 5 bytes bytes med faktiske data Krever bytes med diskplass

7 Fragmentering i filsystemer Filsystemet holder rede på hvilke blokker på media/disk som er ledige og hvilke som er i bruk Fragmentering: Etter hvert som filer opprettes og fjernes, blir de sammenhengende områdene med blokker som er ledige/opptatte mindre og mer spredt (jfr. RAM) Når en fil blir større enn de ledige sammenhengende områdene, må den lagres i områder som er spredt rundt på disken filen blir fragmentert Lesing/skriving av sterkt fragmenterte filer er lite effektivt, spesielt for tradisjonelle magnetiske disker * * Se f.eks. avsnittet om Oppbygning av en disk i læreboken

8 Håndtering av fragmentering Teknikker for å unngå fragmentering: Partisjonering av filsystemet: Legg filer som leses mye, men ikke oppdateres ofte på en egen disk, og f.eks. brukerfiler/webcache etc. på en annen Ved opprettelse av filer: Prøv å sette av nok plass til filer som skjøtes på ofte. Bruk større diskblokker Defragmentering: Gå gjennom disken med jevne mellomrom for å gjøre fragmenterte filer sammenhengende igjen Ressurs- og tidkrevende: Kan bare gjøres ved lav belastning på systemet

9 Visualisering av fragmentering og defragmentering (Wikipedia)

10 Filnavn Filnavn skal gi en éntydig identifikasjon av hver fil som er lagret i filsystemet Ulike filsystemer har forskjellige regler for f.eks. lengden på filnavn og tillatte tegn. Filnavn kan inneholde: maskin/host hvor på nettverket filen ligger enhet/device f.eks. harddisk eller diskpartisjon katalog/directory hvor i en katalogstruktur filen ligger (selve) navnet må være unikt i én og samme katalog type/format/extension angir innhold (.txt.exe.doc.mp3) versjonsnummer angir generasjon/revisjon/utgave

11 Kataloger / mapper / directories Gir brukere mulighet til å gruppere filer i separate, navngitte samlinger Alle moderne filsystemer tillater at kataloger kan inneholde andre kataloger: Filsystemet blir hierarkisk Filene ligger i en trestruktur med et rot-/toppnivå Noen OS har ett stort, sammenhengende katalogtre (Linux) for alle filer på systemet, andre bruker flere separate trær (Windows) Kan implementeres på ulike måter Linux: Katalogen er en spesialfil som bare inneholder en liste med filene som hører til i samme katalog (!)

12 Utsnitt av standard Linux katalogtre

13 Metadata for filer OS trenger å lagre ekstra informasjon om filene som ikke en en del av filenes innhold: Data om dataene aka metadata Metadata brukes til å: Tilby brukere og applikasjoner informasjon om filene Holde filsystemet oppdatert og korrekt Kontrollere tilgang til og deling av filer Holde rede på hvor i katalogstruktur og på disk filene ligger Metadata lagres separat, og ikke sammen med filen: Kan lagres i beskrivelsen av katalogen som filen er i Kan lagres i en egen datastruktur (Linux: inode-tabell)

14 Vanlige metadata som lagres for filer Filnavn, katalogtilhørighet, fysisk adresse på disk Størrelse/lengde på filen (antall blokker eller bytes) Tidspunkter for opprettelse, siste endring av data/ metadata, siste backup Filtype (vanlig, katalog, spesialfil) Tilgangstype/device (blokkorientert, tegn-for-tegn, binærstrøm, socket) Eier og gruppetilhørighet Tilgangsrettigheter (lese, skrive, kjøre) for ulike brukere

15 Verktøy og brukerkommandoer Filsystemet/OS må tilby brukere og sys.adm. GUIverktøy og (programmerbare) kommandolinjeverktøy for bl.a.: Oppsett, tuning, backup, defragmentering av systemet Opprette, flytte, fjerne og kopiere filer og kataloger Se på og endre navn og andre metadata for filer og kataloger Beskytte og dele filer og kataloger på brukernivå Komprimere, arkivere og kryptere filer Vi skal se på noen av verktøyene som Linux tilbyr vanlige brukere fra kommandolinjen

16 Sikring av korrekthet og konsistens Innholdet i alle filene skal være riktig lagret og i samsvar med filsystemets egne metadata Mulige kilder til feil og inkonsistens: Flere brukere/prosesser skriver til samme fil samtidig * Programmer terminerer unormalt under skriving Hardwarefeil/diskcrash/strømbrudd/nettverksbrudd Integriteten av filsystemet må sikres ved: Velskrevet API som håndterer feilsituasjonene Robust feilhåndtering internt i filsystemet og i OS Gode mekanismer for backup og gjenoppretting * Se avsnittet om Deling av filer i læreboken

17 Filsystem satt sammen av flere systemer Vanlig (f.eks. i Linux) å koble flere filsystemer sammen til ett overordnet, globalt system Filsystemene kan ligge på hvert sitt device og/eller de kan ligge på ulike partisjoner av en og samme disk Hvert filsystem kan settes opp separat, med egen tuning, eget katalogtre og egne metadata Øker ytelse og sikkerhet, f.eks. med E-post og web-tjenester i egne filsystemer Skreddersydde systemer for audio/video/store filer Skille brukerdata og systemdata Egne read-only systemer Egne filsystem for spesielle media (CD, DVD)

18