SIstory 1.0

1Začetki portala SIstory segajo v leto 2006, ko smo na INZ začeli z njegovo tehnično postavitvijo in kmalu nato tudi z vsebinskimi popolnitvami, rezultat – SIstory 1.0 pa smo javnosti predstavili leta 2008.⁴⁰

2Prva verzija je bila precej preprosta različica portala, kot ga poznamo danes. Konfiguracija strežnika je obsegala:

• operacijski sistem Windows Bussiness Server 2003,
• FTP-strežnik in datotečni strežnik (arhivski – LTO enota 400 GB) ter
• VMware virtual host: operacijski sistem Linux (FTP in spletni strežnik).⁴¹

Vir: Spletni Arhiv NUK

SIstory 2.0

1Leta 2011 je potekala prva nadgradnja portala, ki je obsegala šest sklopov.⁴² Prvi sklop je zajemal administracijo gradiva v sistemu SOLR,⁴³ ki je omogočala:

• dodajanje različnih vrst gradiva (slikovno gradivo, avdio-video gradivo, tekstovno gradivo in galerijo);
• avtomatsko indeksacijo in zaščito pred kopiranjem vsebine za vse dodane dokumente v formatu PDF;
• dodelitev identifikacijske številke – unikatne zaporedne številke (ustvari se avtomatsko) vsaki vneseni enoti gradiva.

2V prvem sklopu smo nadgradili tudi strukture map in imena datotek. Gradivo smo fizično kopirali v tri mape, ki si sledijo piramidno in samodejno kreirajo ime:

• glavne mape – SolrData,
• podmape – spreminjanje na vsakih 1000 vnosov (1–1000, 1001–2000, 2001–3000 itd.),
• podmape – z zaporednimi unikatnimi številkami gradiva,
• datoteke – ime ostane enako imenu ob vnosu.

3Določili smo normativ, po katerem je treba v fazi dodajanja gradiv pri imenu datoteke upoštevati naslednja kriterija:

• šumniki in ločila niso dovoljeni,
• posebni znaki niso dovoljeni, razen izjem '-' , '_'.

4Primera:

• /SolrData/1-1000/zap.unik.st./ime_gradiva.jpg.
• /SolrData/1001-2000/1610/Jesen_1942_Korespondenca_Borisa_Kidrica-1963.pdf.

5Pri opisovanju gradiva, objavljenega na portalu, smo začeli uporabljati metapodatkovni standard DC, tako lahko drugi sklop opišemo kot standardizacijo metapodatkov po specifikacijah DC. Shema je vsebovala vseh petnajst osnovnih elementov DCMES-a (Dublin Core Metadata Element Set), vsi so bili vključeni pri vseh oblikah gradiva ne glede na vrsto formata (avdio, video, fotografije in tekstovno gradivo). Shema je vsebovala naslednje elemente:

1. Title (ime – naslov)
   Ime, ki ga je posameznemu delu dal avtor.
2. Creator (avtor)
   Oseba ali organizacija, ki je nosilec intelektualne lastnine opisanega dela.
3. Subject (predmet, vsebina)
   Vsebina dela ali ključne besede, ki pojasnjujejo vsebino.
4. Description (opis, povzetek)
   Opis ali skrajšan povzetek vsebine ali vzorec vsebine, kadar gre za grafično vsebino.
5. Publisher (založnik)
   Organizacija ali oseba, ki je odgovorna za izdajo ali produciranje opisanega dela v obliki, v kakršni se trenutno nahaja.
6. Contributor (soavtor)
   Oseba ali organizacija, ki je soavtor opisanega dela.
7. Date (datum)
   Datum, ko je opisano delo postalo dostopno uporabnikom.
8. Type (tip)
   Kategorija, tip ali vrsta opisanega dela.
9. Format (format)
   Oblika zapisa opisanega dela, kot je na primer format zapisa besedila ali slike idr.
10. Identifier (identifikator)
    Enolični identifikator ali koda, ki opisuje vir.
11. Source (vir) – URN-naslov
    V primeru posredne oblike zapisa (elektronske) za posamezno opisano delo navedemo izvirnik, iz katerega je ta posredna oblika zapisa nastala.
12. Language (jezik)
    Jezik, v katerem je opisano delo nastalo.
13. Relation (povezave)
    Povezave z ostalimi sorodnimi viri.
14. Coverage (obseg)
    Prostorska lokacija in časovni obseg opisanega dela.
15. Rights (avtorske pravice)
    Vsebina tega polja nam pove, na katero osebo ali organizacijo se je treba sklicevati pri uporabi avtorskih in sorodnih pravic.⁴⁴

6Iz dokumentacije o nadgradnji je razvidno, da smo se zgledovali po metapodatkovni shemi Digitalne knjižnice Slovenije – dLib.si (dLib.si – Pregled vodnih ptic in ujed Cerkniškega jezera; spremljanje številčnosti s poudarkom na preletu in prezimovanju, 2009):

7Naknadno smo v metapodatkovno bazo dodali še polje za zbirko, katere del je lahko (tudi) publikacija.

8Tretji sklop nadgradnje je zajemal izdelavo unikatnega in stalnega URN-naslova – Uniform Resource Name. Ta naslov vsebuje unikatno (zaporedno) številko gradiva, ki je njen obvezen parameter. Ostali parametri v URN-naslovu so poljubni in se jih lahko dopolni v času izdelave oziroma testiranja. Po končanem testiranju URL-naslova ne smemo spreminjati.

9Kot primer URN-ja je bil v nadgradnji dokumentaciji zabeležena Digitalna knjižnica Slovenije – dLib.si:

10URN:NBN:SI:DOC-02C5RWZA

11urn:isbn:0451450523
The URN for "The Last Unicorn", identified by its book number.

• urn:isan:0000-0000-9E59-0000-O-0000-0000-2
  The URN for "Spider-Man (film)", identified by its audiovisual number.
• urn:issn:0167-6423
  The URN for the "Science of Computer Programming" journal, identified by its serial number.

12Četrti sklop nadgradnje je zajemal uvedbo Sphinx iskalnika po metapodatkih.⁴⁵ Implementirali smo dva iskalnika:

• enostavni iskalnik, ki je omogočal:
  • iskanje po vseh metapodatkih naenkrat in
  • izbiro za iskanje po celotnem besedilu;
• napredni iskalnik, ki je omogočal iskanje po:
  • točno določenemu metapodatku in
  • naenkrat po različnih metapodatkih (do štiri metapodatkovna polja za eno iskanje).

13Peti sklop je zajemal administracijo portala. Oblikovali in vzpostavili smo pregleden sistem, poimenovan SIstory administracija ali na kratko admin/ADMIN, vmesnik za urejanje kompletne vsebine, vseh modulov in vseh publikacij ter omejili dostop urednikom po modulih. Sistem ob prijavi omogoča različne storitve, ki so povezane z vzdrževanjem portala. Njegov največji del predstavlja orodje za vnos metapodatkov. Ob vnosu nove publikacije za objavo na portalu, popravljanju ali posodabljanju že obstoječih zapisov je v sistem vgrajeno orodje za vpis metapodatkov.

14Pri nadgradnji 2011 smo oblikovali strukturo in nivoje dostopa za uporabnike. Določili smo naslednje tipe uporabnikov in njihove naloge oziroma dovoljenja:

• Administratorji
  Imajo dostop do celotnega urejanja metapodatkov gradiva, pravic uporabnikov in specifičnih nastavitev modulov.
• Glavni uredniki
  Lahko urejajo vse module.
• Uredniki
  Lahko urejajo enega ali več modulov.
• Uporabniki
  Imajo dostop do uporabniških strani in se lahko prijavijo na novice.
• Gostje
  So neavtenticirani obiskovalci spletnega portala.

15Posodobljen uporabniški vmesnik je omogočil enostavno in pregledno sprehajanje po rubrikah portala, ker je vedno prikazoval »pot« (breadcrumbs), na kateri se uporabnik nahaja. Uveden je bil tudi preglednejši spustni meni, ki omogoča enostavnejše brskanje po portalu. Izboljšali smo iskanje oziroma omogočili hitro iskanje po PDF-dokumentih, filtriranje in rangiranje rezultatov. Uvedli smo sistem parent/child (publikacija/del publikacije – članek), ki je uporabniku portala omogočil takojšen prehod na iskani rezultat.

16Zadnji sklop nadgradnje, zaradi katerega je postalo delovanje spletne strani (predvsem ob večjem številu obiskovalcev) opazno hitrejše, je zajemalkonfiguracijo portala in strežnika. V procesu konfiguracije smo:

• povečali hitrost interneta na optičnih povezavah,
• investirali v nov strežnik z operacijskim sistemom, ki podpira najnovejšo virtualizacijsko tehnologijo, in
• investirali v dodatne zunanje kapacitete diskov z ustrezno arhivsko programsko opremo za potrebe arhiviranja podatkov.⁴⁶

17Poleg oblikovne in strokovne dovršenosti novega portala sta bili prednosti tudi nova administracija oziroma pregleden vmesnik za urejanje kompletne vsebine, kar nam je zagotovilo manjšo odvisnost od zunanjih sodelavcev oziroma omogočilo interno upravljanje s sistemom.

18Nadgrajeni portal je bil narejen modularno, zato je dodajanje funkcionalnih rešitev časovno neomejeno, omogoča pa enostavno in pregledno uporabo po posameznih vsebinskih sklopih in podsklopih, hitrejše, stabilnejše in popolnejše delovanje sistema, nedvomno pa tudi kvalitetnejšo uporabniško in administracijsko izkušnjo.⁴⁷

Vir: Wayback Machine – Internet archive

***

19V sklopu SIstory 2.0 smo se v letu 2012 posvetili posodobitvi in prenovi metapodatkovnega standarda SIstory, ki je ob prvi posodobitvi leta 2011 zajemal petnajst osnovnih elementov standarda DC, ki smo jim kmalu po prenovi priključili še naslednje metapodatke:

• menu (sistory:menu) – meni sklopa (zbirke), v okviru katerega je objekt objavljen na portalu SIstory;
• SIstory signatura (sistory:signature) – signatura analognega arhivskega gradiva;
• vir – URN-naslov – povezava do digitalnega gradiva, ki ni objavljeno na portalu SIstory. SIstory URN nadrejenega (parent) gradiva;
• jezik (language) – jezik vira;
• title (sistory:title) – angleški prevod originalnega naslova objekta. Trenutno se element ne uporablja več, njegovo funkcijo pa je prevzel element dcterms:alternative;
• avtor(-ji) (sistory:author) – ime in priimek avtorja dela. Soroden elementu dcterms:creator, vendar pa se po definiciji nanaša le na osebo kot avtorja dela, ne pa na korporacijo kot avtorja;
• predmet, vsebina (sistory:subject) – slovenske in angleške ključne besede nekontroliranega vokabularja. S tem se nadomešča originalni element dc:subject. Za razliko od njega se v sklopu »predmet, vsebina« vpisuje v dve posebni polji, kjer se lahko ključne besede vpisuje po lastni presoji;
• opis, povzetek (sistory:description) – opisna predstavitev publikacije na slovenski in angleški spletni strani portala SIstory. Ta element razširja pomen elementa dcterms:description;
• SIstory type (sistory:type) – za razliko od sorodnega elementa type, ki opisuje samo tip gradiva, se s SIstory type označuje tudi njegovo funkcionalnost na portalu SIstory;
• publikacija (sistory:publication) – digitalne datoteke objavljenih objektov skupaj z njihovimi metapodatki;
• zbirka (collection) (sistory:collection) – zbirka je skupek publikacij, del katerih je tudi objavljeno delo (ožji pomen od isPartOf).⁴⁸

20Polja »menu«, »signatura«, »zbirka«, »tip«, »vir – URN naslov« in »jezik« so elementi, ki so dodani DC SIstory elementom. Zadnji trije našteti SIstory elementi so dobili svojo (novo) različico tudi v DC-elementih: dc:type, dc:source in dc:language.⁴⁹

21S hitrim naraščanjem metapodatkovnih zapisov v MySQL bazi portala SIstory se je kmalu pojavila potreba po dodatni razširitvi obstoječega metapodatkovnega standarda. Tako smo v letu 2012 obstoječe osnovne DC-elemente še enkrat nadgradili z elementi kvalificirane DC-iniciative in pridobili možnost vpisov za 55 elementov. Tem se je dodalo še nekatere XML in DC-atribute, ki zajemajo sheme za kodiranje vokabularjev in sintakse. Ker bi upoštevanje prav vseh metapodatkovnih standardov DC-sheme na tej stopnji razvoja portala SIstory zahtevalo preveč kompleksno zgradbo MySQL baze, se je bilo treba natančno odločiti, kateri elementi bodo imeli katere atribute. Obstoječe pomanjkljivosti DC-sheme, ki ne omogoča jasnega razločevanja med metapodatki analognega in digitaliziranega objekta, smo po vzoru projekta HOPE rešili tako, da smo dodali metapodatkovne elemente za knjižničarsko, arhivsko, slikovno in avdiovizualno analogno gradivo. Obenem je nadgrajeni portal omogočal tudi prikaz digitalnega objekta v več formatih (poleg nekdanjega PDF in JPEG še ePub, MOBI, XML, TEI XML, naložiti pa je mogoče tudi PNG in TIFF, vendar se za potrebe galerije avtomatično pretvorijo v JPEG), zato je bilo temu treba prilagoditi tudi metapodatkovni standard. Dodali smo tudi posebna polja za opis posamezne datoteke.

22Nadgradnja iz leta 2012 je omogočila izvoz metapodatkov iz MySQL baze kot XML-datoteko. Zaradi nadgradnje metapodatkovnega standarda portala SIstory je bilo treba ustrezno prilagoditi tudi pravila za kodiranje XML-dokumenta. Ta pravila je sodelavec infrastrukturnega programa dr. Andrej Pančur uskladil s programerji, ki so bili kot zunanji izvajalci pristojni za programsko nadgradnjo. Pančur je na podlagi dogovorjenih pravil napisal osnovno XML-shemo, ki opisuje strukturo XML-dokumenta in omogoča njegovo validacijo.⁵⁰

***

23Del nadgradnje portala v letu 2013 je zajemal oblikovanje aplikacijskega sistema SIstory. Razlog za to odločitev je bilo dejstvo, da samo elementi DCTERMS niso več zadostovali za to, da bi lahko zadostno opisali informacijske vire različnih vrst. Pri tem smo se zavedali, da ima večina teh vrst virov »lastne« metapodatkovne sheme, ki se ukvarjajo izključno s tem, kako tako vrsto virov čim bolje opisati (primer: za opisovanje arhivskih virov obstaja metapodatkovni standard EAD). V ta namen smo iskali elemente, ki bi tak opis omogočali – in jih našli v aplikacijskem profilu HOPE.⁵¹ Metapodatkovni standard SIstory je bil še dodatno nadgrajen z naslednjimi elementi:

• Creator,
• Children (v tem primeru smo se vrnili na staro verzijo, da ni bilo možno vpisovati napačnih vrednosti),
• accessRights,
• sklop Arhivski elementi: archLevel, archPhysdesc, archGenreform, archExtent, archPhystech,
• sklop Knjižničarski elementi: libLevel, libGenMaterialDesignation, libSpecMaterialDesignation, libExtent, libPubFrequency, libDimensions, libOtherPhysDetails,
• sklop elementov za slikovno gradivo: visLevel, visObjectName, visTechnique, visMaterial, visDimensions, visTechAttribute,
• sklop elementov za avdiovizualno gradivo: avLevel, avInstantiationType, avCarrierType, avGauge, avOrigDuration, avOrigLength, avAspectRatio, avColourSystem, avSoundSystem.⁵²

24Na portal se je po novem lahko uvažalo nove formate datotek XML,⁵³ ePUB, MOBI, PDF, URL-naslov in Zip. Prav tako se je uvedlo uvažanje slik v formatih JPEG, GIF, PNG in TIFF za arhiv. Vse slike so lahko vsebovale lastne metapodatke in so bile prikazane na uporabniškem vmesniku.

25V letu 2013 smo uvedli tudi avtomatsko pretvorbo PDF-jev v TEI prve stopnje po pravilih za knjižnice (avtomatizirana prva stopnja pravil): uvoz besedil s funkcijo OCR⁵⁴ iz MySQL-a⁵⁵ ter avtomatična označba preloma strani s številko strani in povezavo na vir. Uvoz obstoječih DC-metapodatkov v TEI Header je zahtevalo sodelovanje z Institutom »Jožef Stefan«.

26Leta 2013 je bila omogočena tudi funkcionalnost preverjanja kvalitete PDF-dokumentov, ki so bili ustvarjeni z OCR-tehnologijo:

• Stopnjo kvalitete PDF-dokumenta se je določilo z uporabo tehnike (ne)prepoznavanja znakov, ki se je izrazilo v odstotkih.
• V administraciji SIstory (Sistem) se lahko glede na stopnjo kvalitete filtrira spremlja seznam/stanje PDF-dokumentov.

27V admin smo implementirali možnost za prikaz naslednjih uporabnih sistemskih podatkov:

• zasedenost diska,
• trenutni uporabniki na strani,
• trenutna obremenjenost procesorja, število procesov,
• trenutno število povezanih uporabnikov,
• trenutno število logiranih urednikov.

28Uporabniku smo pri vmesniku na novo ponudili iskanje po dodanih DC-metapodatkovnih poljih pri publikacijah, omogočili pa smo mu tudi iskanje po šumnikih in nemških znakih. Dodali smo možnost uporabe posebnih znakov (primer: če se išče po točno vpisani besedi ali frazi, se to postavi v narekovaje). Pod ikono »Pomoč« smo uporabnikom ponudili navodila za iskanje po SIstory.

Vir: SIstory – Zgodovina Slovenije (https://web.archive.org/web/20131226100441/http://www.sistory.si/)

***

29Leta 2015 smo izpeljali projekt »Vzpostavitev handle unikatnega identifikatorja za portal SIstory«. Projekt je vključeval:

• pridobitev unikatnega identifikatorja SIstory,
• programiranje handle unikatnega identifikatorja,
• standardizacijo po specifikacijah,⁵⁶
• nadgradnjo metapodatkovne baze portala SIstory in prikaz metapodatkov,
• postavitev SIstory URN-handle resolverja:
  • postavitev sistema,
  • preusmeritev starega SIstory URN na nov identifikator.⁵⁷

SIstory 3.0

1V letu 2016 je potekala še ena večja nadgradnja portala, ki je zajemala oblikovanje prehoda med AP SIstory in DC. Proces prehoda je na podlagi lastnih izkušenj v svojem diplomskem seminarju opisala Katja Meden.⁵⁸ V opisu procesa prehoda med AP SIstory in DCTERMS bosta v ospredju dve pomembnejši fazi – harmonizacija (oblikovanje skupne sintakse izvorne in ciljne sheme) in semantična preslikava.

2Iz opisov aplikacijskega profila SIstory in metapodatkovne sheme DCTERMS smo izpostavili skupne lastnosti, ki smo jih v fazi harmonizacije preoblikovali v skupno sintakso. Pri oblikovanju prehoda med shemama AP SIstory in DCTERMS so bile upoštevane tri ključne lastnosti:

• terminologija – v skupni sintaksi so združeni termini iz obeh shem;
• tip vnosa elementov – na portalu je treba prikazati vsaj osnovne podatke o informacijskem objektu, ki so zato označeni kot obvezni elementi; nekateri elementi so omejeni s številom ponavljanj;
• uporabljene sheme za kodiranje podatkov (standardi za podatkovne vrednosti) – v skupni sintaksi se uporabljajo vse skupne sheme AP Sistory in DCTERMS.

3Semantična preslikava (relativni prehod) je potekala s pomočjo tabele Excel. Vsak izmed elementov aplikacijskega profila SIstory je dobil preslikavo v element DCTERMS. Prehod je bil dodatno opremljen z URI-povezavami vsakega izmed preslikanih elementov, opredeljenim načinom zapisa in dodatnimi zahtevami pri vpisu metapodatka. Preslikava je potekala:

• »ena-v-ena« (one-to-one): tu je preslikava potekala na elementih DCTERMS, ki so del aplikacijskega profila SIstory, kar praktično pomeni, da gre za preslikavo elementa samega vase, na primer element dc:date se preslika iz izvorne sheme v ciljno shemo kot element dc:date; prav tako to velja za ostale elemente in njihove kvalifikatorje;
• »mnogo-v-ena« (many-to-one): v teh primerih je preslikava potekala na elementih HOPE v aplikacijskem profilu SIstory. Več elementov HOPE se je tako preslikalo v en sam element DCTERMS.

4Preslikava elementov je bila izvedena kot relativni prehod, v katerem je semantična ekvivalenca stranskega pomena. Večjih problemov pri iskanju ustreznih elementov za preslikavo ni bilo, saj je večina elementov ponovljivih v obeh shemah, prav tako pa ciljna shema ne predvideva obveznih elementov, ki bi lahko potencialno otežili preslikavo elementov.

5Danes torej admin temelji na aplikacijskem profilu SIstory – vsebuje vse elemente in kvalifikatorje v 33 sklopih elementov. Čeprav je bilo pri snovanju elementov upoštevano, da mora biti orodje za vnos metapodatkov čim bolj prijazno urednikom, so bile kljub temu potrebne in nato izvedene določene prilagoditve. Aplikacijski profil in njegova implementacija sta se odrazila v strukturi, sintaksi in semantiki orodja za vnos metapodatkov. Kot glavna značilnost aplikacijskega profila je bilo pripoznano dejstvo, da ta vsebuje elemente iz drugih shem. Zaradi jasnosti pomenov elementov in sledenja pravilu enostavnosti za vnašalca metapodatkov je bil prehod med AP SIstory in DCTERMS v sistemu admin izpuščen. Vključitev prehoda v sistem orodja za vnos metapodatkov bi namreč povzročil prevelike probleme pri vnašanju metapodatkov. Ker so se pri preslikavi elementov iz AP SIstory v DCTERMS elementi HOPE preslikali na način »mnogo-v-ena«, je bilo v preslikavo vključeno večje število elementov z enakim imenom (npr. trinajst elementov se je preslikalo v element dcterms:type). Če bi se elementi v sistemu preslikali na način »mnogo-v-ena«, bi prišlo do problema pri prepoznavanju konteksta elementa, zato smo se odločili znotraj sistema zanemariti implementacijo prehoda.

6Pri nadgradnji smo se posvetili tudi uporabniškemu vmesniku, sestavljenemu iz treh večjih delov. Prvi razdelek vsebuje sliko in osnovne metapodatke o informacijskem objektu:

• naslov,
• ime avtorja,
• vrsto gradiva,
• leto,
• ključne besede,
• zbirko,
• avtorske pravice,
• trajno povezavo oziroma identifikator objekta ter v tem primeru dodaten identifikator.

7Naslednji razdelek vsebuje datoteke za prenos. Te imajo lastne metapodatke, kot so naslov, ime, velikost datoteke, oblika in stalna povezava do datoteke.

8Zadnji in najpomembnejši del za prikaz implementacije metapodatkov in prehod je razdelek »Vsi metapodatki«. Prikazuje, kako je implementiran nov nabor elementov, ki vključuje prehod med profilom aplikacije in shemo DCTERMS. Vsak element v tem razdelku ima povezavo do spletnega mesta DCMI z opisom elementa Dublin Core.

Vir: SIstory – Zgodovina Slovenije (https://www.sistory.si/11686/43077)

9Poleg oblikovanja prehoda med AP Sistory in Dublin Core smo v nadgradnji poskrbeli še za nekaj tehničnih izpopolnitev. V adminu so bile implementirane možnosti za nalaganje, dodajanje dodatnih formatov datotek in izvoz vsebine iz datotek (API), uvedena pa je bila tudi možnost, da se datoteko zaklene ali odklene. Če je zaklenjena, se datoteka ne indeksira in ni vidna uporabniku v vmesniku. Tudi pri tej nadgradnji nismo obšli metapodatkovne sheme:

• v adminu smo dodali gumb za odpiranje urejanja,
• pripravili smo polja za urejanje metapodatkov in
• vzpostavili možnost, da se metapodatke datotek ne indeksira.

10Pri handle sistemu za datoteke smo poskrbeli, da dodeljevanje identifikatorjev poteka preko handle sistema in da je URL-datotek drugačen od ostalih entitet na portalu. Uredili smo menijska razmerja do drugih identifikatorjev, dodali smo namreč dodatno polje za metapodatkovni element (hasPart/isPartof) z navedenim handle ID-jem. Kot zadnjo novost te nadgradnje naj omenimo implementirano možnost dodajanja datotek k metapodatkom menija.⁵⁹