(Uvodoma je še enkrat na mestu opozorilo: tokratna kolumna je občutno daljša od običajnih. Dolžina je sicer posledica resnosti in občutljivosti tematike; a ker gre za tematiko, ki najverjetneje ni zanimiva za širši krog pravniških bralcev, sem se odločil, da jo namesto v več delih vseeno objavim v enem kosu. Za splet je razlika v dolžini nepomembna, hardcore pravni bralci kolumne pa lahko tako že prihodnjič zopet upajo na kako bolj klasično pravniško temo.)
I. Uvod: Začarani krog odvisnosti (od) objavljanja znanstvenih prispevkov
Poznate zgodbo Virginie Dunning, obetavne mlade zgodovinarke na prestižni teksaški univerzi? Malo pred obravnavo njene vloge za namestitev na redno delovno mesto profesorice je izvedela, da mora nujno objaviti še eno znanstveno delo. K sreči je nek starejši fakultetni kolega njen članek sprejel v objavo kot del zbornika, ki ga je urejal. A tik pred obravnavo njene vloge, ko članka sploh ne bi mogla več poslati drugam, ji je postavil ultimat: ali ga navede kot soavtorja članka ali pa članka ne bo objavil. Ko se je Virginia uprla, ji članka res ni objavil in ji s tem zaprl vrata do akademske kariere – še več, za povrh jo je še dobesedno preklel z urokom.
Zgodba Virginie Dunning je v resnici le ena od treh kratkih grozljivk Jamesa Hynesa, ki jih je leta 1997 objavil v knjigi z naslovom Publish and Perish (Objavljaj in propadi), postavljeni v univerzitetni svet znanstvenega raziskovanja.* Zgodbe so izmišljene, naslov pa je izpeljanka iz stare angleške skovanke »publish or perish« (objavljaj ali propadi), ki označuje staro – sprva ameriško, zdaj vse bolj globalizirano – resnico poti do akademskega Olimpa: če želiš priti do priznanja znanstvene odličnosti, moraš objavljati odmevne znanstvene razprave, sicer boš utonil v pozabo kot znanstvena mediokriteta. V Hynesovi knjigi, kot se za grozljivko tudi spodobi, protagonistom preti oboje.
(*Vsebino knjige poznam predvsem po članku Cathleen Schine v New York Timesu (za spletni ogled zahtevana brezplačna registracija), po katerem povzemam tudi vsebino tretje zgodbe.)
Problem je v tem, da je za mnoge raziskovalce tudi dejansko življenje postalo podobno Hynesovi grozljivki. V resničnem akademskem svetu je gonja za objavami namreč prav tako vse večkrat – spet pa ne povsod in ne vedno – naporna do te mere, da preti raziskovalca ugonobiti pod pritiskom (pričakovane količine) njegovih objav. »Obrat« iz naslova Hynesove leposlovne knjige najdemo tudi v številnih znanstvenih prispevkih, ki bodisi na splošno kritizirajo celotni sistem ocenjevanja znanstvene uspešnosti po številu ustreznih »znanstvenih« objav bodisi kažejo na problematičnost določanja merodajnosti objave glede na vključenost v baze revij z zelo različno pokritostjo posameznih področij.
Vse tovrstne razprave pa druži bolj ali manj skupna ugotovitev, da obstoječi sistem vrednotenja znanstvene uspešnosti ne deluje, kot bi si želeli. Ena od avtoric podobnih razprav tako denimo ugotavlja, da po obstoječem sistemu habilitacije nemara ne bi dobil Galileo Galilei, saj je porabil kar šest let za samo pisanje in zaradi cenzure cerkve nato še par let, preden je leta 1632 izdal svoj slavni Dvogovor o dveh glavnih svetovnih sestavih, Ptolemejevem in Kopernikovem. Sicer je bil Galileo tedaj profesor že nekaj desetletij, a poanta razprave nemara drži: standardi za habilitacijo se vse hujši in mnogi starejši kolegi se kolegialno tudi pri nas naglas sprašujejo, ali bi sami uspeli zadostiti kriterijem za habilitacijo, ki jih zaostreni univerzitetni standardi postavljajo pred njihove mlajše kolege.
Da se začarani krog resnično sklene, pa je treba kotlu dodati še eno začimbo: navidezno »objektivnost« in ekskluzivno »znanstvenost« znanstvenih revij in založb, ki bolj ali manj trdno držijo monopol nad tem, katera dela je moč pri habilitacijah upoštevati. Pri habilitacijah štejejo samo znanstvene objave iz preverjenih naslovov. Povedano drugače, v akademskem svetu ni pomembno, kaj napišete, pomembno je, kje ste to objavili.
Prav tako seveda (vsaj v prvi vrsti) ni pomembno, koliko ljudi to, kar ste napisali, nato tudi prebere. Na pravnem področju so pri nas nemara najresnejše pravne razprave tiste, ki jih objavljajo zborniki pravnih fakultet. Članki so skoraj brez izjeme plod resnega znanstvenega dela in so avtorjem lahko vzeli tudi več mesecev prizadevanj – a vendarle tipičen znanstveni članek v zborniku, če ni deležen nekakšnega čudežnega dviga iz akademske pozabe kot študijsko gradivo ali kaj podobnega, prebere le nekaj bralcev: se bojim, da jih je pogosto moč prešteti na prste obeh rok. Ko sem pred časom eno leto pisal pravni blog, je več kot dvesto (praviloma zelo kratkih) objav prebiralo tudi po sto različnih bralcev dnevno. Domet zapisane besede je bil nesporno veliko večji – a ker ni bila znanstvena, pač ne more šteti. Argumente za takšno držo sicer osebno kar razumem in se celo strinjam z njimi, a vendarle je vsaj nedosledna, če sicer pri ocenjevanju praviloma čisto nič ne šteje, kaj je zapisano, če je le objavljeno v »pravi« reviji – k čemur se bom še vrnil spodaj.
II. Znanost kot larpurlartizem
Tako obstoječi sistem sili znanstvenike, da pišejo resne znanstvene razprave, ki jih pošiljajo v presojo drugih znanstvenikom, »zaposlenim« kot uredniki ali recenzenti znanstvenih revij, revije pa objavljene članke v branje spet ponujajo nazaj isti maloštevilni skupnosti znanstvenikov z relevantnega področja. Toda tak sistem v resnici izriše tri stranice protislovnega trikotnika. Prvič, omenjeni znanstveniki večino dela opravijo zastonj – znanstvene razprave, čeprav so vzele vsaj nekaj tednov popoldanskega in večernega dela, skoraj brez izjeme niso plačane, kakor praviloma tudi ne urejanje ali recenziranje poslanih člankov; ker gre za delo v imenu poslanstva znanosti in lastnega življenjepisa, se nekako kar pričakuje, da je to delo brezplačno, če je za kakšno od opravil izjemoma predvideno plačilo, pa je bolj kot ne simbolno.
Drugič, znanstvene revije so kljub brezplačnemu sodelovanju avtorjev in recenzentov praviloma zelo drage – še več, v zadnjem času postajajo vse dražje in močno prekašajo povprečno »inflacijsko« dražitev. Pozabite na mleko, kruh, jajca: če želite videti, kaj je prava podražitev, si oglejte cene resnih znanstvenih revij. Primerjavo v ameriškem okolju naj bi pred časom opravil provost (prorektor za akademske zadeve) Univerze v Kansasu in ugotovil, da se je med letoma 1986 in 1996 indeks cen življenjskih potrebščin zvišal za 44 odstotkov, indeks cen monografij za 62 odstotkov, indeks stroškov znanstvenih revij pa za kar 148 odstotkov! (Mimogrede, spletne baze so vsaj v tem prvem obdobju rasle še z večjo hitrostjo, v najbolj odmevnem primeru baje celo za 350 odstotkov v enem samem letu.) Očitno tudi Univerza v Kansasu »ni več v Kansasu«, temveč globoko v deželi Oz.
Tretjo stranico tega protislovnega trikotnika pa tvorijo potencialni bralci teh revij oziroma njihove knjižnice, ki naj bi si revije privoščile. Čeprav je vsaj deloma razglašani razlog za visoko ceno znanstvenih revij relativna omejenost potencialnega trga – pred časom sem denimo bral, da ima tudi znameniti Harvard Law Review približno 8000 naročnikov, kar je za revijo prve kakovosti z globalno privlačnostjo vsekakor dokaj malo – ga takšna politika le še omejuje, saj si vse več (univerzitetnih) knjižnic preprosto ne more privoščiti, da bi lahko naročile vse, kar bi si želele. Posledično pa njihovi uporabniki nimajo dostopa do ravno tiste znanstvene literature, ki je deklarirana kot najboljša in naj bi jo torej poznal vsak resen znanstvenik s posameznega področja.
Na koncu tako nimajo dostopa ne raziskovalci do potrebne znanstvene literature ne avtorji te literature do svojih potencialnih bralcev, s čimer izgubljajo vsi: avtorji, bralci in smiselnost tovrstne znanstvene literature. Protislovje je le še večje ob današnjem razmahu možnosti digitalizacije knjižnic in spletnega dostopanja do besedil.
III. O potrebi po strogih habilitacijskih merilih
Na Univerzi v Ljubljani trenutno poteka razprava o spreminjanju meril za volitve v nazive visokošolskih učiteljev (ter znanstvenih delavcev in sodelavcev). Eden od razlogov zanjo je baje dejstvo, da so po veljavni ureditvi visokošolski učitelji prehitro napredovali po lestvici docent – izredni profesor – redni profesor in da marsikod po univerzi kadrovska zastopanost spominja na narobe postavljeno piramido z vse več rednimi profesorji na vrhu in vse manj docenti pod njimi. Takšno stanje pa je baje vsaj po formalni, če ne tudi materialni plati vse prej kot zaželeno.
Morda bi bilo moč oporekati že samemu apriornemu odporu do ideje učiteljskega zbora, v katerem bi prevladovali redni profesorji. Nemara razlog zanj ni gola estetska nesprejemljivost take podobe; verjetneje gre za preprosto vprašanje tehnične organizacije dela na fakultetah, s katero bi se želeli izogniti stanju, ko bi morali ob pomanjkanju docentov in asistentov redni profesorji početi tudi stvari, ki njihovemu statusu ne pritičejo. Vsekakor imajo fakultete že sedaj težave s tem, da nazivi ne ustrezajo razpoložljivim delovnim mestom in so številni docenti zaposleni na delovnih mestih asistentov ter temu ustrezno – neodvisno od njihovih dejanskih zadolžitev – dobivajo nižjo plačo od tistih njihovih kolegov, ki imajo nazivu ustrezajoče delovno mesto. Obstoječi plačni sistem tako ni pretirano naklonjen zagotavljanju načela enakosti.
Preden se posvetimo razmisleku o samih merilih znanstvene uspešnosti, pa sta na mestu še dve načelni ugotovitvi. Prvič, nemara je v danih razmerah neizogibno, da je treba bolezen z grenkim zdravilom zdraviti na nasprotnem koncu od tistega, na katerem se je pojavila. Za problem prevelikega števila rednih profesorjev so »odgovorni« kvečjemu ti redni profesorji, vsekakor pa ne mlajši sodelavci, ki se na vzpon po habilitacijski lestvici šele podajajo. Poleg tega bi se bilo ob snovanju strogosti novih meril dobro zavedati dejstva, da s še tako velikim odmerkom tega zdravila povišane sestave učiteljskega zbora ne bo moč zbiti čez noč.
In drugič, da v primeru, ko strogost habilitacijskih meril narekuje zaželeno notranje ravnovesje učiteljskega zbora, merilo zahtevane znanstvene uspešnosti pravzaprav postane relativna funkcija uspešnosti univerze. Želeni rezultat je imeti določeno število (=malo, a več kot nič) rednih profesorjev, nekaj več izrednih profesorjev in dovolj docentov ter asistentov, cilj pa izoblikovati takšna merila, ki bodo glede na sposobnosti slovenske znanstvene skupnosti privedla do tega želenega rezultata. Merila tako denimo ne smejo biti ostra do te mere, da sploh ne bi imeli rednih profesorjev, kot očitno niso zaželena taka, ki kandidate prehitro pripustijo do naziva rednega profesorja.
Seveda je poleg relativnega razloga prelahkega napredovanja možen tudi absolutni razlog za načrtovanje sprememb meril: da so obstoječa merila preprosto enostavna in da jim formalno zadostijo tudi kandidati, ki si po kakovosti svojega dela habilitacije ne bi zaslužili, ali od kandidatov vsaj ne zahtevajo toliko, kolikor so ti sposobni doseči. Ideja, da bi strožja merila lahko spodbujala ali nagrajevala boljše znanstveno delo, je nemara eden od glavnih razlogov za poplavo kritik obstoječe ureditve, zaobjetih v krilatici »objavljaj ali propadi«. Možnost, da bi po mnenju nosilcev univerze prišlo do razhajanja med obstoječimi »objektivnimi« merili znanstvene uspešnosti habilitiranih učiteljev in »dejansko« kakovostjo njihovega dela, pa na nek način vsaj delno že razgalja nepopolnost vsakršnega poskusa »objektiviziranega« sistema tovrstnega ocenjevanja.
Na koncu pa se nekoliko ironično izriše še ena možnost za predlagane spremembe meril , ki težnje »objektivizacije« uspešnosti na mikro ravni posameznih učiteljev prevede na makro raven »objektivne« presoje uspešnosti same univerze: mednarodne lestvice kakovosti univerz, ki so v zadnjih letih za Univerzo v Ljubljani postale pomembno merilo uspeha njenega razvoja. Predlogi sprememb merila zaostrujejo predvsem v številu objav v revijah iz najprestižnejših svetovnih baz in citiranosti teh objav. Število objav v uradno priznanih revijah in citiranost pa sta tudi glavna kriterija za uvrstitev univerz na mednarodnih lestvicah.
Poglejte si denimo metodologijo opevane Shanghajske lestvice 500 najboljših univerz na svetu, na kateri je Univerza v Ljubljani uvrščena v skupino univerz med 402. in 503. mestom. (Mimogrede, to je kljub pretiranemu poudarjanju zagovornikov in posmehu kritikov takega vrednotenja nesporno dokaj spodoben uspeh.) Kar 60% ocene univerze temelji na številu objav in številu visoko citiranih avtorjev (od tega 20% za objave v revijah Science in Nature, 20 za objave v bazah SCI in SSCI, 20% pa za najpogosteje citirane avtorje), 30% na številu Nobelovih in Fieldsovih nagrad, ki so jih dobili učitelji ali diplomanti, 10% pa za korekcijo ocene glede na velikost te univerze. Univerza težko organizira lov na najbolj prestižne nagrade, lahko pa svoje učitelje »spodbuja« (ali, če želite, sili) k objavljanju v tistih revijah, ki prinašajo točke za čim boljšo uvrstitev na lestvici.
IV. Mik in problem navidezne »objektivnosti« habilitacijskih meril
Rade volje priznam, da zagovornike strožjih meril znanstvene uspešnosti pravzaprav razumem in da se z njimi v marsičem strinjam, čeprav sem sam šele na dnu omenjene lestvice akademske odličnosti. Predvsem zato, ker se mi zdi, da so obstoječa merila, kot se uporabljajo, res dokaj nezanesljivo orodje za preverjanje znanstvene uspešnosti; pa tudi zato, ker se strinjam z vsaj impliciranim strahom snovalcev sprememb pred sistemom, po katerem bi visokošolski učitelji pridobili pravico do naziva že zgolj s potekom zadostne količine časa in brez pretirano nadležnega kakovostnega sita, ki bi od njih zahteval jasno demonstracijo raziskovalne in pedagoške nadarjenosti ter resnosti. Mimogrede: kot kaže, na univerzi tudi sicer skorajda ni (starejših) učiteljev, vsekakor pa ne fakultet, ki se ne bi strinjale s potrebo po določeni zaostritvi meril.
Po drugi strani pa se očitno ne strinjamo o temeljnih razlogih in potrebnih prilagoditvah sistema. Trenutno predlagane spremembe pravil namreč v jedru pomenijo zgolj kvantitativno, ne pa kvalitativne spremembe obstoječih meril. Pomenijo le višje dvignjeno letvico, ne da bi se vprašale, če ni problem morda v sami letvici.
Kaj je letvica? Letvica je želja po docela »objektivnih« merilih, ki bi omogočala skorajda mehansko preverjanje, ali kandidat dosega zahtevane standarde akademske odličnosti za posamezni naziv, kar v praksi pomeni predvsem zadostno število objavljenih znanstvenih razprav v »upoštevnih« znanstvenih revijah. Delno ta želja nemara izvira iz ureditve, po kateri o habilitacijah odloča komisija na ravni univerze z zelo heterogeno sestavo, v kateri velika večina članov praviloma niti približno ne more vsebinsko presojati kakovosti bibliografije kandidatov z vseh vetrov univerzitetnega sveta; po drugi strani pa morda tudi iz strahu pred pojavom ali videzom pristranskosti »subjektivnih« ocen kandidatove primernosti. Drugi razlog oziroma želja po čim »objektivnejši« oceni znanstvene uspešnosti botruje tudi uporabi podobnih meril na razpisih različnih nacionalnih raziskovalnih projektov.
Željo po jasni določitvi vnaprejšnjih kriterijev je lahko razumeti in nemara bi ji tudi mlajši kolegi večinoma pritrdili. Objektivna in poenotena vnaprejšnja merila so za usmeritev prizadevanj in pričakovanj mlajših kolegov gotovo bolj vzpodbudna kot ureditev, kjer bi bila izvolitev v naziv v celoti odvisna od proste presoje habilitacijskih komisij – ali kot je zapisal anonimni ameriški avtor: »Poučevanje? Raziskovanje? Storitve? Domača peka? Ker se ocenjevalna merila tako razlikujejo od ustanove do ustanove ali celo med oddelki, mora kandidat za stolico 'tipati' za pravo potjo in se intuitivno prebijati skozi akademski labirint.« Povedna in enako nejasna, čeprav nemara izjemna, je tudi analiza usode osemnajstih mladih raziskovalcev na nekem večjem ameriškem centru biomedicine, od katerih jih je le pet dobilo redno zaposlitev, čeprav so bili po različnih kriterijih znanstvene uspešnosti in odmevnosti (objave v prestižnih revijah in število citatov) bolj pri repu osemnajsterice.
Objektivnost je tako brez dvoma za mnoge hvalevredni cilj habilitacijskih postopkov in raziskovalnih razpisov. Vendar pa je problem te letvice, kar je nemara osrednje bistvo te kolumne, da je v primeru ocenjevanja znanstvene uspešnosti tako želena »objektivnost« vedno le navidezna in da se za njo skriva cel kup subjektivnih ocen, zaradi katerih numerična »objektivna« ocena uspešnosti pogosto postane le krinka, za katero se hote ali nehote skrijejo tako vsebinski pomisleki kot slavospevi dejanske znanstvene relevantnosti.
V. Stranpoti »objektivnega« ocenjevanja znanstvene uspešnosti
Sistem, po katerem se znanstvena uspešnost (vsaj deloma) meri po bibliografiji raziskovalca, sam po sebi po mojem ni napačen. Za potrebe habilitacijskih postopkov bi bilo moč razpravljati o relativnem pomenu znanstvene bibliografije glede na druge dejavnike (kakovost predavanj, mentorskega in drugega pedagoškega dela), na splošno pa je poudarek na bibliografiji kot odrazu in spodbudi resnega raziskovalnega dela dokaj ustrezen. Problem nastopi šele pri vrednotenju posamezne objave – a zato je tam toliko bolj boleč.
Na kratko ga ponazori že v uvodu navedena kratka misel: ko ni pomembno, kaj je avtor napisal, temveč to, kje je to objavil, občutljivo in težavno »subjektivno« oceno vrednosti napisanega nadomestimo z navidezno »objektivnostjo« kotacije revije ali monografije na trgu baz znanstvene literature. (Če ne veste, o čem govorim, si lahko ogledate priloge na dnu te spletne strani.) Postopek ovrednotenja vrednosti posameznega dela tako postane preprosta matematična enačba, pri kateri se v prvi upoštevata »kotacija« revije in število avtorjev.
Sistem je gotovo zasnovan z najboljšimi nameni – a žal je povsem neizogibno, da ne bo uspešen oziroma da se bo njegova zanesljivost zmanjševala z vsakim korakom v smeri poenotenega, homogenega sistema vrednotenja člankov.
Prvič, osnovna vrednost razprave se določi po bazi, v katero je uvrščena revija, v kateri raziskovalec objavi svojo razpravo. V uvodu sem že omenil razpravo, ki je ugotavljala, da so nekatera področja v prestižnih bazah veliko bolje zastopana kot druga. To velja tako znotraj posameznih področij kot med posameznimi disciplinami – v nekaterih disciplinah bo preprosto lažje objavljati v visoko kotiranih revijah kot drugim.
Drugič, vključenost posameznih revij v baze je odvisna od mnogih dejavnikov, ki niso neposredno odvisni od kakovosti same revije: nekatere specializirane revije baze dodajo zato, da »pokrijejo« določeno tržno nišo; druge so vključene zato, ker jih izdaja prestižna založba; spet tretje morda zgolj zato, ker so v bazi že vse od njenih skromnejših začetkov in jih upravitelji baze kasneje težko izločijo. Dejstvo, da je ena revija v določeni bazi, druga pa ne, tako ne more služiti kot zanesljivo merilo njune relativne odličnosti.
Tretjič, sistem praviloma enakovredno ocenjuje posamezne članke brez obzira glede na primerjalne značilnosti člankov z različnih področij ali disciplin. Nekatere discipline temeljijo na krajših razpravah in njihovi raziskovalci praviloma objavijo večje število krajših prispevkov, ki jim za samo pisanje vzamejo manj časa; v nekaterih pa je običajno, da avtorji pišejo daljše razprave, za katere lahko porabijo več tednov ali celo mesecev. Sistem med njimi ne razlikuje.
Četrtič, sistem prav tako ne razlikuje med dolžino člankov znotraj same discipline. Na področju prava bo članek štirih strani v neki reviji lahko kotiral enako ali celo višje kot razprava trideset strani v isti ali neki drugi reviji. S tem nočem reči, da je količina strani edino ali nujno merilo kakovosti. A v splošnem gledano bo z zelo redkimi izjemami denimo veljalo, da bo prispevek štirih strani v reviji Podjetje in delo bistveno manj premišljen in dodelan kot razprava dvajsetih in več strani v Zborniku znanstvenih razprav, pa bo kljub temu v klasifikaciji ARRS prvi prispevek vreden 30 točk, druga razprava pa 20 točk.
Petič, sistem počez »kaznuje« soavtorstva z delitvijo razpoložljivih točk na število soavtorjev. Soavtorstva so zelo različna. V nekaterih primerih seznam soavtorstva odraža zgolj sodelovanje pri določenem raziskovalnem projektu in vsi soavtorji dejansko niso imeli vloge pri pisanju samega članka. V drugih – zlasti, ko gre za dva ali tri soavtorje – pa gre za pravo soavtorstvo, pri katerem je vložek posameznih soavtorjev zaradi sodelovanja in medsebojnega dogovarjanja pogosto celo večji, kot pa če bi članek napisali sami.
Šestič, sistem ne upošteva narave in povezanosti posameznih prispevkov, kar pride še posebno do izraza pri nizu istovrstnih prispevkov. Po vsebinski plati je denimo kar nekaj razlik med periodičnim poročanjem o napredovanju istega projekta v seriji desetih člankov ali objavi vsakoletnih poročil o stanju na določenem področju in med desetimi ločenimi, vsebinsko zaokroženimi razpravami o različnih raziskovalnih temah.
Sedmič, zaradi globalne narave mednarodnih baz tak sistem izrazito spodbuja objavljanje v svetovnih in še zlasti angleškem jeziku ter izrazito odvrača od objavljanja v slovenskem jeziku v slovenskih revijah, ki praviloma niso uvrščene v prestižne baze. Čeprav sam objavljanje v angleškem jeziku podpiram, ker tako besedilo doseže veliko večje število strokovnjakov z istega področja in sploh omogoči kritično razpravo, je premočno razvrednotenje slovenskih objav kljub vsemu neskladno z usmeritvijo ohranjanja slovenskega jezika kot znanstvenega in ne zgolj poljudnega jezika.
Ter osmič, končno, že omenjeno dejstvo, da ob vseh zgoraj omenjenih potencialnih slabostih prav nič ne šteje vrednostna ocena kakovosti posameznih del. Želja, da bi se takemu subjektivnemu ocenjevanju izognili, je nemara sama po sebi hvalevredna, a ko se ob pregledu klasifikacije uspešnosti očitno pokažejo primeri vsebinsko napačne opredelitve (v eni ali drugo smer), se v praksi sprevrže v sprenevedanje.
VI. Zrcalo slabih plati »objektivizacije«
Naj mi kolegi matematiki oprostijo, da si jih izposodim za primer, a je preveč poveden, da bi se mu izognil – obenem pa nazorno kaže, da problem trenutnega sistema ni zgolj problem družboslovja, saj so tudi v naravoslovju mnogi nezadovoljni z obstoječo ureditvijo.
Če si ogledate podatke »zloglasnega« Vrednotenja bibliografskih kazalcev raziskovalne uspešnosti po metodologiji ARRS za raziskovalce na področju matematike za obdobje od 2003 do 2008, boste videli, da se pri večini raziskovalcev matematikov število upoštevanih točk raziskovalne uspešnosti giblje med 20 in 200. Redki sežejo čez 500 točk, zelo redki čez 1000. In kdo je po tem kazalcu najuspešnejši matematik raziskovalec v Sloveniji? Izkaže se (vsaj po mojih podatkih), da gre za osebo, ki je iz matematike doktorirala na pedagoški fakulteti ene od slovenskih fakultet in je učitelj na neki srednji šoli. Bibliografija tej osebi prinese kar dobrih 2200 upoštevanih točk raziskovalne uspešnosti! Po svoje neverjetno, kajne, da je srednješolski učitelj po znanstvenih razpravah boljši od vseh univerzitetnih profesorjev in raziskovalcev? Bravo za prvega in skorajda sramota za slednje.
Ob podrobnejšem pregledu pa se izkaže, kako je do teh 2200 točk prišlo. Prineslo jih je 19 razprav, objavljenih v letih 2003-2008, in prav vse razprave so bile objavljene v isti (fizikalni!) reviji z naslovom Chaos, Solitons & Fractals. Glavni urednik te revije naj bi do sedaj objavil 124 znanstvenih razprav, od tega kar 121 člankov v reviji z naslovom, nikoli ne boste uganili, Chaos, Solitons & Fractals. Šteto od leta 2002, se pravi v povprečju kakih 17 člankov na leto.
O ugledu same revije in njenega urednika sicer verjetno čivkajo že spletni vrabci, vsekakor pa nadobudni člani stroke. Žal je baje moč podobne zaključke povleči tudi glede kakovosti člankov slovenskega avtorja. Za resnega bralca iz stroke torej ni dvoma, da gre za revijo in članke, ki jih preprosto ni moč jemati resno.
Žal pa jih zelo resno jemlje »objektivna« klasifikacija po metodologiji ARRS. Revija Chaos, Solitons & Fractals, ki (in morda ker) jo izdaja prestižna založba Elsevier, je namreč uvrščena v prestižno zbirko SCI, tako da so posamezni članki avtorju prinesli vsaj 80, številni pa kar 149 točk! Čeprav so ti članki pogosto le vir posmeha stroke, bo pri razpisih z uporabo objektivne metodologije raziskovalne uspešnosti omenjena oseba tako kotirala prav na vrhu.
Seveda gole številke niso vse – a žal nedvomno drži, da bo navidezna »objektivnost« ocenjevalnih kriterijev, ki naj bi omogočila nepristranskost odločitev, pogosto privedla do vsebinsko napačnih odločitev. Kot primer nam lahko služi še en naravoslovni primer: na lanskem razpisu za (so)financiranje raziskovalnih projektov ARRS niti v drugo fazo razpisa za financiranje podoktorskih programov med drugim nista prišla dva izmed najobetavnejših mlajših slovenskih fizikov Jure Zupan in Kristjan Haule, čeprav ima prvi za seboj poleg številnih odmevnih objav tudi daljša podoktorska raziskovanja v Izraelu in ZDA ter je trenutno v Ženevi v službi na sloviti organizaciji CERN, drugi pa predava na prestižni ameriški Univerzi Rutgers.
Zakaj nista bila izbrana? Nemara zaradi nezadostne skupne ocene raziskovalne uspešnosti in predlaganega projekta. Kristjan Haule je sicer v letu 2007 dosegel objavi v obeh osrednjih svetovnih naravoslovnih revijah, Nature in Science, kar je uspeh, ki ga slovenski raziskovalci praviloma (ali sploh) ne spoznajo, a za »objektivno« merjenje znanstvene uspešnosti se to očitno ne more kosati z 19 objavami v reviji Chaos, Solitons & Fractals. Ne vem, kako je bilo z oceno njegovega predlaganega projekta, a za svoje delo je za leto 2008 prejel eno osrednjih ameriških raziskovalnih štipendij, prestižno Sloan Research Fellowship. Za ameriško štipendijo je bil torej dovolj dober, na slovenskem razpisu pa se ni mogel uvrstiti niti v drugi krog izbora.
VII. Sklepno: Od navidezne k vrednostni objektivnosti
Naj še enkrat ponovim, da sam določeno zaostritev habilitacijskega sistema podpiram oziroma da se strinjam s tem, da trenutni sistem premalo skrbi za kakovostno preverjanje učiteljeve raziskovalne in pedagoške uspešnosti. Obstoječi sistem je malo preveč dovzeten za kreativno izigravanje pravil ali »gledanje skozi prste«, kar pride še posebno do izraza v majhnem znanstvenem okolju s kulturo pisanja pozitivnih mnenj, pri čemer krivdo zanj v večji ali manjši meri delimo vsi, od posameznih učiteljev do fakultet ali v določenih primerih celo univerze same. Zato načeloma pozdravljam prizadevanja tistih, ki si želijo sistem izboljšati in spodbujati prihod ter razvoj čim boljših strokovnjakov na univerzi.
Vendar pa, kar je rdeča nit te kolumne, po mojem mnenju zgolj s kvantitativnim spremembami ter vrednotenjem meril, ki naj bi zagotovila nekakšno razosebljeno in objektivno oceno uspešnosti, tega sistema ne bo moč popraviti. »Objektivizacija« ali »birokratizacija« meril uspešnosti, ki bi v pretirani meri slonela na kvantifikaciji vrednosti opravljenega dela, je neustrezna iz dveh razlogov: ker sama po sebi zlorab oziroma izigravanj sistema ne bo preprečevala, temveč jih bo z omejevanjem vrednostne ocene do neke mere celo olajšala; in ker bi v vsakem primeru šlo za navidezno objektivizacijo, ki bi bila še vedno posledica in zato toliko bolj tudi talka predhodnih subjektivnih odločitev.
Čeprav naj bi kasneje delovala objektivno, so zelo subjektivna že merila uspešnosti, ki jih sprejema univerza. Z novimi predlogi bi se denimo relativni pomen raziskovalnega in pedagoškega dela pri izvolitvah v pedagoške nazive učiteljev v primerjavi z obstoječimi močno nagnil v prid raziskovalnemu delu, še tako kvalitetno in včasih naporno pedagoško delo pa izgublja na vrednosti. Prav tako denimo fakultete družboslovja in humanistike tako rekoč brez izjeme ugotavljajo, da so predlagane spremembe glede objavljanja v prestižnih bazah in sodelovanja pri mednarodnih raziskovalnih projektih veliko bolj pisane na kožo naravoslovju.
Morda v tem pogledu zgolj odražajo priljubljene mednarodne lestvice kakovosti, saj je denimo Shanghajska lestvica tudi izrazito nagnjena v prid naravoslovju: kot je bilo rečeno zgoraj, 30 % ocene univerze predstavljajo dobitniki Nobelove nagrade s področij fizike, kemije, medicine in ekonomije ter Fieldsove nagrade za področje matematike; od 40 % za število objav pa je 20 % skupne ocene prav tako rezerviranih za naravoslovni reviji Science in Nature. Ko smo že pri tem, tudi pri dveh poglavitnih bazah, naravoslovni SCI in družboslovni SSCI, je narava objavljanja močno v prid naravoslovnim področjem, kar pri Shanghajski lestvici upoštevajo tako, da objave v bazi SSCI podvojijo. Na ravni univerze ali ARRS podobnega predloga za popravo neravnovesja še nisem zasledil, glede na zgoraj opisano blamažo s sporno revijo Chaos, Solitons & Fractals bi se bal, da velja kvečjemu nasprotno.
Končno je subjektivnost zapisana že v razlogih, zakaj kakšna revija sploh pride v kakšno bazo – ravnokar omenjena revija je že tak primer, ko je razsodnost očitno preglasil vpliv prestižnega založnika in jo privedel do odlične baze ter še do danes ohranil v njej. Čeprav so v odličnih bazah nesporno številne revije, ki vanje sodijo, se v njih (z)najde tudi kar nekaj presenetljivih revij, medtem ko druge odlične revije iz različnih razlogov vanje niso vključene. Manjkajoče naslove je sicer moč nekako vendarle upoštevati, za kar se trudi tudi univerza. A vendar je zelo poveden problem navidezne »objektivnosti« v tem, da lahko privede do tako zablodelih rezultatov, kot je primer »najboljšega« slovenskega matematika.
Da ne bo pomote: sam ne zamerim avtorju omenjenih razprav v nesrečni reviji Chaos, Solitons & Fractals, da jih je pisal, čeprav je po vsebini očitno skušal plavati na suhem; kriva je revija, ki take članke objavlja. Je pa žalostno, da ravno sistem, ki naj bi z objektivno oceno univerzitetni habilitacijski komisiji pomagal, da bi lahko o vlogah za izvolitve podala mnenje, čeprav sicer zaradi svoje heterogene sestave prave vsebinske presoje del s posameznega področja ne bi ne smela ne mogla opraviti, privede do primera, ko je tako izjemno visoka ocena znanstvene uspešnosti neke revije in člankov v njej tako očitno neustrezna.
V (skoraj) idealnem svetu bi bila presoja znanstvene uspešnosti v celoti prepuščena vsebinski presoji, ki bi jo za svoje področje opravljala vsaka članica posebej. Od idealnega sveta nas poleg drugega loči tudi majhnost naše znanstvene in univerzitetne skupnosti ter posledično nevarnost, da bi na habilitacijske postopke brez kakršnihkoli dodatnih kriterijev lahko vplivala kolegialnost in že omenjena kultura pisanja pozitivnih mnenj. A vendar je v isti sapi moč dodati obžalovanje, da tudi raziskovalna sfera živi v takšnem ozračju tekmovalnosti in nezaupanja, da bi si morali nenehno gledati pod prste.
Zato bi v danih razmerah glede postopkov habilitacije sam rad videl sistem, ki bi združeval kvantificirane minimalne standarde števila objav in vrednostno presojo, pri čemer bi bila izvedba slednje (in deloma tudi postavitev prvih) pridržana članici oziroma matični ustanovi področja habilitacije, medtem ko bi univerza oziroma njena habilitacijska komisija bdela le nad formalno korektno izvedbo postopkov habilitacije. Sistem tako sam po sebi še ne bi postal popoln, bi pa po mojem nekaj pridobili že s tem, da bi se v postopkih nehali skrivati za navidezno kvantificirano objektivnostjo numeričnih ocen znanstvene uspešnosti in si na glas priznali, da gre v vseh primerih na koncu vendarle za subjektivno vrednostno oceno. Mutatis mutandis povedano seveda velja tudi za druge potrebe merjenja raziskovalne uspešnosti.
Povedano drugače: naj v prvi vrsti ne bo pomembno (zgolj) to, kje in kolikokrat je kdo objavljal, temveč to, kdo je postavljen za to, da v konkretnem primeru opravljeno delo in bibliografijo vsebinsko oceni ter nato za svojo oceno tudi stoji. Žalostno je, da trenutni sistem dopušča takšna nedoumja, kakršno je nekritično vrednotenje znanstvenih banalnosti ali odločitve na razpisih, ki že na prvem koraku ustavljajo najperspektivnejše mlade znanstvenike. Še toliko bolj nadležno pa je, da pri sprejemanju kvalitativnih odločitev dopušča tudi skrivanje za njegovo navidezno »objektivnostjo«. Kakršnakoli bo prenova meril znanstvene uspešnosti na koncu že bila, začeti bi morala pri tem, da bi razgalila to navidezno »objektivnost«.
Članki izražajo stališča avtorjev, in ne nujno organizacij, v katerih so zaposleni, ali uredništva portala IUS-INFO.
