Lugedes lugupeetud proua Terje Tüür-Fröhlichi arvamuslugu tundsin kohe ära kaks arvudega seotud probleemi, mida teadusbürokraadina iga päev omal nahal kogen, kirjutab Tartu Ülikooli bibilomeetria spetsialist Kalmer Lauk.
Kalmer Lauk: teaduse hindamine läbi arvude ehk Ülevaade sellest, mida näeb teadusbürokraat
6. aprill 2016, 18:30
Juhime tähelepanu, et artikkel on rohkem kui viis aastat vana ning kuulub meie arhiivi. Ajakirjandusväljaanne ei uuenda arhiivide sisu, seega võib olla vajalik tutvuda ka uuemate allikatega.
Üks nendest puudutab suuri andmebaase ja teine teadusbürokraatia üldist arvudelembust. Nendele probleemidele ja üldiselt teaduse hindamisele mõeldes tuleb alati meelde Winston Churchilli tsitaat, et demokraatia on halb valitsemisvorm, kuid kõik teised proovitud on veel halvemad.
Teadusbürokraadi argipäev
Kasutan oma igapäevatöös Thomson Reutersi Web of Science’it, Elsevieri Scopust ja Google’i Google Scholari andmebaase. Bürokraadi vaatenurgast võin öelda, et ükski neist ei ole täiuslik. Aga arvestades andmete hulka, mida need andmebaasid koguvad ja iga päev käsitlevad, ei leia ma, et vead oleks väga suur patt. Seega on isegi mingil määral hea, et need kaks tasulist (Thomson Reuters Web of Science ja Scopus) on endale oma reeglitega loonud teatava lävendi, sest Google Scholar tõestab omalt poolt, et mingi tõsisem kontroll peab alati olema.
Scopus on kõige paremini lahendanud nn nimekuju probleemi. Iga indekseeritud tööga kaasa tulevad autorid saavad unikaalse autorinumbri ja -profiili või seostatakse autor juba olemasoleva profiiliga. Vigu esineb, aga tekkivaid topeltprofiile saab lihtsalt ühendada. Thomson Reuters Web of Science selle probleemiga pikalt maadelnud ning kui teadlane ise oma andmetega midagi ette ei võta, siis lahendust ei paista.
ORCIDi numbrist (Open Researcher and Contributor ID), mille iga teadlane saab endale teha ja millega oma publikatsioone seostada, hakkab kujunema ühendav osa muidu väga tugevalt konkureeriva Thomson Reuters Web of Science’i ja Scopuse vahel, sellega saab hõlpsasti mõlemas andmebaasis publikatsioone oma nimega seostada (isegi ETISes on koht selle sisestamiseks).
Iga teadlane saab ise palju ära teha
Seega võtan nüüd oma bürokraatliku julguse kokku ja ütlen, et teadlane saab oma teadusmeetrilises raamatupidamises väga palju ise ära teha. Google Scholari kohta ei oska ma palju head öelda, sest kui Scopuses ja Thomson Reuters Web of Science’is esineb vigu autorite tuvastamisel, siis Google Scholar ei suuda isegi publikatsioone korralikult tuvastada. Alates sellest hetkest, kui ajakiri Trames avaldas minu esimese publikatsiooni, näitab Google Scholar, et mul on kaks ühesuguse pealkirjaga artiklit. Teisest küljest sobib Google Scholar ideaalselt kirjanduse otsimiseks, sest on analüüside põhjal nendest kolmest kindlasti kõige mahukam ning otsitavat tööd ei ole raske leida, sest kindlasti on seda rohkem kui üks. Tõesti, Google Scholaris on ka võimalus end kasutajaks registreerida ja oma publikatsioonidega siduda, aga nii see kui ka oma profiili pidev värskendamine nõuab aega, mida teadlastel tihti väga palju ei ole.
Konkurents parandab olukorda
Olgu uued valdkondlikud publitseerimistavad või uued alternatiivsed suunad teaduse hindamises – nii Thomson Reuters Web of Science kui ka Scopus käivad ajaga kaasas, jälgides nii seda, mida teeb (teadus)maailm, kui ka seda, mida teeb konkurent. Monopoli kadumine 2004. aastal pani asjad liikuma. See, et need mõlemad andmebaasid on erafirmade käes, võib-olla isegi hõlbustab nende nõtkust end kohati väga jäigale teadusmaailmale kohandades. Ja teadlane saab need andmebaasid enda kasuks tööle panna, tuleb vaid hoolitseda selle eest, et isiklik raamatupidamine korras oleks. Võib ainult ette kujutada, kui bürokraatlikult kole oleks kogu see asi, kui selliseid andmebaase haldaks mõni riiklik või rahvusvaheline institutsioon.
Iga teadlane on ka teadusbürokraat
Teine arvudega seonduv probleem teaduses on teadusbürokraatide arvulembesus. Mis seal salata, kõigi teadusbürokraatide koolitamine nii targaks, et nad oskaks hinnata kõigi teadusvaldkondade kõiki töid neid vaid lugedes, võtaks väga kaua aega ja raha. Samuti oleks väga kulukas palgata edukaid teadlasi teadusbürokraatideks. Aga mingil määral on iga teadlane ka ise teadusbürokraat ja aitab bürokraatiale kaasa. Ta teeb seda tsiteerimise kaudu. Teadlane ise annab arvulise sisendi bürokraadile, kes selle üles korjab ja sellest järeldused teeb. Kui küsida, kes suudab kõige paremini leida teaduslikult innovaatilise idee, siis on ainuõige vastus ju, et teine teadlane. Bürokraat oskab lugeda ja näha, et idee vastab mingitele nõuetele, kuid teadlane saab seda tsiteerida ning anda seeläbi ideele bürokraadi jaoks nähtava arvulise elu. Aga lisaks arvulisele elule on teaduspublikatsioonidel ka sisu, millest arvud kuigi hästi ei räägi – nagu ei räägi inimese pangakontol olev raha sellest, kes ta inimesena on.
Kümme printsiipi teaduse hindamiseks
Et suunata nii teadusbürokraate kui ka teadlasi teaduse parema hindamise poole, avaldasid Leideni Ülikooli teadlased möödunud aastal nn Leideni manifesti. Oma manifestis toovad teadusmeetria spetsialistid esile kümme printsiipi, mida järgides peaks teaduse hindamine tõrgeteta toimima.
Kvantitatiivne hindamine peaks toetama kvalitatiivset eksperthinnangut. (Quantitative evaluation should support qualitative, expert assessment.)
Olulisi otsuseid ei tohiks mitte mingil juhul langetada ainult arvudele tuginedes. Kui nõutakse suurt artiklite arvu, võib see viia teadlased nn prügiajakirjade juurde.
Kõrvutage nähtavaid tulemusi institutsiooni, uurimisrühma või teadlase eesmärkidega. (Measure performance against the research missions of the institution, group or researcher.)
Igal teadlasel ja igal teadlaste rühmal on omad eesmärgid ja tulemid. On teadlasi, kes laiendavad meie arusaama maailmast, ja on ka neid, kes lahendavad meile juba nähtava maailma probleeme. Neid ei saa hinnata ühe indikaatoriga.
Kaitske kohalikul tasemel olulist uurimustööd. (Protect excellence in locally relevant research.)
Teaduse keel on inglise keel ja et Jaapani kolleeg sind mõistaks, peab suhtlema temaga inglise keeles. Kuid on valdkondi, kus selline praktika ei ole mõistlik ning inglise keele sund võib põhjustada probleeme. Näiteks eesti keelt uuriv Eesti keeleteadlane ei peaks olema olukorras, kus ta peab oma töid avaldama muus keeles kui eesti keeles. Lahendus oleks piirkondlikud indikaatorid, mis arvestavad selliste nüanssidega.
Hoidke andmete kogumine ja analüüsiprotsess avatud, läbipaistev ja lihtne. (Keep data collection and analytical processes open, transparent and simple.)
Kedagi ei tohiks hinnata indikaatorite põhjal, millest nad aru ei saa. Lihtsus on voorus, mis võimendab läbinähtavust, aga tihti võivad lihtsad indikaatorid põhjustada üldistusi. Tasakaal üldistuste vältimise ja lihtsuse vahel on iga hindamisprotsessi alus.
Lubage hindajatel kontrollida andmeid ja analüüsi. (Allow those evaluated to verify data and analysis.)
Andmed peavad saama kinnituse hinnatavate või analüüsitavate poolt. Vead on loomulikud ja kontroll aitab neid välistada. Kvaliteetsed andmed võtavad aega ja raha.
Võtke arvesse, et publikatsioonide hulk ja tsiteeritavus sõltub tegevusalast. (Account for variation by field in publication and citation practices.)
Avaldamise ja tsiteerimise tavad erinevad valdkonniti kolossaalselt. Maailmatasemel bioloogi tsiteeringute arv võib olla isegi kuni 10 000, maailmatasemel ajaloolase tsiteeringute arv sama aja kohta aga ainult 100. Kasutada tuleks selle valdkonna sees võrreldavaid indikaatoreid ning kõiki ei tohi lüüa ühe puuga.
Iga teadlast tuleks hinnata kvalitatiivselt vastavalt tema portfooliole. (Base assessment of individual researchers on a qualitative judgement of their portfolio.)
Isegi kui teadlane ei ole aktiivne, püsib tema h-indeks (teadlase produktiivsust ja tsiteeritavust näitav indeks) sama. Samuti erinevad mitme valdkonna andmed eri andmebaasides. Ainult ühe arvu järgi teadlase hindamine ei anna tervikpilti ning teadlase tööde sügavam analüüs või teiste näitajate arvesse võtmine annab oluliselt põhjalikuma tulemuse. Isegi suuremate analüüside puhul on selline hindamine ülevaatlikum.
Vältige ekslikku täpsust ja valekonkreetsust. (Avoid misplaced concreteness and false precision. )
Kõige parem näide ekslikust ümardamisest on Thomson Reutersi Web of Science’i avaldatav teadusajakirjade mõjukust hindav Journal Impact Factor. Seda avaldatakse kolme komakohaga. Mitu teadlast on öelnud, et see on vale ümardus, mis välistab küll viigid ja jätab Thomson Reutersi Web of Science’ist täpse mulje, kuid mis laiemalt ei tähenda midagi. Kolm teadusajakirja, mille Impact Factor on vastavalt 4,228, 4,248 ja 4,209, on tegelikult kõik lihtsalt tulemusega 4,2.
Tunnistage süsteemi mõju hindamisprotsessile ja indikaatoritele. (Recognize the systemic effects of assessment and indicators.)
Iga indikaator toob endaga kaasa mängurlust ning seda peaks juba varakult ette nägema. Rahastussüsteem, mis jagab finantseeringut lihtsalt teadusartiklite arvu eest, tagab ainult selle, et iga väiksemgi teadlase liigutus päädib publikatsiooniga ning tsiteeringud või mõjukus ei huvita kedagi.
Olge indikaatorite suhtes kriitilised ja ajakohastage neid. (Scrutinize indicators regularly and update them. )
Lähtudes eelmisest printsiibist ja faktist, et teadus on protsess, peaksid ka indikaatorid, millega seda hinnatakse, regulaarselt muutuma.
Thomson Reutersi Web of Science, Elsevieri Scopus ja Google Scholar on mastaapsed andmebaasid, mis koguvad teaduse tegemisest tulevaid andmeid ja võimaldavad neid teadusmeetriliselt analüüsida, et teaduses toimuv oleks hoomatav ja kõigile mõistetav ning selgitatav. Need arvud, millega andmebaasides tegeletakse, on nagu sild, mis aitavad teaduse eri otsades olevatel inimestel suhelda.
Aga ainult need bibliomeetrilised arvud ei räägi kõike teadusest, need peegeldavad ehk vaid seda, milline on olnud tagasiside teiste teadlaste seas. Et näha laiemat pilti teaduse kvaliteedist, sotsiaalsest või majanduslikust mõjust, on vaja ka muid indikaatoreid, nagu altmeetria või igasse teadustöösse põhjalikum süvenemine. Näiteks on sellise lahenduse välja töötanud Ühendkuningriigi teadusagentuur (RCUK).
Tööde akadeemiline väärtus on ja jääb alati alles. «Leideni manifest» on teadusmeetriaga tegelevate inimeste püüe lühendada ja parandada, aga ka täiendada seda silda, et nii teadlased kui ka teadusbürokraadid oskaksid olla teadlikumad ja paremad oma töös ning et teadus liiguks õiglaselt ja õigesti edasi aina suuremate saavutuste poole. See võiks olla ka vahend, millega Eesti teadust innovaatilisemaks muuta.
Kasutatud kirjandus
1. Lauk, K. (2016). Bibliometric analysis of Estonian folklore research and folklore: Electronic journal of folklore. Trames 20, 1, 3-16. http://dx.doi.org/10.3176/tr.2016.1.01
2. Weinstock, M. (1971). Citation Indexes. In: Encyclopedia of Library and Information Science. Vol. 5, p. 16-40, Marcel Dekker Inc., New York - http://goo.gl/baJhML
3. Hicks, D.; Wouters, P.; Waltman, L.; De Rijcke, S.; Rafols I. (2015) The Leiden Manifesto for research metrics. Nature, 529, 429–431 http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351
Vaata ka videot Leideni Manifestist - https://vimeo.com/133683418