"Tisztelt Professzor Úr, Kedves László! Köszönöm leveledet, egyben sajnálattal veszem tudomásul döntésedet. Engedd meg ugyanakkor, – mivel leveledet Te is szélesebb körnek címezted – hogy hasonlóan széles körben válaszoljak a felvetett problémákra, mivel kiemelten fontosnak tartom ezek tisztázását. Mielőtt ezt megtenném, szeretném leszögezni (nem ismételve a honlapon bizonyára már látott hírünket ( https://nkfih.gov.hu/hivatalrol/hivatal-hirei/otka-palyazati-dontes ), hogy a pandémia ellenére is megmaradt az OTKA emelt keretösszege, ami jelentős eredmény, hiszen mutatja a kormányzat elkötelezettségét az alapkutatások iránt – azt gondolom ez a tény önmagában sokat elárul. A leveledben leírt pályázati összeg emelésére a jövő évtől tervezünk egy, 100 millió forintos támogatási összegű OTKA pályázati konstrukciót, melynek elkészítésében számítunk a kutatókkal történő együttgondolkodásra is. Két felvetésed közül az első: „Minisztériumi döntéssel bekerültek a nyertesek közé vonal alatti pályázók, köztük olyan is, aki az adott zsűrirangsor utolsó helyén végzett. A kollégiumi sorrendbe való beavatkozásra ismereteim szerint eddig nem volt példa. A hatályos törvény (2014 évi LXXVI törvény 25. § (2) bekezdés) lehetőséget ad a kollégiumi döntés megváltoztatására a döntéshozó által, amennyiben ezt megindokolja. A döntésről a kollégiumi elnökkel nem konzultáltak, a döntésről indoklást nem kaptam.” A hivatkozott jogszabályi helyen sehol sem szerepel az, hogy „lehetőséget ad a kollégiumi döntés megváltoztatására a döntéshozó által, amennyiben ezt megindokolja”. Furcsa is lenne, ha a forrást biztosító hivatal, illetve a döntéshozó Minisztérium nem bírálhatná felül a kollégiumok döntési javaslatait , illetve döntését az értékelőknek – döntéshozóként – indokolnia kellene. Ismereteim szerint ez sehol a világon nincs így, ettől függetlenül azonban, mint eddig, a jövőben is szakmai partnerekként tekintünk a kollégiumokra és a zsűrikre. A kollégiumok javaslatait ennek szellemében maximálisan figyelembe vettük, hiszen mindössze 19 esetben merült fel (összesen a négy kollégiumnál) az, hogy valaki a tudománymetriai rendszer szerint Q4-es besorolással támogatást kapna és 9 esetben került változtatásra a döntés. Nem igaz az az állítás, hogy nem konzultáltunk a kérdésben a kollégiumi elnökökkel, hiszen mindannyian – így Te is – kaptak felkérést arra, hogy indokolja meg ezeket a döntéseket a kollégium. A válaszok kiértékelése időt vett igénybe, ráadásul sajnos nem minden esetben voltak kielégítők (esetenként „általános” méltatást tartalmaztak vagy éppen az MTMT-ben publikációit nem vezető kutató eredményességét kellett a kollégáknak felkutatni), miközben a projektek körül számos szeptember 1-én indul. A döntés augusztus végén ezzel együtt megszületett, a projektek biztonságban elindulhatnak. Nem kívántuk 320 pályázó projektjét a kérdéses 9 projekt miatt veszélyeztetni (ez a projektek 2,5-3%-a). A második felvetésed: „A Győrffy-féle tudománymetriai módszer alapján a nyertesek közül eltávolítottak a Győrffy-lista által Q4-es besorolást kapó nyerteseket és a nyertesek közé helyeztek vonal alatti, Q1-es besorolású pályázókat. A döntésről a kollégiumi elnökkel nem konzultáltak. A 2020-as évben ez az új tudománymetriai módszer kísérleti módon került bevezetésre, hogy tesztelje segíti-e a grémium munkáját. Nem olyan módszerként tekintettünk rá, amire döntést alapozni lehet. A pályázati forduló után a zsűrielnökök megosztottak voltak a módszer használhatóságával kapcsolatban. Az OBTK kollégiuma pedig júliusi ülésén olyan döntést hozott, mely szerint ez a módszer kevésbé alkalmas a mi tudomány területünkön tudományos teljesítmény vizsgálatára, mint a kiemelt 5+5 cikk elemzése.” Nem igaz, hogy eltávolítottuk a Q4-es besorolást kapó nyerteseket „normatív módon”, hiszen mint látható, ez a 19-ből csak 9 esetben történt meg . Ennek jó példája Schay Gusztáv esete a Sejt- és Fejlődésbiológia területéről, aki Q4-es besorolása ellenére is támogatott lett, éppen azért, mert a rangsorban első helyezettként került támogatási javaslatra, azaz projektje nyilván kellően kiemelkedő ahhoz, hogy aQ4-es besorolás ellenére is támogatásra kerüljön. Hasonló volt a helyzet további 9 projekt esetében is. A tudománymetriai rendszer lehetővé teszi a Hivatal számára azt, amire eddig nem volt érdemi lehetősége, nevezetesen a bírálatok objektivitásának – az „ evidence based policy making ” szellemében – erősítését. A tudománymetriai rendszer kapcsán a bírálók körében végeztünk egy felmérést, éppen azért, hogy lássuk, segítette-e a rendszer a munkájukat. (A felmérés a zsűriülések után, de a döntés előtt zajlott.) Ennek eredménye meglehetősen beszédes: Az azt használók (mintegy 300 fő) 83%-a találta hasznosnak a rendszert ! Elgondolkodtató, hogy a tudományos fokozattal fordítottan arányos a rendszer támogatottsága, de még így kiemelkedően magas az egyetemi tanárok, tudományos tanácsadók között is (77,8%). (ld. tudomanymetria.com „More Info” menüpont) Az eredmény alapján látszik, hogy a kutatói közösség érdemben használta a rendszert a bírálatok során, melyet hasznosnak is tartott. Nem láttuk ezután annak okát, miért ne támaszkodnánk a döntéshozatalnál a rendszer eredményeire. A fentebb említett 19 esetben ez történt (ami a támogatottak kb. 6%-át teszi ki, ami nem jelentős arány) . A kollégiumi elnököktől kapott válaszokat megvizsgálva végül kilenc esetben döntöttünk a kollégiumi döntés megváltoztatása mellett. Ahogy említettem, ehhez kellett kollégáim áldozatos munkája is, akik tételesen megvizsgálták a pályázatok olyan publikációs vonatkozásait is, amelyeket a kollégiumok nem – egyszerűbben fogalmazva, ha csak a kollégiumi visszajelzéseket fogadtuk volna el, a 19 esetből több alkalommal került volna változtatásra a döntés. Minden esetben kiváló kutatók kerültek a „kiesett” Q4-es besorolású kutató helyére . Ezzel egyidőben felhasználásra került a megmaradt „Élvonal” keret is, melyet szakpolitikailag ígéretes projektekre fordítottunk, összesen 7 esetben – az OTKA kereteken felüli összeg terhére. (Erre a jövőben nem biztos, hogy lesz forrás, mivel reményeink szerint az idei „Élvonal” pályázók száma lehetővé teszi majd a keret ismételt, teljes körű lefedését.) Az alapvetően szakmai kérdés, hogy a publikációs teljesítmény vajon előre jelzi-e egy kutató jövőbeli teljesítményét. A téma szerencsére eléggé megkutatott, tényeken alapuló peer-reviewed, rangos szaklapokban jegyzett publikációk támasztják alá ezt a hipotézist. Engedd meg, hogy ezeket röviden összefoglaljam. Győrffy Balázs még 2017-ben megkapta valamennyi Lendület-kutató adatait (n=117), annak érdekében, hogy meg tudja vizsgálni, mekkora a Lendület-es kutatóktól elvárt tudományos output. A kutatás eredménye, meglepő módon, hogy a Lendület-es kutatók esetében a publikációs output nem mutatott összefüggést a bírálók által adott ponttal, azonban magas összefüggés volt látható a citációs szám, a H-index és a pályázás előtti kettő év impakt faktor értékével (Győrffy, Török, és mtsaik, Scientometrics , 2018, https://link.springer.com/article/10.1007/s11192-018-2852-1 ). Más korábbi tudományos elemzések is azt találták, hogy a bírálók általában nem képesek a tehetségeket azonosítani (van den Besselaar és Sandström, J Informetrics, 2015, https://www.sciencedirect.com/science/article/abs/pii/S1751157715300067 , letölthető verzió: http://www.vandenbesselaar.net/_pdf/2015%20JoI%20ulf.pdf ). Adódik a kérdés, hogy a publikációs teljesítmény és a kutató életkora között milyen kapcsolat áll fent? Ezen kérdés megválaszolásához magyar (n=2469) kutatók és ERC nyertesek (n=756) publikációs aktivitását vizsgálták meg a kor függvényében. Azt találták, hogy a publikációs output valóban mutat összefüggést a kutatók korával. (Győrffy, Török, és mtsaik, Scientometrics, 2020, https://link.springer.com/article/10.1007/s11192-020-03501-w ). A vizsgálati kört bővítve Győrffy Balázzsal az összes 2006-2015 közötti OTKA pályázó publikációs teljesítményét vizsgáltuk meg. Ennek keretében 13303 pályázatra készült összesen 42905 bírálatot elemeztünk ki. Azt találtuk, hogy míg OTKA pályázatok esetén a bírálók által adott pontok csak minimális összefüggést (0.08-0.11) mutattak a későbbi publikációs aktivitással, addig magas korreláció volt megfigyelhető a pályázat benyújtása kori H-index (0.45-0.54), a független citáció (0.46-0.62), és az évente közölt Q1-es cikkek számával (0.63-0.79). (Zárójelben a korrelációs koefficiens, értéke 0 és 1 között lehet, 0=nincs semmilyen korreláció, 1=tökéletes korreláció). Azt is megfigyeltük, hogy nagyobb költségvetés és nemzetközi kollaboráció is nagyobb publikációs teljesítménnyel társult (Győrffy, Szabó, és mtsaik, J Informetrics, 2020, https://www.sciencedirect.com/science/article/pii/S1751157719303694 ). Mindezen vizsgálatok során tehát azt találtuk, hogy azon kutatók, akik eddig többet közöltek, a jövőben is többet fognak közölni . Kérdés lehet, hogy a sok közlemény nem jár-e a minőség romlásával? Korábbi vizsgálatok azt találták, hogy a magasan idézett cikkek aránya annál nagyobb, minél többet közölnek a kutatók. Ezen megfigyelés igaz élettudományok (0.82), élettelen természettudományok (0.73) és társadalomtudományok esetén is (0.67) (Lariviére és Costas, PLoS One, 2016, https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0162709 ) . Egy másik, 48 ezer svéd kutatót vizsgáló tanulmány ugyanezt találta. Ők megállapították, hogy a több közlemény nemhogy nem jár a minőség romlásával, de éppen ellenkezőleg, a magas minőségű cikkeknek lényegében előfeltétele egy bizonyos szintű publikációs aktivitás (Sandström és van den Besselaar , PLoS One , 2016, https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0166149 ) . Ezen fenti vizsgálatok adták az alapot a tudománymetria.com rendszer kifejlesztéséhez. A tudománymetria.com a későbbi tudomány teljesítménnyel legjobb összefüggést mutató paramétereket számolja ki minden kutatóra a kor függvényében a saját tudományterületén belül. A rendszert az eddigi tapasztalatok alapján kismértékben módosításra kerül majd, mivel a mostani körben, amint jeleztem, szükséges volt „kézzel” is adatokat gyűjteni a publikációs tevékenységről (elsősorban a társadalomtudományok és a matematikai tudományok területein). Jelenleg a tudomanymetria.com adatbázisa a Lendület-es kutatókat, az OTKA pályázókat, valamint az MTA doktorait és az MTA tagjait tartalmazza. Ezek közül a fentebb is idézett tanulmányok során eddig a Lendület-es kutatók és az OTKA pályázók tudományos teljesítményére igaz a korrelációt a korábbi és a jövőbeli tudományos output között. Az objektivitás növelése okán további kutatási kérdések vetődnek fel, melyben számítunk a hazai kutatói közösségre. Így például érdemes lehet megvizsgálni, hogy például az MTA-n készült-e olyan elemzés, ahol megvizsgálták, hogy az MTA doktora cím és az MTA tagság elnyerése utáni publikációs teljesítmény hogyan viszonyul a korábbi tudományos paraméterekhez vagy esetleg az ajánlók számához. Ha ilyen nem áll rendelkezésre, nyitottak vagyunk ennek megvizsgálására is. Remélem, a fentiek megvilágították a döntés hátterét és jó alapot adnak arra, hogy a mostani/leendő kollégiumi elnökökkel és a bírálókkal együtt egy konstruktív szakmai vita után egy objektívebb, tényekre alapuló döntéshozatalt is erősen támogató OTKA jöjjön létre, mint új evolúciós lépcsőfok. Köszönöm eddigi munkádat, a jövőben sok sikert kívánok, remélem, értékes kutatásaid támogatásában tudunk majd együttműködni. Kérem egyben a kollégiumi elnököket, hogy jelen levelet mind a kollégiumok, mind a zsűrik tagjai felé szíveskedjenek eljuttatni. Dr. Birkner Zoltán"