Witam
Na stronie FNP ukazała sie niedawno lista osób, które otrzymały stypendia "Start" . Blogowicze jakoś specjalnie tego nie komentują, więc ja zacznę. Stypendium „Start” to najbardziej popularne stypendium, mające w swej koncepcji wspierać młodych zdolnych badaczy. Tak z ciekawości sprawdziłem kilku laureatów i zauważyłem, że wielu z nich ma dorobek znacznie mniejszy niż 5 publikacji z listy filadelfijskiej. Z drugiej strony wiedziałem, ze o to stypendium starało się kilka osób, których dorobek był większy, niż tegorocznych Laureatów. Zdumiało mnie to nieco, wiec zerknąłem na regulamin konkursu, który dotychczas wydawał mi sie najbardziej obiektywny, jaki znalem. Ku mojemu przerażeniu, zobaczyłem, ze regulamin jest pełen różnych „kwiatków” , jak z najgorszego naukowego koszmaru. I co tam znajdujemy? Np: "Stypendia są przyznawane na podstawie ocen recenzentów i ekspertów z różnych specjalności według szczegółowych zasad tralalala..." Skądinąd znane i lubiane:). I gdzie te „szczegółowe zasady”?? Ale dalej: "Podstawowym kryterium oceny wniosku jest naukowa jakość i oryginalność opublikowanego dorobku naukowego kandydata. Dorobek ten jest oceniany przez recenzentów na podstawie dołączonych do wniosku publikacji (maksymalnie trzech), które kandydat uważa za najważniejsze w swojej karierze naukowej. W ocenie dorobku
NIE liczy się liczba opublikowanych prac, ale ich
wartość merytoryczna" No i to ostatnie zdanie jest moim zdaniem rozbrajające ..... Chciałbym zobaczyć tych ekspertów oceniających wartość merytoryczna publikacji. Na podstawie jakich kryteriów to robią? Własnego „widzi mi się”?? A może wynajmują wróżbitów, którzy czarodziejską różdżką wskazują, które prace są wartościowe merytorycznie?? Zupełnie nie potrafię, pojąć dlaczego nie bierze się pod uwagę całego dorobku kandydata. Może eksperci FNP są zbyt leniwi, żeby przeglądać całokształt osiągnięć kandydatów? Jak dobrze wiemy, w nauce istnieją dosyć obiektywne miary oceny pracownika naukowego i są nimi z pewnością liczba publikacji oraz impact factor czasopism, w których one się ukazują. Dlaczego eksperci z FNP nie przyjmują tego do wiadomości, jest dla mnie kompletną zagadką.
Ponieważ, nie lubię ot tak dywagować, to zrobiłem wczoraj na szybko kilka analiz. Wziąłem wszystkich stypendystów FNP od 2000 roku włącznie, w dziedzinach, które są mi bliskie: biologia, zoologia, botanika, ekologia i biologia srodowiskowa. Następnie, wykorzystując bazę Scopus, sprawdziłem ile mieli publikacji do roku przyznania Stypendium (łącznie z tym rokiem, ponieważ większość kandydatów wykazuje również prace w druku). Następnie sprawdziłem, czy liczba publikacji do roku przyznania Stypendium ma związek z: (1) całkowitą liczbą publikacji (stan na 15.04. 2011), (2) z indeksem H, (3) liczbą publikacji, które ukazały się po otrzymaniu Stypendium. Zastosowałem do analiz ogólny model liniowy mieszany. Do analiz włączyłem również kowariatę, którą była liczba lat od otrzymania stypendium do 2011 roku (liczba publikacji i indeks H zależy od czasu, więc trzeba ten czynnik kontrolować) oraz efekt płci. Rok, w którym przyznano stypendium, był czynnikiem losowym. Łącznie wykorzystałem dane o 80 osobach. Niestety, dwoje stypendystów (Andrzej Mazur oraz Anna Wójcik) musiałem wykluczyć z analiz, bo nie byłem w stanie jednoznacznie przypisać afiliacji oraz publikacji do nazwisk (zbyt dużo osób o takich nazwiskach i scopus to wszystko zmieszał:).
Wyniki (tabele i ryciny ) są zawarte w poniższym linku:
http://skorasp.republika.pl/start.pdf
Widać wyraźnie, że jeśli kandydat miał dużo publikacji w roku przyznania to miał ich dużo w całym dorobku , przy kontrolowaniu liczby lat, jakie miał na opublikowanie prac (Tabelka 1 i rycina 1 w podanym linku) Model wyjaśnia bardzo dużą część zmienności (R2 = 0.70). Rozumiem, że łączna liczba publikacji, wg FNP nie jest wartościową miarą, wiec w następnym kroku sprawdziłem jak liczba publikacji w roku przyznania stypendium „Start” ma się do późniejszego indeksu Hirscha. Znowu, widać wyraźnie pozytywną zależność, a model wyjaśnia dużą cześć zmienności (R2 = 0.63) (Tabela 2 i Rycina 2,w podanym linku). Warto zaznaczyć, ze zależność ta nie jest prostoliniowa (indeks h wydaje się nie przyrastać prostoliniowo wraz z liczbą publikacji). Na koniec sprawdziłem jeszcze czy otrzymanie stypendium „Start” stymuluje do pracy wszystkich jednakowo. Jeśli by tak było, to oczekujemy braku zależności miedzy liczbą publikacji do roku otrzymania Stypendium, a liczbą nowych publikacji, które ukażą się po otrzymaniu Stypendium. Niestety, zależność jest znowu pozytywna (Tabela 3 i Rycina 3, w podanym linku) i model wyjaśnia całkiem sporą część zmienności (R2 adj = 0.53). A zatem, jeśli dana osoba opublikowała dużo prac do roku, w którym otrzymała stypendium, to po otrzymaniu tej nagrody będzie publikowała jeszcze więcej, w porównaniu do osób, które miały mniej publikacji. Innymi słowy, stypendium ma większy efekt na produktywność bardziej produktywnych osób :).
Widać wyraźnie, że przyznawanie Stypendium osobom, które mają mało publikacji nie ma większego sensu. Najlepszą inwestycją jest natomiast nagradzanie osób produktywnych. Dlatego nie rozumiem, dlaczego Fundacja przyznaje stypendia osobom, które maja np. 2 publikacje listy filadelfijskiej, albo w ogóle takowych nie posiada. Oczywiście trzeba pamiętać, że należałoby zrobić podobną analizę dla wszystkich dziedzin, bo uwzględniłem tylko „działkę” biologiczno-ekologiczną i do niej należy się odnosić. Ale raczej trudno oczekiwać innych trendów.
Nie wiem, co o tym myśleć, ale wydaje mi się, że jedyna Instytucja, która zdawała się, że ocenia i przyznaje pieniądze w sposób obiektywny, stoczyła się w kłębowisko niejasnych wewnętrznych przepisów. Zresztą, w regulaminie tego konkursu jest więcej „fajnych fragmentów" - polecam poczytać.
Jest mi bardzo głupio, że jako były laureat tego stypendium muszę wytykać oczywiste dziwactwa, które determinują przyznawanie tego stypendium. Ale jeszcze bardziej głupio czuję sie, kiedy przychodzą do mnie magistranci czy doktoranci i pytają się co robić, żeby dostać takie stypendium. Dotychczas z uśmiechem na twarzy mówiłem „myśl, ostro pracuj i publikuj najlepiej jak sie da”. A co teraz mam powiedzieć? „Graj w totolotka?”. Najgorsze jest to, że kryteria przyznawania tego stypendium zniechęcają młodych ludzi, którzy nie rozumieją dlaczego ich koledzy „wyhaczają” stypendium, mimo, że posiadają słabszy dorobek i wcale nie w lepszych czasopismach. Juz kilka lat temu prof. Adam Łomnicki napisał bardzo fajny tekst o impact factorach i publikowaniu prac (Łomnicki 2003. How „impact factors” promote scientific excellence, Nature 424, 487). Kiedyś nie zgadzałem się z jego opinią... dzisiaj jestem przekonany o jej słuszności. Nawet więcej. Jestem za ślepym stosowaniem w ocenach ludzi nauki impact faktorow, indeksow H i liczby publikacji, bo w naszych warunkach są to jedyne obiektywne miary pracy naukowca.
Na koniec mam nadzieje, ze wszyscy laureaci "Starta" wybacza mi moje wątpliwości, gdyż wszystkim serdecznie gratuluje. Jak zawsze czepiam sie "systemu" - nie jednostek.
Pozdrawiam
Piotrek Skorka
