wtorek, 2 kwietnia 2013

Iuventus III - komentarz prof. Radwana

Ponieważ zauważyłem, że wyniki ostatniego konkursu Juventus Plus wzbudziły wśród czytelników blogu Ecology i Evolution sporo emocji, jako członek zespołu oceniającego wnioski z dziedziny nauk przyrodniczych w ramach tego programu postanowiłam podzielić się kilkoma refleksjami.  Zespól ten został powołany i rozpoczął prace wraz z drugim konkursem.  Ja uczestniczyłem tylko w pracach ubiegłorocznego, 2-giego konkursu, natomiast w tym roku odmówiłem udziału, ponieważ w konkursie brały udział osoby z mojego zespołu (nawiasem mówiąc, MNiSW nie przewidziało na tę okoliczność żadnych procedur, była to wyłącznie moja osobista decyzja).


Dostaliśmy do oceny wnioski, w których artykuły opublikowane przez wnioskodawców miały przypisane impact factors zweryfikowane przez pracowników MNiSW. Naszym zadaniem było ustalenie zasad punktacji w oparciu o te impakty. W ramach zespołu nauk przyrodniczych uznaliśmy, że będziemy dostosowywać liczbę przyznawanych punktów do dziedziny, czyli na przykład ten sam impakt dawał mniej punktów w biologii molekularnej niż w ekologii. Postanowiliśmy też nieco wyżej oceniać ten sam łączny impakt, jeżeli wnioskodawca był głównym autorem artykułu w prestiżowym czasopiśmie, niż gdy opublikował kilka artykułów w mniej znaczących czasopismach. Weryfikowaliśmy też warunek głównego autorstwa.  Za głównego autora uznawaliśmy pierwszego autora (także w przypadku łączonego pierwszego autorstwa), a także autora korespondencyjnego.  Oceny były uzgadniane w czasie wnikliwej dyskusji wspólnie przez wszystkich członków zespołu. 


W kolejnej fazie oceny każdy ekspert oceniał projekt, w razie potrzeby konsultując wątpliwości z  kolegami z zespołu. (Oczywiście nikt nie oceniał projektów z własnej  instytucji.)Następnie wszystkie wnioski zostały omówione, osoba oceniające podsumowywała mocne i słabe strony wniosku, i po dyskusji zespół przyznawał punkty za tę część. Na koniec posiedzenia zespoły tworzyły wspólną listę rankingową. Podobnie było w tym roku i trudno mi zrozumieć, dlaczego ogłoszenie wyników nastąpiło dopiero dwa miesiące po sporządzeniu rankingu. 


Ocena punktowa impaktowych publikacji, których wnioskodawca był głównym autorem nie budziła większych kontrowersji, natomiast wielu z nas było zdania, że wąskie grono ekspertów nie jest w stanie w krótkim czasie ocenić wystarczająco wnikliwie projektów, które opiewają na kwoty porównywalne z dobrymi grantami NCN.  Dlatego proponowaliśmy, aby projekty poddano recenzji, jednak ten postulat nie został przez MNiSW spełniony.  NCN na specjalistyczne recenzje wniosków przez dwóch recenzentów wydaje 700 zł. Gdyby MNiSW zamówiło od razu recenzje dla wszystkich wniosków, wydałoby ok. 455 tys. zł, czyli mniej więcej tyle, co koszt dwóch projektów sfinansowanych w ramach programu.  Ja uważam, że byłoby warto, zwłaszcza że można by wzorem NCN zamówić recenzje tylko dla części projektów, np. dla tych, których autorzy zgromadzili najlepszy dorobek. Usłyszeliśmy argument, że recenzje spowolniłyby cały proces. Jednak  doświadczenia z ostatniego konkursu wskazują, że wąskie gardło procesu znajduje się gdzie indziej.


Reasumując, proces oceny projektów nie jest optymalny, podobnie jak sprawność administrowania programem, co skłania niektórych członków zespołu oceniającego do zadumy nad sensem dalszej w nim pracy. Natomiast nie ulega dla mnie najmniejszej wątpliwości, że członkowie zespołu oceniającego zrobili wszystko, aby proces oceny był jak najbardziej rzeczowy i obiektywny. Oczywiście zawsze mogą zdarzyć się błędy. Jeżeli ktoś otrzymał zdecydowanie zaniżoną liczbę punktów za dorobek, może zwrócić się do odpowiednich pracowników MNiSW z prośbą o zweryfikowanie, czy nie zaszła pomyłka. Jeżeli chodzi o ocenę projektu, z powodu wyżej wymienionych ograniczeń nie można niestety liczyć na szczegółową recenzję. Mimo tej i innych wad programu jestem przekonany, że wśród laureatów ubiegłorocznego konkursu znaleźli się wszyscy ci, którzy mogli się pochwalić naprawdę znaczącymi osiągnięciami. Także dlatego, że jeżeli chodzi o finansowanie młodych badaczy, jesteśmy moim zdaniem wciąż w sytuacji niedoboru wybitnych kandydatów.

Jacek Radwan

10 komentarzy:

  1. Szanowny Panie Profesorze,

    Dziękuję za rzeczowy i optymistyczny, jak na ten blog, komentarz. Pewnie wiele osób odetchnęło z ulgą, widząc, że ocena wniosków w IP nie była aż tak przypadkowa, a nad wszystkim pieczę miały osoby o nienagannej moralności.
    Jednakże, sam Pan przyznał, i my już wielokrotnie dyskutowaliśmy na niniejszym blogu, iż problem z grantami w MNiSW istnieje. Czy to problem systemowy czy tylko nieszczęśliwe zrządzenie losu, iż wiele dobrych osób grantu nie otrzymało, tego nadal nie wiem.
    Przyjęty w zeszłorocznym konkursie IP system oceny "impakt faktorów" wg dziedzin się jakoś sprawdził. Jednakże, odnoszę nieodparte wrażenie, iż w tegorocznym konkursie zaniechano tej metody. "Wspierajamy najlepszych, aby mogli stać się jeszcze lepsi" to słuszna dewiza.
    Jednak jak ocenić bezbłędnie tę "lepszość" i "najlepszość"? Ustawiając wszystkich w jednym rankingu a pozycję mierząc tą samą miarką?
    Czy zatem nie powinniśmy, jako środowisko naukowe, apelować do MNiSW o zmianę systemu oceny grantów z tak różnych dziedzin?

    Z poważaniem,
    Lidia Trocha

    OdpowiedzUsuń
    Odpowiedzi
    1. A to nie trochę obciach pisać o moralności w nauce jak się samemu ma a uszami ? Patrz Acta Biochimica Polonica 54, 797-803 i odpowiedź tamże w 55, 349-355.

      Usuń
    2. Czyżby jakieś kolejne "polskie piekiełko"?

      Usuń
  2. Pewnie wiele osób jest w szoku widząc jak wiele może zdziałać określenie "nieco wyżej"...

    OdpowiedzUsuń
  3. i tak trzymać, czas na jakość:)

    OdpowiedzUsuń
  4. Zgoda co do tego, że czas na jakość - salami science chyba nie jest niczym dobrym. Ale kwestia przejrzystości zasad rozdawania środków na naukę jest tu osobnym problemem, niezależnie czy będziemy wspierać w nauce strategię r czy K. Przykład: ja zostałem poinformowany przez panie w MNiSW, i puściłem taką informację na bloga, że "tylko prace z pierwszym autorstwem będą zaliczane", tymczasem prof. Radwan pisze, że również korespondencyjni byli tu zaliczani. Jak się czują ludzie, którzy mieli takie prace gdzie byli ostatnimi korespondencyjnymi i nie zgłosili tych prac do konkursu? Odpowiadam: czują się oszukani...

    OdpowiedzUsuń
    Odpowiedzi
    1. Proszę zauważyć że profesor Radwan pisze o drugiej edycji konkursu, nie zaś o obecnej, w której najwyraźniej sposób oceny uległ zmianie (choćby brak podziału na dziedziny i zapewne wspólny sposób liczenia impact factor dla wszystkich). Ja przygotowując wniosek zadzwoniłem do MNiSW z pytaniem co rozumieć przez 'głównego autora'. Nie dostałem dostateczie jasnej odpowiedzi (pierwszy autor, ale to zależy od dziedziny), więc podałem wszystkie publikacje których jestem współautorem, zakładając, że Panie same dokonają odpowiedniej korekty.

      Usuń
    2. tak to prawda - słuszna uwaga. Czyli w sumie nie wiemy czy w tej edycji (III) autorzy korespondencyjni byli uwzględniani...

      Usuń
  5. Dziękuje, że Pan prof. Radwan zabrał głos. Mamy więcej informacji (oraz dochodzi efekt odzewu, czyli ktoś czyta o czym tu rozmawiamy). Jednak pozostaje kilka pytań (zwłaszcza, że prof. Radwan jak rozumiem nie brał udziału w ocenianiu tegorocznej, 3 edycji IP).
    Odpowiedzi na te pytania dobrze by było uzyskać od ministerstwa lub/i od osób, które były członkami komisji oceniającej w IP3. (czyli należy je wymusić;).
    Jak pisałem wcześniej (inne wątki o IP3) chciałbym (powinniśmy) zobaczyć punkty wszystkich osób/projektów które zostały złożone do konkursu (i przeszły ocenę formalną). Dobrze by było (chciałbym) aby na stronach ministerstwa opublikowana została tabela z następującymi informacjami:
    1.numer projektu (nie musi być nazwisk i tytułów projektów)
    2. IF ocenianych publikacji, rozpisany na poszczególne publikacje (tzn. jeśli ktoś miał 3 publikacje po 3, 4 i 5 IF, powinno być rozpisane 3+4+5)
    3. ilość punktów z IF
    4. ilość punktów za projekt
    5. suma punktów
    6. jeśli w tegorocznym IP był podział na dziedziny to tabela powinna to zawierać (tak jak tabela z wynikami z ubiegłorocznego IP).

    Wydaje mi się, że stworzenie takiej tabeli nie powinno być problemem dla urzędników ministerstwa, skoro te same informacje podaja telefonicznie.

    Dodatkowo dobrze by było aby podano skład komisji oceniającej, z podziałem na dziedziny, z tegorocznej edycji. Oraz to jak były przyznawane punkty za IF (algorytm). Oceniania projektów można się domyślać.
    Tutaj prośba do wszystkich zainteresowanych czyli do uczestników konkursu, ale także do osób z komisji oceniającej aby wywrzeć nacisk na ministerstwo aby opublikowały te dane (gdybym był członkiem komisji zależało by mi na tym aby konkurs w którym oceniałem był przejrzysty – tak wiem na stronę organizacyjną komisja oceniająca nie ma wpływu). Myślę, że też ministerstwu powinno zależeć na przejrzystości.
    Tu nie chodzi już o tegoroczny konkurs. Chodzi o wypracowanie dobrych zasad organizacyjnych na przyszłość, propagowanie uczciwości i transparentności przy rozdziale pieniędzy publicznych.
    pozdrawiam
    adam dobrowolski
    PS. Otrzymałem finansowanie w tegorocznym konkursie, ale zależy mi na uczciwości w przyszłości bo o nie jeden jeszcze mam nadzieje się starać.

    OdpowiedzUsuń
  6. Mnie osobiście najbardziej rozbawił komentarz do części merytorycznej wniosku:
    "30% udział kierownika w realizacji projektu nie zapewni jego wiodącej roli (założeniem programu "IP" jest wsparcie badań prowadzonych przez młodych naukowców)."
    Do wczoraj nie byłam pewna, czym jest ten tajemniczy "udział" w realizacji grantu (jekigokolwiek) i przeważnie podawałam tę liczbę na oko. No tak, ale mnie oświecono.
    Tylko, że jak wpiszę 75 %, to tyle czasu poza moim 8-h/dobę trybem pracy będę musiała spędzać na realizacji tegoż projektu. Wydaje mi się to zupełnie absurdalne, bo jak to sprawdzić?! U nas jest lista obecności, ale i tak, jak można poprzez audyt dociec, ile ktoś po godzinach pracował nad danym projektem??? Jeśli MNiSW szuka haków na pracowników, aby mieć powód (czyt. pretekst) do zmniejszania wypłat z działalności statutowej (bo wg definicji w pracy przez 8h/dobę mamy tylko tym się zajmować), to gratuluję pomysłu!

    Lidka

    PS> Michał, jestem zszokowana Twoją punktacją za IF. MNiSW takich błędów popełnia ostatnio coraz więcej...

    OdpowiedzUsuń