niedziela, 10 października 2010

Kwiatki grantowe

Czy mieliście czasem do czynienia z ciekawymi recenzjami waszych wniosków grantowych?

Bardzo ciekawe dwa komentarze miałem przy grantach które zostały ubite.

Jeden z moich ulubionych cytatów: "W sumie oceniam projekt jako słaby, bardzo drogi i co jest jego nieszczęściem bardzo odważny."

W innym grancie recenzent stwierdził, że nasz zespół zamierza po prostu wyjechać na wakacje do egzotycznego kraju.

Ubawić się można. W każdej recenzji, z których pochodzą powyższe cytaty nie znalazłem ani jednego sensownego zdania, które merytorycznie dyskwalifikowałoby projekt.

Pytanie moje brzmi, kto oceniał te projekty? Nie dowiem się nigdy bo nazwiska recenzentów nie są jawne. Natomiast jawnie brane są za to przez nich pieniądze. Ty zasuwasz kilka miesięcy szlifując projekt, a recenzent takich jak przytoczone powyżej przykłady skrobie kilka linijek tekstu i jest ok. Recenzje powinny dać wnioskującemu o finansowanie szansę na przemyślenie wniosku o ile posiadał on poważne błędy merytoryczne. A tak najczęściej się nie dzieje.

Jeżeli nazwiska recenzentów są utajone, to również oni powinni dostawać do opiniowania wnioski nie posiadające nazwisk autorów. Coś w stylu CAT (completely anonymous text) manuscript jak w niektórych poważniejszych czasopismach naukowych, gdzie recenzent nie sugeruje się między innymi nazwiskiem osób, które piszą pracę gdy ją ocenia.

Albo gramy fair i podpisujemy się pod recenzjami, albo... no właśnie co?

18 komentarzy:

  1. Sorka, zapomniałem się podpisać :)

    Michał Skierczyński

    P.S. Bardzo łatwo jest jednak uniknąć podpisu ;)

    OdpowiedzUsuń
  2. Z recenzjami projektow jest jak z recenzjami maszynopisow. Niedawno mielismy taki przypadek, gdzie w pierwszym journalu recenzenci napisali ze nasz maszynopis to "poor quality paper", a po wyslaniu do innego, o wcale nie mniejszym IF, bez poprawek, recenzenci pisali "very interesting and worth publishing". Life....
    Natomiast jesli recenzent projektu pisze, ze cos jest zbyt odwazne i przez to udupia projekt, to znaczy tylko ze zyje na zasciankach nauki i prawdopodobnie juz niczego w swoim wlasnym naukowym zyciu nie osiagnal/nie .
    Tu przypomina mi sie kolejna historia z zycia wzieta. W jednym z niedawnych artykulow polemicznych oponent napisal, ze nie jest przekonany ze zaobserwowane przez nas zjawisko ma miejsce, bo nie ma o tym opublikowanych prac polskich i zachodnich autorow. Dodam tylko, ze polemika dotyczla artykulu na lamach polskiego czasopisma, ktory byl zajawka naszych badan nad pewnym gatunkiem drzewa, ktory rozprzestrzenia sie w specyficzny sposob na polnaturalnych siedliskach w Polsce. Wnioski z tego moznaby wysnuc nastepujace: (1) Jesli badania sa nowatorskie to sa "be i fuu" bo nikt tego wczesniej nie opisal wiec nie ma potwierdzenia. Jednym slowem w cenie sa odgrzewane kotlety , (2) publikowanie w polskich czasopismach nie ma sensu, podobnie jak czesc publikowanych tam materialow.
    I konczac temat odwaznych projektow to moja impresja jest taka, ze wielka szansa na zmiane jakosci w Polskiej nauce, jaka byly projekty Team FNP zostala zmarnowana wlasnie w ten sposob, ze Fundacja, zamiast zaryzykowac w cos nowego zagrala bardzo zachowawczo. Wiekszosc "Teamow" dostaly osoby, ktore "teamy" juz posiadaly, wiec niewiele to prawdopodobnie zmienilo.
    A zaloze sie, ze w sytuacji naukowego "outsidera" jakim jest Polska, jedna z lepszych strategii byloby chyba podjecie jakis odwaznych tematow, ktore okazalyby sie, jak to zwykł mawiac PT "big shot'ami".
    Pozdrawiam
    Czasami sfrustrowany PSkorka

    OdpowiedzUsuń
  3. Co do FNP, kilka razy aplikowałem o stypendium konferencyjne, zawsze w sytuacji gdy miałem zaakceptowany talk i zawsze bez sukcesu. Były to konfy zawsze tzw. high top z mojej dziedziny. Gdy przeglądałam laureatów, to zastanawiać się zacząłem nad tym co tak naprawdę było kryterium przyznania tego finansowania, bo raczej nie były to wymagane przez FNP dokumenty, których nawiasem mówiąc jest za dużo do wypełnienia jak na ubieganie się o dofinansowanie wyjazdu konferencyjnego.

    Z newsów FNP i grantów TEAM, coś z Poznania:
    http://poznan.gazeta.pl/poznan/1,36001,8491693,Sa_granty_na_badania__Naukowcy_pilnie_poszukiwani.html

    Tak na boku, gdyby się przyjrzeć, to w FNP granty i stypendia z szeroko pojętej bilogii uzyskują głównie biochemicy, genetycy, mikrobiologia oraz tematy pokrewne medycynie. Czy w Polsce nie ma dobrych pomysłodawców z ekologii? Nie wydaje mi się, bo wielu znam. Więc o co chodzi?

    Pozdr,

    ms

    OdpowiedzUsuń
  4. Fajne są recenzje w stylu "abstrakt": recenzent pisze tekst: "Autorzy zamierzają badać ..." i przez pół strony streszcza Twój wniosek. Na koniec tylko wystawia ocenę bez żadnego komentarza. Mi taka "recenzja" uwaliła grant za pierwszym razem (dwie pozostałe były pozytywne), nie dając wskazówek do poprawy wniosku.

    Co do anonimowości, to w niektórych czasopismach recenzję redakcja wysyła autorom w pliku word, gdzie we właściwościach można zobaczyć na kogo zarejestrowany jest program MS Office, który utworzył, bądź zmodyfikował plik :). ja w ten sposób z ciekawości namierzyłem kilka razy recenzentów.

    pozdrawiam!
    paweł mirski

    OdpowiedzUsuń
  5. Recenzji w postaci MS Word nigdy nie dostałem. Może zagramy systemem w kumulacji Lotto (z rachunkiem prawdopodobieństwa walczymy na co dzień) i sami sobie ufundujemy granty?
    Tylko głupio byłoby kolegom projekty recenzować ;)

    Pozdr,

    MS

    OdpowiedzUsuń
  6. czolem,
    1. co do podpisywania recenzji - raczej trudno to byloby przeprowadzic.. i chyba wolalbym zeby zostalo tak jak jest. Powod:
    Nie ma co ukrywac, ze znamy recenzentow, a oni nas znaja.
    (to a propos, ze Michal pisze "ze glupio byloby kolego projekty recenzowac"..)
    Stad jakakolwiek krytyczna (czesto sluszna) uwaga w recenzji moglaby sie skonczyc dozgonna uraza, lub checia podobnej reakcji z naszej strony jesli tylko nadazylaby sie taka okazja..
    W ten sposob dobrzy, krytyczni recenzenci - tacy co staraja sie, zeby mozna bylo projekt poprawic na podstawie ich uwag - byloby dosc szybko towarzysko izolowani, a i recenzje ich projektow i prac moglyby byc nie zawsze fair.
    Moze przesadzam, ale wydaje sie to mozliwe.
    Mialem jakis czas taka rozmowe, gdzie jeden ze znajomych narzekal na recenznetow jego projektu, ze sie nie znaja, sa nieukami, nie maja pojecia o prowadzeniu badan w terenie i w temacie itd., a grant byl taki swietny.. A w glowie kolatalo mi sie, ze kurcze, robilem recenzje tego projektu.. Po jego wyjsciu szybko zajrzalem do odpowiedniego pliku i stwierdzilem ze ok, podtrzymalbym wszystkie zarzuty raz jeszcze. Notabene projekt przeszedl po poprawkach w kolejnym konkursie.

    2. Co do anominowosci skladajacych - tez chyba raczej niewykonalne. Oceniamy jest dorobek, liczba publikacji itd, stad za mozliwosc realizacji projektu (czy jakos tak) dostaje sie max 3 p na 10 mozliwych... Chyba, zeby zrobic jakies widelki - projekty anonimowe - to tylko dla grantow do pewnej niezbyt wysokiej sumy pieniedzy...

    3. Z fajnych kwiatkow w recenzjach to dawno, dawno temu w mialem napisane, ze recenzent "nie wierzy", ze cos takiego moze miec miejsce/ dziac sie w opisywany sposob.. Grant nie byl teologiczny:-)
    A w innym projekcie, tuz po denominacji zlotowki recenzent uznal, ze projekt bylby dobry, b. ciekawy i powinien byc finansowany, tylko kwota jest o rzad wielkosci zbyt wysoka i bla bla .. Niestety slabo operowal nowymi kwotami i wnioskowane bylo wlasnie o tyle kasy ile chcial dac...

    OdpowiedzUsuń
  7. Z tą anonimowością to fakt, oceniany jest dorobek i to na pewno stanowić może problem. Chociaż wydaje mi się, że i ten problem dałoby się rozwiązać. W sumie to nie wiem jak wygląda obiektywna ocena wniosków pod kątem dorobku wykonawców, bo np. ktoś przedstawia 10 publikacji z wysokim IF, a ktoś inny na 10 na tylko jedną, a pozostałe to jakieś Studia nad Florą Mazowsza i tym podobne. Następnie i pierwszy i drugi wniosek przechodzi, chociaż od razu widać gdzie wyniki zostaną solidnie opracowane. Nie jest to rzadkością w MNiSW. I co wy na to?

    MS

    OdpowiedzUsuń
  8. jak powinna wygladac ocena obiektywna dorobku - tego oczywiscie tez nie wiem, bo tu wchodza jeszcze np. prace we wspolautorstwie, ktore czasem trudno ocenic, gdy trzeba brac pod uwage tylko jedna osobe z calego zespolu autorskiego.

    Zetknalem sie z recenzjami, w ktorych recenzent przy tej ocenie mozliwosci realizacji projektu podawal liczbe publikacji, cytacji czy indeks h kierownika projektu i wykonawcow. A to juz moze o czyms swiadczyc i prace w Studiach nad flora Mazowsza albo czasopismie pod wielce znaczacym tytulem Polish Journal of Pathology (dawna Patologia Polska:-)(wg ktoregos komunikatu MNiSW, za dawne 5 p), moga nie wystarczyc.

    OdpowiedzUsuń
  9. no to ja dodam coś od siebie - recenzja, która uwaliła mi mój ostatni wniosek, bo pozostałe były wyższe (wklejam w całości):

    "Bardzo interesujący jest projekt badań gatunków wskaźnikowych i różnorodności fauny leśnej w oparciu o dotychczas zebrane oraz publikowane materiały. Nie określono jednak z jak długiego okresu materiały te będą pochodziły. Część danych może być już nieaktualna. Nie mniej założenia projektu są ambitne i oby dały spodziewane wyniki. Przewidziane koszty w żadnym razie nie są zawyżone. Projekt zasługuje na zatwierdzenie"

    i postawił 7, co znaczy, że na pewno odpadam, bo ponad 8 jest próg... Ściął mi punkty za poprawność metod i realną możliwość wykonania projektu. Jak dla mnie za 150 zł to się nie napracował, a ja również nie dostałem jasnych wytycznych co zmieniać w kolejnej wersji...
    pozdro
    żmihor

    OdpowiedzUsuń
  10. A co do oceny dorobku - uważam, że to powinno być jednym z głównych kryteriów przy rozdawaniu grantów, bo to jest jedyna w miarę pewna rzecz, którą wiemy. Co z tego, ze projekt jest świetny jeżeli jego wyniki będą kiszone w szufladach? Super projekty pisane przez ludzi, którzy w ciągu ostatnich 4 lat nie zrobili nic powinny być uwalane z automatu: najpierw popracuj a potem pogadamy o finansowaniu. Z drugiej strony nawet ryzykowny projekt, ze słabo doprecyzowanym warsztatem metodycznym ma duże szanse na wygenerowanie czegoś ciekawego, jeśli jego autor publikuje. Dorobek pokazuje, że można mu zaufać i na pewno "coś wyciśnie" z tych badań, niezależnie od jakości samego wniosku badawczego.
    Myślałem nawet kiedyś o prowokacyjnym grancie w stylu: dajcie mi 50 000 a ja zrobię z tego 5 papierów z 1-2 ćwiartki: po co będę tracił czas i pisał recenzentom co chcę robić, na późniejsze rozliczanie kosztów planowanych i poniesionych, uzasadnianie odstępstw od harmonogramu itp. ? W czasie, który poświęcam na pisanie grantu i te wszystkie duperele już bym jeden z tych papierów przygotował :o) Jak nie zrobię to oddaję kasę - taką mogę podpisać umowę. Uczciwe? Jak dla mnie tak.

    OdpowiedzUsuń
  11. To jest zawsze bolesne, w ostatnim konkursie dostałem oceny 9,9 i 7. Ta ostatnia boli w takim momencie i to bardzo. Life, jak to Piotr nazwał.

    Ja nawet myślałem o tym czy pewnego rodzaju limitowaniem osób startujących w konkursach nie byłoby pisanie projektów po angielsku, w tym recenzowanie ich przez min. jedna osobę z zagranicy (specjalistę w danej dziedzinie), ale przy jednoczesnym przesterowaniu pomysłów grantowych na naprawdę ciekawe sprawy. Nie na kolejne poznawanie flory w rezerwacie X, czy zależności w długości dzioba od jego koloru. Mam tu na myśli pytania i eksperymenty niebanalne w biologii. Można by zmniejszyć ilość przyznawanych wniosków a zwiększyć ich jakość, zarówno merytoryczną jak i finansową.
    Drażni mnie, to, że pojawia się stwierdzenie w recenzji - grant jest za drogi, czy autorzy nie mogą tego problemu rozwiązać w Polsce lub np. Białorusi - gdzie jest taniej niż np. w Niemczech? I wtedy zaczyna się cięcie wnioski dostosowanego do granic PL w bitwie np. o marne 150 tys. zł na 4 lata. Co to jest? Zapomoga naukowa?

    W takiej sytuacji ciągle będziemy iść wolniej niż inni.

    MS

    OdpowiedzUsuń
  12. Michał, jeśli ktoś florę w rezerwacie X jak piszesz umie opublikować w Oikosie czy J. Biogeogr to dajmy mu pieniądze, niech bada tę florę. Myślę, ze główne kryterium przyznawania grantów powinno się opierać o "fitness" kierownika: jeśli jest skuteczny (=publikuje) to dajmy mu kasę na to na co chce. Ważny jest efekt a każde sztuczne filtrowanie w stylu "dajemy na takie tematy a na inne nie" się nie sprawdzi.
    Co do odważnych wniosków: myślę, że w Polsce projekty są bardzo zachowawcze i nawet te najbardziej ambitne celują, powiedzmy, w dobre czasopisma, ale brakuje projektów celujących w Nature czy Science... Jak dla mnie brakuje nowego podejścia, karkołomnych i ryzykownych ale potencjalnie naprawdę posuwających naukę do przodu badań. I tutaj podpunkt "realna możliwość wykonania projektu" jest w pewnym sensie filtrem, bo odpadają pomysły o wyższym stopniu ryzyka, pomysły wchodzące na mniej stabilny i niezbadany grunt.
    pozdro
    żmihor

    OdpowiedzUsuń
  13. Ok, ok. Jednak nie wydaje mi się by ambitny i publikujący prof. czy dr zajmował się lokalna florystyką tak by dałoby się to dobrze sprzedać. No chyba, że się mylę. Chodzi mi o to by skondensować sensowne finansowanie i nie rozmieniać się na drobne. Inna sprawa, to dopisywanie do grantów "figurantów" co mają jedynie za zadanie poprawić ubytki dorobku kierownika projektu.

    Tak na marginesie to wolę ostatnio czytać prace ukazujące się w Science niż w Nature ;)

    ms

    OdpowiedzUsuń
  14. co do problemu "lokalnej flory" to wiem o co Ci chodzi ale taki materiał może stanowić bazę dla ciekawych i wysoko publikowalnych analiz makroekologicznych, wyznaczaniu gatunków wskaźnikowych czy innych. Dlatego bardzo bym się bał cenzury merytorycznej, bo fajne prace można wyczarować ze wszystkiego.

    dopisywanie jest faktycznie wkurzające, tu recenzenci powinni być czujni i skupić się jednak na ocenie kierownika niż profesora, który deklaruje 5% udziału w projekcie...

    OdpowiedzUsuń
  15. Witam,
    1. Co do podpisywania recenzji - uważam, ze w idealnym świecie powinny one być podpisywane. Niestety w naszej dalekiej od doskonałości rzeczywistości skutki mogłyby być takie, jak to napisał ktoś powyżej - pielęgnowanie uraz, negatywne recenzje "odwetowe" itp. Zresztą spójrzmy, jak to działa w sytuacji, kiedy recenzenci są znani - przykład: recenzowanie prac doktorskich - nawet jeśli rozprawa zasługuje na krytykę, mało kogo stać na to, żeby obiektywnie i krytycznie ocenić pracę doktoranta kolegi/znajomego; znacznie częściej wystawia laurkę i po sprawie.
    2. Co do kwiatków grantowych, przypomniała mi się sytuacja sprzed lat, kiedy złożyliśmy z kolegą granty w jednym konkursie. Ogólna tematyka była może i dość podobna (dynamika populacji vs. produkcja pierwotna); inne natomiast ujęcie, metody i badane gatunki. Po pół roku dostaję recenzję adresowaną do mnie, w tyle, że tekst odnosi się do projektu kolegi, a ocena dorobku i doświadczenia znowuż do mnie i moich współwykonawców. Właściwie był to przedziwny mix elementów jednego i drugiego projektu. U kolegi sytuacja analogiczna, przy czym u niego recenzent był uprzejmy postawić notę kwalifikującą do finansowania, a u mnie uwalił. Pytanie nr 1) czy recenzent był trzeźwy i świadom tego, co czyta, pytanie nr 2) kogo lub co właściwie oceniał i czym się kierował?

    pozdrawiam

    Krysia Stachura

    OdpowiedzUsuń
  16. To co piszesz Krysia pokazuje, że recenzenci opłacani z pieniędzy państwowych, są zbyt słabo rozliczani ze swojej pracy. Kilka innych przykładów było już wcześniej a dwuzdaniowe recenzje streszczające projekt (czyli totalnie nieprzydatne dla autora) są niestety powszechne. Z tego co wiem recenzent dostaje 150 zł od grantu, więc uważam, że powinien napisać coś konkretnego.

    A co do jawności recenzji - ja bym jednak nie chciał pisać recenzji starszemu koledze, jeśli musiałbym się pod nią podpisać... Wrażliwość w naszym środowisku jest bardzo wysoka a recenzje często balansują na granicy subiektywno-merytorycznej.
    pozdr
    michał żmihorski

    OdpowiedzUsuń
  17. zmihorski pisze...

    Z tego co wiem recenzent dostaje 150 zł od grantu, więc uważam, że powinien napisać coś konkretnego.

    Hm. Żeby napisac porządną uczciwą recenzję, wypadałoby dokładnie przeczytać projekt (co najmniej godzina), pewnie odświeżyć sobie kilka pozycji z literatury (kolejna godzina-dwie), napisać sensowny, przemyślany tekst i jeszcze zastanowić sie nad kosztorysem i harmonogramem, czy jest wykonalny i czy koszty nie wziete z kosmosu. W sumie może przesadzam, ale wg mnie powinno być to kilka godzin pracy i powiem szczerze, w sytuacji kiedy chodzi o robotę ekstra po godzinach, mnie by się za 150 zł nie chciało :P Może więc recenzenci powinni być lepiej opłacani, a za to staranniej dobierani i kontrolowani? Np. dużo zarzutów pod adresem jakiego recenzenta (jego nazwisko nie musiałoby byc ujawniane, mogłoby byc kodowane i rozkodowywane przez system) = temu panu już dziękujemy.

    OdpowiedzUsuń
  18. 150 zł - może to mało a może dużo, to w sumie mniej nieistotne, bo recenzent podpisując umowę wie ile dostanie i za te pieniądze zobowiązuje się rzetelnie wykonać swoją robotę. Jak to dla kogoś za mało to po co się deklarować? Więc argument finansowy jest średnim usprawiedliwieniem.
    pozdr
    michał żmihorski

    OdpowiedzUsuń