sobota, 26 listopada 2011

Recenzje grantów...

Robię nowy temat, bo zakładam, że opinii o recenzjach może być więcej.

Ja sam składałem jako chyba piąty wykonawca jeden projekt i jedna recenzja jest ok, druga natomiast jest kiepska, w tym sensie, że bardzo słaba merytorycznie. Czytając ją nie rozumiem co autor miał na myśli, wiele jest w niej stwierdzeń bardzo trudnych do rozszyfrowania... Pierwsza recenzja jest na dobrym poziomie i myślę, że jest w wielu miejscach pomocna.

No i wrócę do kwestii techniczno-organizacyjnych:
* myślę, że nie ma sensu cenzurować recenzji i szkoda czasu ludzi z NCNu na zlepianie z dwóch-trzech recenzji jednego spójnego sygnału dla autorów. Niespójność recenzji też jest informacją dla autora, że jego wniosek jest niezrozumiały i nieprecyzyjny. Poza tym, to podsumowanie NCNu jest duplikowaniem recenzji z tego co widzę na przykładzie naszego projektu, więc myślę, że można z niego zrezygnować.
* recenzowanie jest dwustopniowe i z tego co rozumiem część wniosków nie przechodzi do etapu recenzji pisemnych wykonywanych przez zewnętrznych recenzentów. Myślę, że to powinno być jasno sygnalizowane autorom, w miarę możliwości już wcześniej (po co kazać autorowi czekać do końca listopada na recenzje wniosku, który w lipcu został odrzucony przez panel i recenzji nie ma?)

 ale generalnie pierwszy konkurs oceniony, ludzie z NCNu wykonali kawał roboty

michał żmihorski

18 komentarzy:

  1. Jednego nie rozumiem. Dlaczego nie ma recenzji grantów, które otrzymały finansowanie? Przecież to też są ważne informacje na przyszłość.

    OdpowiedzUsuń
  2. Zgadzam się, czekam na nie od miesiąca. I nie doczekałem się. Mimo otrzymania grantu ciekaw jestem komentarzy do projektu, wrażeń recenzentów. W tej kwestii dezycja NCN nie publikowania ocen grantów, które są finansowane, bardzo mnie rozczarowała. Ciekawe, czy to tylko teraz czy już zawsze.

    OdpowiedzUsuń
  3. PAUza - Tygodnik Polskiej Akademii Umiejętności;

    Andrzej Jajszczyk: Uzasadnienia decyzji w konkursach Narodowego Centrum Nauki - orzech niełatwy do zgryzienia

    http://pauza.krakow.pl/143_6&7_2011.pdf

    OdpowiedzUsuń
  4. Witam,

    Wlasnie dostalem printscreen "recenzji" grantu skladanego na konkurs dla tzw. nieposiadajacych stopnia...

    Wypowiedzial sie tylko jeden z ekspertow, miejsca pod drugim z ekspertow sa puste.
    Przytaczam w calosci za zgoda kierownika projektu (bez nr. panelu):

    "Mocne strony wniosku:
    Interesujace zagadnienie

    Slabe strony wniosku
    Brak pelnego zaplecza technicznego

    Konflikt interesow. Projekt nie moze byc rozpatrywany przez czlonkow panelu XXX".

    Mimo, to sa wpisane punkty w odpowiednie rubryki.

    Szczerze piszac niewiele z tego rozumiem.
    Oceny dwustopniowe sa prawdopodobnie dobrym wyjsciem, ale jak pisal Michal a i chyba we wczesniejszej dyskusji bylo to podnoszone - informacja ze wniosek nie jest dopuszczony do drugiego etapu powinnna byc ogloszona znacznie wczesniej - obecnie czekalismy b. dlugo, zeby otrzymac 3 zdania, z ktorych nie wynika dla nas doslownie nic.
    No i szczegolnie projekty odrzucone na tym etapie powinny dostac jakies troche lepsze uzasadnienie, pozwalajace na ewentualne poprawianie wniosku.
    Wiem, ze to jest duzo roboty dla czlonkow panelu. Ale ma to pomoc, szczegolnie nmlodym osobom w zastanowieniu sie nad dalszymi zmianami..
    Chyba, ze chodzi o jasny sygnal - projekt do bani, nie warto go skladac ponownie, nawet po poprawie.
    Tyle, ze wtedy chcialbym zobaczyc czy w ten sposob mysli wiecej osob niz tylko jeden recenznet, ktory zreszta pisze - "interesujace zaganienie" ...
    Poza tym zupelnie niezrozumiala jest dla nas informacja o konflikcie interesow. Jesli panel nie powinien rozpatrywac dnego projektu to chyba powinien przeslac projekt do innego panelu pokrewnego tematycznie? Poza tym skad mamy wiedziec czy dany projekt bedzie powodowal konflikt interesow?

    Jestem ciekaw, czy wszystkie oceny projektow odrzuconych na pierwszym etapie wygladaly tak zdawkowo? Moze ktos z czytelnikow moglby zaspokoic moja ciekawosc?

    A wracajac do braku ocen projektow przyznanych - to jest bardzo dziwne. Te oceny sa szczegolnie wazne. Recenzneci zwykle znajda cos niewlasciwego, niedopracowanego itd. I ta informacja pozwolilaby te bledy (nawet bardzo drobne/szczegolowe) wyeliminowac podczas realizacji projektu, gdyż moze sie zdazyc, ze tego samego bedzie sie potem czepial recenznet pracy zlozonej do czasopisma. Tu sie udalo, ale tam - niekoniecznie.
    Tak wiec przede wszytskim w interesie NCN, ktory w umowie wymaga od kierownika opublikowania prac w miedzynarodowych czasopismach jest udostepnienie kierownikowi tych recenzji. jesli recenzje sa zrobione, zapacone i dostepne elektornicznie - nie powinno byc to problemem. A ze recenzenci moga sie roznic w swoich zdaniach - to przygotuje to kierownika ze i przyszly maszynopis moze byc oceniony podobnie...

    Oczywiscie - to byl pierwszy konkurs, wszystko sie musi dotrzec. Warto jednak podnosic te problemy, ktore dostrzeglismy, zeby udalo sie je wyeliminowac w przyszlosci...

    z podrowieniami

    OdpowiedzUsuń
  5. Witam,
    Problem z recenzjami jest taki, ze nawet gdyby recenzent chciał poprawić wniosek bardziej szczegółowo, to nie ma na to szans z bardzo prostego powodu. Na uzasadnienie każdej oceny ma bardzo ograniczoną liczbe słów i system po prostu nie przełknie bardziej szczegółowej recenzji. Jednym słowem recenzenci muszą się streszczac, i to bardzo. Moim zdaniem szkoda, że cały system nie pozawala na załączanie do recenzji on-line załączników (np. bardziej szczegółowych poprawek, które mogłyby zostać wzięte po uwage przez autorow.
    Jako recenzent nie rozumiem także, dlaczego autorzy nie otzymują całosci recenzji wraz z uzasadnieniem.
    Zły recenzent

    OdpowiedzUsuń
  6. Bardzo bym się ucieszył gdyby NCN opublikował rozkład ocen (sumaryczna liczba punktów) + informację jaka liczba była wartością progową dla wniosków, które zostały finansowane. Może gdzieś są takie statytstyki? KH

    OdpowiedzUsuń
  7. Artykuł dyrektora NCN o tym, jak oceniali: http://pauza.krakow.pl/143_6&7_2011.pdf

    OdpowiedzUsuń
  8. Och, przepraszam, przeoczyłam, że ktoś już to linkował.

    OdpowiedzUsuń
  9. Po zapoznaniu się z kilkoma recenzjami grantów od znajomych, którzy składali wydaje się, że jest trochę kłopotów organizacyjno-technicznych. na szybko kilka pomysłów jak z nimi walczyć:

    * nie ma sensu górna granica ilości znaków w poszczególnych podrozdziałach recenzji - jak recenzent chce szczegółowo opisać problem i zaproponować autorom rozwiązanie, zasugerować literaturę itp., to nie ma na to niestety szans w obecnej sytuacji. To można łatwo zmienić likwidując (lub podnosząc) górną granicę dopuszczalnej liczby znaków,
    * brakuje jasnego komunikatu, czy grant odpadł na pierwszym etapie, czy po recenzjach. Warto to jasno zaznaczyć, by autor nie miał wątpliwości
    * jak dla mnie podsumowanie przez panel dwóch recenzji nie ma większego sensu i - poza wyjątkowymi sytuacjami - mogłoby się bez tego obyć, szczególnie, że to zabiera na pewno dużo czasu,
    * mi brakuje bardzo listy wniosków składanych, myślę, że nie ma co z tego robić tajemnicy i taka lista powinna być ogólnodostępna,
    * warto przesłać recenzje autorom, którzy granty otrzymali, bo to przecież są opłacone opinie ekspertów, które bardzo się przydadzą na etapie realizacji projektu.

    michał żmihorski

    OdpowiedzUsuń
  10. A ja jeszcze dodalbym koniecznosc napisania recenzji (chocby krotkiej) dla projektow, ktore zostaly odrzucone w pierwszej rundzie. Niestety, podsumowanie oceny wystawionej przez czlonkow panelu jest pozbawione najwazniejszej informacji - co jest zle i co poprawic. Podaje przyklad:

    MOCNE STRONY WNIOSKU:
    Wniosek bardzo dobrze przygotowany merytorycznie, dobrze opisana metodyka. Podjęta tematyka badań jest interesująca [...tu nastepuje informacja mogaca zidentyfikowac wniosek...].

    SŁABE STRONY WNIOSKU:
    Projekt nowatorski w skali krajowej. Zastrzeżenia do kosztorysu. Niepełne zaplecze badawcze.

    No i projekt odpadl na pierwszym sicie. Niestety, na podstawie tej oceny nie jestem z stanie stwierdzic co jest zle i co poprawic. I czy w ogole poprawiac.
    Tak wiec Drogi NCNie, jesli czytasz te wpisy, to wez pod uwage, ze osoby skaldajace wnioski LICZA na wskazowki od recenzentow.

    A co do recenzji grantow zakwalifikowanych. Beda. Wlasnie zadzwonilem do koordynatora i powiedzial mi, ze priorytet mialy recenzje negatywne. Reszta bedzie dostepna w systemie w ciagu miesiaca.

    To tyle,
    michal

    I P.S. Uwazam, ze to, co zrobil NCN jest SUKCESEM i gratuluje.

    OdpowiedzUsuń
  11. Przeczytałam właśnie recenzje. Szczególnie interesująca jest dla mnie ta obcojęzyczna - cytuje w całości:

    mocne (MOCNE) strony wniosku:
    Ekspert 2
    Not very interesting

    Rozumiałabym, gdyby napisał "wniosek nie posiada mocnych stron", ale napisanie, że mocną stroną jest to, że nie jest zbyt interesujący jest dla mnie nieporozumieniem.

    słabe strony wniosku:
    Ekspert 2
    It´s a simple species list application without deeper theoretical foundation. Obviously the major aim is to buy a new microscope.

    No i dla kupienia sobie nowego mikroskopu planuję 3 letnie badania wymagające w sumie prawie 200 wizyt w terenie. Eh....
    Ja nie chcę, żeby z moich podatków opłacani byli tacy recenzenci - jasnowidze i wróżbici odczytujący intencje wnioskodawców. O!

    OdpowiedzUsuń
  12. Mnie od lat w recenzjach zniesmacza to, że wypisuje się w nich po prostu nieprawdę, nietrafione zarzuty. Na przykład ktoś napisał, że autorzy projektu nie wykazali do tej pory, że znają program X. Można by rzec, że imponująco dokładne wgłębienie się w dorobek autorów, gdyby nie to, że właśnie dwóch autorów w ostatnich latach stosowało w swoich publikacjach program X, a jeden z nich nawet brał udział w kursie nauki wykorzystywania tegoż... Coś takiego bardzo razi, gdyż sprawa jest zbyt poważna, by wypisywać kłamstwa. No, nie uchodzi po prostu...

    Z ciekawostek to może jeszcze taka, że czasopisma, w które celowaliśmy, tj. np. J.Appl.Ecol., Agric. Ecos. Envir, zostały uznane jako nie czołowe, co nie omieszkano skrytykować. Hmm. Oba mają 32 pkt. Ale recenzent ma wyraźnie swoją klasyfikację pism. Drażnią też domysły, które snują czasem recenzenci, identyfikując różne jakoby "ukryte" intencje albo okoliczności. A w przedostatnim rozdaniu to i miałem taki kwiatek, że jeden z recenzentów napisał w ocenie metodyki, że rzadko się zdarza, by była ona napisana tak dokładnie, a drugi dał ... zero, nie pisząc ani słowa uzasadniania, dlaczego. Tego typu sytuacje niestety podważają zaufanie do systemu, którego istotę w pełni popieram (i sam już z tego źródła korzystałem ;-).

    Mam jeszcze komentarz ogólniejszy. Moim zdaniem przykładanie tak wielkiej wagi do dorobku zespołu jest niedobre. Jeśli projekt jest perfekcyjnie napisany i widać z niego dokładnie po co i jak będzie wykonany, to co za różnica, czy podpisuje się pod nim prof z H>20, czy mgr lub dr z H=2 (to tylko przykład wartości). Taka zasada prowokuje do racjonalnego w tym systemie zachowania (jak gramy, to gramy) zatrudniania dla celów reprezentacyjnych silnych naukowców, do kombinowania po prostu. Taki system petryfikuje też układ, bo odbiera osobom ze średnim stażem i średniawym dorobkiem (np. kobietom po długich urlopach macierzyńskich!!, ale nie tylko) ale mającym jeszcze duże chęci, możliwości realizowania autorskich pomysłów. Udział oceny dorobku jest tak duży, że zdaje się, że nawet maksy za pozostałe części wniosku nie dadzą finansowania. Nie rozumiem, czemu nie liczy się tylko pomysł i metoda jego realizacji. Po kiego grzyba jeszcze ocena autorów? I ostatnia sprawa. Posługiwanie się indeksami w etykietowaniu naukowców jest łatwizną umysłową, ale rozumiem że nic lepszego nie ma. OK, niech to działa, ale trzeba dać ludziom czas. Presja na publikowanie z IF jest tak duża od niedawna. Wiadomo, że zmiana swojego indeksu H nie jest szybka. Dlatego uważam, że formułowanie ocen opartych na indeksie H czy innych tego typu pomysłach, powinno być poparte jasno określonym okresem "karencji", np. 3-5 lat. A potem już bez litości :-) Ale jednak - po okresie rozruchu, a nie z dnia na dzień. Można by jeszcze w takim razie poprosić NCN, by określiło, od jakiego H jest w ogóle sens się o grant ubiegać.

    OdpowiedzUsuń
  13. Ahoj,
    Mysle, ze wskazanym byłoby, aby NCN co jakis czas werfyfikował swoich recenzentow, i identyfikował takich, ktorzy mają tendencje do pisania ocen bez uzasadnienia, zawierania złosliwosci lub tworzenia różnych domyslen (jak przytoczone powyżej). Chyba nie ma nic bardziej frustującego dla autora projektu/publikacji jesli recenzent po prostu się myli, a jeszcze bardziej bolesne jest to, kiedy takie niefortunne recenzje decydują o przyznawaniu pieniędzy i grantów. Skoro chcemy reformowac polską naukę, to nie można tworzyć parcia tylko na autorów projektow, ale przede wszystkim wyszukać najlepszych możliwych recenzentow. Osoby takie powinny być jak najlepiej wyselekcjonowane, bo de facto, to one decydują o tym jakie badania bede prowadzone. Zreszta, posiadanie dobrych recenzentow to takze chyba klucz do sukcesu czasopism naukowych. Dlatego, wszystkie przypadki ewidentnie niefachowych recenzji powinny zwrocic uwagę w NCN a takim gogusiom podziekowac za dalesze recenzje, albo takich recenzji nie brac pod uwagę.
    Mnie osobiscie najbardziej irytuje, to że recenzenci często nie potrafią wykazać się odrobiną ogłady przy kierowaniu krytyki do autorow. Przecież można w sposób neutralny, ale i fachowy powiedzieć, że wniosek się nie spodobał. Nie bedę przytaczał swoich doswiadczen z recenzentami wnioskow typu szukania dziury w całym
    (np. "autor ma zbyt różnorodną temtykę publikacji"), bo byłoby tego za dużo, i po się denerwowac ;)

    Pozdrawiam
    Zły recenzent

    OdpowiedzUsuń
  14. czyli jak rozumiem "not very interesting" to jest ta nowa jakość wynikająca z zagranicznych recenzji ???

    powiem, że jak na razie nie wygląda to wszystko dobrze...

    A co do braku zasadności używania indexu H w ocenie wniosku to uważam akurat dokładnie odwrotnie - dorobek to jest jedyny fakt w całym grancie, reszta to plany i obiecanki...

    OdpowiedzUsuń
  15. Dokładnie, dobór recenzentów jest absolutnie kluczowy. Przecież za to przytaczane "not very interesting" ktoś wziął konkretne pieniądze... Mam nadzieję, że NCN skutecznie odsieje kiepskich recenzentów

    OdpowiedzUsuń
  16. Wysłałąm do NCN-u informację o moim rozczarowaniu poziomem tej recenzji. Uważam, że konieczne jest reagowanie w takich wypadkach.
    Poprawiam wniosek i składam ponownie z nadzieją na rzetelniejsze recenzje.

    OdpowiedzUsuń
  17. Narodowe Centrum Niedorozwoju.

    OdpowiedzUsuń
    Odpowiedzi
    1. mocny tekst i, delikatnie mówiąc, cienki merytorycznie... Może coś konkretnego? Może bardziej merytorycznie?

      Usuń