piątek, 7 stycznia 2011

Recenzje grantów...

No to po pobieżnym przeczytaniu komentarzy o wynikach grantów mam coś do dodania od siebie.  Ta recenzja, ktora przytaczam w CALOSCI (!), usuwajac jedno nazwisko, odebrała nam mozliwosc finansowania badan przez najblizsze 3 lata.  Zastanawiam sie, jak moglbym odpowiedzic na te arogancje?!?  I pomyslec, ze szanowny recenzent skasowal za te "recenzje" publiczne pieniadze!

A oto recezja:

"Projekt bardzo interesujący, ale zaskakujące jest nieuwzględnianie w kontekście projektu modeli (...). Prezentują oni bardzo ciekawe spojrzenie na badane zjawisko i pomogłoby to zaprojektować układ w nieco inny sposób. Wszystko jest ciekawe, ale zastanawia mnie czy warte zainwestowania aż tak znaczących środków, by uzyskać efekt paru publikacji w dobrych czasopismach, ale stale nie w tych najlepszych."

Swoja droga, ktore czasopisma sa najlepsze?  Dotad pisalismy do czaspism o IF >2, wg MNiSW wszystkie = 32pkt.

Klasa Drogi Recenzencie, klasa.

Michal Wojciechowski

19 komentarzy:

  1. "by uzyskać efekt paru publikacji w dobrych czasopismach, ale stale nie w tych najlepszych."

    aż prosi się, z czystej ciekawości o zajrzenie w dorobek naukowy tego "recenzenta" i rzucenie okiem na to w jakich to on czasopismach publikował swoje prace..

    OdpowiedzUsuń
  2. Po pierwsze; zgadzam się z Michałem, że poziom recenzji jest często fatalny i w ogóle nie pomaga poprawić grant. Przykład: składałem w styczniu, dostałem średnio ok. 8.5, poprawiłem zgodnie z recenzjami (choć było to trudne, bo nie było jasnej wiadomości co poprawić) i teraz dostałem 7.5... No przecież ręce opadają, jeśli po poprawkach grant jest oceniany znacznie niżej niż przed... Po co więc te recenzje?

    Po drugie: temat jest do ruszenia, bo recenzenci dostają bardzo konkretne pieniądze (czy ktoś mógłby wrzucić, choćby anonimowo, ile recenzent zgarnia za te 3-4 linijki???), więc pisanie trzech zdań streszczających projekt jest trochę śmieszne.

    Po trzecie: bardzo potrzebne są jasne kryteria przy wyborze recenzentów. Wiem że w panelu są ludzie, którzy nic nie napisali przez całe życie, lub przynajmniej przez ostatnich 10 lat. Myślę, że taki układ jest niedopuszczalny, o czym pisałem już wcześniej osobnego posta.

    pozdro

    OdpowiedzUsuń
  3. Witam wszystkich,
    przeczytałem "recenzję" i fakt - ręce niestety opadają.
    Mogę tylko współczuć autorowi, że na takiego recenzenta trafił - zakładam, że pozostałe recenzje były OK, co raczej wynika z postu.

    Co do jasności tego co poprawiać, o czym pisał zmihorski - miałem podobnie - w jednym konkursie projekt był drugi pod kreską, ale informacje co sie recenzentom nie podobalo były sprzeczne - dla jednego projekt zbyt drogi, dla drugiego należało powiększyć próbę (a więc zwiększyć koszty); jeden, żeby ograniczyć się do wybranego terenu, inny - zeby badać jak najwiecej terenów. Połaczyć się tego w coś sensownego nie dało. Kombinowałem, tłumaczyłem czemu akurat tak, ale po ponownej ocenie projekt wylądował znacznie niżej w rankingu.. pomysł leży i czeka...
    Ale znam przypadki, w ktorych wnioskodawca poprawił zgodnie z uwagami i grant przechodził - co zresztą można sprawdzić analizując poszczególne konkursy - czasem grant o podobnym tytule przechodził za drugim razem, pewnie właśnie po dopracowaniu.

    Jasne kryteria wyboru recenzentów byłyby bardzo potrzebne. Jak do tej pory takowych chyba nie ma, a skład panelu oceniającego i recenzentow nie jest jawny. Jeśli ktoś pamieta, parę lat temu można było zgłaszać swoją kandydaturę na recenzenta.
    Podobno kiedyś - nie wiem jak teraz - przy wyborze recenzentow (może niektórych?) brano pod uwagę sukces w aplikowaniu o granty - można zakładać, że jakoś było to związane z publikacjami itd.

    Co do ruszenia tematu recenzentów - nie bardzo wiem jak to miałoby wygladać. Przecież trudno wymagać, żeby recenzja liczyła np. >25 linijek lub xxx słow, szczególnie, że przecież czesto recenzneci lubią po prostu streszczać projekt i wtedy po prostu napiszą więcej. To w jakiś sposób powinno być regulowane, ale pewnie czytelnicy z własnego doświadczenia wiedzą, że przy grantach bardzo dobrych lub bardzo słabych trudno pisać epistoły - w pierwszym przypadku nie ma o czym, w drugim nie wiadomo od czego zacząć... Można myśleć o systemie jak na uczelniach, gdy studenci oceniają wykładowców - tutaj wnioskodawcy mogliby oceniać jakość recenzji. Tylko musieliby wznieść się wyżyny obiektywizmu oceniając nawet merytorycznego recenzenta, ktory jednak uwalił ich projekt.. Na razie jednak recenzneci muszą oceniać się we własnym sumieniu. Może więc i piętnowany recenzent przeczyta swoją recenzje, wszystkie komentarze i trochę przemyśli... Choć pewnie raczej niestety na to forum nie zagląda..

    Będą nowe konkursy, nowe zasady... może będą nowi, lepsi recenzenci..

    pozdr

    OdpowiedzUsuń
  4. cytat 'Co do ruszenia tematu recenzentów - nie bardzo wiem jak to miałoby wygladać. Przecież trudno wymagać, żeby recenzja liczyła np. >25 linijek lub xxx słow'

    otóż moim zdaniem bardzo prosto: zrobić formularz recenzji, gdzie powinny być takie punkty: co konkretnie poprawić w projekcie? jakie są najsłabsze punkty grantu? czy jest sens składać go ponownie? co mocniej zaakcentować? z jakiej części/wątku zrezygnować?
    i kilka innych, konkretnych i bardzo pomocnych. gdyby był taki formularz, recenzent musiałby coś w tych punktach wpisać, i na pewno byłoby to dla mnie bardziej pomocne niż streszczenie grantu, który sam napisałem...

    pozdr

    OdpowiedzUsuń
  5. podoba mi sie ten pomysł zmiany formularza recenzji, tylko musiałby być odpowiednio szczegółowy.
    pozdr
    TM

    OdpowiedzUsuń
  6. A jak wysyłacie pracę do publikacji i praca jest odrzucana po recenzji to recenzenci też dają wam jasne wskazówki co i jak poprawić?

    OdpowiedzUsuń
  7. Nie ma się co czarować, jesteśmy małym krajem i bez wysyłania projektów napisanych po angielsku do zagranicznych recenzentów (za pewnie większe pieniądze) nie doczekamy się bardziej wiarygodnych ocen. Recenzentów powinno też być więcej, projekty krótsze a formularz oceny bardzo precyzyjny z większą skalą.
    Niemniej co by na granty nie gadać, to bez nich i nawet bez takiego ułomnego systemu nie byłbym tu gdzie jestem, czyli we własnym labie gdzie robię to co lubię i chyba z całkiem przyzwoitymi rezultatami.
    pozdr
    TOsiejuk (a więc nie do końca anonimowo :)

    OdpowiedzUsuń
  8. Wiecie, mi sie wydaje, ze jest jeden podstawowy sposob na uwolnienie recenzji od nieuczciwych recenzentow. Jak ten, co skasowal pareset za nasza recenzje. Skonczyc z placeniem za recenzje. Nie znam kraju, gdzi placonoby za recenzje grantow. Wszedzie odbywa sie to na zasadach peer-review. I wtedy pisza recenzje ludzie, ktorzy sie na to decyduja dobrowolnie. Co wiecej, ci co dzis dostaja recenzje chetniej dadza ja "nizej" do tych, co dzis sa "niegodni". No i problem sie sam rozwiaze. Na dzien dzisiejszy placenie za recenzje prowadzi do tego, ze nikt nie chce ich oddac, bo przynajmniej jest z tego jakas kasa i pisza 2-zdaniowe recenzje dajac oceny w pelnym spektrum od 6 do 10.
    No i to tyle,
    michal

    OdpowiedzUsuń
  9. Nie wiem czy byłoby to lepsze - bez płacenia też możliwe byłyby recenzje jak taka, ktorą dostaliście. Bo wtedy np. dla niektorych liczyloby sie w cv ile to grantow zrecenzowal(a).
    Obecnie zakladam, że po to jeden recenzent dostawał kika/kilkanaście projektow do oceny, żeby można było zrobić ranking z tych, które zostały złozone i ktore z projektow powinny byc finansowane w pierwszej - drugiej - dalszej kolejnosci. I to mi sie podobało w tym systemie.
    Jeśli oceniasz jeden grant, to nie możesz go ustawić względem innych.
    Spodziewam się, że bez płacenia nie będzie chetnych do oceniania kilkunastu grantow w jednym konkursie. To niestety wymaga sporo czasu, jesli tylko robi sie to porządnie.
    Chyba, że - jak to było proponowane powyżej - projekty byłyby krótsze, a formularz precyzyjniejszy. wtedy można byłoby wziac nie 3 a np. 4-5 recenznetow i wyciagać średnią z ocen. Tyle, że pomysł rozchodzi się po znacznie większej liczbie osob. Ewentualne konsekwencje można sobie wyobrazić (nie podejrzewam nikogo o nieetyczne działania, stąd słowo "ewentualne").

    Zgadzam się, że system grantow może nie jest idealny, ale dobrze byłoby go utrzymać w obecnej lub podobnej formie, a ewentualne wysiłki skierować, żeby system recenzji itd uczynić doskonalszy/precyzyjniejszy.
    pozdr,

    OdpowiedzUsuń
  10. myślę, że bez płacenia to by jednak nie wypaliło. Tu jest (przynajmniej powinien być) układ prosty: MNISW płac i wymaga rzetelnej recenzji, która sprawi, że pieniądze się nie zmarnują.

    Natomiast dobrym pomysłem wydaje mi się skrócenie wniosku
    pzdr

    OdpowiedzUsuń
  11. .. ale i pilnowanie tych wymagań formalnych - skoro dorobek - to tylko z 4 lat, wyjazdy i staże - to sensowne, naukowe - a nie wszystkie wyjazdy na konference w okresie życia wnioskodawcy (bo i tak bywa), jak 25 pozycji literatury we wniosku to nie 50-60 (bo to niestety częste).
    pozdr,
    TM

    OdpowiedzUsuń
  12. recenzowalam granty i w kraju i poza Polska - wszedzie jednak przewidziane bylo, niewielkie ale zawsze, wynagrodzenie. Dziala efekt psychologiczny, przy obietnicy zaplaty rzetelny/a recenzent/ka gotowi sa poswiecic troche wiecej czasu na przeczytanie wniosku. Ponadto moj czas tez kosztuje.

    OdpowiedzUsuń
  13. Dowiedziałem się, że recenzentami grantów będą jedynie osoby zatrudnione w jednostkach o I kategorii. Jest to chyba wielkie nieporozumienie, bo w takim układzie świetni naukowcy pracujący czasem w jednostkach II kategorii są pozbawieni takiej możliwości. Co gorsze w jednostkach I trafiają się kompletne nieroby będące w tym wypadku potencjalnymi recenzentami. Załóżmy sytuację, że temat grantu jest bardzo wąski specjalistycznie, powoływany jest odpowiedni recenzent i tu niespodzianka - pracuje on w II kategorii. Alternatywą jest gamoń z I kategorii. Co robić?? Alternatywa nr 2: dostaje to ktoś inny zaokrąglając temat w górę (uogólniając dziedzinę lub problem) albo, alternatywa nr 3: dostaje to ktoś kto się na sprawie nie zna.

    Takich spraw się obawiam, o ile jest to prawda, że recenzenci będą jedynie z jednostek kat. I.

    Czy nie lepiej zrobić próg naboru recenzentów z indeksu H, np. 10. Wiadomo, że będzie to osoba rozwinięta naukowo i kompetentna.

    Pozdr,

    MS

    OdpowiedzUsuń
  14. Chociaż nawet limit H=5 byłby często wystarczający ;)

    MS

    OdpowiedzUsuń
  15. myślę, że h>10 to za dużo, zostałyby chyba same starsze osoby, bo indeks h jest w dużej mierze napędzany przez czas. Poza tym znaleźć w Polsce recenznentów z h>10 byłoby trudno, szczególnie że potencjalni kandydaci mogą sami składać i wtedy nie powinni recenzować. Myślę, że index 5 spokojnie by wystarczył

    a co do poprzedniego wpisu: zgadzam się, dlaczego recenzent miałby pracować za darmo? Szczególnie, że wymaga się od niego wnikliwej analizy wniosku...

    pzdr

    OdpowiedzUsuń
  16. Widze, ze sprawa recenzji i placenia za nie wywolala mala burze. Nie chodzilo mi o to, zeby nie placic za dobrze wykonana prace, ale zeby praca byla wykonywana przez zewnetrznych recenzentow na zasadach peer-review. Jak w czasopismach. Malem okazje pytac Amerykanow jak to jest u nich. Placi sie czlonkom panelu, ktorzy wykonuja znacznie wieksza prace, glownie decyzyjna. Recenzenci wykonuja recenzje "kolezenska", za darmo, na zasadzie serwisu publicznego. Na tej samej zasadzie recenzowalem projekt z Izraela. I wiem, ze RPA tez na tej zasadzie korzysta z recenzentow projektow. Czlonkowie panelu, ktorzy wykonuja rowniez recenzje sa oplacani. Ale oni musza zrecenzowac kilka, jaski nie kilkanascie projektow i w oparciu o 4 recenzje z zewnatrz podejmuja decyzje.

    A co do recenzentow z jednostek z I kategorii? Chyba juz wszystko powiedziano. Kanal.

    Najlepszego,
    michal

    OdpowiedzUsuń
  17. Recenzowanie artykułów i grantów to trochę inna bajka. Dobrych recenzentów artykułów łatwo pozyskać. Praktycznie zawsze jak opublikuję coś w jakimś czasopiśmie z IF, albo jak mam już zaa.

    Pozdr, Tomek

    OdpowiedzUsuń
  18. cd. kceptowany, to dostaję prośby o recenzję. No i weź tu wtedy odmów, albo zrób ją nie przykładając się :)

    Tomek

    OdpowiedzUsuń