środa, 21 listopada 2012

Wyniki konkursu grantowego NCN

 Jak w temacie:

http://www.ncn.gov.pl/aktualnosci/2012-11-21-wyniki-konkursow-st-nz

michał żmihorski

49 komentarzy:

  1. No to na szybko - grantu nie dostałem, kilka refleksji:

    * recenzje obszerne, dużo tekstu, sporo konkretów - myślę, że będą pomocne. Co do ich wartości merytorycznej to musimy jeszcze obgadać punkt po punkcie z całym zespołem.

    * mam problem, bo nie wiem co robić - mam określone punkty za poszczególne kategorie, ale brakuje mi podsumowania, które dostawaliśmy w MNiSW, że warto lub nie warto składać wniosek ponownie. MNiSW określało zawsze miejsce na liście wszystkich wniosków, stąd kierownik miał info, czy wniosek był zaraz pod kreską, czy też daleko w tyle. Przydałaby się taka informacja.

    * tak na szybko to widzę jeden, grant, gdzie kierownik nie ma prawie w ogóle dorobku (nie jest też najmłodszy...) a przeszedł! Zawsze się dziwię jak to możliwe...

    OdpowiedzUsuń
    Odpowiedzi
    1. "MNiSW określało zawsze miejsce na liście wszystkich wniosków, stąd kierownik miał info, czy wniosek był zaraz pod kreską, czy też daleko w tyle".

      Jesli decyzja jest podejmowana mechanicznie na podstawie średniej z ocen, to można bez problemu ułożyć calą listę rankingową, także dla tych pod kreską. Ale - jak wyraznie powiedziano w zasadach oceniania i jak wielokrotnie wyjasniali to rózni ludzie w tekstach publicystycznych (a takze na tym blogu) - NCN dziala inaczej: oceny punktowe stanowią tylko "bazę" do dyskusji, w wyniku ktorej podejmowana jest decyzja. Dam przykład:

      Wniosek może miec wysokie oceny za dorobek, za to że dotyczy ciekawego zagadnienia, itd. - co skutkuje wysoką średnią. Ale któryś z recenzentów mógł wskazać na pojedyncze uchybienie metodyczne, ktore w opinii panelu powoduje, że projekt nie nadaje się do finansowania. Wtedy jest oznaczany jako "odrzucony", niezależnie od tego jakie były oceny. Myślę, że powinno być zrozumiałe dla każdego, że układanie z takich projektów listy rankingowej nie ma sensu.

      Można powiedzieć, że wszystkie takie projekty zajmują to samo miejsce - wszystko jedno pierwsze czy ostatnie na liście. Ale przypadku niektórych z nich zmiana jednego zdania w opisie metod może, teoretycznie, spowodować że projekt znajdzie się w czołówce. W innym problem moe być głębszy - może zaproponowano projekt w ogóle niewykonalny...

      Może być też tak, że projekt na podstawie średniejoceny byłby wysoko na liście przegranych - ale mimo tego żadne ad hoc robione poprawki jego pozycji nie poprawią, bo np. jego pozycja jest determinowana przez umiarkowany dorobek wnioskodawców albo fakt, że problem badaczy jest niezbyt wystrzałowy.

      Mam nadzieję, że te wyjaśnienia są wystarczające dla wyjaśnienia, czemu nie podaje się listy rankingowej "przegranych", a zarazem podpowiadają, w jaki sposób z treści recenzji i podsumowującej opinii (a nie z "rankingu"!) dowiadywać się, czy projekt warto składać ponownie czy nie.

      Usuń
  2. A mnie ciekawi SONATA - czy faktycznie zainteresowanie było tak małe, że tylko nie znaczące projekty wpłynęły, czy może przeciwnie - było duże ale poziom niski? Sam myślę nad Sonatą i ciekawe ile w tym konkursie zaważyć mógł brak tytułowego "unikatowego warsztatu badawczego" - lub też problem z jego sprecyzowaniem?

    OdpowiedzUsuń
    Odpowiedzi
    1. Mając informacje ze 'źródła' mogę potwierdzić, że poziom wniosków do sonaty w NZ8 był mierny.

      Usuń
  3. W opusie jesli wystepuje zespol to taki jest oceniany. Moze sie wiec zdarzyc, ze kierownik w ostatnich 5 latach nic nie nabroil, ma dobry zespol, reszta wnioskow w danym konkursie bedzie slaba konkurencja no i voila...

    OdpowiedzUsuń
  4. No cóż, grant dostałem. Recenzje są na wysokim poziomie. Więc ogólnie do przodu. Szkoda tylko, że tak niewielu naukowców z poszczególnych panelów dostaje finansowanie...

    OdpowiedzUsuń
  5. "Ale któryś z recenzentów mógł wskazać na pojedyncze uchybienie metodyczne, ktore w opinii panelu powoduje, że projekt nie nadaje się do finansowania", cholera, dawno się tak nie uśmiałem.
    A co w sytuacji, kiedy mimo dobrych recenzji, Panel sam z siebie dyskwalifikuje projekt? W mojej sytuacji tak było. W projekcie klarownie wytłumaczyłem, dlaczego nie będę robił pewnych analiz. Dwoje ekspertów i troje recenzentow zgodziło się z moim podejściem, bo żaden na ten temat nawet się nie zająknął, a były dobre/bardzo dobre, wnikliwe i na ogół merytoryczne (zwłaszcza anglojęzyczna). Ale Panel wiedział lepiej: brak tych analiz stanowi poważną wadę merytoryczą, dyskwalifikującą projekt. I co ja mam w takiej sytuacji zrobić? Czy Panel mógł taką decyzję, całkowicie pozamerytoryczną w świetle wniosku i nieuzasadnioną w świetle opinii ekspertów i recenzji podjąć?

    OdpowiedzUsuń
    Odpowiedzi
    1. Jesli się śmiejesz, to znaczy ze masz dość niestandardowe poczucie humoru. Sądzę, że dla większości ludzi stwierdzenie, że fakt zauważenia przez panel uchybienia metodologicznego jest przesłanką do odrzucenia wniosku, brzmi zaróno poważnie jak i rozsądnie. Sądzę, że większość ludzi zgodzi się, że panel tak właśnie powinien działać.

      Czy panel mógł taką decyzję podjąć, czy była to decyzja słuszna w przyapadku Twjego wniosku? A w jaki niby sposób na tym forum można by odpowiedzieć na to pytanie, skoro nie znamy Twojego wniosku, ani tekstów recenzji, ani podsumowującej opinii panelu, ani przebiegu dyskusji podczas posiedzenia panelu? Może w trakcie dyskusji panelowej przekonywający był głos członka panelu, który zauważył problem przez innych przeoczony? Czy miał być zignorowany tylko dlatego, że został przeoczony przez recenzentów?

      Chcesz o tym dyskutować? To wyłóż gdzieś na www tekst swojego projektu i komplet ocen, recenzji i opinii panelu. Tylko Tobie to wolno zrobić - może wtedy ktoś mógłby Ci wyjaśnić gdzie może być problem. Weź pod uwagę, że nawet gdyby ktoś z członków panelu domyślał się o jaki projekt chodzi i jakie były przesłanki oceny, to i tak nie wolno mu o tym mówić ani z Tobą osobiście ani publicznie. Może więc osoby konwersujące na tym blogu wprowadzasz w błąd, bo nie zauważasz jakiegoś drobiazgu w recenzjach czy opiniach, ktory naprawdę miał większe znaczenie dla decyzji niż sprawa metody o której mówisz.

      A może kwestia tej metody to był tylko "języczek u wagi" - może projekt był wśród kilku mających niemal takie same oceny, a będących na granicy finansowania, spośród których tylko jeden mógł się zmieścić w budżecie konkursu, albo któryś jeden musiał się nie zmieścić? W takiej sytuacji zrozumiełe jest, że odrzuci się taki, co do którego powstały jakieś wątpliwośći...

      Ale zasadnicza sprawa jest taka, że nonsensem jest w ogóle rozważanie takich decyzji bez uwzględnienia kontekstu innych wniosków i bez uwzględnienia zdwałoby się oczywistego faktu, że większość wniosków (ok. 80%) musi być odrzucona. W Twoich paru wypowiedziach widać, ze ewidentnie ten fakt ignorujesz. Zakładasz, że decyzje o finansowaniu są podejmowane indywiduanie i każdy projekt oceniony "dobrze" powinien być sfinansowany - a niesfinansowanie to złośliwość ze strony panelu, ktoremu "nie można się postawić".

      Ktoś kto przyjmuje taką wizję funkcjonownia systemu decyzji o finansowaniu projektów będzie stale sfrustrowany i zagubiony, ale sądzę ze otoczenie nie jest temu winne: NCN robi dużo by wyjaśnić mechanizm działania paneli, a szczególnie na tym forum szereg osób poświęcilo dużo czasu i wysiłku by w tym pomóc.

      Usuń
    2. Widzę, że próba dyskusji z Szanownymi Panelistami (i nie tylko) i dowiedzenia się czegokolwiek na temat przesłanek, które kryją się za podjęciem takiej a nie innej decyzji, bardzo przypomina mi to:

      http://www.youtube.com/watch?v=cAYDiPizDIs

      Usuń
    3. Szanowny Anonimowy oczekuje, że na tym forum dowie się jakie były przesłanki negatywnej decyzji w sprawie jego grantu.

      Jedno co można powiedziec to to, że decyzja była najwyraźniej słuszna. Bo czy może mieć kwalifikacje do kierowania naukowym projektem osoba, która domaga się by ktoś przedsatwił przesłanki odrzucienia nieznanego dyskutantom projektu, napisanego przez anonimowego wnioskodawcę?

      Nie kompromituj się!

      Usuń
    4. Panie i Panowie,
      proszę o umiar i wzajemną wyrozumiałość. Dyskutujmy merytorycznie...

      Usuń
    5. Oj, Anonimowemu ciśnienie skoczyło, mam nadzieję, że serce młode. Skoro uważasz, że się kompromituję, to Twój problem, ja sobie z tym poradzę. Usiłuję się po prostu dowiedzieć, jaki udział w kształcie ostatecznej decyzji odnośnie finansowania projektu mają recenzje, a jaki Panel. Z wypowiedzi na tym blogu wynika, że o wszystkim decyduje Panel i jego uznaniowość. W takiej sytuacji po co Eksperci, Recenzje itd.? Taniej będzie, jak o wszystkim będzie decydowało kilka osób za zielonym stolikiem. Oprócz tego, że będzie taniej, to wszystko będzie jasne: kto, jak i dlaczego...

      Usuń
    6. "Z wypowiedzi na tym blogu wynika, że o wszystkim decyduje Panel i jego uznaniowość. W takiej sytuacji po co Eksperci, Recenzje itd.?"

      Proponuję opierać się nie na wypowiedziach na blogu, a po prostu na regulaminie konkursu. TAK, o wszystkim DECYDUJE panel - to jest jednoznacznie powiedziane w regulaminie oceniania. A zeby nie bylo watpliwosci, jest to konsekwencja Art. 22 ustawy o NCN, ktora własnie panelom ekspertów powierza dokonywanie ocen wnioskow o granty.

      Pytanie "po co eksperci skoro decyduje panel" dowodzi jeszcze wyrazniej, że anonimowy nie zapoznał się z dokumentacją konkursową - bo "panel" to jest właśnie "grupa ekspertów". Z tej grupy dwaj są wybierani do przygotowania ocen na I etapie konkursu - ale nie mają oni specjalnie wyróżnionego statusu. Wystawiają oceny (liczbowe i słowne uzasadnienia), ale nie mają uprzywilejowanego głosu w dyskusji nad oceną. Można powiedziec, ze są kims w rodzaju "referentów" przedstawiających wniosek pod obrady panelu (to też jest jawnie powiedziane w zasadach oceniania).

      "Po co recenzenci?" - jak nazwa wskazuje, zeby przedstawic recenzje, czyli opinie. A czym innym jest przedstawianie opinii, a czym innym podejmowanie decyzji (co czyni panel ekspertow). Sądzę, że rzecz powinna być powszechnie zrozumiała, bo to taka sama sytuacja jak przy np. przyjmowaniu pracy do druku. Recenzenci przedstawiają opinie, ale decyzje podejmują edytorzy, którzy oczywiscie opierają się na recenzjach, ale decyzja jest ICH - moga prace odrzucic mimo tego, że ma dobre recenzje, i moga uznac, że pracę należy opublikować mimo iż jeden z kilku recenzentow wystawil bardzo zła opinię. Czasem charakter recenzji może jasno wskazywac na personalne uprzedenia recenzenta - takie rzeczy się da zauważyć. Podobnie i w pracy panelu. Np. gdyby jakis recenzent wystawil razaco niska ocenę za dorobek wnioskodawcy (np. dał 1 pkt komus kto wykazal 10 prac z listy impaktowej i mial setke cytowan), to panel zapewne z nieufnoscia przyjąłby krytyczne uwagi tego recenzenta dotyczace oceny projektu - bo ocena wystawiona za dorobek wskazywałaby na nierzetelnosc tego recenzenta. Podobnie, gdyby jakiś recenzent dał maksymalną ocenę za dorobek skladający się z samych publikacji krajowych, panel mógłby nie potraktować też poważnie pochwalnych uwag tego recenzenta na temat wartości samego projektu. Wydaje mi się, że to dość oczywiste sprawy i powinny spotkać się ze zrozumieniem wśród osób funkcjonujących w środowisku akademickim.

      Czy to jest już wystarczająco jasne? Moze pojawic sie pytanie: a czemu w ogole wybiera się takich kiepskich recenzentów? Odpowiedz: a skąd panelisci mają wiedzieć, że jest kiepski, zanim się go nie "wypróbuje"?

      Na koniec: z różnych postów wyłania się przekonanie, że panel stanowi jakąś klikę, która może zawładnąć rozdzielaniem funduszy. A przecież to są osoby powoływane przez Rade NCN do danego konkursu, ktore spotykają sie dopiero przy okazji oceny - nie mają żadnych wspólnych partykularnych interesów. Nie mają możliwosi by zawiązać jakiś sojusz, bo nie są to stanowiska stałe - w nastepnej edycji przynajmniej częśc panelu będzie inna, nikt nie wie, czy zostanie do nastepnej edycji powołany. "Spiskowa" teoria tu po prostu nie pasuje...

      Usuń
    7. "Z wypowiedzi na tym blogu wynika, że o wszystkim decyduje Panel i jego uznaniowość. W takiej sytuacji po co Eksperci, Recenzje itd.?"

      Rolą panelu jest ocena względna wniosków, nie bezwzględna. Dlatego wysyłając ten sam projekt 2 razy możesz raz otrzymać gran innym razem nie. Dlaczego? choćby dlatego, że jest inna pula wniosków do porównania. Co innego zatem znaczy pochlebna/krytyczna opinia recenzenta w dwóch różnych konkursach.

      Nie wiem czy anonimowy nie potrafi czy nie chce tego zrozumieć, ale można nie otrzymać grantu pomimo pozytywnych opinii recenzentów (!) i wcale nie dowodzi to temu, że panel nie uwzględnił takich recenzji. Natomiast jeśli wskazał na jakiś minus to nie dlatego, że uznał to za czynnik dyskwalifikujący, ale za element który przeważył w porównaniu z innymi wnioskami. Nawet jeśli był to mały problem to mógł on przeważyć w przypadku ostrej konkurencji.

      Dlaczego nikt, z tych co dostali grant, nie narzeka na prace NCN?

      Usuń
  6. Spróbuj z odwołaniem

    OdpowiedzUsuń
  7. Anonimowy, Jest to jak najbardziej mozliwe. Jak to napisal dosc szczegolowo inny Anonimowy powyzej: "oceny punktowe stanowią tylko "bazę" do dyskusji, w wyniku ktorej podejmowana jest decyzja." Tak wiec, jest mozliwe, ze Twoj wniosek nie mial jasno i wyraznie sprecyzowanego zastrzezenia dlaczego dana analiza nie bedzie dokonywana. W zwiazku z tym zrodzilo to jasna watpliwosc, czy wnioskodawca zdaje sobie sprawe z ograniczen i podczas dyskusji nad wnioskiem ekspert przekonal reszte panelu, ktory ma wglad do wniosku, ze sa powazne watpliwosci co do warsztatu wnioskodawcy. W efekcie, podczas dyskusji pomiedzy ~20 osobami obecnymi na sali podjeto taka a nie inna uchwale. Byly jednak sytuacje, w ktorych to czlonkowie panelu przekonywali innych, ze to wnioskodawca mial racje. Tak wiec poszczegolne oceny sa tylko solidnym wstepem do dyskusji, ktorej podsumowanie znajduje sie w ocenie.

    kolejny Anonim

    OdpowiedzUsuń
  8. Jeszcze jedno. Dobrze zauwazyles, Panel dyskwalifikuje projekt. Dlatego ze Panel ma ocenic projekt i zdecydowac dlaczego jeden projekt dostanie finansowanie, a inny nie. To jest decyzja Panelu, a nie recenzentow.

    kolejny Anonim

    OdpowiedzUsuń
  9. Projekt miał bardzo jasno sformułowane zastrzeżenie, dlaczego pewne analizy nie BĘDĄ wykonywane - walnąłem to nawet boldem w tekście, zarówno skróconym, jak i pełnym, żeby nie było żadnych wątpliwości. Żaden z ekspertów i recenzentów nie zgłaszał co tego jakichkolwiek zastrzeżeń. Dlaczego Panel całkowicie zignorował ich opinie? Idąc tym tropem, Panel może uwalić każdy projekt, nawet bardzo dobrze oceniony, BO ZAWSZE można się do czegośc przyczepić, nie dotyczytać etc., albo po prostu "nie bo nie" (uważam, że tak było w moim wypadku). Skoro Panel wie lepiej, to po co w ogóle recenzje i to jeszcze 3? Panel zawsze wie lepiej, jest superrecenzentem. Panel może robić, co mu się podoba, bo i tak mu nie podskoczysz...

    OdpowiedzUsuń
    Odpowiedzi
    1. Gdyby wszystkie projekty, które otrzymały pozytywne opinie recenzentów/ekspertów miały zostać zaklasyfikowane do finansowania musielibyśmy mieć kilka razy więcej pieniędzy. Rola panelu jest rozstrzygnąć, które mimo wszystko trzeba odrzucić a którym dać pieniądze. To się nazywa konkurs, lepszy dostaje - gorszy nie. Takie decyzje są zawsze krzywdzące dla tego, który odpadnie i nigdy do końca nie są obiektywne, jak i cały peer review.

      "Panel zawsze wie lepiej, jest superrecenzentem. Panel może robić, co mu się podoba, bo i tak mu nie podskoczysz... "

      każdy kto przegrywa ma prawo do frustracji, ale to co piszesz jest zupełnie bez sensu - panel musi odrzucić część wniosków dobrych i tyle.

      Usuń
  10. Powiem wprost: ode mnie wymaga się rzetelnych wniosków, a ja mam prawo domagać się i rzetelnej i merytorycznej oceny mojej pracy, a nie wymyślania bzdurnych pretekstów, nie mających żadnych podstaw merytorycznych, tylko po to, żeby uwalić projekt. Czy nie wystarczy napisać, że ogólnie jest dobrze, zastosuj się do drobnych uwag, złóż projekt jeszcze raz a będzie O.K? Po cholerę ta cała otoczka: eksperci, recenzje,posiedzenia na które idą pieniądze podatnika, skora i tak je można potem o kant tyłka rozbić?
    Uważam, że całkowita uznaniowość działania Panelu jest grubym przegięciem. Wyobrażam sobie gniewny bulgot członków Panelu, gdyby ich wnioski zostały tak ocenione przez Kogoś, jak mój i nie zostały zakwalifikowane do finansowania na wskutek czyjegoś widzimisię...

    OdpowiedzUsuń
  11. "Czy nie wystarczy napisać, że ogólnie jest dobrze, zastosuj się do drobnych uwag, złóż projekt jeszcze raz a będzie O.K?"

    kolejny konkurs - kolejne rozdanie - kolejna pula wniosków - inni paneliści; w jaki sposób ktoś miałby Ci zagwarantować sukces w kolejnym konkursie?

    "Po cholerę ta cała otoczka: eksperci, recenzje,posiedzenia na które idą pieniądze podatnika, skora i tak je można potem o kant tyłka rozbić?"

    Jak otoczka? naprawdę mógłbyś sobie już odpuścić z tymi pieniędzmi podatnika

    "a ja mam prawo domagać się i rzetelnej i merytorycznej oceny mojej pracy"
    Odnoszę wrażenie, że dla Ciebie odpowiednia byłaby tylko pozytywna ocena. Konstruktywna krytyka = brak krytyki!

    OdpowiedzUsuń
    Odpowiedzi
    1. "kolejny konkurs - kolejne rozdanie - kolejna pula wniosków - inni paneliści; w jaki sposób ktoś miałby Ci zagwarantować sukces w kolejnym konkursie"
      nie oczekuję żadnych gwarancji, tylko merytorycznej oceny mojego projektu.

      "Jak otoczka? naprawdę mógłbyś sobie już odpuścić z tymi pieniędzmi podatnika"
      mnie w kosztorysie rozliczają z każdego grosza, a NCN wydaje grube tysiące na recenzje, które idą i tak do kosza (patrz post poniżej). uważam, że tutaj powinna panować symetria...

      "Odnoszę wrażenie, że dla Ciebie odpowiednia byłaby tylko pozytywna ocena. Konstruktywna krytyka = brak krytyki"

      to zostawię bez komentarza, pokazałeś/pokazałaś klasę samą w sobie. Powodzenia.





      Usuń
  12. Patrząc na całą sprawę okiem recenzenta projektów, to zastanawia mnie po co NCN płaci ludziom za wykonywanie recenzji, skoro potem te recenzje i tak mają drugorzędne znaczenie? Sam jestem nieco zdziwiony, że jeden z projektów, które oceniałem otrzymał dofinansowanie, skoro były w nim ewidentne błędy metodyczne, a część badań była bardzo kiepsko zaplanowana (chociaż osobnik, który starał się o grant był całkiem niezły). Moja impresja po zrecenzowaniu kilkunastu grantów jest prosta. Bardzo łatwo dostać dofinansowanie na badania, które angażują metody genetyczne lub biochemiczne, i często nie jest ważne, że badania mają kiepskie ugruntowanie teoretyczne. No cóż, ale ślepy zachwyt nad genetyką cały czas widać pokutuje w naszym kraju, albo/i lobby genetyczno-biotechnologiczne w panelach skutecznie kierunkuje źródło pieniędzy.

    OdpowiedzUsuń
    Odpowiedzi
    1. raczej stawiam na to drugie...

      Usuń
    2. 1. W języku polskim wyrażenie "OSOBNIK" użyte wobec człowieka ma pejoratywne konotacje (chyba, że kontekst wskazuje jednoznacznie na żartobliwy charakter wypowiedzi, co powyższego postu nie dotyczy). Tak więc wypowiedź recenzenta wskazuje na jego uprzedzenie czy niechęć do wnioskodawcy. Jeśli podobna niechęć widoczna też była w recenzji, to moim zdaniem panel miał prawo zignorować taką recenzję.

      2. O "ślepym zachwycie nad genetyką": sądzę, że autorowi posta chodziło raczej o "metody genetyki molekularnej", a nie "genetykę" - bo nie widzę by "genetyka" dominowała w projektach finansowanych z NZ8. Faktycznie, wiele projektów wykorzystuje metody genetyki molekularnej, niekoniecznie zresztą do badań "genetycznych". Ale równie dobrze jakiś recenzent w drugiej połowie XIX wieku mógł powiedzieć o panoszącym się "ślepym zachwycie dla badań mikroskopowych". Tak - to są teraz, nie tylko "pokutujące w naszym kraju", metody otwierające nowe pola badań, w najróżniejszych dziedzinach - podobnnie jak 150 lat temu narzędziem takim był mikroskop. "Slepy zachwyt" skończy się dopiero wtedy, gdy jakieś inne narzędzie otworzy nowe, szersze światy.

      Ale twierdzenie, ze bardzo łatwo dostać finansowanie na takie badania jest bezpodstawne - należałoby najpierw wykazać, że prawdopodobieństwo sukcesu takich projektów jest większe niż takich, w których metod molekularnych się nie stosuje. Paradoksalnie, dwie osoby ktore mowia na tym forum o swoich odrzuconych wnioskach, planowaly właśnie badania z użyciem metod molekularnych! Widać że wcale nie tak łatwo...

      Usuń
  13. Też recenzowałem w tym konkursie i nie mam problemu z tym, że moja recenzja nie przesądza o finansowaniu danego wniosku, a jedynie pomaga panelowi podjąć decyzję.

    OdpowiedzUsuń
  14. Ja natomiast byłem pozytywnie zrecenzowany (grant otrzymałem). Jestem wdzięczny za wyczerpujące recenzje. Było również kilka błachych uwag ale bardzo konstruktywnych.

    OdpowiedzUsuń
  15. To ja dodam od siebie taką ciekawostkę. Jak już wspominałem grantu nie otrzymałem, ale jedna uwaga eksperta trochę mnie zdenerwowała. Otóż napisał on tak: "kierownik ma nieco zbyt mało publikacji, ale z pewnością to nadrobi"

    Jestem 2 lata po doktoracie, mam 40 publikacji filadelfijskich i ok. 30 innych recenzowanych - może NCN wyznaczy jakieś progowe wartości, bo ciekaw jestem co to znaczy "dużo"??? Nawiasem mówiąc skąd ekspert wiedział ile mam, jeśli podałem tylko 10 - musiał mnie sprawdzać niezależnie od wniosku???

    OdpowiedzUsuń
    Odpowiedzi
    1. Nie wiem czy Cie to pocieszy, ale ja gdy dostałem grant w ostatnim konkursie, notabene NIESPEŁNA ROK po doktoracie, w jednej z recenzji eksperckich dowiedziałem się że mam ZBYT MAŁO cytacji :-)

      To trochę takie pokłosie zapotrzebowanie na pisemne uzasadnienia. Decyzje na panelu to decyzje grupowe a ustawianie rankingu wniosków grupowo bardzo utrudnia późniejsze sformułowanie jasnego przesłania do wnioskodawcy: Ci którzy dostają widzą w tym same pozytywy a Ci co odpadli - jakiegoś oszustwa.

      Mnie rozsądek nakazuje branie tego w duży cudzysłów. Jeśli Cię ulali, ale w uzasadnieniu brak jest jednoznacznych pod którymi sam byś się podpisał to uznaj się za 'ofiarę statystyczną' i skocz na browara (albo kilka), po czym napisz wniosek od nowa nie zmieniając meritum, ale skupiając się na poprawie formy. Powodzenia w kolejnym konkursie!

      Usuń
    2. dzięki!
      ja do tego generalnie podchodzę lajtowo, tym bardziej, że recenzje są raczej ok! Z drugiej strony, startując w OPUS można było się tego spodziewać, bo konkurencja jest chyba dość mocna...

      Usuń
    3. Hahaha, ale się uśmiałem :)) Być może recenzent to jakiś żartowniś?

      Usuń
    4. Dla jasności - nie wypowiadam sie poniżej na temat tego, na ile adekwatna albo nie byla ocena w Twoim akurat wniosku. Ale to o czym piszesz moze wlasnie ilustrowac zalety podejmowania decyzji w dyskusji panelu, a nie przez automat na podstawie średniej ocen. Oceny dorobku teoretycznie łatwiej wystanadryzować niż wartosc merytoryczną projektu, ale i tak jest to zadanie trudne. Ekspertom jest latwiej niz zewnetrznym recenzentom, bo widzą więcej wnioskow, ale rzecz tez nie jest prosta, zwlaszcza gdy ktos wystepuje w tej roli pierwszy raz i nie uczestniczyl wczesniej w dyskusjach panelowych. Stad nie tylko wsrod recenzentow, ale i ekspertow-czlonkow panelu zdarzaja sie oceny i komentarze nieadekwatne. Jestem pewnien, że w ogromnej większości nie ze zlej woli; zwykle z powodu przyjecia innego punktu odniesienia. A czasem z powodu banalnej pomyłki - np ktos przeoczyl fakt, że wnioskodawca jest tuż po doktoracie, wiec trudno oczekiwac licznych cytowan. Z drugiej strony, w przypadku grantow OPUS to rzecz wcale nie taka oczywista - czy dorobek powinien byc oceniany jako "wartosc absolutna", czy "jak na dany etap kariery wnioskodawcy". Ja raczej sklaniam sie do tego drugiego, ale inni moga uwazac inaczej i mają do tego prawo, bo w grantach OPUS nie ma preferencji dla "młodych".

      Nie ma sposobu by Z GÓRY wykuczyć pojawianie się nieadekwatnych ocen i komentarzy ekspertów i recenzentów. Ale w czasie dyskusji panelowej w przypadku rozbieznych ocen po prostu przyglądamy się wspolnie temu dorobkowi. Owszem, siegamy też do Scopusa czy ISI (jest dostępny także i podczas obrad panelu, więc można na bieżąco w czasie dyskusji sprawdzic cala historie publikacyjną wnioskodawcow - a takze i recenzentow, gdyby sie jakies watpliwosci pojawily). Panel po dyskusji podejmuje decyzje, jaka ma byc ocena koncowa - a czesto jeden z ekspertow sam uprzedzając dyskusję przyznaje, że sie w ocenie pomylił. To zrozumiale, bo przeciez panel to nie samowspierająca się klika, a ad hoc powołana grupa ludzi, ktorzy przyglądają sie także sobie nawzajem, i ktorym przygląda się koordynator z NCN (ktory ma wrecz prawo wnioskowac o wykluczenia panlisty dzialajacego nierzetelnie). Zeby świadomie i skutecznie przeforsować nierzetelna ocenę dorobku, trzeba by "wykiwać" paręnaście osób, z ktorych tylko niektórych zna się prywatnie. Trudne zadanie...

      Niezgodne oceny są więc dyskutowane i uzgadniane - ale system OSF dziala niestety tak, że nie ma (na razie) technicznej możliwosci by panel albo nawet sam ekspert "odwołał" czy "wymazał" jakieś stwierdzenie ze słownych komentarzy, nawet gdyby sam z tych stwierdzeń chciał się wycofać.

      Stąd nie ma powodu dziwić się, że komentarze recenzentów i ekspertów są rozbieżne, a czasem bywają wręcz niespójne z końcowym wnioskiem.

      Wreszcie, trzeba to sobie jasno powiedziec, na pewno zdarzają się i muszą się zdarzać decyzje błędne. W naukach przyrodniczych godzimy się generalnie na 5% prawdopodobieństwo podjecia błędnej decyzji w testach statystycznych. A nauka przecież jest (podobno) najdoskonalszą metodą, jaką człowiek dysponuje w dochodzeniu do prawdy. Myślę więc, że byłoby fair uznać, że - ponieważ z istoty rzeczy "pomiary" jakości projektów sa mniej doskonałe niż w pomiary stosowane w naukach ścisłych - trzeba się pogodzić przynajmniej 5% (może 10%) prawdopodobieństwem błędnych decyzji w sprawie przyznawanych grantów.

      ŻEBY NIE BYŁO NIEPOROZUMIENIA: w żadnym razie nie sugeruję, że akurat Twój wniosek był po prostu błędnie oceniony...

      Usuń
    5. hmm...ja rozumiem, że się wspieracie i w ogóle. ale uciekłeś Anonimowy Panelisto od prostego pytania: czy 40 publikacji indexowanych na ISI u kolesia w 2 lata po doktoracie to istotnie "zbyt mało"??? bo mam wrażenie, że tu Wasz system wsparcia (z możliwością looknięcia do scopus czy WoS) troszku zawiódł...
      przemek chylarecki
      PS - jeśli wszyscy checie być Anonimowi, to może nadawajcie sobie ksywki, bo inaczej anonim #153 prowadzi polemikę z anonimem #162 zamiast z anonimem#121...

      Usuń
    6. Zacznę od konca - panelista musi pozostac anonimowy, bo takie są zasady go obowiazujace.

      A co do "prostego pytania" i supozycji, że system wsparcia zawiódł:

      Z ZASADY ekspert ocenia to co jest we wniosku, czyli te 10 najlepszych publikacji z ostatniczh kilku lat - wiec pytanie "czy 40 to za mało" jest nieadekwatne.

      Ale jesli wnioskodawca wykazal maksymalna dopuszczalną liczbe 10 prac (i to z dobrych czasopism), to stwierdzenie eksperta, że to "nieco zbyt mało", było - w świetle regulamnu oceniania - nieuzasadnione.

      JEDNAKŻE, błędem logicznym jest wyciąganie z tego wniosku, że zawiódł system oceniania. Przecież Michał podał przykład uwagi eksperta (dokonanej na pierwszym etapie) - a nie oceny końcowej wypracowanej na posiedzeniu panelu. Starałem się dość już łopatologicznie wyjaśnić, jak działa mechanizm wypracowywania oceny końcowej, dyskutowania nad rozbieżnymi ocenami itd. Uzasadnione byłoby twierdzenie, że system faktycznie zawiódł - a ścislej rzecz mowiąc że zawiedli ludzie w systemie pracujący - gdyby końcowa, uzgodniona przez panel ocena była równie nieadekwatna do dorobku. Ewentualny błąd w ocenie popełniony przez pojedyńczego eksperta czy recenzenta nie oznacza wady systemu - bo takie błędy są nieuniknione (a w każdym razie mnie nie wiadomo o jakimkolwiek przykładzie ludzkich działań, które są od ludzkich błędów całkowicie wolne).

      Od razu zastrzegam: nie twierdzę, że sam system jest pozbawiony wad. Na przykład, notorycznie problem sprawiają sytuacje gdy jest drastyczna różnica między dorobkiem kierownika i głównych wykonawców - jak ich wkład ważyć? W PRELUDIUM zostalo to w klarowny sposób rozwiazne (osobno ocenia się kierownika i osobno jego opiekuna = głonego wykonawcę, z równymi wagami). Można by proponować, by w OPUS przyjąć podobne rozwiązanie, ale: jakie przyjąć wagi tych ocen? Chwila zastanowienia wystarczy by zauważyć, że wagi powinny by zależeć od charakteru wkładu poszczególnych uczestników projektu - przyjęcie jakiejs jednorodnej (50-50 a może 70-30) też będzie rodziło wątpliwosci i protesty. NIe mówiąc o tym, jakoceniać gdy głownych wykonawców w ogóle nie ma?

      Nie mam jasności jak być powinno - o tym by może warto podyskutować, bo to by mogła być dyskusja konstruktywna. Ale lepiej by bylo w jakimś odrębnym wątku, a nie w ramach "rozpatrywania skarg i zażaleń" z poprzedniego konkursu :-)

      Anonimowy Panelista # 007

      Usuń
  16. Witajcie,

    ja grant dostałem (konkurs PRELUDIUM), co prawda z kompletnie innej dziedziny, bo jestem fizykiem cząstek elementarnych, ale mam takie pytanie - wszyscy piszecie o ocenach, czy recenzjach Waszych grantów - u mnie w systemie OSF jest cały czas "zakwalifikowany do II etapu oceny merytorycznej" (czyli po ogłoszeniu wyników nic się w OSF nie zmieniło). Skąd macie dostęp do tych recenzji wszystkich?

    Gratuluję tym, którzy granty dostali, a tym co nie dostali życzę powodzenia w kolejnej edycji!

    OdpowiedzUsuń
    Odpowiedzi
    1. Panel NZ8 - a wiekszosc tutejszych dyskutantow z nim ma do czynienia - mial posiedzenie juz jakis czas temu, wiec byl czas na zredagowanie opinii podsumowujących ocenę koncową. Ale niektore panele obradowaly dopiero wczoraj (a moze przedwczoraj). Jesli Twoj był wśród tych pózniejszych, to moze recenzje i opinie będa dostepne dopiero za kilka dni.

      Albo moze nie umiesz w OSF dojsc do tego gdzie są te recenzje :-)) Fizyka cząstek elementarnych to wiedza bardzo wyrafinowana, ale moze nie wystarczyc, by samemu dojść do tego jak cos dziala w OSF - nadmiar wiary w ukryty porządek może być nawet przeszkodą... :-)

      Usuń
    2. cześć Anonimowy Fizyku ;o)
      U nas działa to tak: logujesz się jako redaktor do OSF, wybierasz zakładkę "wnioski -> wysłane" i klikasz na numer wniosku o który Ci chodzi. W lewym górnym rogu powinna pojawić się zakładka "uzasadnienie oceny" i tam masz punkty i recenzje!
      powodzenia,

      Usuń
    3. Dzięki za info :) Ja wiem dokładnie jak zalogować się do systemu OSF - sam ten wniosek pisałem tam, potem wysyłałem itp. Wem, że powinna się tam pojawić taka zakładka z punktami - mam jako czytelnik dostęp do innego wniosku, który jest również zakwalifikownay i widzę taką tabelkę z punktami. Ale tak jak mówię - nic w systemie OSF się nie zmieniło nadal. Status mojego wniosku - "zakwalifikowany do II etapu oceny merytorycznej" - czyli żadnych zmian od początku października.

      BTW: mój panel to ST2. Skąd wiecie, kiedy Wasz panel NZ8 miał posiedzenie? Jakieś "przecieki" z wewnątrz? :)

      Nic, no to czeka na te uzasadnienia:)

      Usuń
    4. Nie "przecieki", a zwykla informacja dotyczaca kwesti nie objętych kaluzulą poufności.
      Mozna zadzwonic i sie dowiedziec kiedy beda recenzje dla danego panelu.

      Usuń
  17. Witam wszystkich, również składałam grant PRELUDIUM w kategorii NZ7. Jak dowiedziałam się z NCN-u recenzje będą niestety dopiero pod koniec następnego tygodnia. Troszkę szkoda, bo w przypadku mojej uczelni będę miała tylko 2 dni przez weekend na poprawę wniosku.
    Gratuluję w każdym razie tym co grant uzyskali, i mam nadzieję, że kiedyś również znajdę się w gronie tych szczęśliwców:)

    OdpowiedzUsuń
    Odpowiedzi
    1. no właśnie, z tym jest zawsze kłopot - zostaje mało czasu... Niestety grant to prawie zawsze zarwana nocka a i tak raczej się nie udaje :o/ ale trzeba próbować!

      A przy okazji - z tego wynika, że "nasza" NZ8 uwinęła się jakoś szybciej niż inne! To jest dobra wiadomość i szacun dla członków panelu NZ8, bo gdybym miał 2 dnia na poprawkę, to na pewno bym nie zdążył, nie z tym grantem...

      Usuń
    2. Anonimowy, wyrazy współczucia. Ja zawsze staram się wysłać grant przynajmniej tydzień przed due date. Nigdy natomiast nie miałem sytuacji (i mam nadzieję, że nigdy jej nie będzie), że zostały mi 2 dni...

      Usuń
  18. Mam kłopot ze zrozumieniem badań podstawowych patrząc na listy zwycięzców PRELUDIUM. Np w edycji PRELUDIUM 2 mamy optymalizację silnika albo w konkursie "..bez stopnia doktora" projekt pt. "Modelowanie i optymalizacja pływającego pojazdu gąsienicowego". Jak te dwa przykłady mogą spełniać wymóg badań podstawowych ? Wydaje się, że oba są ukierunkowane na osiągnięcie konkretnych celów (optymalizacja->kryteria)!

    OdpowiedzUsuń
    Odpowiedzi
    1. Ustawowa definicja "badań podstawowych" jest liberalna: mówi, mają one na celu "przede wszystkim" (a NIE "wyłącznie") zdobywanie "wiedzy o podstawach zjawisk". Jeśli autor pokazuje we wniosku, że projekt dostarcza nowych danych o "podstawach zjawisk", to trudno wniosek odrzucić formalnie jako nie spełniający kryterium "podstawowości". Z zasady, wartość projektu w NCN powinna być jednak oceniana nie ze względu na jego aspekt aplikacyjny, ale ze względu na to, jak przyczynia się do rozumienia "podstaw zjawisk". Jednakże rygorystyczne stosowanie tej zasady też jest trudne.

      Po pierwsze, coraz więcej pytań o "podstawy zjawisk" jest motywowanych problemami praktycznymi (inżynierskimi i medycznymi), a coraz mniej badań robi się wyłącznie dla zaspokojenia ciekawości, jak świat funkcjonuje. W całym obszarze NZ większość badań jest motywowanych problemami medycznymi, a w interesującym najbardziej czytelników tego bloga panelu NZ8, znaczna cześć badań ekologicznych jest motywowana problemami "ochroniarskimi".

      Badania motywowane pytaniami natury praktycznej mogą wnosić istotne elementy do wiedzy podstawowej – a przykład z projektem mającym na celu optymalizację silnika to akurat strzał w dziesiątkę, gdyby ktoś chciał do takiej tezy przekonać innych. Podwaliny pod zasady termodynamiki, a w szczególności drugą zasadę, przedstawił Nicolas Carnot, który usiłował znaleźć rozwiązanie na poprawę wydajności silników cieplnych. Oczywiście, nie twierdzę, że projekt o którym przedmówca napisał będzie prowadził do równie wiekopomnego dzieła jak "O sile poruszającej ognia” Carnota – ale zalecałbym ostrożność w ferowaniu wyroków na podstawie tytułów projektów.

      Po drugie, panele stają niekiedy wobec dylematu, czy:

      a) przyznać grant na projekt wyglądający bardzo dobrze choć o wątpliwym statusie "podstawowości",

      b) oddać środki niewykorzystane (przyznać granty na sumę mniejszą niż budżet panelu),

      c) przyznać grant na badania niewątpliwie podstawowe ale o wątpliwej jakości.

      NCN (wzorując się na FNP) bardzo słusznie zaleca unikanie opcji "c" - członkowie paneli są instruowani, że priorytetem jest przyznawanie grantów wyłącznie na projekty w ich ocenie bardzo dobre, a nie "wypełnienie" budżetu. Przynajmniej niektóre panele do tego się stosują (co już ktoś powyżej zauważył). Ale myślę, że łatwo powinno być zrozumieć, że panelowi trudno przychodzi podjęcie decyzji, która w powszechnym odbiorze będzie interpretowana jako działanie na szkodę swojej dziedziny i "środowiska". Skład paneli nie jest ujawniany w trakcie ich pracy, ale jest publikowany później, a przewodniczący panelu jest w ogóle jawny. Trzeba więc trochę hartu ducha, by się na takie decyzje zdobyć (choć na razie z przyjemnym zdziwieniem odnotowuję, ze obraźliwych anonimów jeszcze nie dostałem :-).

      Co zrobić z wnioskiem złożonym przez świetnych uczonych, na projekt co do którego nie ma wątpliwości, że jest wartościowy, choć jest też oczywiste iż jego główny walor jest w potencjalnych aplikacjach praktycznych, a nie w poznawaniu podstaw zjawisk? Gdyby był nadmiar bezdyskusyjnie świetnych projektów czysto poznawczych, ta sprawa byłaby prosta (ale za to pojawiłyby się inne trudności decyzyjne!). Ale jeśli tak nie jest, czy nie lepiej jednak taki projekt sfinansować niż oddać niewykorzystane środki? To są trudne decyzje, poprzedzane długimi dyskusjmi – ale jest też zrozumiałe, że dopóki samemu nie zasiądzie się po drugiej stronie stolika trudno takie dylematy właściwie ocenić.

      Pawel Koteja

      Usuń
  19. Czy na pierwszym etapie eksperci są rzetelni?
    Czytając powyższe wpisy przypomniał mi się mój wniosek z wcześniejszych rozdań OPUSA, odrzucony w "pierwszym czytaniu". Wniosek był za praktyczny (ok, może i tak), ale wyraźnie było, że ekspert "przekleił" swoje uwagi z innego wniosku. Jeżeli bowiem argumentem jest to, że nie przyczynią się badania do rozwoju wiedzy w obszarze X, a temat i wniosek dotyczą Y, to niestety świadczy to o co najmniej niedbałości eksperta. Z innych perełek można wskazać na fakt, że nawet nie wniknął w spis dorobku (brak publikacji w znaczących dla dziedziny periodykach - podczas gdy z "A" były dwa a chyba tam są "znaczące"). Nie chodzi, że odrzucił - chodzi o to, że w kategoriach punktacji znacząco zaniżył.
    A odwołać się też nie było jak bo "papierowej" decyzji w końcu nie dostałem (wysłano tylko na uczelnię i jakoś "przepadła")
    Na szczęście nie muszę już się martwić o grant - nazwiska i tytuły biorą wszystko, wystarczy być w zespole...

    OdpowiedzUsuń
  20. A ja wlasnie skladam wniosek do kolejnej edycji OPUS. NCN nie byloby soba, gdyby znow czegos nie poprawilo. Tym razem zmianie ulegly tytuly paragrafow jakie nalezy wypelnic w "Skroconym opisie po polsku". Od dawna fascynowala mnie spojnosc a czesciej jej brak miedzy "nadtytulem" a wpisanym ponizej rozwinieciem tegoz. Tym razem mamy taki fajny kwiatek:(wielkie litery dodane przeze mnie)

    punkt 3.
    Efekt
    ZNACZENIE oraz przewidywany wymierny efekt realizacji PROJEKTU

    punkt 5.
    ZNACZENIE PROJEKTU
    Wpływ realizacji projektu na rozwój dyscypliny naukowej


    Zastanawiam sie czy ktos kto pisze te formularze ma zwyczaj zagladania co napisal dwie linijki wczesniej.

    Amoze by jeszcze dodac:

    Wplyw
    Znaczenie realizacji projektu

    Sorki za sarkazm

    OdpowiedzUsuń
    Odpowiedzi
    1. częściowo się zgadzam, tzn. od dawna jestem zwolennikiem dwóch alternatywnych rozwiązań:
      * wersja MAX: masz 10 stron, przekonaj recenzentów (bez żadnego narzuconego podziału itp. - jak zapomnisz np. o metodyce to po prostu nie dostaniesz grantu, proste)
      * wersja REAL: podział jak w klasycznej publikacji - zaczynasz od wstępu (w nim background, hipotezy, cele itp), potem szczegółowa metodyka z kosztorysem, spodziewane wyniki i dyskusja, czyli co z tego może wynikać.

      też mam wrażenie, że w obecnej formie podział i kolejność jest czasami mało intuicyjna i każą mi zaczynać od celu a ja bym chciał najpierw opisać tło, żeby z niego wynikał cel...

      Usuń
    2. Z tymi tytułami to w ogóle jest zabawa, bo jak się okazuje różne konkursy mają w "systemie" różne nadtytuły, podtytuły i podtytułów opisy - dość powiedzieć że różni ludzie różne rzeczy wsadzają do różnych kawałków. Ja pisząc starałem się stosować w 100% do opisów sekcji - i wyszła sieczka ;) więc przerzuciłem się na zdrowy rozsądek - i wyszło ok ;)

      Usuń
  21. Tytuł projektu: Badanie mechanizmów degradacji elektrod tlenkowych ogniw paliwowych
    Panel ekspertow: - brak informacji, jakie ogniwa paliwowe miały by być badane

    OdpowiedzUsuń