wtorek, 20 grudnia 2011

NCN – więcej niż kilka uwag krytycznych

Kolega poprosił mnie o zamieszczenie takiego posta:


Odbyłem dzisiaj długą rozmowę telefoniczną z Bardzo Miłą Panią z NCN. Zaczynałem ją w bardzo dobrym nastroju, zakończyłem w zdecydowanie gorszym. Moje pytania dotyczyły procedur odwoławczych w NCN. Złożony w ostatnim konkursie projekt przepadł w II etapie. Ponieważ jednak poziom merytoryczny recenzji uznałem za skandaliczny i urągający podstawom naukowej rzetelności, chciałem złożyć oficjalne odwołanie od decyzji Dyrektora NCN. W NZ_6 do którego składałem wniosek (konkurs dla młodych z dr) do drugiego etapu przeszło 8 projektów, z których 3 dostały finansowanie. Po prostu chciałem dowiedzieć się, na którym miejscu „pod kreską” jestem. Przyzwyczajony byłem, że w konkursach organizowanych przez Ministerstwo, w pisemnych decyzjach zawsze była zawarta informacja że „projekt X został sklasyfikowany na miejscu Y listy rankingowej, podczas gdy finansowanie uzyskały projekty do miejsca Z listy”. A w NCN szok – nie ma szczegółowej listy rankingowej według uzyskanej punktacji. W tym momencie moja zdolność pojmowania rzeczy i zjawisk zaczęła zawodzić. Skoro nie ma szczegółowej listy rankingowej, to na jakiej podstawie jedne projekty otrzymały finasowanie, a inne nie? Odpowiedź rozwaliła mnie całkowicie (cytuję) „uzyskana punktacja nie jest wiążąca dla Panelu, który podejmuje decyzje kolegialnie”. Czyli można mieć świetny projekt, który deklasuje inne wnioski w danym panelu/typie konkursu i można nie dostać pieniędzy na jego realizację, bo „czynniki” zdecydują inaczej. Na moje dalsze pytania, jak mogę uzyskać informacje o przesłankach, którymi kierował się Panel w podejmowaniu decyzji padła jasna odpowiedź „wszystko, czym dysponujemy jest w osf”. Czyli nie ma ŻADNEJ możliwości weryfikacji zasadności decyzji podjętych przez Panel. Medal dla NCN za transparentność !

Zafrapowało mnie to na tyle, że zacząłem drążyć temat dalej. Na moje pytanie, że przecież art. 31 ustawy o NCN nakłada obowiązek stworzenia listy rankingowej
„Art. 31. Koordynator Dyscyplin zamieszcza na stronie podmiotowej Centrum w Biuletynie Informacji Publicznej informacje o wnioskach złożonych w konkursach na realizację projektów badawczych i wynikach tych konkursów zawierające:
1) tytuł złożonego wniosku;
2) imię i nazwisko kierownika projektu badawczego oraz nazwę podmiotu, o którym mowa w art. 10 ustawy z dnia 30 kwietnia 2010 r. o zasadach finansowania nauki, będącego wnioskodawcą;
3) pozycję na liście rankingowej uzyskaną przez projekt badawczy skierowany do finansowania;
4) wysokość środków finansowych proponowanych do przyznania na poszczególny projekt badawczy przez Koordynatora Dyscyplin i przyznanych przez Dyrektora.”

padła odpowiedź że obowiązek taki istnieje wyłącznie w stosunku do projektów, które zostały zakwalifikowane do finansowania (interpretacja działu prawnego NCN). I tutaj zaliczyłem kompletny opad szczęki. Na moje pytanie, dlaczego udało się stworzyć listę rankingową dla projektów rozpatrzonych pozytywnie, a nie udało się stworzyć dla tych, które nie uzyskały finansowania, padła odpowiedź która w ogóle mnie nie przekonała „byłoby to możliwe wyłącznie dla projektów, które przeszły do drugiego etapu”. Tylko dlaczego taka nie powstała? Czego NCN się boi? Przyznam szczerze, że dzisiejszy dzień był a tyle męczący, że wyluzowałem z dalszymi pytaniami. 

Co do odwołania, to dałem sobie spokój. Zostałem poinformowany, że w przypadku złożenia odwołania, NCN może zablokować mi możliwość składania nowych wniosków, nawet w niewielkim stopniu pokrywających się z tematyką oprotestowywanego wniosku. Szkoda czasu na kopanie się z koniem. Generalnie, jest głęboko rozczarowany zarówno poziomem recenzji, jak i „transparentnością inaczej” procedur zastosowanych przez NCN. System, który funkcjonował w Ministerstwie był daleki od ideału, ale pewne rzeczy (na ogół merytoryczne recenzje, jasna i jawna lista rankingowa) funkcjonowały w miarę O. K. Zamiast poprawić to, co było do poprawienia, rozwalono bez sensu wszystko. Trąbienie o sukcesie I konkursu prowadzonego przez NCN jest ogromną przesadą; czuję (obym był złym prorokiem) że do dopiero początek „smaczków” jakie NCN ma nam do zaoferowania.

58 komentarzy:

  1. Moze moglbys przesłac na bloga teks uzasadnienia/recenzji, zebysmy mogli ponapiętnować troszkę skandalicznego recenzenta publicznie. Bez podania tekstu recenzji, ciężko wierzyć na słowo, że recenzje były skandaliczne.

    OdpowiedzUsuń
  2. A swoją drogą dotychczas bywały trzy recenzje. W takiej sytuacji nawet jak jedna była nie do końca sensowna, to panel mógł to wyłapać, a jej znaczenie było relatywnie mniejsze. Jeśli teraz sa dwie (nie wiem, czy jest to obecnie przyjęty standard, jeśli nie to przepraszam:-), można dostać dwie, dość różne opinie. I wtedy ocena, która z nich jest "lepsza/sensowniejsza/ powinna być brana pod uwagę" może być trudna a może i subiektyna.
    Trzecia recenzja byłaby wiec przydatna (choć wiąże się to z kosztami). Jeśli dostanie się dwie recenzje oceniajace projekt kiepsko, to widac, że nie udalo sie zainteresować recenzentów. Jeśli sa tylko dwie i jedna ocenia wysoko, a druga niezbyt i do tego jest np. mniej merytoryczna, to trudno o danym projekcie cokolwiek powiedzieć. Stąd możliwy większy relatywizm oceny i może brak listy rankingowej opartej mniej lub bardziej na średniej liczbie punktów itd..

    pozdr,
    TM

    OdpowiedzUsuń
  3. Drodzy Państwo,
    Z mojej perspektywy (druga strona linii telefonicznej) sytuacja przedstawiona w powyższym poście wygląda następująco:
    - wniosek został oceniony przez 2 członków Zespołu Ekspertów w panelu NZ6 oraz 2 recenzentów zewnętrznych, wszystkie recenzje wraz z podsumowaniem panelu są dostępne dla wnioskodawców w OSF,
    - kierownik wniosku zgłosił zastrzeżenia co do rzetelności JEDNEJ z recenzji zewnętrznych, mimo, że oceny z I i II etapu były zbieżne (o czym został poinformowany), a Zespół ustalił uzgodnioną ocenę (z uwzględnieniem punktacji z wszystkich 4 niezależnych ocen) oraz podjął ostateczną decyzję po dyskusji na temat wniosku,
    - wnioskodawcy przysługuje prawo do odwołania od decyzji.
    Myślę, że uogólnienie sugerujące brak rzetelności w całym procesie oceny prowadzonym przez NCN nie jest sprawiedliwe.
    Pozdrawiam,
    'Bardzo Miła Pani z NCN'

    OdpowiedzUsuń
  4. Ten komentarz został usunięty przez autora.

    OdpowiedzUsuń
  5. Szanowna Bardzo Miła Pani z NCN,

    to ja przepraszam, bo skoro są 4 pełne i niezależne oceny, to sytuacja wydaje sie być nawet lepsza niz była.
    Niestety nie moge tego na razie ocenić, bo sam nie składałem wniosku, a znany mi został odrzucony na poczatkowym etapie oceną jednego recenzenta:-( (ale to inny panel), a recenzji drugiego projektu nie znam..
    I stąd mój komentarz o tylko dwóch opiniach.

    Przy okazji, ciesze sie, że NCN czyta tego bloga.. moze i kierownicy grantów, które przesżły poznają też swoje recenzje, co bylo tu w róznych miejscach kilkakrotnie podnoszone:-)

    pozdrawiam,
    TM

    OdpowiedzUsuń
  6. Nie zamierzam umieszczać tutaj recenzji, bo wymagałoby to także umieszczenia tekstu wniosku. Jakość recenzji można tylko rozpatrywać w kontekście całości projektu. Nie byłoby to rozsądne, zważywszy na fakt, iż projekt po gruntownej modernizacji zostanie złożony ponownie do innego panelu.
    Sytuację z recenzjami proszę potraktować wyłącznie jako punkt wyjścia. Recenzje trafiają się różne: mniej i bardziej merytoryczne. Ale czasami trafiają się też takie, które budzą jawny sprzeciw, gdyż są sprzeczne ze stanem faktycznym (aktualnym stanem wiedzy w danej dziedzinie, czy też zawartością wniosku)- taka sytuacja miała właśnie miejsce. A psim prawem autora wniosku jest sie nie zgodzić z taką recenzją.
    Nie zarzuciłem NCN-owi braku rzetelności. Moje obawy budzi jedynie sytuacja, kiedy nie ma jasnych kryteriów, mowiących o tym DLACZEGO dany wniosek został/nie został zakwalifikowany do finansowania. Kiedyś była lista rankingowa i sytuacja była klarowna. Teraz tej przejrzystości brakuje, bo o wszystkim decyduje "widzimisię" Panelu. Uważam, że nie jest to w porządku.
    Ukłony dla Pani z NCN

    kolega_Michała

    OdpowiedzUsuń
  7. Jeszcze jedna uwaga dotycząca opisanej sytuacji: zgadza się, są 4 recenzje. Tylko dlaczego podsumowanie oceny stanowi "mini-streszczenie" recenzji najgorszej?
    Chciałby także opisać przykłady powszechnych praktyk Recenzentów, z którymi nie mogę się zgodzić
    Np. Recenzenci wytykają przeszacowany kosztorys w części dotyczącej analiz molekularnych. Na jakiej podstawie? We wniosku jest opisana szczegółowa metodyka + podana liczba planowanych do przeanalizowania próbek. Dlaczego Recenzent nie przygotował własnego, alternatywnego kosztorysu i nie umieścił go w recenzji? Być może udałoby się zrobić trochę oszczędności i przy okazji autor wniosku nauczyłby się czegoś. Ale nie, najlepiej napisać "przeszacowany kosztorys" nie dając żadnej alternatywy.
    Co może zrobić w takiej sytuacji autor wiedząc, że kosztorys nie jest przeszacowany, a biorąć pod uwagę kurs euro, trzeba będzie na czymś przyoszczędzić?
    Podobnie ma się rzecz z opiniami typu "taki sprzęt można kupić za połowę ceny podanej we wniosku". Takie uwagi miałyby sens wyłącznie wtedy, gdyby Recenzent podał alternatywnego producenta sprzętu i jego parametry, porównywalne z tymi, o zakup którego wnioskowano. Tylko wtedy taka krytyka ma sens.
    Sam recenzuję prace i recenzje przygotowuję w formie, jaką sam chciałbym otrzymać. Z drugiej strony, NCN wydał na recenzje kupę kasy. Dlaczego więc nie dba o to, na co pieniądze te zostały wydane?

    kolega_michała

    OdpowiedzUsuń
  8. Kolego Michala i inni koledzy i kolezanki,

    Gdzies w styczniu tego roku umiescilem 2, badz 3 zdaniowa recenzje swojego wniosku, ktory trafil do 40 konkursu MNiSW. Doskonale rozumiem Twoja frustracje. Tym razem mialem szczescie trafic na porzadnych recenzentow, ktorzy swoja robote zrobili lepiej niz porzadnie. Pamietam tez zapewnienia mojego kolegi, ze system przyjety w NCNie mial eliminowac wszystkich nibyrecenzentow. Z przykladow, ktore sie tu pojawiaja widac, ze niekoniecznie sie tak stalo. Liczyc pozostaje tylko na to, ze osoby, ktore przygotowaly te nibyrecenzje wypadna z listy potencjalnych recenzentow w kolejnych konkursach.
    Co do braku listy rankingowej. Czy naprawde jest wazne, ze upadlo sie na pierwszej pozycji pod kreska, czy na ostatniej? Nie wiem. Uwazam, ze znacznie wazniejsze jest poznanie pelnych recenzji! Uwazam, ze skandalicznym jest przygotowywanie wyciagu z trzech czy czterech recenzji dla wnioskodawcy. Po to m.in. pisana jest recezja by pomoc wnioskodawcy poprawic projekt. Apeluje wiec: NCNie, zamieszczaj PELNE recenzje w OSFie!
    I wroce jak pijany do plotu do wielokrotnie podnoszonej juz przeze mnie kwestii. Recenzje wnioskow powinny byc wykonywane na zasadzie peer-review, za darmo. Znikna wtedy problemy wysylania wniosku do wiecej niz 2 recenzentow zewnetrznych i nikt nie bedzie sie frustrowal, ze jakis hochsztapler pisze recenzje 2-zdaniowe i dostaje za to pieniadze. Tak jest przynajmniej czesciowo w USA, tak jest w Izraelu, tak jest w RPA. Placone maja czlonkowie panelu, a recenzje sa pisane przez recenzentow z calego swiata. I nie ma problemu zeby jeden wniosek zostal oceniony przez 4 do 6 recenzentow zewnetrznych. Nijak nie rozumiem dlaczego maja byc wydawane pieniadze za recezje? Raz recenzujesz ty, innym razem ktos inny zrecenzuje ciebie. Ten system sprawdza sie w wiekszosci czasopism i w wielu fundacjach przyznajacych pieniadze.

    Najlepszego,
    michal

    OdpowiedzUsuń
    Odpowiedzi
    1. Mikołaj Morzy2 lutego 2013 14:36

      Akurat tu się nie mogę zgodzić. Jako osoba uczestnicząca w pracach panelu ST i recenzująca wnioski mogę powiedzieć tyle: przy aktualnym obciążeniu recenzjami (w bieżącym konkursie 16 recenzji) w zasadzie zawiesiłem na kołku jakąkolwiek działalność naukową i dydaktyczną. Gdyby nikt mi nie płacił za absurdalną ilość pracy wkładaną w recenzje, to bym grzecznie odmówił, bo niestety nie stać mnie na to, żeby przez pół miesiąca pracować pro publico bono do późnych godzin nocnych. Natomiast panaceum na bolączki związane z recenzjami jest bardzo proste: recenzje grantów powinny przestać być anonimowe (podobnie jak recenzje do czasopism). Pod KAŻDĄ napisaną przez siebie recenzją mogę się podpisać imieniem i nazwiskiem i jestem przekonany, że 90% recenzentów rzetelnie wykonujących swoją pracę także. A jawne recenzje bardzo szybko wyeliminowałyby niesolidnych pseudorecenzentów (typu profesor zlecający asystentowi recenzowanie grantu, bo i takie ponoć sytuacje się zdarzały).

      Usuń
    2. Szanowny Panie,

      Jak rozumiem, pisze Pan jako czlonek panelu eksperckiego. Wiec odsylam do wpisu powyzej: "Placone maja czlonkowie panelu, a recenzje sa pisane przez recenzentow z calego swiata." Tak wiec ocena wnioskow i podejmowanie decyzji sa platne. Ale nie recenzenci ad-hoc. Swoja droga, z tego co sie orientuje, recenzenci zagraniczni rzadko biora pieniadze za recenzje. Podtrzymuje wiec swoje zdanie: recenzenci ad-hoc nie powinni otrzymywac wynagrodzenia, eksperci - tak.

      michal

      Usuń
  9. Ja osobiscie nie rozumiem frustracji "kolegi_michala", a jego wypowiedz swiadczy o raczej o watlym doswiadczeniu w nauce. Przytocze przyklad: jesli wysyłasz prace do najlepszych czasopism w danej dziedzienie, gdzie czesto ocena opiera sie na cn 3 recenzentach, to nawet chocby dwie recenzje byly wysmienite, a tylko jedna wyrażałaby watpliwosci wzgledem maszynopisu, to w 99% przypadkow praca bedzie odrzucona. Każdy, kto wysyłał prace do topowych journali, zna ten ból. Po prostu, być może ta jedna recenzja otwiera oczy na słabosci pracy. Nie mowie oczywiscie, ze tak bylo w przypadku wniosku "kolegi michala", bo znam polską rzeczywistosc, ale na pewno nie jest to powod zeby wylewac żale na cały NCN.
    Pozdrawiam
    Kolega wielu z Was

    OdpowiedzUsuń
  10. Zacytowany fragment ustawy ewidentnie wskazuje na obowiązek zamieszczania pełnej listy zgłoszonych wniosków, co byłoby moim zdaniem słusznie. Tak było w MNiSW. I nie widzę tu możliwości innej interpretacji prawnej (złożone to złożone, a nie zakwalifikowane do finansowania). I brak recenzji wniosków które przeszły jest nie w porządku. Sam jestem zainteresowany, mój wniosek przeszedł (zupełnie inna dziedzina) i dziwnie się czuję nie mając ani zdania uzasadnienia. Rcenzje mogą być przydatne i wnieść coś do projektu z innej perspektywy. Recenzje są, więc nie rozumiem czemu ich nie opublikowano. Rozumiem braku podsumowania (to dodatkowa praca administracyjna, moim zdaniem niepotrzebna), ale można by opublikować po prostu recenzje.
    „Art. 31. Koordynator Dyscyplin zamieszczanie na stronie podmiotowej Centrum w Biuletynie Informacji Publicznej informacje o wnioskach złożonych w konkursach na realizację projektów badawczych i wynikach tych konkursów (...)"

    OdpowiedzUsuń
  11. Ale ogólnie myślę, że NCN idzie w dobrym kierunku. Może niepotrzebnie zmienia to, co było akurat dobre (system recenzji w MNiSW działa technicznie sprawnie, publikacja pełnej listy złożonych wniosków była od lat praktykowana etc.), ale na pewno wiele jest nowego i dobrego. Warto zgłaszać postulaty, na pewno część uwzględnią. Z postulatów ważny jest ten o ocenie kosztów: powinny być konkretne wytyczne dla recenzentów w tej kwestii, sucha informacja "koszty przeszacowane" nie powinna mieć miejsca. Jeszce gorzej jest z kosztami wynagrodzeń, tu panuje zupełna dowolność, można bawić się w zgadywanie co przejdzie, a co nie. Tu aż prosi się o wytyczne dla wnioskodawców.

    OdpowiedzUsuń
  12. Ten internauta jest profesorem w Kanadzie i pisze o procedurze oceniania grantów w tym kraju:

    http://forum.gazeta.pl/forum/w,87574,131207924,131248907,Re_loteria.html

    W cywilzacji granty ocenia panel skladajacy sie z 10-20 osob. Ich nazwiska sa jawne. Delikwent nie wie tylko, kto akurat napisal recenzje. Ale panel juz tak. Nad caloscia czuwa przewodniczacy panelu, ktorego zadaniem jest miedzy innymi to, zeby granty oceniane byly merytorycznie i bez osobistych wycieczek. Zdarza sie, ze przewodniczacy wplywa na recenzetow by dokladnie uzasadnic ocene. Panel dyskutuje nad kazdym grantem co najmniej 20 minut. W wypadku gdy recenzje znacznie sie od siebie roznia trwa to nawet dluzej. Delikwent otrzymuje rowniez raport z tej dyskusji. (...)

    Co roku biore udzial w trzech czterech panelach - profesjonalnizm i ocena merytoryczna to podstawa kazdego z nich. A samo nastwaienie recenzentow to rzetelna ocena jak rowniez wskazowki w jaki sposob grant poprawic by nastepnym razem mial szanse.
    Recenzenci, ktorzy sa konfrontacyjni czy mja bias nastepnym razem do panelu nie sa zapraszani. Owszem zdarzaja sie oceny "chybione" ale takie przewaznie sa korygowane. Skladajacy wniosek o grant wie mniej wiecej jaki jest sklad panelu a zatem wskazanym jest by takie rzeczy uwzlednic. Nie chodzi mi o pisanie "pod kogos" ale o zdanie sobie sprawy jaka ekspertyze panel posiada. Recenzenci to tez naukowcy i w ich interesie lezy by granty byly fundowane a nie "ujajone". Dodam, ze delikwent ma prawo do wskazania recenzentow, ktorych na przyklad nie chce (i jest to uwzgledniane). Jak rowniez sam ma prawo zasugerowac recenzentow, ktorych pragnie (i tacy bardzo czesto dzialaja jako dodatkowa opinia).

    OdpowiedzUsuń
  13. Recenzja powinna wskazać wszyskie słabosci pracy oraz dać możliwość sensownego ich poprawienia. Nie zawsze jednak tak jest. W przypadku topowych journali, w sytacji kiedy uważasz agrumenty użyte przez recenzenta za nieuzasadnione, nawet w przypadku odrzucenia pracy, zawsze można podzielić się z Editorem swoimi wątpliwościami. Ja z takiej możliwości korzystam. Nie jestem rozżalony i nie mam przerostu ego.W swoim poście chciałem głównie zwrócić uwagę na bardzo niebezpieczny precedens, który kluje się na naszych oczach - całkowitą uznaniowość działania Paneli. Mogą zrobić wszystko i przed nikim nie muszą się tłumaczyć. Zmiany w tej kwesti trzeba wprowadzać szybko, bo obawiam się, że NCN za kilka lat zabetonuje się całkowicie.
    Według mnie sytuację w NCN rozkłada brak listy rankingowej. Mogę przedstawić co najmniej kilka argumentów za funkcjonowaniem takiej listy:
    1. Spełnia ona ważną funkcję informacyjną dla autora projektu: jesteś w ogonie stawki-daj sobie spokój z tym projektem, środek stawki-projekt wymaga gruntownych przeróbek, góra stawki-wprowadź niewielkie poprawki i składaj ponownie. Mi sucha punktacja zawarta w ocenie dostępnej w osf niewiele mówi, a przy słabych recenzjach to panuje już całkowity mętlik. Pełną informację daje dopiero porównanie Twojego projektu do innych w danym panelu/konkursie
    2. Lista rankingowa zapewnia całkowtą przejrzystość działania Panelu. "Proszę bardzo, na podstawie recenzji i punktacji uzyskanej przez projekty, ustalono listę, z której projekty do miejsca X uzyskały finansowanie". I sprawa jest całkowicie klarowna. W tej chwili sytuacja nie jest tak jasna, a argumenty którymi kierował się Panel przy rekomendowaniu projektów do finansowania są zagadką. Punktacja i recenzje swoją drogą, a Panel może w ogóle ich nie brać pod uwagę. Po co wtedy recenzje? W takiej sytuacji, niech Panel sam zajmie się oceną projektów - będzie taniej.
    3. Nie wyobrażam sobie procedury odwoławczej w sytacji braku listy rankingowej. Dyskusja naukowa jest zawsze dyskusją na argumenty. W odwołaniu można wskazać na fragmeny recenzji, w których recenzent mija się z prawdą, a to z kolei powinni powodować korektę punktacji. W przypadku braku takiej listy co może napisać Rada Odwoławcza? "Bardzo przepraszamy, ma Pan/Pani rację, ale punkty nie mają i tak znaczenia, bo Panel podjął kolegialnie inną decyzję, zatwierdzając do finansowania projekty które bardziej mu leżały". Po co wtedy cały ten cyrk z recenzjami, punktacją itd.
    Myślę, że dobrze byłoby gdyby ktoś z NCN napisał na tym blogu, dlaczego zrezygnowano z listy rankingowej.

    kolega_Michała

    OdpowiedzUsuń
  14. W pełni się zgadzam z opinia przedstawioną przez "kolega_M". Jestem z innego panelu niż większość dyskutantów ale pierwsze konkursy w mojej dziedzinie nie wyglądały najlepiej. Też mam pewien problem z uznaniowością panelu. 3 zdaniowa recenzja mówi o tym (uwaga!) że a) to oczywiste że takich badań przeprowadzić się nie da, bo jakby się dało to już ktoś by je przeprowadził !!! (bez dalszych argumentów) b) że dorobek słaby (w tym samym konkursie inny doktorant tego samego promotora o słabszym niż ja dorobku dostał grant, może ważne jest to że był z innego Uni?)
    I teraz przyjmijmy że chciałbym się odwołać - choćby od tego jak oceniono mój dorobek - jak to zrobić skoro nie wiadomo na ile pkt. został on oceniony?
    Jeśli faktycznie ktoś z NCNu czyta ten blog, to generalnie życzyłbym sobie [takie moje propozycje rzucone w powietrze ;-] więcej jawności w całym procesie, wniosków anonimowych (dorobek można łatwo ocenić na podstawie ilości art i cytowań, obecnie obawiam się że jest tak, że taki sam dorobek może być inaczej oceniony przez 2 recenzentów! co jest skandaliczne) i najważniejsze - przy wykazaniu że recenzent jest skrajnie niekompetentny (widziałam takie przypadki na własne oczy u znajomego) wyrzucanie go z bazy potencjalnych recenzentów. Proszę zwrócić uwagę że część dziedzin w Polsce to całkowita "mizeria" i jest duża szansa trafienia na tego typu recenzentów.
    Pozdrawiam

    OdpowiedzUsuń
  15. Składałem także wniosek o finansowanie. Nie został "zakwalifikowany" przez panel I. Zajmuję się tematyką, co do której wiem, że nie ma w Polsce eksperta mogącego się rzetelnie wypowiedzieć w temacie. Nie spodziewałem się więc "szału". Ale moje recenzje, które ujrzałem w OSF przeszły najśmielsze wyobrażenia. Po pierwsze lakoniczne i w zasadzie pozytywne, zarówno w zakresie tych tzw. "mocnych i słabych stron" (nawiasem podobnie w podstawówce nam oceniała polonistka rozprawki).
    Generalnie "ludzie na mieście" mówią, że jak się ma znajomego w grupach panelowych, to jest szansa projekt przepchnąć, w przeciwnym razie szkoda czasu.

    OdpowiedzUsuń
  16. Wygląda na to, że ten blog czytają ludzie z NCN i najwyraźniej przemyśliwują komentarze internautów.

    Dlatego moja prośba jest taka, żebyśmy skupili się na merytorycznej krytyce, która ma na celu ulepszenie działania systemu grantowego - a nie na narzekaniu i atakowaniu ("ludzie na mieście mówią").

    Drodzy Koledzy, zwróćcie uwagę, że żądacie od NCN rzetelnych, merytorycznych, niekonfrontacyjnych recenzji. Niech więc wasze recenzje działania NCNu będą takie same.

    OdpowiedzUsuń
  17. Taki mały komentarz. Ocena obiektywna przez zrecenzentow nie jest możliwa. Wszyscy wiemy, ze ocena sama w sobie jest zawsze subiektywna. Recenzent zawsze ocenia, ze swojego punktu widzenia - zazwyczaj otrzymuje jeden lub dwa wnioski do oceny, a przeciez nie ma dostepu do innych wniosków. Dlatego, (to do "kolegi_M") fakt, że doktorant X mial wiecej publikacji, niż doktorant Y od tego samego promotora, nie znaczy ze X dostanie lepszą ocenę, zwlaszcza, jeśli ich wnioski oceniane są przez różnych recenzentów. I tutaj ujawnia się rola paneli. W takim przypadku nie należy zrzucac winy na recenzentów. Najwidoczniej, projekt Y byl lepszy. Bo to tez mimo wszystko jest oceniane na panelach.
    Zly recenzent

    OdpowiedzUsuń
  18. Słowo uzupełnienia: uważam, że kierunek w którym zmierza NCN jest bardzo dobry, a wprowadzenie kryterium cytowalności, indeksu H i IF uważam za jedyne rozsądne rozwiązanie. Zarównom nam, jak i ludziom pracującym w NCN (wielki szacunek dla nich za cierpliwość i kompetencje - zwłaszcza dla Bardzo Miłej Pani z NCN:-) zależy na tym, aby system funkcjonował jak najlepiej. Ale od uruchomienia NCN nie minął jeszcze rok i całość dopiero się dociera - to był pierwszy konkurs prowadzony przez NCN i np. niekompetentni recenzenci dopiero będą eliminowani z systemu. Pojawiły się też pierwsze wątpliwości np. odnośnie list rankingowych i procesu odwoławczego- tak jak w moim przypadku. To, że do pewnych rozwiązań nie jestem przekonany, nie znaczy że całość mi się nie podoba.

    kolega_Michała

    OdpowiedzUsuń
  19. Mi się też na papierze podoba, ale w praktyce mniej. Ktoś krytykujący mnie nie zrozumiał. Napisze bardzo merytorycznie.
    1. Moja uwaga dotycząca oceny dorobku była taka - wg. jest obecnie możliwe, że dwóch recenzentów (A i B) oceniających taki sam / bardzo podobny dorobek osób (X i Z) może je ocenić odmiennie - co moim zdaniem jest bez sensu (w moim przypadku dorobek osoby X jest wystarczający aby otrzymać grant, mój już nie)
    2. Nie widzę absolutnie jakichkolwiek argumentów aby wnioski nie były anonimowe. Na mieście nie przestaną mówić o tym ze trzeba mieć kogoś w komisji, jeśli nadal tak będzie.
    3. Jesli chcemy (tj. NCN chce) aby promowane były wnioski, które mają jakąś szansę po wykonaniu wnieść coś do międzynarodowego obiegu - w komisjach muszą zasiadać TYLKO osoby które mają międzynarodowy dorobek (obecnie tak nie jest). Osoby bez takiego dorobku nie są wstanie ocenić co jest "nowatorskie na skalę międzynarodową" a co "nie jest"
    4. Najważniejsze - wnioski muszą być oceniane przez kompetentne osoby (w wielu dziedzinach obecnie tak nie jest, i to jest fakt). Można tego dokonać na wiele sposobów, np. dopuścić recenzentów zagranicznych, wprowadzić możliwość "blokowania" niekompetentych recenzentów (o czym pisałem powyżej). Moim zdaniem najprostsza metoda byłaby taka: recenzenci musieliby udokumentować dorobek naukowy z konkretnego panelu w którym chcą recenzować (jak dla mnie wystarczył by jeden artykuł o za byłe 20-24 pkt.)
    Logujemy się na portalu, pokazujemy co w tej dziedzinie mamy w CV i tyle. W ten sposób można by było dorzucić jako recenzentów dr z dorobkiem. Co wydłużyło by potencjalną listę recenzentów. Powtórzę - obecnie w wielu dziedzinach recenzują osoby o zerowym dorobku. I to jest największy problem konkursów NCN jak i byłych ministerialnych.
    Wesołych świąt

    OdpowiedzUsuń
  20. Pomysł z anonimowym wnioskiem jest bez sensu. To nie artykuł, ale projekt naukowy. Ocena projektu opiera się jak najbardziej słusznie o ocenę dorobku kierownika (czy też wykonawców), nie może być inaczej. Wypowiedzi w stylu "na mieście mówią" są naprawdę poniżej poziomu. Jestem przykładem osoby, która grant otrzymała (na jednym z czołowych miejsc) i mogę to stanowczo zdementować.

    OdpowiedzUsuń
  21. Mimo wszystko, często jakoś przebija mi takie mniemanie "poszkodowanych" aplikujących, którzy nie dostali grantów, że Panel to jakieś złe i niekompetentne ciało, które w miarę możliwości rozdaje pieniądze po znajomych. Tymczasem członkowie paneli poznają się dopiero na ostatnią chwilę, nie wiedzą do ostatniego momentu, kto jest drugą osobą oceniającą projekty w pierwszym etapie... wiedzą natomiast, że każda podejrzana opinia, za wysoka bądź za niska w porównaniu do tej od drugiej osoby, będzie bardzo dokładnie rozpatrywana i będzie trzeba dobrze merytorycznie uzasadnić co jest takie super bądź nie, jeśli się przesadzi.

    \Kolejna kwestia, to poziom specjalizacji i recenzenci zagraniczni. Po pierwsze, nie trzeba być specjalistą od np. jakiejś konkretnej grupy organizmów, żeby ocenić na ile nowatorski i ciekawy jest dany projekt. Jest to oczywiście przydatne ale czasem może przynieść efekt zupełnie odwrotny. Np. specjalista od, załóżmy owadów, za wszelką cenę będzie przepychał projekty owadziarskie, mimo że są ewidentnie lepsze i ciekawsze dotyczące np. chociażby pierwotniaków czy naczelnych.

    Recenzenci zagraniczni to niestety duża bolączka. Zrobić recenzję dla NSF to fajna rzecz, można sobie wpisać w CV. Ale dla NCN... to już nie bardzo. Zdecydowana większość "recenzentów" z zagranicy po prostu odmawia przyjęcia wniosku do recenzji. Trzeba by pewnie płacić z 10 razy więcej, żeby skutecznie ich przyciągać, a to już wtedy robi się wielka kasa.

    Podsumowując pracę NCN od środka, myślę że jest postęp i będzie lepiej bo ewidentnie, przynajmniej w panelu gdzie sam byłem, jest wola by ulepszać i racjonalizować proces rozdziału pieniędzy. A to nigdy nie było i nie będzie łatwe i zawsze będą niezadowoleni.

    OdpowiedzUsuń
  22. Wszystko rozumiem, tylko po co trzymać w niepewności osoby, których grant nie została zakwalifikowany przez I panel aż do samego końca? Po co wprowadzać atmosferę wielkiego oczekiwania na recenzje, jak te recenzje są lakoniczne i zupełnie nie uzasadniają tego dlaczego projekt nie przeszedł dalej?

    Nie mogę się niestety zgodzić z tym, że nie ma znaczenia, czy projekt dotyczący owadów będzie recenzował znawca owadów, czy pierwotniaków. Owszem konstrukcję badania, założenia, nawet metodykę, może ocenić naukowiec, ale doniosłość i znaczenie projektu może we właściwy sposób ocenić wyłącznie ten, kto się tym zajmuje.

    Problemem w Polsce jest jednak to, że poszczególnymi tematami zajmuje się stosunkowo nieliczne grono. Więc czy się to komuś podoba, czy nie, przy takiej organizacji recenzji, przyznają oni sami sobie te granty.

    Co uważam jednak, że powinien zrobić NCN, to jednak przyłożyć większą wagę do rzetelności recenzji, zwłaszcza tych, które wychodzą na tzw. "piśmie", bo w kilku znanych mi przypadkach, instytucja ta naraziła się na śmieszność.

    OdpowiedzUsuń
  23. Co do "przetrzymywania" informacji o decyzji I panelu, to zgadzam się, że był to błąd. Błąd, który niestety wynikał z wcześniejszych decyzji i na który członkowie panelu nic już nie mogli poradzić. Byli natomiast zobowiązani do milczenia, więc jeśli ktokolwiek puścił parę z gęby na temat wstępnej selekcji... to jest niedobry.

    Wszystko zależy na jakim etapie. W drugim etapie oczywiście recenzja specjalisty jest jak najbardziej niezbędna. Ale na pierwszym etapie dobry zoolog czy ekolog spokojnie da sobie radę z projektami, odpowiednio, z klasycznej taksonomii zwierząt czy ekologii zwierząt. Prosty przykład, całkiem sporo projektów było typu "mchy doliny gdzie mieszkał Kubuś Puchatek" czy "rewizja części podrodziny X z południowo-zachodniego zasięgu". Nie trzeba być specjalistą, żeby wiedzieć, że są to jakieś niezbyt ambitne i bardzo cząstkowe projekty, które choć oczywiście nie są bez sensu i poszerzają wiedzę, to jednak nie mają za zadanie rozwiązać całościowo jakiegoś istotnego problemu, bądź też z natury swojej powinny być finansowane z innych źródeł (np. działalności statutowej), bo i tak nie są drogie.
    Tenże sam "panelista" zapewne inaczej spojrzy na projekt robiony na dowolnej grupie organizmów, gdzie ktoś stawia ważne pytanie ekologiczne, a więc nie pyta tylko np. gdzie coś występuje, ale np. z czego wynika dynamika jakiegoś zjawiska (choćby modnych ostatnio inwazji) czy też, jeśli zostanie zaprezentowana rewizja taksonomiczna jakiejś grupy, która ma być zrobiona różnorodnymi metodami (klasyczne, molekularna itd.) i ktora rzeczywiście rozwiąże jakąś hipotezę ewolucyjną.
    Osobiście uważam, nie zgadzając się z przedmówcą, że zbyt specjalistyczne podejście do projektów i spojrzenie na nie wyłącznie przez pryzmat własnego podwórka badawczego prowadzi do patologii a nie odwrotnie.

    Co do konkretnych recenzji, to oczywiście na pewno mogły się trafić nonsensowne. Ale właśnie od tego był też panel, żeby sprawdzać czy recenzenci dają ocenę zgodną ze swoją opinią, i że ta opinia jest merytoryczna.

    I zupełnie na koniec. Pieniędzy jest mało, trzeba więc zdawać sobie sprawę, że na granicy dostanie lub nie dostania grantu było całkiem sporo projektów ocenionych bardzo podobnie. Tutaj już trzeba było mieć czasem odrobinę szczęścia, a jeśli jej zabrakło, trzeba poprawić co się da i próbować jeszcze raz.

    OdpowiedzUsuń
  24. Generalnie, nikt rozsądny nie podważa dobrej woli członków Panelu, bo na to trzeba mieć mocne dowody, ale niektóre fakty (np. przyjmowanie recenzji, które z powodu żenującego poziomu lub zerowej kompetencji recenzenta powinny zostać od razu odrzucone wraz z odpowiednim banem dla autora) świadczą o tym, że nie wszystko funkcjonuje tak jak trzeba. Z drugiej strony: ludzie zasiadający w Panelach nie wzięli się znikąd. Są to nasi koledzy/koleżanki/przełożeni na co dzień podejmujący różne decyzje na poziomie katedry/zakładu/instytutu/wydziału/uczelni. Każdy z nas funkcjonuje w konkretnej rzeczywistości i wie, jak kluczowe decyzje odnośnie np. przepchnięcia/uwalenia habilitacji, rozdziału lokalnych środków, zatrudnienia kogoś są podejmowane i w jakim stopniu czynniki pozamerytoryczne (np. widzimisię kogoś ważnego, lokalne kliki i koterie, promowanie wiernych mierot itp.) w podejmowaniu takich decyzji mają udział. Nie demonizuję tego, bo znam trochę (z opublikowanej listy) trochę członków Paneli i o nich jestem spokojny. Nie znam jednak wszystkich, a żyję trochę za długo, żeby wierzyć w to, że samo zasiadanie w Panelu NCN czyniło z człowieka anioła, kierującego się wyłącznie poziomem merytorycznym danego projektu. Z rozkładu prawdopodobieństwa wiem, że źli i niekompetentni ludzie MUSZĄ w Panelach zasiadać. Tylko co zrobił NCN, aby ewentualny wpływ takich osób na podejmowane decyzje zniwelować? Sądzę, że zdanie się na przyzwoitość ludzką jest ze strony NCN (delikatnie mówiąc) naiwnością...

    kolega_Michała

    OdpowiedzUsuń
  25. Jeżeli głównym problemem jest jakość recenzji to może warto pomyśleć w przyszłości o systemie informacji zwrotnej - od autora wniosku dla NCNu na temat recenzji? Umożliwienie autorowi ocenianego wniosku odpowiedzi na pytanie "czy recenzja była merytoryczna i pomocna?" za pomocą zautomatyzowanego króciutkiego formularza mogłoby z czasem eliminować niesolidnych recenzentów.

    A co do zarzutów o przepychanie grantów po znajomości: w przypadku MNiSW analizowałem granty pod kątem winners & loosers i było kilku nieoczekiwanych zwycięzców, ale to nie dowód, że ktoś po znajomości to załatwiał. W przypadku konkursu NCN nie znamy grantów składanych, więc jeszcze trudniej to sprawdzać. A jak nie ma na to dowodów, to szkoda chyba zatruwać atmosferę merytorycznej dyskusji, bo tego typu oskarżenia muszą mocno dotykać ludzi, którzy akurat w żadne układy umoczeni nie są... Ja nie wierzę, że "przepychanie grantów" znajomym ma miejsce.

    michał żmihorski

    OdpowiedzUsuń
  26. Dziękuję szanownemu Paneliście że odniósł się do mojego postu.
    "Wszystko zależy na jakim etapie. W drugim etapie oczywiście recenzja specjalisty jest jak najbardziej niezbędna. Ale na pierwszym etapie dobry zoolog czy ekolog spokojnie da sobie radę z projektami..."
    - Jak pisałem oceniam konkursy NCN z perspektywy badacza z nauk społecznych (który z zainteresowaniem czyta tego bloga). W tym sensie nie jestem pewien czy dobry historyk współczesności prawidłowo oceni wniosek dotyczący starożytności, a psycholog społeczny wniosek z psychologii rozwojowej itp.
    - Moje uwagi dotyczyły też tego, że w 2 etapie zamiast specjalistów (widziałem recenzje kilku wniosków) zdarzały się "knoty" i to mnie bardzo boli.
    "Co do konkretnych recenzji, to oczywiście na pewno mogły się trafić nonsensowne. Ale właśnie od tego był też panel, żeby sprawdzać czy recenzenci dają ocenę zgodną ze swoją opinią, i że ta opinia jest merytoryczna"
    - Ale skąd to panel wie, skoro nie ma w nim specjalistów w danej dziedzinie?
    "Recenzenci zagraniczni to niestety duża bolączka. ... Trzeba by pewnie płacić z 10 razy więcej, żeby skutecznie ich przyciągać, a to już wtedy robi się wielka kasa."
    - Ciągle jest to ułamek kasy wydawanej na granty - kasy która powinna być dobrze wydawana - bo inaczej można by granty np. losować. Byłoby jeszcze taniej. Wyobrażam sobie, że można by zagranicznym wysyłać np granty które miały skrajne oceny.

    Szanowny Panelista nie ocenił innych moich propozycji -
    - w komisjach muszą zasiadać TYLKO osoby które mają międzynarodowy dorobek (obecnie tak nie jest). Osoby bez takiego dorobku nie są wstanie ocenić co jest "nowatorskie na skalę międzynarodową" a co "nie jest"
    - recenzenci powinni udokumentować dorobek naukowy z konkretnego panelu w którym chcą recenzować (jak dla mnie wystarczyłby jeden artykuł o za byłe 20-24 pkt.) W ten sposób można by było dorzucić jako recenzentów dr z dorobkiem.
    - powinna być możliwość banowania całkowicie niekompetentnych recenzentów

    Co do oceny dorobku i anonimowości, myślę że to dość prosta sprawa. Jeśli w konkursie dla doświadczonych uczonych da się wprowadzić "minima progowe" to podobnie da się dla młodych mniej więcej - na wejściu, jeszcze przed recenzjami - ocenić dorobek na powiedzmy 1,2 lub 3 pkt. Wtedy recenzje mogły by być anonimowe.
    Jako że w pełni utożsamiam się z tym co napisał w poście powyżej "kolega michała" nie do końca wierzę w uczciwość wszystkich recenzentów i panelistów. Proszę wziąć pod uwagę, iż "kumoterstwo" w innych dziedzinach może być znacznie większe niż waszej działce.
    To że większość/część jest OK, nic nie znaczy - jest tak duża konkurencja, iż praktycznie wystarczy jedna przeciętna recenzja aby wniosek został odrzucony.

    Na koniec, nie jestem sfrustrowaną osobą która nie dostała grantu. Mam grant z całkiem innego źródła i jestem zadowolony ;-) Moje uwagi to tylko głos w dyskusji pt. co zrobić aby było lepiej.

    OdpowiedzUsuń
  27. Witam,

    Tu ponownie "szanowny panelista" :) Z chęcią przyznałbym się kim jestem, ale zdaje się, że poza szefem panelu pozostałe osoby działają niejawnie, nie chcę robić jakiegoś precedensu. Poza tym, myślę że dyskutujemy o zasadach a nie o szczególnych przypadkach.

    Odniosę się głównie do opinii przedmówcy i od razu też zastrzegam, że pracowałem w jednym panelu i tylko do niego mogę odnosić moje doświadczenia.

    >- Jak pisałem oceniam konkursy NCN z perspektywy badacza z nauk >społecznych (który z zainteresowaniem czyta tego bloga). W tym sensie >nie jestem pewien czy dobry historyk współczesności prawidłowo oceni >wniosek dotyczący starożytności, a psycholog społeczny wniosek z >psychologii rozwojowej itp.

    W panelu, w którym pracowałem było mniej więcej po dwie osoby na każdy zakres tematyczny panelu. Jeśli coś było poza to znaczy, że składający projekt źle "wycelował". Niestety nie mam pojęcia jak to jest z naukami społecznymi, tam w ogóle jest o wiele większy problem z oceną osiągnięć i wcale nie myślę przez to, że jest to wiedza mniej warta czy mniej ciekawa, po prostu (najprawdopodobniej już z jej natury) trudniej... mierzalne są jej osiągnięcia.


    >- Ale skąd to panel wie, skoro nie ma w nim specjalistów w danej >dziedzinie?

    Obsada paneli powinna być dobierana na podstawie złożonych wniosków, tak by były osoby od mniej więcej wszystkich specjalności. Tak przynajmniej było w panelu gdzie ja byłem.

    >"Recenzenci zagraniczni to niestety duża bolączka. ... Trzeba by pewnie >płacić z 10 razy więcej, żeby skutecznie ich przyciągać, a to już wtedy >robi się wielka kasa."
    >- Ciągle jest to ułamek kasy wydawanej na granty - kasy która powinna >być dobrze wydawana - bo inaczej można by granty np. losować. Byłoby >jeszcze taniej. Wyobrażam sobie, że można by zagranicznym wysyłać np >granty które miały skrajne oceny.

    Wysyłanie próśb o recenzję było optymalizowane, wysyłano je wtedy gdy grant był powyżej pewnej kwoty, gdy wcześniejsze opinie były niespójne bądź gdy nie było w Polsce specjalisty niezwiązanego (bądź żadnego) z wnioskodawcą. Osobiście sugerowałem w jednym przypadku ponad kilkanaście nazwisk, z adresami, emailami itd...... i ciągle odmawiali. Gdyby dać stawki za które każdy coś zrobi, to recenzje by zjadły naprawdę dużo środków. Byłoby to możliwe tylko po preselekcji wniosków, wysyłanie wszystkich do recenzji zagranicznych to byłaby totalna porażka. Od razu zaznaczam, że sam recenzuję wnioski zagraniczne za darmo :)



    >Szanowny Panelista nie ocenił innych moich propozycji -
    >- w komisjach muszą zasiadać TYLKO osoby które mają międzynarodowy >dorobek (obecnie tak nie jest). Osoby bez takiego dorobku nie są wstanie >ocenić co jest "nowatorskie na skalę międzynarodową" a co "nie jest"
    >- recenzenci powinni udokumentować dorobek naukowy z konkretnego >panelu w którym chcą recenzować (jak dla mnie wystarczyłby jeden >artykuł o za byłe 20-24 pkt.) W ten sposób można by było dorzucić jako >recenzentów dr z dorobkiem.

    W NZ@ tak było. Oczywiście było osoby z różnej wielkości dorobkiem ale myślę, że były to najlepsze osoby z Polski w tym roku, które same nie składały wniosków.

    >- powinna być możliwość banowania całkowicie niekompetentnych >recenzentów

    A ja po prostu byłbym za jawnością i panelistów i recenzentów i treści recenzji. Rozwiązałoby to wszystko, choć może niektórzy ludzie już by się nie lubili.




    >Na koniec, nie jestem sfrustrowaną osobą która nie dostała grantu. Mam >grant z całkiem innego źródła i jestem zadowolony ;-) Moje uwagi to >tylko głos w dyskusji pt. co zrobić aby było lepiej.

    Ok, i bardzo dobrze, ale ja dla odmiany bloga czytam bo chciałbym żeby w następnym konkursie było lepiej. Niemniej, zawsze więcej osób grantów nie dostanie niż dostanie...

    Pozdrawiam,

    OdpowiedzUsuń
  28. merytoryczne recenzje w konkursach Ministerstwa??? chyba kpisz Waćpan....

    OdpowiedzUsuń
  29. "A ja po prostu byłbym za jawnością i panelistów i recenzentów i treści recenzji. Rozwiązałoby to wszystko, choć może niektórzy ludzie już by się nie lubili".

    Albo byłoby odwrotnie - właśnie dlatego żeby nie podpadać innym, którzy np. następnym razem mogą recenzowac grant dzisiejszego recenzenta, opinie będą okrągłe, bezpieczne (dla recenzenta) i raczej z wysoką punktacją... Wtedy cała robota spadnie na panel i będą narzekania, że wysokie punkty, a grant nie przeszedł...

    Przy grantach MNiSW parę razy usłyszem od znajomych, że recenzenci ich grantu się zupełnie nie znali na temacie, czepiali itd.. Kłopot w tym, ze recenzowałem te projekty...

    Właśnie z anonimowością poszedłbym dalej - choćby przy ocenie habilitacji... Oczywiście może być sytuacja, że przy anonomowej recenzji ktoś może napisać zlośliwie i nie do końca merytorycznie. Ale od tego jest kilku recenznetow, że coś takiego powinno się wyłapać..

    pozdrawiam,

    OdpowiedzUsuń
  30. Mysle, ze w polskiej rzeczywistosci naukowej nikt jeszcze nikogo nie zadowolił. Wielokrotnie w powyższych postach była podnoszona kwestia kompetencji recenzentow i ich "szemrawych" działań. Jako recenzent kilku wniosków, mogę powiedzieć, ze uwaliłem przynajmiej ze dwa wnioski swoich bliskich znajomych, bo po prostu byly kiepskie. Mysle, ze takich jak ja jest wielu. Więc nie przesadzałbym z umieszczaniem "spiskowych teorii" w ramach działalności NCN. Może lepiej jest wziąsc kieliszek wodki i przed z lustrem walnąć sobie setke i przyznać, że mój wniosek po prostu nie był dopracowany .. o ile nie sp...
    Pozdrawiam frustratow
    Recenzent

    OdpowiedzUsuń
  31. Zgadzam się z Recenznentem,że w naszej naukowej rzeczywistości nikt nikogo jeszcze nie zadowolił, a sądząc po lekturze komentarzy, jestem pewien że jest to po prostu niemożliwe. W przeciwieństwie do Recenzenta sądzę jednak, że frustratów wśród ludzi zaglądających na ten blog jest naprawdę niewielu. Wszystkim zależy na tym, żeby system funkcjonował jak najlepiej i był jak najbardziej transparentny, a teraz z całą pewnością tak nie jest. Całość wygląda bardzo dobrze na popierze, w rzeczywistości jest dużo gorzej. Czy jednozadniowe, mętne recenzje, brak protokołów z posiedzeń Paneli, brak listy rankingowej, skopana procedura odwoławcza była krokiem we właściwym kierunku - śmiem wątpić.
    Mam nadzieję, że z czasem NCN będzie funkcjonował jak najlepiej ale jak to się mówi, .wierzę wbrew nadziei. Sądzę, że drugi konkurs będzie kluczowy i pozwoli oceni, w którą stronę NCN podąży.

    kolega_michała

    OdpowiedzUsuń
  32. Dziękuję "szanownemu paneliście" ;-) za odpowiedzi pozwalające zobaczyć pewne sprawy "od środka".
    Podsumowując moje odczucia mam 3 uwagi -
    1) Nadal pozostaję przy swojej koncepcji anonimowości ocenianych grantów - z bardzo wielu powodów (mozliwych osobistych antypatii, możliwego wspierania wniosków ze swojej uczelni itp.). Moim zdaniem to znacznie poprawiłoby mechanizm "oceniający" a rzecz jest relatywnie prosta do zrobienia.
    2) W pełni zgadzam się, z postem powyżej - transparentność powinna być większa. To też jest proste do zrobienia.
    3) Wniosek generalny - w różnych dziedzinach/dyscyplinach/naukach jest inny poziom recenzentów. Jest to zależne od poziomu naukowego w danej grupie. Wierzę na słowo, że w "ekologii/ewolucji" jest co najmniej OK (bo i poziom naukowy w tej grupie nie odbiega znacząco od światowego). W innych dziedzinach na pewno nie jest OK, bo i poziom naukowy bardzo niski. Dlatego sugerowałbym odgórne ustalenie kto może być a) panelistą b) recenzentem na poziomie jakiegoś "choć" minimalnego dorobku. Może to nie jest łatwe do zrobienia ale to byłby 'milowy krok do przodu', przynajmniej w tych 'słabszych' dziedzinach nauki.

    PS: jak tylko zrobię habilitację udostępnię w internecie kilka recenzji z konkursów grantowych i wtedy będzie mógł szanowny rozmówca ocenić czy słusznie się ludzie frustrują czy nie :-)

    OdpowiedzUsuń
  33. Jeszcze uwaga od środka...

    1) Nie ma możliwości oceniania, ani jako panelista ani jako recenzent, grantów z własnego ośrodka. W czasie posiedzeń panelu gdy omawiany jest wniosek, dajmy na to z UJ, to wszystkie osoby z tej uczelni wychodzą na korytarz. Z tego co widziałem, tak się działo również w panelach, które pracowały równolegle z naszym, czasem z kompletnie różnych dziedzin, jest to więc raczej reguła.

    OdpowiedzUsuń
  34. Kolega Michała zadał pytanie: "Skoro nie ma szczegółowej listy rankingowej, to na jakiej podstawie jedne projekty otrzymały finasowanie, a inne nie?". Dyskusja była długa (mój komentarz jest 35-ty), udział wzięły także osoby, które były członkami paneli i urzędniczka z NCN. Odpowiedź nie padła i nadal nie wiadomo jak zostały podjęte decyzje o wydatkowaniu kilku milionów złotych. Głosowali jawnie/tajnie, każdy układał własną listę rankingową i potem uśredniano wyniki, decydował przewodniczący panelu po wysłuchaniu opinii? Mam wrażenie, że brak listy rankingowej na II etapie konkursu, to błąd NCN. Jeszcze kilka takich konkursów i zacznie się dociekanie kim byli członkowie panelu, kto ich powołał, kto był przewodniczącym i kogo lubi, a kogo nie lubi itp. itd. Niestety, niejasne kryteria i mechanizm decyzyjny rzeczywiście sprzyjają nadużyciom przy rozstrzyganiu konkursów.

    OdpowiedzUsuń
  35. Oczywiscie, ze byla lista rankingowa i na pierwszym i na drugim etapie. Oceny recenzentow byly zmieniane wyjatkowo,w konkretnych punktach, kiedy opinia recenzenta nie pokrywala sie z ocena punktowa badz byla wzieta z kapelusza.Dajmy na to, recenzent dal maksa za osiagniecia a aplikujacy ma malo publikacji i jeszcze w slabych czasopismach. Kazda taka propozycja zmian byla dyskutowana i glosowana i dopiero wtedy wprowadzano poprawki, ktore mogly skutkowac pozycja projektu w rankingu. Pod lupe byly brane przede wszystkim te projekty, ktore uzyskaly bardzo skrajne oceny, niemniej kazdy projekt mial swojego opiekuna, ktory cZytal i projekt i wszystkie recenzje i mial obowiazek zglosic jesli cokolwiek bylonpodejrzane czynwymagalo zastanowienia. Niestety nie mam pojecia dlaczego lista rankingowa nie zostala upubliczniona???

    OdpowiedzUsuń
  36. Od dawna już zbierałem się, żeby do tej dyskusji znowu się włączyć, już nie anonimowo, ale cały czas coś na przeszkodzie stawało. Kwestii do wyjaśnienia jest wiele, więc to będzie kilka kolejnych postów. Cztery aspekty w pierwszej edycji konkursu NCN były niewątpliwą porażą: brak informacji o wynikach po pierwszym etapie, opóźnienie w przekazaniu wyników końcowych, opóźnienie w przekazaniu szczegółów ocen i recenzji, i wreszcie to jak te recenzje wyglądały. O tych sprawach powiem w następnych postach. Ale wiele uwag krytycznych na tym forum pojawiających wynika z nieporozumień albo niewiedzy. Widać to w wielu wypowiedziach: notoryczne mylenie ocen zewnętrznego recenzenta z ocenami "ekspertów - członków paneli", wzywanie do tego żeby "dopuszczać" recenzentów zagranicznych (a przecież byli), czy dramatyczne i stanowcze żądania, by w panelach pracowali tylko ludzie z dorobkiem międzynarodowym połączone z " najprostszą metodą" ich wyłaniania:

    <"recenzenci musieliby udokumentować dorobek naukowy z konkretnego panelu w którym chcą recenzować (jak dla mnie wystarczył by jeden artykuł o za byłe 20-24 pkt.). Logujemy się na portalu, pokazujemy co w tej dziedzinie mamy w CV i tyle.">

    która to propozycja dobitnie pokazuje, że dyskutant nie ma pojęcia ani na temat trybu wyłaniania członków paneli i recenzentów, ani tego jakie faktycznie wymagania są im stawiane.
    I. Jakość członków panelu i recenzentów
    Po pierwsze w ogóle nie zachodzi taka okoliczność w której potencjalny członek panelu (=ekspert) albo recenzent zewnętrzny deklarowałby chęć wykonywania takiej pracy ZANIM zostanie mu to zaproponowane przez Radę NCN (członkowie panelu) albo przez koordynatora dyscypliny na podstawie wskazań członków panelu (recenzenci zewnętrzni). Wymaganie, by kandydat na członka panelu ekspertów miał zaledwie jedną przyzwoitą publikację, jak zaproponował dyskutant najzacieklej wołający o wysoki poziom, byłoby uznane za śmieszne, bo wymagania są zdecydowanie wyższe. Żeby nie być gołosłownym, podaję informacje o dorobku osób pracujących w panelu NZ8 (ekologia, biologia ewolucyjna, taksonomia), chyba najważniejszym dla sympatyków tego bloga. Podaję dane o liczbie publikacji, liczbie cytowań i współczynniku H (dotyczące momentu, w którym panel powstawał, a więc przełomu czerwca i lipca - teraz wskaźniki są już wyższe) :

    34 871 16 (przewodniczący); 144 1302 17 (vice przewodniczący)
    44 826 18; 41 199 8; 65 669 13; 42 1432 19; 74 600 14; 25 168 8; 20 633 12; 140 362 10;
    39 1332 21; 21 277 11; 27 218 7; 171 2617 23; 39 312 10; 25 78 5; 25 305 8; 20 63 3

    Można pewnie postawić zarzut, że nasz dorobek nie jest imponujący w kontekście światowej czołówki, ale sądzę, że absurdalne jest twierdzenie, iż ocen dokonywały osoby nie mające dorobku międzynarodowego. Natomiast recenzentów wskazujemy po prostu na podstawie obecności ich publikacji widocznych w ISI czy Scopus. Tak więc propozycja ich samo-zgłaszania się poprzez portal NCN, tak by

    <"W ten sposób ...dorzucić jako recenzentów dr z dorobkiem. co wydłużyło by potencjalną listę recenzentów">

    jest jakąś dziwaczną abstrakcją - bo przecież kwestia tego czy ktoś jest tylko doktorem czy ma jakieś dodatkowe tytuły w ogóle nie stanowi kryterium wyboru recenzentów. Młody doktor z parunastoma publikacjami w czasopismach międzynarodowych mógł zostać recenzentem tak samo dobrze jak stary profesor.



    O ile mi wiadomo, to samo dotyczy innych paneli z dziedziny nauk o życiu. Jeśli chodzi o obszar nauk społeczno-humanistycznych to nie wiem - ale przyznaję, że już się zestarzałem na tyle by uznać, że całego świata nie zbawię i że co najwyżej mogłem starać się zrobić wszystko co możliwe, by panel którym kierowałem zadziałał najlepiej jak się dało w danych warunkach. Specjalnie podkreślam kwestię ograniczeń DANYMI WARUNKAMI, bo fakt, że podejmowaliśmy pracę w trakcie gdy zasady tej pracy były dopiero na bieżąco tworzone, miał niebagatelne znaczenie.

    CDN
    Paweł Koteja

    OdpowiedzUsuń
  37. PK, cd:
    II. Kwestia obecności w panelu właściwych "specjalistów":

    Na liście w poprzednim poście widać, że "siła dorobku" członków panelu była dość zróżnicowana. Częściowo wynika to z faktu, że byli w panelu zarówno profesorowie mający za sobą kilkadziesiąt lat pracy jak i ludzie młodsi, niedawno "habilitowani". Ale przyczyna była też i taka, że zadbano właśnie o to, by w panelu reprezentowane były możliwie wszystkie obszary objęte jego tematyką, a więc między innym i te, w których z natury rzeczy "cytowalność" jest relatywnie niska (np. taksonomia). Pierwszy skład panelu był powołany przez Radę NCN przed terminem składania wniosków, ale dopiero po tym jak spłynęły wnioski było wiadomo jaki jest rozkład tematyki, i skład panelu był uzupełniony ad hoc. Na tym etapie "opiekunowie" naszego panelu z Rady NCN prosili mnie o (nieformalną) pomoc we wskazaniu dodatkowych kandydatów na członków panelu. Wiem więc dobrze jak bardzo trudno było spełnić koniunkcję wymogów, by były to osoby a) reprezentująca potrzebną dziedzinę, b) poziom międzynarodowy, c) by same nie składały wniosku o grant, d) by nie były z ośrodka naukowego z którego jest już paru innych członków panelu. Ten ostatni wymóg nie wynika z zapisów prawa, ale jest konieczny z kilku ważnych powodów. Po pierwsze, żeby uniknąć potencjalnej "dyskryminacji terytorialnej". Po drugie, żeby panel mógł efektywnie wnioski oceniać, bo z oceniania są przecież wyłączone osoby z tej samej jednostki naukowej, a także mające inne silne powiązania z wnioskodawcą (nie dostają wniosków do oceny, a w trakcie dyskusji nad takim wnioskiem wychodzą z sali).

    Skład panelu był bardzo różnorodny, ale oczywiście zawsze można pokazać, że specjalisty od takiego czy innego zagadnienia brakuje. Paru dyskutantów stawiało zarzut oparty o przekonanie, że do kompetentnego oceniania projektów badawczych, a nawet stwierdzenia czy recenzja zewnętrznego recenzenta jest kompetentna, trzeba być specjalistą w danej dziedzinie:
    <"Ale skąd to panel wie, skoro nie ma w nim specjalistów w danej dziedzinie?">

    To jest nieporozumienie grubsze, bo dotyczące istoty funkcjonowania nauki. Mniemanie, że do tego by oceniać projekty badawcze trzeba być specjalistą w jakiejś wąskiej dziedzinie jest po prostu błędne. Tym bardziej dotyczy to rozpoznania, czy recenzja jest dobrze wykonana. Proszę mnie źle nie zrozumieć: oczywiście do tego, by rozpoznać czy stawiane pytanie jest poprawnie w świetle aktualnej wiedzy, czy zaproponowane metody są poprawne itd., trzeba być w danej dziedzinie specjalistą. Ale nie muszę być specjalistą by ocenić, czy projekt stawia pytania o dużym stopniu ogólności czy tylko lokalne, czy jest napisany w sposób zrozumiały czy też jest mętny, czy przedstawia w ogóle jakieś empirycznie falsyfikowalne hipotezy, czy autor ma dorobek rozpoznawalny w obiegu międzynarodowym, czy poprzednio realizowane projekty zakończyły się publikacjami w porządnych czasopismach , itd. Negatywna odpowiedź na powyższe pytania powinna prowadzić do odrzucenia wniosku na pierwszym etapie oceniania - i argumentacja, że oceny nie dokonywał "specjalista" jest niepoważna.

    Podobnie, potrafię odróżnić recenzję napisaną rzetelnie od niechlujnej - choć oczywiście dałbym się nabrać na recenzję napisaną przez specjalistę, który zadał sobie dużo trudu żeby w sposób świadomy i złośliwy napisać opinię krzywdzącą, w taki sposób by wyglądała na rzetelną. Owszem - jest taka możliwość; walka z inteligentną nieuczciwością jest trudna. Co więcej, koszt takiej walki jest niewspółmiernie wysoki do pozytywnych skutków, dlatego społeczeństwa de facto godzą się na istnienie takich oszustów w każdym aspekcie życia, nie tylko w sferze nauki: "taniej" jest od czasu do czasu dać się inteligentnemu oszustowi nabrać niż mnożyć systemy zabezpieczające.

    CDN
    Paweł Koteja

    OdpowiedzUsuń
  38. PK, cd:

    IV. Procedura oceniania wniosków
    Liczne uwagi krytyczne wynikają z niewiedzy o trybie przeprowadzania oceny, więc pozwolę sobie ją przedstawić - a przy okazji odniosę się też do szeregu krytycznych komentarzy.


    1) Wnioski są najpierw sprawdzane przez pracowników etatowych NCN pod względem poprawności formalnej. Na tym etapie może się pojawić wątpliwość, czy wniosek spełnia kryterium przynależności do "badań podstawowych" i koordynator może skonsultować się z przewodniczącym panelu, który formułuje stosowną opinię. Dla usprawnienia pracy na tym etapie, w nowych formularzach wniosku jest specjalny punkt, w którym wnioskodawca ma uzasadnić, że projekt spełnia ustawową definicję "badań podstawowych".

    2) Przewodniczący panelu zapoznaje się pobieżnie ze wszystkimi wnioskami i każdy wniosek kieruje do oceny przez dwóch ekspertów - członków panelu. Wbrew pozorom, to nie taka prosta robota, bo trzeba sprawdzić, czy nie ma konfliktów interesów (a więc afiliacje wnioskodawcy - już to pokazuje absurdalność pomysłu, by wnioski były anonimowe!), zapewnić by przynajmniej jeden z tych dwóch oceniających znał się na danej dziedzinie i by praca była w miarę równomiernie rozłożona pomiędzy członków panelu. Na starcie tej roboty popełniłem błąd, bo starałem się by obaj eksperci byli specjalistami w danej dziedzinie. To oczywiście było niemożliwe do zrealizowania, bo często osoby o najbardziej właściwej specjalności musiały być wyłączane ze względu na konflikt interesów. Ale potem zdałem sobie sprawę, że w ogóle sama idea była zła, bo właśnie DOBRZE jest jeśli na wniosek popatrzy ktoś trochę z zewnątrz - bo tylko wtedy dostanie się rzetelną oceną tego, jaka jest naukowa WAGA CELÓW badawczych projektu (kwestia technicznej poprawności metod itp. nie jest aż taka ważna na pierwszym etapie oceny), a także bardziej bezstronną opinię o wartości dorobku naukowego wnioskodawców.

    3) Dwaj członkowie panelu wykonują oceny niezależnie, nie wiedząc o sobie. Oceny muszą być dokonane szybko, a do oceny jest 20-30 wniosków na członka panelu (w niektórych panelach było nawet 35 i więcej). Na tym etapie nie jest kluczowa kwestia technicznych szczegółów projektów, a ocena wagi naukowej problemu badawczego oraz "siły" zespołu, mierzonej publikacjami i skutkami poprzednio realizowanych projektów. Ocena jest podawana na skali punktowej , przy czym punktom są "automatycznie" przypisane oceny słowne, np. za publikacje 1pkt= "Wnioskodawca/zespół wnioskodawców reprezentuje poziom krajowy (m.in.: publikacje w wiodących czasopismach krajowych, niska cytowalność prac)". Ten system punktacji został opublikowany.

    Idea jest taka, że skoro cały system oceniania jest uporządkowany i "zobiektywizowany", a ocenom punktowym przypisane "z automatu" wyjaśnienia, to na tym etapie oceniania wniosków nie są potrzebne długie recenzje tekstowe. Dlatego też członkowie panelu zostali pouczeni, że ich uwagi w komentarzach "mocne strony - słabe strony" nie muszą być obszerne. Co więcej, na tym etapie prac byliśmy poinformowani, że te uwagi mają służyć tylko do celów wewnętrznej pracy panelu, a NIE SĄ uwagami przeznaczonymi dla autorów, więc niektórzy pisali uwagi w sposób bardzo nieformalny (np. nie były pisane poprawnymi zdaniami, czasem zawierały skróty myślowe albo opinie wyrażane potocznym językiem). Ale proszę zwrócić uwagę, że w tych okolicznościach enigmatyczność uwag niekoniecznie świadczy o niestaranności w ocenianiu wniosków.

    CDN
    Paweł Koteja

    OdpowiedzUsuń
  39. PK, cd IV. Procedura oceniania wniosków


    4) Na następującym później spotkaniu członków panelu odbywa się dyskusja nad projektami. Punktem wyjścia jest ranking wstępny, ustalany przez system OSF na podstawie uśrednionej oceny. Ze względów praktycznych niemożliwe było dyskutowanie nad każdym z ponad 200 wniosków (a w niektórych panelach parę razy więcej). Dyskusja dotyczyła tych wniosków, w których oceny były rozbieżne, a potem też tych, które były na granicy kwalifikacji do następnego etapu. Projekty poddane dyskusji były referowane przez tych ekspertów, którzy je wcześniej oceniali - ale cala praca odbywała się z dostępnymi dla wszystkich on-line pełnymi informacjami o projektach, a także z dostępem do Scopus i ISI (więc można było na bieżąco sprawdzić zarówno dorobek wnioskodawców jak też i rozstrzygnąć ewentualne wątpliwości dotyczące nowatorstwa wniosków itp.).

    Dyskusje, zwłaszcza na początku, były długie i niekiedy zażarte. To był bodajże najważniejszy etap prac panelu, bo chodziło nie tylko o kwestię ocenienia takiego czy innego projektu, ale o uzgodnienie POLITYKI oceniania. Choć już wcześniej korespondencyjnie starliśmy się rozstrzygać wątpliwości dotyczące np. tego, jak rozumieć określenia "duża - średnia - mała cytowalność prac", albo tego jak rozumieć "znaczący wpływ na rozwój dyscypliny", itd., te w praktyce dopiero otwarta dyskusja dotycząca tych rozbieżności doprowadziła do przynajmniej częściowego konsensusu w tych kwestiach. A stanęło na tym, że mamy twardo bronić zasady, że punktem odniesienia w ocenach musi być nauka światowa widoczna w międzynarodowych czasopismach, a nie perspektywa lokalna. Co więcej, że nie można tłumaczyć braku dorobku w międzynarodowych czasopismach "specyfiką dyscypliny" (choć oczywiście z zachowaniem właściwej miary i nie oczekiwania, że zoolog systematyk będzie wszystko publikował w czasopismach z wysokim IF). Mam nadzieję, że ustalenia z tych dyskusji będą miały skutki trwalsze niż ten jeden konkurs.

    W wyniku dyskusji nad wnioskiem czasem zgadzaliśmy zostawić ocenę uśrednioną z ocen pierwotnych, ale zwykle jeden z recenzentów po dyskusji sam uznawał, że się w ocenie tego czy innego aspektu pomylił i sam proponował albo aprobował korektę oceny (te wszystkie korekty dotyczą nie oceny całkowitej, a każdego komponentu z osobna). Gdy już przeszliśmy przez etap początkowych ostrych dyskusji w sprawie pryncypiów, eksperci referujący projekt niekiedy sami zaczynali od stwierdzenia, że ocenę za ten czy inny aspekt projektu przecenili i sami proponowali korektę. Czasem dyskusja prowadziła do wniosku, że nawet niższa z wystawionych ocen była zawyżona i ocena "uzgodniona" mogła być niższa niż każda z ocen pierwotnych, i to przy aprobacie osób, które oceny wystawiały. Sytuacja odwrotna, że ocenia uzgodniona była wyższa niż każda z oryginalnych, była czymś wyjątkowym, ale raz czy parę razy też się zdarzyła.

    Myślę, że to wszystko raczej dobrze świadczy o członkach panelu, bo gotowość do uznania siebie za omylnego, a także gotowość do "przeskalowania" własnej perspektywy oceniania, świadczy o wysokim poziomie intelektualnym.

    Ale warto zwrócić uwagę, że w tej sytuacji nie jest oczywiste, że wnioskodawcom powinny być przekazywane "surowe" komentarze ekspertów dołączane do pierwotnych ocen. Ekspert mógł w komentarzu napisać, że projekt ma wybitną wartość naukową, ale po dyskusji uznać, że się w tej opinii mylił. Jest co najmniej nieoczywiste, że wnioskodawcy powinni dostawać do ręki opinie, pod którymi nie podpisałby się już ktoś, kto sam je na wcześniejszym etapie prac wyraził. Pierwotna założenie, że wnioskodawcy mają dostać do wglądu tylko uzasadnienie oceny uzgodnionej po dyskusji, było więc dobrze umotywowane.

    CDN
    Paweł Koteja

    OdpowiedzUsuń
  40. PK, cd IV. Procedura oceniania wniosków


    5) Wynikiem pracy pierwszego posiedzenia panelu jest lista rankingowa wszystkich projektów. Do drugiego etapu oceny przechodzą projekty o łącznym budżecie równym dwukrotności budżetu na dany typ projektów w danym panelu. Jest to więc około dwa razy więcej wniosków niż będzie sfinansowanych. To powinno też wystarczyć do zrozumienia, dlaczego na pierwszym etapie oceny nie ma potrzeby by wniosek był oceniany przez specjalistę z danej dziedziny pod kątem poprawności technik badawczych itp. Brak takiej oceny grozi przeoczeniem wad dyskwalifikujących projekt, ale to nie jest problem, bo do drugiego etapu przechodzi ogromny nadmiar wniosków.

    6) Dla każdego projektu zakwalifikowanego do drugiego etapu eksperci którzy go oceniali przedstawiają po przynajmniej trzech recenzentów. Ze względu na ograniczenia organizacyjne i czasowe nie było możliwe, by wszystkie wnioski trafiały do recenzentów zagranicznych. Nie byłoby też dobrze, gdyby wybór recenzenta krajowego czy zagranicznego był uzależniony od tematyki projektu, bo to by mogło działać na niekorzyść projektów dotyczących kwestii o znaczeniu bardziej ogólnym. Przyjęliśmy zasadę, że do recenzentów międzynarodowych kierowane są wszystkie projekty z kategorii "międzynarodowe" i wszystkie projekty DROGIE , a niskobudżetowe zostawiamy do oceny recenzentów krajowych. W praktyce dla tych tańszych też bywali wskazywani recenzenci zagraniczni, jeśli odpowiednich krajowych nie dało się wskazać.

    Listy proponowanych recenzentów dostawał koordynator dyscypliny (pracownik NCN), który wysyłał zaproszenia itd. - a czasem prosił o wskazanie recenzentów dodatkowych, jeśli wskazani wcześniej odmawiali. Komentarze na tym blogu, a zwłaszcza propozycja by rzecz jeszcze utrudnić poprzez rezygnację z przyznawania wynagrodzeń za wykonywanie recenzji, wskazują, że dyskutanci po prostu nie maja wyczucia, jak bardzo poważnym problemem jest pozyskanie recenzentów.

    7) Po uzyskaniu recenzji (w założeniu dwóch, w praktyce 2-3, okazjonalnie jednej) system OSF oblicza średnią ocenę recenzentów, a potem średnią z ocen recenzentów i oceny uzgodnionej przez panel na pierwszym etapie, i ta średnia stanowi podstawę do wstępnego rankingu przed drugim posiedzeniem panelu. Tryb pracy w czasie drugiego posiedzenia panelu był podobny: znowu dyskusja dotyczyła tych wniosków w których oceny recenzentów i panelu były rozbieżne. Oczywiście, recenzenci zewnętrzni nie mogli podczas dyskusji swoich racji przedstawić, ale też od nich oczekiwano, że teksty recenzji będą obszerniejsze i że będą zawierały wyczerpujące uzasadnienie ocen. Oczywiście, rożnie z tym bywało.

    Zapewne, recenzentów przedstawiających recenzje niepoważne albo nierzetelne należałoby "eliminować", ale, z dwóch powodów, mógłby to praktycznie zrobić tylko koordynator dyscypliny z NCN, a nie uczeni pracujący w panelach: a) Członkowie panelu proponują listy recenzentów, ale nie wiedzą kto z kilku zaproponowanych recenzję faktycznie wykonał - recenzja jest anonimowa także wobec członków panelu (to jest zasada którą może warto poddać pod dyskusję); b) członkowie panelu się wymieniają, więc przekaz takiej informacji musiałby się odbywać poprzez pracownika NCN. Tak więc, gdyby taką listę "zakazanych recenzentów" utworzyć, powstałby dość poważny problem, bo to by oznaczało de facto przekazanie istotnych kompetencji (wyboru recenzentów!) z rąk uczonych (członków panelu) w ręce urzędników NCN. A przecież fundamentalną zasadą w NCN jest to, że CAŁY proces wyłaniania wniosków do finansowania jest w rękach ludzi nauki, a nie urzędników! Więc znowu, na pozór prosta sprawa taka jak eliminowanie z procesu decyzyjnego kiepskich recenzentów, w praktyce nie jest taka prosta do zrealizowania. Nie mówię że niemożliwa, ale na pewno nie do załatwienia w pierwszych edycjach konkursów.

    CDN
    Paweł Koteja

    OdpowiedzUsuń
  41. PK, cd IV. Procedura oceniania wniosków

    8) Wynikiem pracy drugiego posiedzenia panelu jest lista rankingowa obejmująca projekty oceniane w drugim etapie. Finansowane są wszystkie projekty których łączny budżet mieści się w całości w budżecie danego panelu na dany typ projektów. Projekty które są na granicy (po ich uwzględnieniu budżet łączny przekracza już limit, ale bez nich pozostałyby niewykorzystane środki) kwalifikowane są warunkowo - decyzję podejmuje dyrektor NCN po rozpatrzeniu podobnych sytuacji w innych panelach (w praktyce pewnie w oparciu o opinię koordynatorów dyscyplin).

    Nieco inny był tryb dla projektów "międzynarodowych" - dla niech drugi etap odbywa się na posiedzeniu "superpanelu", złożonego z przedstawicieli paneli dla danej dziedziny (NZ, ST, HS), ale zasady są takie same.

    IV. Jakość recenzji
    W świetle tych wyjaśnień łatwiej może będzie zrozumieć, skąd wzięło się zamieszanie z recenzjami i dlaczego wiele z nich tak mało poważnie wygląda.

    Jak już powiedziałem, w założeniu opinie dodawane do ocen wystawianych przez członków panelu nie były przeznaczone do przekazania wnioskodawcom - którzy mieli dostać uzasadnienia opinii uzgodnionych przez panel. Redagowanie tych opinii miało być powierzona pracownikom NCN obsługującym panel. Z kilku względów ten plan okazał się nierealistyczny. Po pierwsze robienie kompetentnych notatek z naszych burzliwych (zwłaszcza na początku) dyskusji nie było łatwe, zwłaszcza, że w dyskusjach tych mieszane były wypowiedzi dotyczące danego wniosku, z uwagami dotyczącymi tego jak w ogóle należy oceniać wnioski, jakie badania NCN powinien finansować itp.. Dopisanie protokołu z takiej dyskusji jako uzasadnienia dla konkretnego wniosku byłoby nonsensem. Po drugie, pracownicy NCN po prostu nie mieli czasu, by te uzgodnione opinii dla tysięcy wniosków napisać. Po trzecie, najważniejsze, jak mieliby napisać uzasadnienie uzgodnionej opinii dla tych wniosków, które w ogóle nie były poddane pod dyskusję.

    Mam wrażenie, że w tej jedynej chyba kwestii nastąpiła jakaś zapaść decyzyjna, bo że problem będzie, wiadomo już było zaraz po pierwszym posiedzeniu panelu (sam wysyłałem alarmujące pytania w tej sprawie). Z braku lepszego wyjścia NCN zdecydowało w końcu, ale już długo po zakończeniu pracy panelu, że autorom będą przekazane komentarze członków panelu i recenzentów w zasadzie "jakie są", ale poddane redakcyjnym korektom i uzupełnione o opinię podsumowującą, zredagowaną przez jednego z tych członków panelu, który projekt oceniał. Niestety, pracę tą wykonywaliśmy już długo po zakończeniu procedury oceniania, z wiadomymi skutkami. To co wnioskodawcy widzą jako uwagi "ekspertów" jest w wielu przypadkach bardzo dalekie od tego, co moglibyśmy uznać za przyzwoicie napisane recenzje (mówiąc delikatnie), czemu trudno się dziwić, bo nie były to uwagi pisane z myślą o przekazaniu wnioskodawcom. Uwagi podsumowujące też pewnie często wyglądają na mało rzetelne - bo trudno oczekiwać, by ktoś napisał sensowne podsumowanie uwzględniające wyniki dyskusji, która miała miejsce miesiąc albo i parę miesięcy wcześniej.

    Ten aspekt procedury oceniania wniosków należy uznać jako zdecydowaną porażkę. Usprawiedliwieniem jest tylko fakt, że pragmatyka oceniania była tworzona (i zmieniana!) w biegu, w trakcie pracy paneli. Mam nadzieję, że teraz będzie lepiej. Sądzę - i mam nadzieję, że NCN też tak zdecyduje - że krytyczne uwagi członków panelu oceniających projekt muszą być od razu pisane tak, by mogły być autorom wprost przekazywane (bo dla wielu wniosków to jest jedyny materiał, który można przekazać), co wcale nie znaczy, że mają być bardzo obszerne.


    CDN
    Paweł Koteja

    OdpowiedzUsuń
  42. Szanowni Panstwo,
    Dyskusja Wasza jest fascynujaca i bardzo wazna. Prof. Koteja doskonale podsumowal dzialanie Rady NCN i paneli. Mogde tylko potwierdzic, ze kazda propozycja kandydata na czlonka panelu w NZ (Naukach o Zyciu) byla przdstawiona wraz z informacja o cytowaniach oraz indeksie H. Dbalismy takze, jako Komisja NZ Rady NCN, aby byla zapewniona odpowiednia reprezentacja dyscyplin oraz, zeby nie bylo dominacji wybranych kilku instytucji naukowych. W sumie nie bylo to latwe, ale jestem przekonany, ze udalo nam sie dobrac bardzo dobrych ekspertow.
    Prof. Koteja bardzo dobrze tez pokazuje istote procesu opinowania - pierwsza tura to selekcja ok. polowy lepszych wnioskow, a druga to bardziej doglebny namysl (z udzialem ekspertow zewnetrznych, w tym i zagranicznych) juz nad najlepszymi wnioskami. Konkluzja jest lista rankingowa, w ktorej wazne jest tylko, czy wniosek przechodzi, czy nie (nie ma prawnej mozliwosci sfinansowania wniosku "pierwszego pod kreska", gdy ktorys z przeznaczonych do realizacji zostanie wycofany - to pewno blad systemu).
    Z powyzszego wynika, ze same teksty recenzji nie sa bardzo wazne. Co wiecej, tak samo jest w nader cenionej ERC - juz piaty rok oceniam tu wnioski jako czlonek panelu.
    Pozdrawiam serdecznie, zyczac Wszystkiego Najlepszego w Nowym Roku!
    Leszek Kaczmarek,
    przewodniczacy Komisji NZ Rady NCN

    OdpowiedzUsuń
  43. PK, cd

    VI. Drugą porażką jest to, że wyniki pierwszego etapu nie zostały natychmiast przekazane wnioskodawcom. Nie ma tu żadnych przeszkód technicznych. Ludzie z NCN zapewniają, ze oni też by tak chcieli. Problem jest podobno tylko prawny. Procedura przyznawania grantów podlega Kodeksowi Postępowania Administracyjnego, a ten zakazuje podawania wyników postępowania przed jego całkowitym zakończeniem, a więc podjęciem decyzji o finansowaniu już po drugim etapie. To czysty nonsens i można tylko żywić nadzieję, że uda się jakoś te przepisy obejść.

    VII. Czemu ma służyć NCN?

    Wydaje mi się, że części z krytycznych komentarzy, np. te w których wyraża się przekonanie, że recenzje mają też służyć autorom pomocą w przygotowywaniu lepszych wniosków, wynika z fałszywego wyobrażenia tego, czemu NCN ma służyć. Nie jest rolą NCN zapewnienie dostępu możliwie każdemu naukowcowi do JAKICHŚ funduszy, ani dbanie, żeby słabi uczeni stali się trochę lepsi, ani by na pewno żadnej instytucji nominalnie uprawiającej naukę nie trzeba było zamknąć. Wręcz odwrotnie, istotą reformy finansowania miała być zmiana strumienia finansowania nauki w taki sposób, by trafiał do najlepszych i by fundusze te były przeznaczane na projekty możliwie ambitne - a nie rozdzielane w duchu "sprawiedliwości społecznej". Ta zasada musi się przekładać też i na pragmatykę działania: nie należy oczekiwać, że projekty z fundamentalnych powodów mierne (bo dotyczące problemów lokalnych, przyczynkarskich, i przedstawione przez naukowców nie mogących się wykazać wcześniejszymi sukcesami), będą poddawane wnikliwym analizom, a ich autorom przekazywane cenne uwagi z podpowiedziami, jak projekty poprawić. Podobnie, jeśli zaproponowana metoda badawcza jest błędna, recenzent powinien wyjaśnić dlaczego tak uważa, ale nie jest jego obowiązkiem wskazywanie, jaka inna metoda powinna być wykorzystana.

    Dalej - z puntu widzenia podatnika (a jego interesy NCN ma reprezentować) - mniejsza jest szkoda wynikająca z tego, że jakiś dobry projekt przepadnie (bo może być ponownie przedstawiony za pół roku albo dostać finansowanie z innych źródeł) , niż z przyznania funduszy ludziom, którzy publicznych pieniędzy do ręki dostać nie powinni (bo odzyskanie pieniędzy z niesłusznie przyznanego grantu jest praktycznie niemożliwe). To nie jest postępowanie sądowe, w którym winę trzeba udowodnić, a wątpliwość rozstrzyga się na korzyść podsądnego. Wręcz odwrotnie, tu wątpliwości należy rozstrzygać raczej na niekorzyść wnioskodawcy - i to po jego stronie leży obowiązek przedstawienia projektu w taki sposób, żeby nawet złośliwy recenzent nie miał się do czego przyczepić. I muszę podzielić się obserwacją, że autorzy wielu wniosków najwyraźniej tak tego nie postrzegają. Piszą wniosek o kilkaset tysięcy - a mając do dyspozycji 15 stron by przedstawić uzasadnienie wykorzystują tylko 3-4 strony, nie zadają sobie trudu by pisać poprawnym językiem, czasem nawet nie zadają sobie trudu by użyć spellera, nie mówiąc o porządnym uzasadnieniu kosztorysu albo szczegółowym przedstawieniu planu układu eksperymentalnego, planowanej liczbie obserwacji itd. Zdaje mi się, że w dalszym ciągu częste jest przekonanie, że jakieś fundusze na badania w zasadzie należą się każdemu ("sprawiedliwie"), a napisanie wniosku o grant to coś jak napisanie podania o urlop.

    Nie sugeruję, że taka optyka dotyczy dyskutantów na tym blogu. Ale sądzę, że uzasadnione jest podejrzenie, iż taka optyka stoi za tym, o czym "mówi się na mieście" - a na takie opinie niektórzy dyskutanci się powoływali. Proponowałbym wobec takich opinii zachować daleko idącą ostrożność, a może wręcz nieufność.

    Szczęśliwego Nowego Roku
    i Szczęśliwego Nowego Rozdania w NCN :-)

    Paweł Koteja
    (KONIEC)

    OdpowiedzUsuń
  44. Przepraszam - NIE KONIEC. Jeden post sie nie opublikowal:

    PK, cd:
    III. Kwestia jawności/anonimowości i transparentności

    Niektórzy dyskutanci postawili rzecz na głowie, proponując by wnioski były anonimowe a oceniający jawni. Jednym z najważniejszych elementów oceny projektu jest ocena "siły" zespołu badaczy. Wartość merytoryczna projektu też jest oceniana z perspektywy tego, czy dotychczasowe doświadczenie naukowe wnioskodawców daje gwarancję pomyślnej realizacji projektu, jakie wyniki dotyczące danego problemu już osiągnęli (co musi być udokumentowane odwołaniami do publikacji). Poważne projekty badawcze są niemal zawsze elementami szerszych programów badań, finansowanych z wielu kolejnych i równoległych grantów - i oczywiście ta informacja też musi być podana do wiadomości oceniających. Anonimowość wniosków to pomysł kuriozalny.

    Osobiście nie miałbym nic przeciwko temu by skład panelu był jawny (zresztą przewodniczących ujawniono od razu). Ale przypuszczam, że niektórzy mieliby problem ze zniesieniem ciężaru nacisku ze strony swojego otoczenia. Myślę, że rozwiązanie w którym skład jest poufny w trakcie pracy, a ujawniany później w raportach rocznych jest obecnie rozsądnym kompromisem, a w miarę "dojrzewania" społeczeństwa obywatelskiego powinniśmy zmierzać w stronę składu jawnego. Ale nie przywiązywałbym do tej kwestii wielkiej wagi; to nie jest rzecz kluczowa dla dobrej pracy NCN.

    Szereg dyskutantów nawoływało do większej TRANSPARENTNOŚCI, a w jej imię publikowania także szczegółów ocen, publikowania pełnych list rankingowych itp. Jest w tym nieporozumienie, bo "transparentność" oznacza, że w pełni jawne są REGUŁY POSTĘPOWNIA, a NIE WYNIKI postępowania w odniesieniu do wszystkich poszczególnych spraw. Nieopublikowanie listy rankingowej obejmującej także wnioski które przegrały, nie jest łamaniem zasady transparentności. Byłoby jej złamaniem, gdyby ukrywane były zasady, na jakich te listy były tworzone.

    Oczywiście JEST lista rankingowa wszystkich projektów (z tym, że jest osobna dla pierwszego i drugiego etapu oceny, co wynika z systemu oceniania), a decyzja o finansowaniu wynikała wprost z tego rankingu. Ale tym, którzy domagają się publikowana pełnej listy rankingowej zadam proste pytania: Czy będzie dobrze jeśli członkowie Rady Instytutu dowiedzą się, że wniosek złożony przez jakiegoś młodego człowieka nie tylko nie został zakwalifikowany, ale też że znalazł się na ostatnim miejscu? Czy uważacie za słuszne, by pojawiły się strony webowe ze spisem "najgorszych uczonych w Polsce"? Czy uważanie za słuszne, że osoba recenzująca projekt jako niezależny recenzent zewnętrzny może się dowiedzieć, że w poprzedniej edycji konkursu ten projekt został oceniony jako jeden z najgorszych, co mogłoby z góry określić nastawienie do nowo złożonego wniosku? (Czym innym jest wiedza recenzenta o tym, jak on sam wniosek ocenił, a czym innym informacja, że był na końcu listy rankingowej).

    "Kolega Michała" twierdzi, ze MNiSW publikowało taki ranking - ja tego sobie nie przypominam. Publicznie dostępne (w OPI) są tylko informacje o wnioskach zakwalifikowanych i niezakwalifikowanych, a nie o rankingu. Sądzę, że informacja o wnioskach niezakwalifikowanych do finansowania powinna być podana (nie wiem, czemu NCN tego nie zrobiło), ale lista rankingowa nie.

    Na polskim "rynku naukowym" instytucją wyznaczającą standardy w zakresie "poprawności" i transparentności jest niewątpliwie FNP. FNP publikuje bardzo starannie informacje o trybie przeprowadzania konkursów i o laureatach, ale NIE o tych, którzy grantów nie dostali (ani tym bardziej o tym, na którym miejscu się znaleźli), ani nie o ekspertach, którzy wnioski oceniali. Krótko mówiąc, nie mitologizujmy "transparentności."

    Paweł Koteja
    (TERAZ JUŻ KONIEC)

    OdpowiedzUsuń
  45. Myślę, że dorobek naukowy osób z panelu NZ8 jest naprawdę bardzo wysoki i to jest duży sukces NCNu, że udało się pozyskać takich ludzi do oceny wniosków. No ale zdarzają się niestety też eksperci troszkę gorsi: jako przykład podam eksperta, nie wiem z jakiego panelu (pewnie jakiś geograficzny), który ma wynik 5-37-3 i jest >40 lat po obronie magisterki... Podaję to bardziej jako ciekawostkę, bo zakładam, że to wyjątek, ale też jako ostrzeżenie, że tego typu "zawodnicy" nie mają problemów z przyjęciem funkcji eksperta.

    OdpowiedzUsuń
  46. Dzięki za szczegółowe wyjaśnienia; mi to pomaga zrozumieć co się dzieje po "tamtej stronie" systemu OPI, i myślę, że pomaga zinterpretować otrzymane recenzje i opinie o naszych wnioskach.

    Po przeczytaniu tych wyjaśnień nasuwa mi się taka propozycja, żeby wnioski odpadające na pierwszym etapie zostawiać w ogóle bez recenzji/opinii/uzasadnienia... Może część osób uzna taki pomysł za strzał w stopę, ale trzeba wziąć pod uwagę dwie rzeczy: misję NCNu (sorry, to nie Caritas) oraz czaso- i koszto-chłonność generowania recenzji dla wniosków, które i tak odpadną.
    Sorry, life is brutal: żadne porządne czasopismo nie będzie nam doradzało jak robić naukę, tylko odwali nasz maszynopis standardowym tekstem życząc sukcesów gdzie indziej. I NCN mógłby rozważyć skopiowanie tego schematu dla grantów najsłabszych (tych niewysyłanych do recenzji).

    pozdrowienia noworoczne,
    michał żmihorski

    OdpowiedzUsuń
  47. Bardzo dziękuję wszystkim dyskutantom zarówno za stawianie pytań jak i precyzyjne odpowiedzi dotyczące sposobu działania paneli. Pracownicy NCN zbierają informacje pochodzące z najróżniejszych źródeł by następnie, z pośrednictwem Rady NCN, doprowadzić do ulepszenia istniejących procedur. Staramy się także wyjaśniać niektóre sprawy w publikowanych przez nas tekstach dostępnych na stronie www.ncn.gov.pl (CENTRUM PRASOWE - o NCN w mediach) lub bezpośrednio: http://www.ncn.gov.pl/centrum-prasowe/o-ncn-w-mediach. Polecamy też konto na facebooku dostępne na dole strony NCN, gdzie można także dyskutować. Zapewniam, że zdajemy sobie sprawę z najróżniejszych słabości naszego systemu. W kolejnych konkursach wprowadziliśmy wiele znaczących zmian a dalsze są dyskutowane. Warto też pamiętać, że musimy postępować zgodnie z obowiązującym prawem, a także w ramach naszego budżetu, co wyklucza niektóre, zdawałoby się proste, rozwiązania.

    Z życzeniami Szczęśliwego Nowego Roku!
    Andrzej Jajszczyk, dyrektor NCN

    OdpowiedzUsuń
  48. Bardzo dziękuję za wyjaśnienia. Muszę przyznać, że są one bardzo merytoryczne, wyważone i przekonały mnie.Nawet jeżeli w pierwszej edycji konkursu prowadzonego przez NCN nie wszystko wyszło tak, jak byśmy chcieli, to po lekturze komentarzy osób zaangażowanych bezpośrednio w funcjonowanie NCN, jestem raczej spokojny o dalszy rozwój systemu. Mam co prawda kilka wątpliwości, ale te pozostawię już dla siebie i nie będę siał defetyzmu...Zgadzam się z Michałem, że w aktualnie przyjętej konwencji, przygotowywanie szczegółowych recenzji dla projektów odrzuconych po I etapie raczej nie ma sensu.
    Wszystkiego dobrego w Nowym Roku!

    kolega_Michała

    OdpowiedzUsuń
  49. Prof. A.Jaszczyk napisał:
    "Warto też pamiętać, że musimy postępować zgodnie z obowiązującym prawem"

    Pytanie: czemu mimo zapisu w ustawie (art. 31 Ustawy o NCN) nie opublikowano listy (nie rankingu) wszystkich złożonych wniosków?

    OdpowiedzUsuń
  50. Szanowny/Szanowna Anonimowy,

    Byłbym wdzięczny za trzymanie się faktów, a są one następujące:
    1. Art. 31, pkt. 3 brzmi następująco:
    Koordynator dyscyplin zamieszcza na stronie podmiotowej Centrum w Biuletynie Informacji Publicznej informacje o wnioskach złożonych w konkursach na realizację projektów badawczych i wynikach tych konkursów zawierające:
    3) pozycję na liście rankingowej uzyskaną przez projekt badawczy skierowany do finansowania;
    Czyli obowiązek dotyczy tylko wniosków skierowanych do finansowania; nawiasem mówiąc prawo zabrania nam publikowania danych wniosków, które tego finansowania nie otrzymały. Nie wspominam już o litości dla tych, którzy musieliby się znaleźć na dole takiego rankingu.
    2. Listy rankingowe wniosków zakwalifikowanych do finansowania we wszystkich panelach zostały ogłoszone natychmiast po rozstrzygnięciu konkursów. Obecnie są dostępne na naszej stronie: http://www.ncn.gov.pl/aktualnosci/2011-10-07-wyniki-konkursow?typ=listy-rankingowe

    Z poważaniem, Andrzej Jajszczyk, NCN

    OdpowiedzUsuń
  51. Podejrzewam, że drodzy Anonimowi, myśleli o liście rankingowej w takim sensie, że będzie oficjalnie podana punktacja jaką uzyskały poszczególne projekty. Moim zdaniem... czemu nie. Z projektami jest jak z pracami, czasem napisze się coś naprawdę wartościowego, co przewlecze się po wielu redakcjach zanim to wezmę.... a potem i tak jest dobrze cytowane. Czasem chłam wezmę i w Nature :) Młodzi ludzie chcą transparentności i się nie dziwię, wiele mechanizmów w polskiej nauce wywodzi się wprost z PRLu i niestety mimo wielu lat, które minęły od upadku, obawy wciąż istnieją.

    OdpowiedzUsuń
  52. Zirytowany nieco tego rodzaju komentarzami jak powyższy, postanowiłem sprawdzić, jakie informacje o grantach pojawiają się w najbardziej chyba znanej w "cywilizowanym" świecie instytucji finansującej badania - NSF.

    Otóż:
    1. Są tylko informacje o PRZYZNANYCH grantach;
    2. Nie ma nawet rankingu dla tych przyznanych (w NCN jest);
    3. Żadne informacje o ocenach nie są podane;
    4. Nie ma nawet cienia informacji o nie-sfinansowanych projektach, więc oczywiście nie ma też i ich ocen i rankingu.

    Więc, zgodnie z logiką poprzedniego postu, USA tkwią w PRL znacznie głębiej niż RP.

    Nie jestem wielkim entuzjastą argumentacji opartej o odwołania typu "a w cywilizowanym świecie", ale skoro RACJONALNE argumenty nie trafiają do przekonania, to może te informacje zadziałają?

    Natomiast oprócz tytułu projektu w NSF można przeczytać też jego Abstrakt. Sądzę, że to ważna rzecz, bo dzięki temu środowisko może się dowiedzieć, czy wnioskodawca rzeczywiście wykonał projekt zgodnie z zamierzeniami - można skonfrontować z zawartością publikacji. Ale system archiwizacji i udostępniania informacji o finansowanych z publiczych pieniędzy projektach badawczych jest w OPI, a nie w NCN...

    Inna rzecz: już widzę gorące protesty - ze publikując abstrakty udostępnimy światu nasze cudowne pomysły badawcze i inni ubiegną nas w ich realizacji :-)

    Z pozdrwowieniami,
    Paweł Koteja

    OdpowiedzUsuń
  53. Moje komentarze zebrane razem na www GW:

    http://wyborcza.pl/1,76842,10935522,Granty_Narodowego_Centrum_Nauki___komentarz.html?as=1&startsz=x

    Pozdrawiam,
    Pawel Koteja

    OdpowiedzUsuń
  54. Bardzo dziękuję panu profesorowi za to że "mu się chciało" i zaprezentował jak NCN działa w praktyce. Pewne sprawy mi się wyjaśniły. Inne nie, ale nie będę już z nimi podejmował dyskusji bo też uważam "że świata nie zbawię" i moja dyskusja niewiele wniesie do poprawy działania "konkursów grantowych" w mojej dziedzinie.

    Wszedłem do dyskusji (za co najmocniej przepraszam) mimo że jestem z całkiem innej dziedziny - jak wcześniej pisałem - a bloga czytam bo są tu aktualne informacje o konkursach, grantach itp. I nie atakowałem konkretnego panelu, tylko pisałem jak chciałbym aby cały NCN działał. Już bym nie zawracał głowy, gdyby nie to, że tak ładnie mnie Pan cytuje ;-)

    Więc tylko tytułem wyjaśnienia:

    Cytuję:
    "czy dramatyczne i stanowcze żądania, by w panelach pracowali tylko ludzie z dorobkiem międzynarodowym połączone z " najprostszą metodą" ich wyłaniania:
    [to moje z poprzedniego wpisu, przy. autora postu]
    <"recenzenci musieliby udokumentować dorobek naukowy z konkretnego panelu w którym chcą recenzować (jak dla mnie wystarczył by jeden artykuł o za byłe 20-24 pkt.). Logujemy się na portalu, pokazujemy co w tej dziedzinie mamy w CV i tyle.">

    która to propozycja dobitnie pokazuje, że dyskutant nie ma pojęcia ani na temat trybu wyłaniania członków paneli i recenzentów, ani tego jakie faktycznie wymagania są im stawiane.
    I. Jakość członków panelu i recenzentów
    Po pierwsze w ogóle nie zachodzi taka okoliczność w której potencjalny członek panelu (=ekspert) albo recenzent zewnętrzny deklarowałby chęć wykonywania takiej pracy ZANIM zostanie mu to zaproponowane przez Radę NCN (członkowie panelu) albo przez koordynatora dyscypliny na podstawie wskazań członków panelu (recenzenci zewnętrzni). Wymaganie, by kandydat na członka panelu ekspertów miał zaledwie jedną przyzwoitą publikację, jak zaproponował dyskutant najzacieklej wołający o wysoki poziom, byłoby uznane za śmieszne, bo wymagania są zdecydowanie wyższe. Żeby nie być gołosłownym, podaję informacje o dorobku osób pracujących w panelu NZ8 (ekologia, biologia ewolucyjna, taksonomia), chyba najważniejszym dla sympatyków tego bloga. Podaję dane o liczbie publikacji, liczbie cytowań i współczynniku H (dotyczące momentu, w którym panel powstawał, a więc przełomu czerwca i lipca - teraz wskaźniki są już wyższe) :

    34 871 16 (przewodniczący); 144 1302 17 (vice przewodniczący)
    44 826 18; 41 199 8; 65 669 13; 42 1432 19; 74 600 14; 25 168 8; 20 633 12; 140 362 10;
    39 1332 21; 21 277 11; 27 218 7; 171 2617 23; 39 312 10; 25 78 5; 25 305 8; 20 63 3"
    [koniec cytatu]

    1. O jednej publikacji pisałem kiedy mówiłem o RECENZENTACH - po tym jakie dostawałem recenzje (jeszcze okres przed NCN) jestem pewien, że recenzenci nie mieli żadnego dorobku (ani żadnego pojęcia) o dziedzinie, którą recenzowali (jeśli pan chce wyślę próbkę, anonimowo na Pana maila). Oczywiście, sądzę, że członkowie panelu powinni mieć nieco wyższe osiągnięcia niż jeden artykuł w dobrym czasopiśmie.
    2. Nie pisałem, że obecnie tak jest, że trzeba się gdzieś logować itp.itd. - tylko pisałem ze tak można by rozwiązać ten problem, który moim zdaniem występuje. Tj. że recenzują nas osoby bez jakiegokolwiek międzynarodowego dorobku w dziedzinie, którą recenzują.
    3. Panel HS6 (pedagogika, psychologia, socjologia) gdzie teoretycznie nie ma problemu aby mieć międzynarodowy dorobek. Sprawdziłem 6 panelistów (tylko tych znałem z nazwiska, a lista jest alfabetyczna). Moim zdaniem, 2 z tych 6 nie ma ani jednej publikacji w czasopiśmie z IF, trzeci ma 2-4 publikacje w czasopismach, które obecnie mają minimalny IF (ok. 0,2), ale chyba nie miało IF kiedy prace były publikowane. Wszyscy trzej mają maksymalnie po kilka cytowań w czasopismach z IF. (Napisałem moim zdaniem, ponieważ mam chwilowo dostęp tylko do google-scholar i musiałem to przeglądać "ręcznie". Jednak starałem się to zrobić dokładnie.)

    Pozdrawiam serdecznie

    OdpowiedzUsuń
  55. jedna średnio miła uwaga
    "Podaję dane o liczbie publikacji, liczbie cytowań i współczynniku H (dotyczące momentu, w którym panel powstawał, a więc przełomu czerwca i lipca - teraz wskaźniki są już wyższe): ..."

    Gdy składałem wniosek w grudniowym konkursie, na stronie NCNu, w odpowiedzi na pytanie -
    "Czy określając łączną liczbę cytowań i indeks H należy w kalkulacjach uwzględniać autocytowania?"
    podano -
    "Należy podać całkowitą liczbę cytowań bez autocytowań."

    tak się składa, że znam kilka osób z panelu i daję sobie głowę uciąć, że powyższe zestawienie zawiera autocytacje.

    Pachnie mi to jakąś hipokryzją.

    OdpowiedzUsuń
  56. Błąd. Pachnie nie hypokryzją, a czystym lenistwem. Przynajmniej z mojej strony.

    Gdy panel zaczynal prace, pojawilo sie oczywiscie pytanie, jak rozmumiec "niskie-srednie-wysokie" cytowanie. Uznalem, ze skoro Rada NCN przyjęła, ze my (panel) reprezentujemy co najmniej dobry poziom (tego wymaga ustawa), to powinnismy oceniac innych wg swojej miary. Czyli "wysokie" cytowanie ma ktos, kto jest co najmniej rownie "dobry" jak my. A jesli adwersarz chce, to niech będzie: równie przeciętny albo równie słaby jak my; to nie ma większego znaczenia, bo przeciez wszystkie te oceny są względne. Wiec żeby miec ten punkt odniesieniea, zajrzalem szybko do Scopusa i spisalem te wartosci. Wzialem wszystie cytowania, bo W PIERWSZYM KONKURSIE instrukcja byla takza, zeby podawac we wnioskach WSZYSTKIE cytowania (opcjonalnie tylko bez auto). A teraz wylacznie z LENISTWA, a nie z hipokryzji, nie zadalem sobie trudu by uaktualnic te wyniki. Jak napisalem - teraz kazdy moze sobie sam sprawdzic, bo nazwiska "panelistow" sa znane.

    Ale wazniejsze: czepianie sie roznicy miedzy liczba wszystkich cytowan i cytowan bez "auto" nie ma sensu. Roznice miedzy tymi wartosciami sa zwykle rzedu 10% (i sa podobnego rzędu jak różnice między wartosciami podawanymi przez ISI i Scopusa - a obie sa przeciez dopuszczane), a tymczasem w tej ocenie patrzymy na to, czy ktos ma cytowan kilka, kilkadziesiat, kilkaset czy rzedu tysiaca albo więcej. Liczy się wlasciwie RZĄD WIELKOSCI. Powiedzmy, rozroznienie moze miec znaczenie gdy ktos ma 20 cytowan, z czego 15 to auto. Ale przy duzej liczbie cytowan szkoda sobie - I INNYM! - glowe zawracac.

    Z pozdrowieniami,
    P. Koteja

    OdpowiedzUsuń