Zmiany w NCN - ograniczenie możliwości składania odwołań

Dość kontrowersyjna decyzja rady NCN, opublikowana wczoraj:

"Począwszy od konkursów [...] ogłoszonych 15 czerwca 2015 r., odwołanie przysługuje wnioskodawcy wyłącznie w przypadku naruszenia procedury konkursowej lub innych naruszeń formalnych. [...] Złożenie odwołania z innej przyczyny będzie skutkowało wydaniem postanowienia stwierdzającego niedopuszczalność wniesienia odwołania"

Tutaj cały komunikat: 

https://www.ncn.gov.pl/aktualnosci/2016-01-21-zmiana-w-zakresie-skladania-odwolan

W skrócie: nie przyjmujemy odwołań merytorycznych. Z jednej strony rozumiem tę decyzję, bo odwoływać można się praktycznie od każdego zdania w recenzji, dyskutować nad każdym argumentem panelu i przytaczać niezliczone dowody na słuszność swoich racji. To może się ciągnąć w nieskończoność, szczególnie jeśli trafi się niezadowolony osobnik z dużą fantazją i mnóstwem czasu, więc być może jest to decyzja rozsądna, odciążająca NCN. Przypomnę, że płacimy wszyscy za pracę osób rozpatrujących te odwołania, zamiast finansować nimi projekty (ale patrz niżej!). Z drugiej strony, panel, eksperci i recenzenci będą mogli napisać praktycznie wszystko, na przykład że trzmiel jest gryzoniem, więc odrzucają wniosek z uwagi na brak stosownego pozwolenia na odłowy drobnych ssaków, a aplikujący muszą to przełknąć bez mrugnięcia okiem. Nie wiem czy ta zmiana pozostanie bez wpływu (ujemnego) na jakość recenzji i pracy NCNu jako całości; mam co do tego wątpliwości. 

Zastanawiają mnie też konsekwencje tej zmiany dla samego NCNu - rozumiem, że taka decyzja jest podyktowana chęcią oszczędzenia czasu pracownikom NCN na niekończące się batalie z niezadowolonymi aplikującymi. Dobrze, przyjmuję ten argument. Pytam więc: ile etatów zaoszczędzi NCN tą decyzją? Założę się, że ani jednego. To pytanie uważam za istotne - uczmy się obywatelskiej kontroli nad środkami wypływającymi z budżetu. Po drugie, czy zmienianie wstecznie zasad oceny konkursów, które zostały zamknięte kilka miesięcy temu, jest realizowane w ramach hasła "#dobrazmiana"?

Michał Żmihorski

List prof. Jacka Matyszkiewicza, uczestnika panelu ST10 w NCN

Dostałem list od prof. Jacka Matyszkiewicza, odnoszący się do komentarzy pod poprzednim postem. Komentarze te były krytyczne wobec dorobku prof. Matyszkiewicza, jak również działania panelu ST w NCN. List uważam za bardzo pożyteczny z dwóch powodów. Zawiera on szczegółowy opis funkcjonowania wspomnianego panelu, w tym przede wszystkim zasady oceny dorobku aplikujących. Po drugie doceniam postawę Autora listu, który staje z otwartą przyłbicą do konfrontacji z krytykującymi go anonimami. Wklejam zatem list w całości poniżej, a do osób, które rozpoczną pod nim dyskusję i zechcą zamieścić komentarz mam bardzo jasny komunikat: nie będę tolerował wpisów przekraczających granicę dobrego smaku, więc szkoda Waszego czasu - zachęcam do dyskusji merytorycznej.

michał żmihorski

Szanowna/ny ?Pani/?Panie Anonimie,

Nazywam się Jacek Matyszkiewicz i w ostatnim konkursie OPUS byłem przewodniczącym panelu ST10. Uprzejmie dziękuję za ocenę mojego dorobku i postawy etycznej zawartej w komentarzach z dnia 6 maja. Nieśmiało pozwolę sobie przedstawić się szerzej. Oprócz podanych przez Anonima moich wskaźników scjentometrycznych mam w życiorysie kilka innych „zawstydzających” epizodów: stypendium Humboldta (1996-97), a aktualnie członkowstwo Centralnej Komisji ds. Stopni i Tytułów, przewodniczenie Komitetowi Nauk Geologicznych PAN oraz wybór na członka korespondenta PAU. Wybory do trzech ostatnich gremiów były wyborami tajnymi. W przypadku CK wyboru dokonywali polscy profesorowie tytularni nauk o Ziemi, w przypadku KNG PAN środowisko polskich geologów posiadających co najmniej habilitację, a w przypadku PAU - jej  członkowie. Stypendium Humboldta także nie uzyskałem drogą protekcji lub z nadania. Cóż, mogę jedynie podzielić Pani/Pana ubolewanie, że wszystkie te gremia wybrały takiego nieuka. Na dodatek obecny panel  ST10, to już 7 z kolei, któremu przewodniczyłem a 8, w którym brałem udział. Nie znam osobiście przewodniczącego Rady NCN prof. M. Karońskiego i nigdy z nim nie rozmawiałem, nie mówiąc już o zabieganiu o przewodniczenie w panelach eksperckich. Tak się dziwnie składa, że jedynym moim atutem było i jest uczciwe stawianie sprawy, co geolodzy, jak można domniemywać z wyników różnych wyborów, bardzo sobie cenią. Pozwolę sobie jeszcze zauważyć, że na moje wskaźniki scjentometryczne wpłynęło 7-letnie pełnienie funkcji dziekana dużego wydziału (no, cóż sam chciałem…, a dopisywać się do prac kolegów nie zwykłem), ale i tak wśród geologów, nie mam z tego powodu przesadnych kompleksów. Oczywiście w zestawieniu z fizykami, chemikami czy astronomami wskaźniki te są niskie. Przestrzegałbym jednak przed automatyzowaniem oceny dorobku, wyłącznie na podstawie indeksu H. Wiele ikon polskiej geologii (do których nie uzurpuję sobie prawa zaliczania się) ma te wskaźniki bardzo niskie. Geologia to nie biochemia, czy fizyka eksperymentalna, gdzie często spis autorów przekracza objętość tekstu. Mapy geologiczne robi się kilka lat, a opublikowanie ich w czasopismach z JCR jest praktycznie niemożliwe.

Uważam, że szerokie forum, które bierze udział w dyskusji na temat NCN powinno jednak poznać, przynajmniej skrótowo, warunki oceny grantów. Może to, części z Państwa, pozwoli na chłodną refleksję w miejsce rozbudowanych paszkwili. Panel ST10 jest panelem eklektycznym, w którym rozpatrywane są wnioski z zakresu geologii (średnie indeksy H wnioskodawców około 5), geografii (średnie H wnioskodawców około 2), geofizyki (średnie H wnioskodawców około 7), klimatologów (H około 6), geodetów (średnie H około 2) i jeszcze paru innych dyscyplin naukowych związanych pośrednio z naukami o Ziemi. Na czym polega rola przewodniczącego? W moim przypadku, na proponowaniu panelowi jednolitych kryteriów oceny wniosków, które po dyskusji są lub nie są przyjmowane w głosowaniu. W ostatnim (i w każdych z paneli, którym przewodniczyłem) decydujące (ale nie jedyne) znaczenie w ocenie dorobku wnioskodawców miał właśnie indeks Hirschsa. Dlaczego nie jedyne? Dlatego, że w przypadku mechanicznej oceny dorobku wnioskodawcy tylko na podstawie indeksu H, zajęcie to można by powierzyć urzędnikom NCN, a nie naukowcom. Mogę Państwa zapewnić, że jeśli grant nie zawierał usterek formalnych (np. bardzo naciąganego kosztorysu; nieprawdziwych danych w ankiecie wnioskodawcy etc.), to wnioskodawca ze sporym Hirschem z pewnością znalazł się w II etapie oceny.

Drugi etap – to wyłącznie domena recenzentów z zagranicy. Kto ich wybiera? Nazwiska potencjalnych recenzentów zgłaszają wszyscy członkowie panelu (16 osób z różnych ośrodków reprezentujących różne dyscypliny), ale o tym, kto wykonał recenzje członkowie panelu (w tym jego przewodniczący) dowiadują się dopiero po zamknięciu listy rankingowej na końcu posiedzenia. Bywa często tak, że recenzent zagraniczny nie wykonuje recenzji, ale sugeruje innych kompetentnych recenzentów, do których urzędnicy NCN przesyłają wniosek. Rola panelu ekspertów na II etapie oceny wniosków sprowadza się wyłącznie do ujednolicania kryteriów w zakresie oceny dorobku wnioskodawcy. Chodzi o to, aby zgodnie z przyjętymi przez panel jednolitymi kryteriami, zweryfikować ocenę recenzenta zagranicznego, który uznał wnioskodawcę za wybitnego naukowca przy np. H=2, lub za bardzo słabego badacza przy wysokim H. Te przykłady, pochodzą właśnie z ostatniego konkursu OPUS w panelu ST10. W zakresie oceny merytorycznej części projektu naukowego panel (TEN PANEL) przyjmował średnią ocen recenzentów i nie wprowadzał żadnych zmian. Do końcowej oceny nie zaliczano ocen ekspertów z I etapu oceny, tak, że końcowy ranking jest ustalony wyłącznie na podstawie średniej ocen zagranicznych recenzentów w II etapie oceny.

Podsumowując, system oceny wniosków jest pewno niedoskonały, ale z całą odpowiedzialnością stwierdzam, że jest UCZCIWY. Komentarze zawarte na forum, oprócz tego, że dają upust emocjom, wskazują na całkowity brak informacji o tym, jak działał panel ST10 w ostatnim konkursie, choć ?Pani/?Pan Anonim pisze, iż: „ST10 jest mi bliskie i dlatego dobrze mam to rozpoznane”. Trudno to wręcz komentować.

Cenię dyskutantów, którzy potrafią przedstawiać swoje sądy z otwartą przyłbicą. Być może ?Pani?/?Pan Anonim ma świetne wskaźniki scjentometryczne, ale status samodzielnego pracownika naukowego (tak sądzę, gdyż Anonim pisze, że ma doktorantów) zobowiązuje do zachowania z klasą. Szkalować anonimowo jest łatwo, podpisać tekst swoim nazwiskiem już nie. To wymaga odwagi cywilnej i pewnego poziomu kultury, której nie zastąpi się wysokim Hirschem.

Na koniec pozwolę sobie zapewnić Państwa, że jeśli Anonim złożył wniosek grantowy, który nie został zakwalifikowany do finansowania przez panel ST10, to powodem tego z pewnością nie była ortografia na poziomie komentarzy z 6 maja. „Naprawdę” pisze się razem a nie osobno…

Pozdrawiam uczestników forum i obiecuję, że więcej się już nie odezwę. Wybaczcie Państwo, muszę polepszać Hirscha!

prof. Jacek Matyszkiewicz

Czas na ocenę efektów...

W tekście prof. Kudryckiej pojawia się w ostatnim akapicie ciekawy wątek - ocena efektywności środków wydanych na badania:

"Pracujemy obecnie nad koncepcją systemu oceny wydatkowania środków na badania w kontekście osiąganych wyników naukowych i wdrożeniowych."

Z mojej strony następujące uwagi do tej kwestii, bo może warto zgłaszać takie pomysły wcześniej:

1. Przy normalnie prowadzonym grancie nie ma raczej szans na wykazanie efektów w momencie zakończenia grantu - zawsze są poślizgi czasowe, pisanie prac zabiera dużo czasu, proces redakcyjny to kolejne kilka - kilkanaście miesięcy. Nie wspominam już o grantach typu Iuventus, które trwają np. rok... Więc warto, żeby to ktoś jasno powiedział, że na dzień zamknięcia grantu nie będzie jeszcze publikacji - moim zdaniem tego czasu potrzeba więcej, kwestia ustalenia ile.

2. Jakie publikacje wchodzą do efektów danego grantu? - temat zupełnie niejasny... Czy jeżeli kupię z grantu ornitologicznego laptopa i na nim napiszę pracę o mrówkach, to czy mogę napisać, że jest ona częściowo finansowana z grantu? No bo przecież jest! A jeżeli wykonując obserwacje ptaków zobaczę rzadkiego chrząszcza i to opublikuję? Przecież dojazd w teren był finansowany przez MNISW/NCN, inaczej bym tego chrząszcza nie zobaczył... Jeżeli zostały mi po zakończeniu grantu odczynniki i zrobię na nich dodatkowe analizy to mogę wyniki tych analiz podpinać pod efekty grantu? Tego typu pytań i sytuacji można przytoczyć nieskończenie wiele i jedynym rozsądnym rozwiązaniem jest totalnie liberalne i całościowe podejście do problemu. Wszystkie publikacje powstałe w trakcie lub np. 2-3 lata po zakończeniu grantu wrzucałbym jako dorobek tego grantu. Każde rozdzielanie tematyczne i czasowe jest skazane z góry na niepowodzenie...

michał żmihorski

Kultura grantowa według pani minister

Prof. Barbara Kudrycka, minister nauki i szkolnictwa wyższego: Jak oceniać obiektywnie

Tekst w Gazecie Wyborczej

NCN – więcej niż kilka uwag krytycznych

Kolega poprosił mnie o zamieszczenie takiego posta:

Odbyłem dzisiaj długą rozmowę telefoniczną z Bardzo Miłą Panią z NCN. Zaczynałem ją w bardzo dobrym nastroju, zakończyłem w zdecydowanie gorszym. Moje pytania dotyczyły procedur odwoławczych w NCN. Złożony w ostatnim konkursie projekt przepadł w II etapie. Ponieważ jednak poziom merytoryczny recenzji uznałem za skandaliczny i urągający podstawom naukowej rzetelności, chciałem złożyć oficjalne odwołanie od decyzji Dyrektora NCN. W NZ_6 do którego składałem wniosek (konkurs dla młodych z dr) do drugiego etapu przeszło 8 projektów, z których 3 dostały finansowanie. Po prostu chciałem dowiedzieć się, na którym miejscu „pod kreską” jestem. Przyzwyczajony byłem, że w konkursach organizowanych przez Ministerstwo, w pisemnych decyzjach zawsze była zawarta informacja że „projekt X został sklasyfikowany na miejscu Y listy rankingowej, podczas gdy finansowanie uzyskały projekty do miejsca Z listy”. A w NCN szok – nie ma szczegółowej listy rankingowej według uzyskanej punktacji. W tym momencie moja zdolność pojmowania rzeczy i zjawisk zaczęła zawodzić. Skoro nie ma szczegółowej listy rankingowej, to na jakiej podstawie jedne projekty otrzymały finasowanie, a inne nie? Odpowiedź rozwaliła mnie całkowicie (cytuję) „uzyskana punktacja nie jest wiążąca dla Panelu, który podejmuje decyzje kolegialnie”. Czyli można mieć świetny projekt, który deklasuje inne wnioski w danym panelu/typie konkursu i można nie dostać pieniędzy na jego realizację, bo „czynniki” zdecydują inaczej. Na moje dalsze pytania, jak mogę uzyskać informacje o przesłankach, którymi kierował się Panel w podejmowaniu decyzji padła jasna odpowiedź „wszystko, czym dysponujemy jest w osf”. Czyli nie ma ŻADNEJ możliwości weryfikacji zasadności decyzji podjętych przez Panel. Medal dla NCN za transparentność !

Zafrapowało mnie to na tyle, że zacząłem drążyć temat dalej. Na moje pytanie, że przecież art. 31 ustawy o NCN nakłada obowiązek stworzenia listy rankingowej

„Art. 31. Koordynator Dyscyplin zamieszcza na stronie podmiotowej Centrum w Biuletynie Informacji Publicznej informacje o wnioskach złożonych w konkursach na realizację projektów badawczych i wynikach tych konkursów zawierające:

1) tytuł złożonego wniosku;

2) imię i nazwisko kierownika projektu badawczego oraz nazwę podmiotu, o którym mowa w art. 10 ustawy z dnia 30 kwietnia 2010 r. o zasadach finansowania nauki, będącego wnioskodawcą;

3) pozycję na liście rankingowej uzyskaną przez projekt badawczy skierowany do finansowania;

4) wysokość środków finansowych proponowanych do przyznania na poszczególny projekt badawczy przez Koordynatora Dyscyplin i przyznanych przez Dyrektora.”

padła odpowiedź że obowiązek taki istnieje wyłącznie w stosunku do projektów, które zostały zakwalifikowane do finansowania (interpretacja działu prawnego NCN). I tutaj zaliczyłem kompletny opad szczęki. Na moje pytanie, dlaczego udało się stworzyć listę rankingową dla projektów rozpatrzonych pozytywnie, a nie udało się stworzyć dla tych, które nie uzyskały finansowania, padła odpowiedź która w ogóle mnie nie przekonała „byłoby to możliwe wyłącznie dla projektów, które przeszły do drugiego etapu”. Tylko dlaczego taka nie powstała? Czego NCN się boi? Przyznam szczerze, że dzisiejszy dzień był a tyle męczący, że wyluzowałem z dalszymi pytaniami. 

Co do odwołania, to dałem sobie spokój. Zostałem poinformowany, że w przypadku złożenia odwołania, NCN może zablokować mi możliwość składania nowych wniosków, nawet w niewielkim stopniu pokrywających się z tematyką oprotestowywanego wniosku. Szkoda czasu na kopanie się z koniem. Generalnie, jest głęboko rozczarowany zarówno poziomem recenzji, jak i „transparentnością inaczej” procedur zastosowanych przez NCN. System, który funkcjonował w Ministerstwie był daleki od ideału, ale pewne rzeczy (na ogół merytoryczne recenzje, jasna i jawna lista rankingowa) funkcjonowały w miarę O. K. Zamiast poprawić to, co było do poprawienia, rozwalono bez sensu wszystko. Trąbienie o sukcesie I konkursu prowadzonego przez NCN jest ogromną przesadą; czuję (obym był złym prorokiem) że do dopiero początek „smaczków” jakie NCN ma nam do zaoferowania.

ciekawostka redakcyjna...

Dear Michal Zmihorski!
We have received your paper "Can clear-cuts increase ...". In this time we are obliged to inform you that the Editorial Board of the Russian Journal of Ecology has decided to temporarily stop publication of papers of foreign authors, as too many of them have been received. To publish their manuscripts Russian authors have to wait over 1.5 years. We cannot afford this and unfortunately are obliged to reject your manuscript.

Executive Editor-in-Chief
Dr. Vera Pozolotina

 

Recenzje grantów...

No to po pobieżnym przeczytaniu komentarzy o wynikach grantów mam coś do dodania od siebie.  Ta recenzja, ktora przytaczam w CALOSCI (!), usuwajac jedno nazwisko, odebrała nam mozliwosc finansowania badan przez najblizsze 3 lata.  Zastanawiam sie, jak moglbym odpowiedzic na te arogancje?!?  I pomyslec, ze szanowny recenzent skasowal za te "recenzje" publiczne pieniadze!

A oto recezja:

"Projekt bardzo interesujący, ale zaskakujące jest nieuwzględnianie w kontekście projektu modeli (...). Prezentują oni bardzo ciekawe spojrzenie na badane zjawisko i pomogłoby to zaprojektować układ w nieco inny sposób. Wszystko jest ciekawe, ale zastanawia mnie czy warte zainwestowania aż tak znaczących środków, by uzyskać efekt paru publikacji w dobrych czasopismach, ale stale nie w tych najlepszych."

Swoja droga, ktore czasopisma sa najlepsze?  Dotad pisalismy do czaspism o IF >2, wg MNiSW wszystkie = 32pkt.

Klasa Drogi Recenzencie, klasa.

Michal Wojciechowski

Sposób na nieprzychylnego recenzenta...

Podrzucam linka znalezionego przez Tomka Mazgajskiego. Co prawda nie z naszego podwórka ale warto rzucić okiem:
http://wiadomosci.gazeta.pl/Wiadomosci/1,80269,8854124,Na_lawe_oskarzonych_za_recenzje_pracy.html

Własnie dostałem "negatywa" z Biodiv Conserv i tak się zastanawiam co robić...  :o)