sobota, 28 czerwca 2014

Dyskusja o ekspertach NCN

update Sorry, bedzie bez PL czcionek...
Na lamach Panoramy PAN, toczy sie dyskusja o NCN. Ciekawy jest ten artykul, prof Namiesnika (nie z naszej dzialki, wiec moze warto wiedziec ze ma H=35, 523 publikacje na Scopusie, 6100 cytacji):

EKSPERCI – SŁABE OGNIWO DZIAŁALNOŚCI NARODOWEGO CENTRUM NAUKI

w ktorym czytamy m.in.:
Moje krytyczne uwagi dotyczą ekspertów powoływanych do poszczególnych paneli, bo przeraża mnie ich bezkarność w ferowaniu niekorzystnych wyroków. Przecież negatywne decyzje panelu podejmowane w oparciu o ich opinie mają poważnie konsekwencje, bo często nie ma możliwości złożenia odwołania bądź też autor źle ocenionego projektu nie może go składać w kolejnym konkursie grantowym. Przy takim systemie oceny wybór ekspertów, a później recenzentów, to sprawa kluczowa dla zapewnienia rzetelności i miarodajności opinii i podejmowanych decyzji. Zdaję sobie sprawę z tego, że nie wszyscy eksperci pracują nieprawidłowo. Jednakże ciemna strona ich działalności niewątpliwie istnieje.


Niestety nie sposob sie z tym nie zgodzic, sam dostalem, co do znudzenia powtarzam, opinie eksperta o braku pozwolenia na chodzenie w kaloszach, bedaca podstawa do odrzucenia wniosku (ktory w kolejnym konkursie, mimo dalszego braku wspomnianego pozwolenia, przeszedl). Nie zgodze sie jednak ze sugerowanie recenzentow cos zmieni - nic nie zmieni, bo (1) NCN nie bedzie musial, co jest zrozumiale, korzystac z tych sugestii, oraz (2) recenzenci beda nadal anonimowi. Wiec efekt bedzie zerowy, natomiast formularz rozrosnie sie o kolejne pola, ktore potem beda sprawdzane przez NCN w celu odrzucenia wniosku ze wzgledow formalnych (bo nie podalismy nr faxu do czwartego recenzenta itp).

Na odpowiedz obroncow NCNu na lamach Panoramy nie trzeba bylo dlugo czekac. Glos zabral jako pierwszy prof Pawel Koteja:

EKSPERCI NCN – ODSŁONA 2: PAWEŁ KOTEJA

oraz prof Janusz Bujnicki:

EKSPERCI NCN – ODSŁONA 2: JANUSZ BUJNICKI

oraz dr Bartłomiej Skowron - inna działka, więc w pierwszej chwili nie wrzuciłem, ale kolega mnie przekonał, że warto, bo ciekawie pokazuje rozrzut ocen:

EKSPERCI NCN – ODSŁONA 2: BARTŁOMIEJ SKOWRON

 

zaciekawilo mnie to co napisal prof Koteja odpowiadajac prof Namiesnikowi: 

Oczywiście, nie wszystkie opinie są takie, jakie być powinny. Ale jaki odsetek stanowią takie pospieszne i nierzetelne? Co konkretnie znaczy, że są częste? NCN na pewno powinno wdrożyć system kontroli jakości – zacząć wykonywać analizy statystyczne i używać ich wyników do eliminowania z „korpusu ekspertów” (a także z listy potencjalnych recenzentów) osoby, które po prostu źle tę pracę wykonują. Dopóki nie ma takich analiz, formułowanie wniosków (albo wręcz ferowanie wyroków) w oparciu o próby bardzo obciążone w sensie statystycznym – na które składają się przede wszystkim głosy zawiedzionych wnioskodawców – wydaje mi się niezbyt przystające do standardów naukowych.

 

Bardzo rozsadnie to brzmi, ale az prosi sie zadac pytanie o to, dlaczego wciaz nie ma tego systemu kontroli pracy NCNu, skoro jest to oczywiste dla szefa panelu ekspertow? Cos wiemy wiecej w tej sprawie? Obecna "analiza statystyczcna" raportowana przez NCN to kolorowe slupki obrazujace liczbe wnioskow na wojewodztwo, raczej nie o to tu chyba chodzi... Moze NCN powinien rozpoczac projekt obywatelskiej oceny skutecznosci swojej pracy i udostepnic (odpowiednio kodowane) dane o konkursach i ewaluacji wnioskow?? Chetnie przyjzalbym sie takim zaleznosciom, pewnie inni rowniez. Zatem rzucam pytanie do NCNu: jest to realne?

michal zmihorski

16 komentarzy:

  1. Ja ze swojej strony proponuję jeszcze tekts Bartka Skowrona na ten sam temat:
    http://panorama.pan.pl/s,eksperci-ncn-odslona-2-bartlomiej-skowron,172.html

    jest on znaczący i w dość dobry sposób oddaje to, z czym mamy do czynienia także w NZ_8. Bardzo mnie cieszy, że ewidentne przegięcia ze strony NCN zaczynają punktować osoby pokroju prof. Namieśnika - jemu chyba nikt nie będzie zarzucał lenistwa i użalania się nad sobą. A ze strony NCN odpowiedzią na każdą uwagę jest ten sam od lat gniewny bulgot: może dla odmiany wzięlibyście się Panewie Dyrektorzy, Szefowie Paneli etc. za robotę i zaczęli wreszcie optymalizować od samego początku szwankujący system?

    OdpowiedzUsuń
  2. post uaktualniony o komentarz dra Skowrona!

    OdpowiedzUsuń
  3. Jak co roku - zaczyna się dyskusja o NCN. Profesor Namieśnik jest postacią mi znaną i nie mam wątpliwości co do jego prawdomówności. Ja - na podstawie doświadczeń własnych oraz moich znajomych - mogę stwierdzić dodatkowo, że eksperci w znacznej mierze nie znają aktualnych regulaminów konkursów. W ostatnio rozdanej edycji Opus/Sonata/Preludium w większości znanych mi przypadków pojawiały się poważne zarzuty, dotyczące ewidentnie poprawnie skonstruowanych wniosków (głównie chodzi tu o wykonawców - czas pracy, planowanie osób "z nazwiska" lub anonimowo, wynagrodzenia). Do tego dochodzą kwiatki typu pomylenie konkursu - wniosek był na Opus, a eksperci ewidentnie robili kopiuj-wklej z jakiejś recenzji Sonaty.

    Bartłomiej Skowron zauważył z kolei rzecz chyba najważniejszą: oceny są LOSOWE. Wniosek złożony dwa-trzy razy ma wszelkie szanse zdobyć punktację od samego dołu do samej góry, a stosowanie się do uwag ekspertów nie wpływa na szanse wniosku w kolejnej edycji. Może lepiej po prostu losować szczęśliwców?

    OdpowiedzUsuń
  4. By odpowiedzieć na pytanie, czy oceny są losowe można zrobić analizę korelacji między ocenami wystawionymi niezależnie przez dwóch ekspertów na pierwszym etapie konkursu. Pytanie czy oceny wystawiane przez ekspertów są skorelowane oczywiście mnie interesowało, więc sobie te korelacje na własny użytek policzyłem. W pierwszym konkursie, w roku 2011, w panelu NZ8 korelacje były następujące:

    OPUS: r=0.55, p=1E-9, N=107
    PRELUDIUM: r=0.42, p=9E-5, N=80
    SONATA: r=0.47, p=0.011, N=29

    W ostatnim rozstrzygniętym konkursie (w tym roku) korelacje były już znacznie wyższe:

    OPUS: r=0.64, p = 3*E-7, N=51
    PRELUDIUM: r=0.73, p = 4E-8, N=42
    SONATA: r=0.72, p = 0.002, N=15

    Jak więc widać (zgodnie z tym co napisałem w artykule w Panoramie PAN), praca paneli ekspertów (a przynajmniej NZ8) się poprawia - przynajmniej w sensie zgodności niezależnie wystawianych ocen.

    Można uważać, że w ocenach jest za dużo przypadkowości, ale twierdzenie, że oceny są "losowe" nie znajduje potwierdzenia w faktach. Warto też zauważyć, że korelacje tych ocen z istoty rzeczy nie mogą być bliskie 100%, nawet gdyby eksperci działali perfekcyjnie, ze względu na "dyskretność" skali ocen. Można by pewnie zrobić symulacje numeryczne by ocenić, jakie jest realistyczne maksimum dla tych korelacji.

    Z pozdrowieniami,
    Pawel

    OdpowiedzUsuń
    Odpowiedzi
    1. Oczywiście zaraz odezwą się osoby, które powiedzą, że te istotne korelacje to dowód na to, że istnieje zmowa ekspertów ;)
      Swoją drogą, lepiej byłoby policzyć powtarzalność ocen dla danego projektu, zarówno w ocenach ekspertów, jak i recenzentów, podobnie jak szacuje się odziedziczalność;)

      Usuń
    2. Żeby to ocenić, korelacja pomiędzy notami ekspertów nie wystarczy. Musimy jeszcze wiedzieć, czy jest bezpośrednie powiązanie łącznej oceny eksperckiej z dopuszczeniem do drugiego etapu - czyli oceny recenzenckiej. Jako, że widywałem już projekty z bardzo wysoką punktacją, które jednak przez ekspertów przepuszczone nie zostały, mam co do tego pewne wątpliwości i - korzystając z okazji - proszę o wyjaśnienie tej kwestii.

      Pozdrawiam,
      Łukasz

      Usuń
    3. Wyjaśnienie jest proste (i przedstawione w regulaminie): ocena zero z którykolwiek komponent oznacza dyskwalifikację wniosku, niezależnie od innych ocen. Projekt może mieć np. maxa za wszystkie komponenty, a zero tylko za uzasadnienie kosztorysu - ocena łączna będzie 90%, ale projekt nie zostanie zakwalifikowany.

      Inna możliwość to odrzucenie ze względu na niespełnienie innych warunków, np., kryterium badań podstawowych czy innych wymagań konkursu (w tym kwestie formalne, które wzbudziły tak wiele emocji...). Dalej są kwestie delikatne - dotyczące kwestii podwójnego finansowania: może się okazać, że autorzy zgłoszą równolegle projekty z pokrywającymi się zadaniami badawczymi, albo nie wyjaśnią w przekonywający sposób, że wniosek nie dotyczy badań finansowanych z innych źródeł. Niekoniecznie chodzi o nieuczciwość - może być tak, że autorzy po prostu nie dość jasno przedstawili sytuację. Ale bywa, że chodzi o przekręt grubymi nićmi szyty: wiadomo mi o przypadku, gdy ktoś wnioskował o grant NCN na dokładnie te same badania, na które już otrzymał granty z analogicznych instytucji za granicą - i to niejednej (i tak się składa, że to koordynator jednej z dziedzin z NCN wykrył ten przekręt),

      Wracając do bardziej "normalnych" sytuacji: bardzo dobry projekt może być tak kosztowny, że NCN po prostu nie stać na jego sfinansowanie - np. wniosek o grant, który zabrałby połowę budżetu danego panelu. Możliwa jest też sytuacja "graniczna" (ale to dotyczy już raczej drugiego etapu oceny): po przyznaniu pierwszych n projektów z listy rankingowej zostaje jakaś kwota, powiedzmy około 100tys. Następne na liście rankingowej projekty wnioskują, dajmy na to, o około 500, 500, i 100 tys. W tej sytuacji do finansowania może zostać zakwalifikowany ten trzeci, mimo tego, że jest niżej oceniony. Alternatywą może być oddanie nie wykorzystanych funduszy...

      Pozdrawiam,
      Pawel

      Usuń
  5. Wracając do bardziej "normalnych" sytuacji: bardzo dobry projekt może być tak kosztowny, że NCN po prostu nie stać na jego sfinansowanie - np. wniosek o grant, który zabrałby połowę budżetu danego panelu.

    Ale Regulamin NCN chyba nie mówi o odrzuceniu projektu ze względu na to że jest zbyt drogi? Czy panel ma wtedy prawo odrzucić wniosek? Rozumiem, że mówimy o sytuacji pozytywnej oceny kosztorysu (czyli kosztach uzasadnionych), tylko ograniczeń budżetowych. Czy w sytuacji gdy np. drogi projekt jest w czołówce po ocenach merytorycznych i faktycznie "zjada" połowę budżetu, ale mieści się w nim (tzn. nie ta druga sytuacja graniczna) panel ma prawo go ot tak odrzucić? To by oznaczało że większe projekty nie mają szans na realizację? To trochę sprzeczne z publicznymi wypowiedziami szefostwa NCN: miało nie być tak, że każdemu po trochu, ale właśnie więcej najlepszym.

    OdpowiedzUsuń
    Odpowiedzi
    1. Jak słusznie Anonimowy zauważył, regulamin nie mówi o odrzuceniu wniosku tylko z tego powodu, że jest zbyt kosztowny (i w panelach w których pracowałem chyba żaden nie został z takiego powodu odrzucony). Ale regulamin nie mówi też o tym, że ocena liczbowa wynikająca z uśrednienia punktacji jest JEDYNĄ przesłanką podejmowanej decyzji. Wręcz odwrotnie, regulamin mówi:

      § 17. W trakcie oceny wniosków przez Zespoły Ekspertów przyjmuje się następujące zasady:
      ...
      3) wniosek otrzymuje ocenę punktową, która MA CHARAKTER POMOCNICZY i stanowi punkt wyjścia do dyskusji nad oceną końcową;
      4) podstawą decyzji Zespołu Ekspertów o ocenie końcowej wniosku jest jego analiza i przeprowadzenie dyskusji nad zasadnością finansowania wniosku, na tle innych wniosków ocenianych w konkursie;
      ---

      W sytuacji takiej o jakiej tu mówimy panel musiałby więc zdecydować, czy lepiej sfinansować jeden wniosek zamiast np. pięć czy więcej innych wniosków. Chwila zastanowienia wystarczy by zrozumieć, że mechaniczna decyzja oparta o punktację byłaby absurdalna, gdy kolejne projekty różnią się ocenami o wartość wynikającą z efektów losowych. Bo oczywiście oceny punktowe są takimi losowymi odchyleniami obciążone (już pisałem o tym, że nierealne jest oczekiwanie pełnej zgodności ocen punktowych).

      W każdym razie, decyzja panelu, że taki projekt nie będzie sfinansowany nie stanowiłaby naruszenia regulaminu. Panel nie musiałby też szukać dziury w całym i wynajdywać na siłę jakichś powodów, by sztucznie obniżyć ocenę punktową i pozycję projektu na wstępnej liście rankingowej. Mógłby po prostu poinformować, że ze względu na ograniczenia finansowe taki projekt nie mógł zostać (niestety) sfinansowany.

      Nie ma tu sprzeczności z deklaracją, że NCN nie działa na zasadzie "wszystkim po trochu", bo mówimy tu o sytuacji wyboru między sfinansowaniem jednego albo alternatywnie kliku projektów, co do których panel zgadza się że na finansowanie zasługują. Gdyby do wyboru był ten jeden albo liczne mierne, to nie byłoby żadnego problemu ani wątpliwości.

      Pisałem na tym forum kilka razy, ze średni budżet projektów finansowanych jest wyższy niż średni budżet wszystkich wniosków, więc widać, że bardziej kosztowne projekty nie są dyskryminowane. Ale zapewne w rozsądnych granicach... W konkursach w których pracowałem taka sytuacja (świetny projekt który byłby zarazem rząd wielkości kosztowniejszy niż przeciętne) się nie zdarzyła. Na szczęście dla mnie - bo nie zazdroszczę komuś, kto miałby podejmować decyzję: każda byłaby przez kogoś uznana za złą...

      Pozdrawiam,
      Pawel


      Usuń
  6. Panie Michale, bardzo merytoryczny wpis, jestem pod wrażeniem

    OdpowiedzUsuń
  7. Niestety po lekturze recenzji kilku wniosków muszę zgodzić się z ostrą krytyką ekspertów i recenzentów i częściowo polityką NCN w tej kwestii. Biorąc pod uwagę poziom jaki nieraz reprezentują eksperci oddawanie władzy w ich ręce (jak napisał wyżej prof. Koteja władza ta jest praktycznie nieograniczona gdyż "wniosek otrzymuje ocenę punktową, która MA CHARAKTER POMOCNICZY i stanowi punkt wyjścia do dyskusji nad oceną końcową" oraz "podstawą decyzji Zespołu Ekspertów o ocenie końcowej wniosku jest jego analiza i przeprowadzenie dyskusji nad zasadnością finansowania wniosku"). Zatem zespół ekspertów wg własnego uznania może podważyć recenzje wniosku.
    Przykładowo w ostatnim rozdaniu opinie jednego z ekspertów (z panelu I) dotyczące znanego mi wniosku były np. takie: słabe strony wniosku – zaplanowanie anonimowych wykonawców o nie znanych kompetencjach i procedurze naboru. Wyjaśnienie: we wniosku jest dopuszczalne podanie tylko 2 głównych wykonawców z nazwiska, system nie pozwala na więcej. Pozostałe osoby były również wymienione z imienia i nazwiska oraz opisane ich kompetencje (oczywiście mniej dokładnie niż głównych wykonawców ze względu na zasady ustalone przez NCN – brak ankiet tych wykonawców) i uzasadnienie zatrudnienia ich w projekcie (zarówno w procedurze naboru jak i w opisie projektu).
    I tu pojawia się problem: podstawą finansowania projektu są fałszywe stwierdzenia ekspertów. Chyba powinien jakiś pracownik NCN te opinie dokładniej przeglądać, po krótkim rzucie oka widać, że to, co eksperci wytykają jako braki, najnormalniej w świecie we wniosku jest, wcale nie ukryte, tylko w miejscach do tego przeznaczonych.

    OdpowiedzUsuń
  8. Zarówno eksperci jak i recenzenci mogą się odnosić do pewnych cech projektu i wpisywać je w systemie OSF, ale nie jest to jednoznaczne z tym, że takie opinie zaważają na ocenie projektu. Zawsze osoba z NCN-u, która koordynuje pracę panelu bardzo mocno pilnuje wszelkich tego typu spraw. Może rzeczywiście błędem jest to, że potem opinie nieistotne dla ostatecznej oceny zostają w systemie.
    Na pewno zamiast na oceny cząstkowe, lepiej przyjrzeć się uważniej ostatecznej opinii podsumowującej to dlaczego projekt odrzucono, bo ona rzeczywiście powinna zawierać już "przesianą" informację od ekspertów i recenzentów i pokazywać najważniejsze mankamenty.

    I jeszcze taka ogólna uwaga. Każdy z nas dobrze wie jak trudno jest czasem opublikować pracę, o której jesteśmy przekonani, że jest świetna. Odrzuty w wiodących czasopismach są duże, co nie oznacza od razu, że praca odrzucona do niczego się nie nadaje. Podobnie jest w projektami grantowymi. Są lepsze i gorsze, oceniane przez ludzi o różnej wiedzy i "skrzywieniu" w kierunku jakichś zagadnień. Naprawdę trudno mi sobie wyobrazić w tej chwili jakąś rewolucyjną zmianę systemu, która by go ulepszyła (poza większymi finansami dla NCN). Jedyne co by można było zrobić to przejście na system jawnych recenzji ale obawiam się, że to by było w polskich warunkach po prostu piekło. Wiele czasopism przechodzi na system double-blind review a nie na recenzje jawne, dlaczego w systemach przyznawania grantów miałoby być inaczej?

    Pozdrawiam,
    Tomek Osiejuk


    Pozdrawiam,
    Tomek Osiejuk

    OdpowiedzUsuń
  9. To ja może powtórzę swoje pytanie do osób "reprezentujących" środowisko NCN, bo jakoś nikt się do tego nie odnosi: czy ja też mógłbym sobie policzyć te korelacje i powtarzalności, tak jak zrobił to prof. Koteja? Uogólniając: czy będziemy musieli prosić za każdym razem kogoś z NCN by policzył korelację i wrzucił na bloga, czy też możliwe jest jednak jakieś udostępnienie danych przez NCN? Przy czym nie chodzi mi o dane o liczbie wniosków na województwo, tylko właśnie konkretne wyniki pracy recenzentów, paneli, losy wniosków - oczywiście odpowiednio anonimizowane

    pozdrowienia

    OdpowiedzUsuń
  10. Cześć,
    Tak sobie myślę, że takie decyzje to jednak może podjąć jedynie ktoś bezpośrednio z władz NCN-u, zwłaszcza że eksperci panelu nie mają przecież dostępu do wszystkiego i cały czas, poza tym zawsze ciąży na nich kwestia poufności otrzymywanych materiałów. Mnie osobiście najbardziej by interesowało porównanie różnych paneli, bo to rzeczywiście mogłoby dać jakąś informację o tym, czy wszyscy "grają" tak samo.

    Pozdrawiam,
    Tomek Osiejuk

    OdpowiedzUsuń
  11. jasne, to zrozumiałe, że nie padnie na blogu odpowiedź - jednak rzucam pytanie prowokując dyskusję/myślenie, bo publikowane przez NCN obecnie kolorowe słupki na mapie zostawiają jednak sporo niedosytu w temacie...
    pozdrowienia,

    OdpowiedzUsuń