sobota, 18 czerwca 2011

garść plot o NCNie i konkursie grantowym

Są to wprawdzie ploty powtarzane z trzeciej ręki, ale założę się, że wiele w tym jest prawdy. Otóż ludzie w tramwajach gadają, że w NCNie panuje delikatnie mówiąc bałagan i ekipę mocno przerosła liczba złożonych wniosków - podobno spodziewali się blisko 3 razy mniej niż dostali... Stąd przeciążenia serwera itp. Podobno powstał pomysł, by co drugi wniosek odwalić bez recenzji, na etapie czytania streszczenia, reszta dopiero ma iść do recenzentów. Poza tym, jak się wszyscy domyślali, nie wszystkie, żeby nie powiedzieć nieliczne, wnioski pójdą do recenzentów za granicę, resztę przerobimy własnymi siłami ;-) Podobno rozpiętość wnioskowanych kwot jest ogromna, skrajne dochodzą do >5mln. i nie bardzo wiadomo jak ten problem ruszyć...

tyle z komunikacji miejskiej :o)
anonimowy

21 komentarzy:

  1. Czolem Anonimowy,

    Ano moze i NCN ma problem. Niech sobie z nim radzi, byle w zgodzie z prawem. Szczerze, nie chce mi sie wirzyc zeby NCN strzelil sobie w stope i uwalil polowe wnioskow bez recenzji. REgulamin konkursu wyraznie stanowil, ze zlozone projekty beda recenzowane. I nie moga nie zrecenzowac projektu. Jesli tak zrobia to konkurs zostanie uniewazniony. Albo zaleje ich lawina odwolan na gruncie proceduralnym. Miejmy tylko nadzieje, ze tam, gdzie poszly nasze wnioski bedzie zespol na tyle uczciwy, ze nie dopusci do zadnych odgornych przekretow.

    michal

    OdpowiedzUsuń
  2. Pojawia się jednak kwestia definicji recenzji... Bo tekst w stylu "wniosek fajny, stawiam siódemkę" też może być recenzją. Zobaczymy, na razie wygląda to dość czarno.

    michał żmihorski

    OdpowiedzUsuń
  3. No właśnie, jak pisze Michał co to bedzie "recenzja" w tym przypadku. Bo nawet jeśli będzie decyzja - to dajemy dalej, a to już nie - to czy to będzie recenzja (i do tego płatna podobnie jak recenzje)? Te odwalone od razu powinny mieć konkretne wady podane, tak żeby ewentualnie można je było w przyszłości poprawiac.. Temu wg mnie mają służyc recenzje - nie tylko ocenie formalnej, ale też sugestii sensownych zmian..

    Może właśnie liczba wniosków ich na tyle przerosła, że jak policzono ile może kosztować zrobienie recenzji starym trybem, to kombinowano jak zaoszczędzic?

    Jakąś podobną plotkę, że będzie wstępna selekcja i część będzie uwalona na początku też słyszałem jeszcze przed końcem konkursu, a więc chyba to jednak nie redukcja kosztów.
    Z drugiej strony, jeśli wyniki mają być jak zwykle za pół roku jak pisał Michał w innym wątku, to czemu nie robic normalnych recenzji?

    Kiedyś każdy projekt był oceniamy przez trzech recenzentow i wynik był pewną wypadkową ocen. A jak to będzie teraz nie wiadomo. Takie odwalanie na szybko powinno wg mnie być konsultowane jeszcze przez większą liczbę osob niż poprzednio, a na pewno nie mniejszą...

    Zobaczymy za poł roku, do tego czasu pojawi się wiecej plotek i przecieków.
    Powodzenia wszystkim aplikującym.
    TM

    OdpowiedzUsuń
  4. Podobno do NCNu spłynęło ok. 10000 wniosków, co przy systemie 3 recenzje na wniosek i 150 zł za recenzję daje 4,500,000 zł na samych recenzentów...
    Pytanie też czy uda się znaleźć sensownych ludzi do recenzowania, bo większość sama aplikuje.

    Wrócę do tego, co kiedyś pisałem - myślę, że rozsądniejszym rozwiązaniem jest wstępne filtrowanie wniosków i wnioskujących pod względem dorobku: jesteś 60-letnim profesorem bez dorobku, to daj sobie spokój z pisaniem grantów. Jak dla mnie, to co by taka osoba nie napisała, to i tak bym jej nie uwierzył, bo ostatnie 40 lat nie robiła nic i teraz już nie powinna dostawać szansy kosztem innych. Czy chcemy wydawać kasę na ocenę takich wniosków? Szkoda na to czasu i pieniędzy.

    michał żmihorski

    OdpowiedzUsuń
  5. Tylko, że wstepne filtrowanie w ten sposób, mimo, że całkowicie słuszne, zakłada brak recenzji, a więc problemy proceduralne wspominane w pierwszym komentarzu...

    Jakoś w NCN będą musieli wybrnąć z tej ogromnej liczby wniosków, np. właśnie stosując jakiś system dwuetapowy. Tylko ten fakt powinien być ogłoszony wcześniej i podane powinny być jakieś kryteria kwalifikacji do kolejnego etapu (własnie np. dorobek). Może to spowodowałoby, że mniej osob złożyłoby granty.

    Można też zastanowić się czemu tak nagle pojawiło się tyle projektów. Czy jest to związane z odwołaniem jednego konkursu, a może zawsze łączna liczba wszystkich wniosków była podobna (to pewnie akurat dałoby się policzyć)? Albo pieniądze na badania wcześniej dostępne z innych źródeł się się skurczyły? A może też to właśnie zapowiedź zagranicznych recenzji tak zastymulowała ludzi do pracy nad wnioskami... Pewnie wszystko po trochu, ale szczególnie jeśli ta ostatnia kwestia miałaby wchodzić w grę, to szybkie odwalenie bez recenzji np. 1/3 wnioskow (np. na podstawie polskiego streszczenia) może być najgorszym pomysłem.

    TM

    OdpowiedzUsuń
  6. Tomek, ja zakładam, że to mógłby być wymóg w ogóle do złożenia wniosku, a nie etap recenzji.

    OdpowiedzUsuń
  7. Michał,
    masz racje, w koncu skoro w ankiecie podaje się publikacje, H i liczbę cytacji, to łatwo postawić jakiś sensowny prog..

    A przy okazji:

    "ekipę mocno przerosła liczba złożonych wniosków - podobno spodziewali się blisko 3 razy mniej niż dostali".

    Nie wiem na podstawie czego tak zakładali. Wystarczyło spojrzeć do OPI. Na poprzedni konkurs (40) złożono ponad 8 tys wniosków, konkursy 39 i 38 - trochę ponad 6 tys, wcześniejsze konkursy - tak koło 5 tys.
    To czemu teraz mialoby być tak drastycznie mniej? Zakładali, że skoro po angielsku to będzie to próg nie do przeskoczenia?

    No i poprzednio jakoś była kasa na recenzje 8 tys wniosków....
    TM

    OdpowiedzUsuń
  8. Tak mi się wydaje, bo zakładam, że model kariery naukowej NIE powinien wyglądać tak: kończę studia, piszę grant, otrzymuję go, realizuję i z wyników piszę pierwszą publikację w życiu.
    Napisać można już coś z licencjatu, a na pewno z magisterki, pomijając fakt, że można coś napisać niezależnie. Myślę, że taki próg odsiałby dobre 25% wniosków, czyli NCN ma przeszło 1 mln zł w kieszeni zaoszczędzone na recenzentach a przypuszczam, że średnia jakość wniosków by wzrosła znacząco.

    Co do tych oczekiwań, to nie sądzę by oni mieli jakiś profesjonalny system szacowania liczby wniosków; tutaj raczej mamy do czynienia z sytuacją kiedy zima znowu zaskoczyła drogowców...

    michał żmihorski

    OdpowiedzUsuń
  9. Interesujaca dyskusja ;) Zgadzam sie w 100% - wymog np. 1-2 publikacji punktowanych w roku poprzedzajacym konkurs bylby dobrym kryterium wstepnej selekcji - choc mysle ze abstrakt i tak warto przeczytac zeby "upewnic" sie podwojnie... Jestem zdania ze nawet mlode osoby, zdeterminowane do pozostania na sciezce kariery naukowej, najczesciej juz pod koniec mgr, a na poczatku dr na pewno, maja i dane i checi i samozaparcie zeby opublikowac cos wartosciowego. Wazne jest ze to jak postapi NCN z tymi 10000 wnioskow troche napedzi/wyhamuje impet w nastepnym konkursie - wiec w ich rekach jest nie tylko zadowolenie aplikantow w tym konkursie ale tez to co bedzie dzialo sie w kolejnych... Z ciekawoscia bede sledzil to dalej ;)

    szymek

    OdpowiedzUsuń
  10. Zastanawiam się nad liczbą cytowań i wskaźnikiem H. "Odrobinę" muszę się naukowo przekwalifikować, i publikacje do tej pory, co z tego, że niezłe, są z innej dziedziny. Czy z góry stawia mnie to na przegranej pozycji? Bez tego grantu mogę się pożegnać z hab.

    OdpowiedzUsuń
  11. Anonimowy
    Żegnaj ... ;((
    Jedziemy na tym samym wózku. A tato mówił, że to taka doskonała praca, a u nas w zakładzie, to już nawet nie można na herbatę wyskoczyć:((

    OdpowiedzUsuń
  12. Anonimowy (1),
    ale skoro publikacje masz i to jak piszesz niezłe, to wg mnie to się powinno liczyć - pokazujesz, że zebrane wyniki nie idą do szuflady, tylko potrafisz je dobrze "sprzedać", co świadczy o jakości robionej przez Ciebie pracy. I to, że to "odrobinę" inna dziedzina, nie powinno aż tak wpływać na ocenę, jeśli sam projekt jest OK.
    Ale skoro ten grant jest dla Ciebie tak ważny, to trzymanie kciuków, palenie świeczek, czy inne ogólnie uznane sposoby zwiększania sukcesu nie zaszkodzą:-)
    Powodzenia
    TM

    OdpowiedzUsuń
  13. Pozwole sobie na komentarz jako osoba majaca wiadomosci z pierwszej reki - ktore zreszta KAZDY moze miec, bo sa oficjanie podane na www NCN (www.ncn.gov.pl/html/rada-uchwaly.html):
    Od samego poczatku, zgodnie z uchwala nr 12 z 10 marca 2011 (pozniej modyfikowana), a wiec niezaleznie od liczby wnioskow, przewidziano, ze procedura oceniania ma byc dwustopniowa:
    - Na pierwszym etapie w oparciu o dwie recenzje czlonkow panelu oraz dyskusje w czasie posiedzenia panelu wylonione maja byc wnioski, ktore przechodza do drugiego etapu. Do drugiego etapu przechodzi Z GRUBSZA dwa razy tyle wnioskow ile ma byc sfinansowanych (scislej: suma budzetow dwa razy wyzsza niz budzet dla danego panelu).
    - Na drugim etapie wniosek ma byc recenzowany dodatkowo przez minimum jednego recenzenta zewnetrznego, ktorym moze byc recenzent zagraniczny. Z zagranicznymi recenzentami jest legislacyjny klopot, bo w ustawie jest mowa, ze mozna ich powolywac "w szczegolnych przypadkach", a prawo zabrania by z rozwiazan "szczegolnych" uczynic zasade powszechna. Rada NCN mocno sie gimnastykowala by znalezc sposob pozwalajacy na powszechne wykorzystnie recenzji zagranicznych. Sposob sie znalazl i taka mozliwosc bedzie. Rada tez wie, ze to jest punkt do nowelizacji ustawy.
    Uwazam to rozwiazanie za sluszne, bo nie ma sensu by zlecac wykonywanie recenzji zewnetrznych - zwlaszcza zagranicznych - dla wnioskow ktore sa "spalone" ze wzgledu na niska ocene dotyczaca np. dotychczasowego dorobku publikacyjnego albo slabego wywiazania sie z realizacji poprzednich grantow (a ocene dotyczaca tych aspektow mozna wykonac kompetentnie nawet jesli nie jest sie fachowcem w waskiej dziedzinie, ktorej projet dotyczy). Wymaganie by na pierwszym etapie ocene dokonywalo wiecej osob jest niewykonalne, a przy zalozeniu ze bedzie sie oceniac w oparciu o zobiektywizowane kryteria (patrz ponizej), nie ma nawet takiej potrzeby.

    [kontynuacja w następnym komentarzu]

    OdpowiedzUsuń
  14. Dodam, ze to jest dokladnie taka sama dwustopniowa procedura jak praktykowana w ERC i innych podobnych instytucjach, z ktorych NCN czerpal wzory.

    Zamiast fantazjowania na temat tego jak ma wygladac recenzja, lepiej po prostu wzor recenzji wraz z zasadami oceniania przeczytac:

    www.ncn.gov.pl/download/pdf/uchwaly%20rady/uchwalanr23_2011-zalacznik-zalacznik01.pdf

    W przeciwienstwie do tego co bylo dawniej, obecnie wzor bardzo precyzyjnie okresla, jakie maja byc kryteria oceny zarowno dorobku jak i wartosci naukowej projektu. Np., jesli
    "Wnioskodawca/zespół wnioskodawców reprezentuje poziom krajowy (m.in.: publikacje w wiodących czasopismach krajowych, niska cytowalność prac)." to za dorobek publikacyjny moze dostac najwyzej 1 punkt na maksimum 3 za ten apsekt. Jesli poprzednio realizowany grant zakonczyl sie publikacja tylko w czasopismie krajowym - moze dostac najwyzej 2 punkty na 4. Itd.

    O ile wiec nie dopusci sie do "erozji" tego systemu (trzymajmy za to kciuki!), to ktos kto nie robil w ostatnich latach powaznych badan, chocby byl nie wiem jak czcigodnym profesorem, nie ma szans na uzyskanie wysokiej oceny. Podobne wskazowki dotycza oceny wartosci meryorycznej wniosku - zachecam do przeczytnia.

    Przepraszam ze sie nie podpisuje, ale przyjete przez Rade NCN zasady etyczne zabraniaja publicznego ujawniania sie czlonkom paneli. Ale sadze, ze nie ma nic zlego w tym, jesli przekaze na tym forum informacje, ktore sa przeciez jawnie dostepne na stronach www NCN - ale ktore z jakiegos powodu nie sa czytane przez skadinad zainteresowane tematem osoby (co mnie zreszta dziwi: ta sklonnosc do polegania na plotkach i zaslyszanych w tramwaju informacjach, zamiast siegania do oficjalnych, jawnych zrodel!).

    Pozdrawiam, Felix
    PS - racja, ze w NCN teraz JEST balagan - ale nazwalbym to balaganem tworczym.

    OdpowiedzUsuń
  15. bardzo mnie cieszy to co pisze Felix-anonim, bo nareszcie zostanie rozwiązana kwestia oceny dorobku. Dotychczas o ile mi wiadomo dorobek nie był brany oficjalnie pod uwagę, co z resztą przekładało się na wyniki konkursów... Nadal co prawda pozostaje dość duże pole na subiektywną ocenę recenzenta, bo rozumiem, że nie ma definicji "niskiej cytowalności", ale miejmy nadzieję, że jakoś to się wystandaryzuje

    michał żmihorski

    OdpowiedzUsuń
  16. "Nadal co prawda pozostaje dość duże pole na subiektywną ocenę recenzenta, bo rozumiem, że nie ma definicji "niskiej cytowalności", ale miejmy nadzieję, że jakoś to się wystandaryzuje"

    To oczywiscie JEST problem i stawiam "zgrzewke" piwa komus, kto mi podpowie jak cytowalnosc SKUTECZNIE "wystandaryzowac".

    Przyjmujac standardy miedynarodowe, proponowalbym skale:
    >1000 - wysoka
    500-1000 - umiarkowana
    200-500 - skromna
    50-200 - niska
    <50 - zaniedbywalna

    Moze byc?

    Niby proste, ale jak ta cytowalnosc wazyc przez wiek wnioskodawcy? I oczywiscie jak uwzgledniac dyscypline? Jest podzial na panele tematyczne, ale popatrzcie co sie miesci w interesujacym nas NZ-8: jest tam ekologia, biologia ewolucyjna, ekotoksykologia, genetyka populacyjna, filogenetyka - ale tez i tradycyjna "zoologia" i "botanika", a wiec systematyka, faunistyka/florystyka...

    Czy taka sama miarke cytowalnosci zastosowac do do ekologow ewolucyjnych (jest w Polsce kilku z pogranicza "umiarkowana-wysoka" w\g powyzszej skali) i do wnioskodawcow zajmujacego sie faunistyka czy systematyka owadow (czy bedzie choc jeden z klasy "umiarkowana"...)? Uznac, ze z istoty rzeczy jest roznica w cytowalnosci miedzy roznymi dziedzinami czy uznac, ze szkoda pieniedzy podatnika na dziedziny nisko-cytowalne i traktowac wszystie dziedziny wg tej samej skali? A jesli uznac ze sa obiektywne roznice, to jakie mielibyscie propozycje na standaryzacje z uwzglednieniem tej specyfiki?

    To samo zreszta dotyczy "standaryzacji" oceny wagi dorobku publikacyjnego...

    Powiem, ze to sie fajnie mowi: "trzeba uzyc obiektywnych kryteriow" - ale gdy ktos Ci mowi "OK, do Ciebie nalezy decyzja, zrob to zgodnie z ta zasada", to wcale nie jest az tak prosto. Wiec naprawde ciekawa jestem podpowiedzi jak KONKRETNIE to zrobic.

    Felix

    OdpowiedzUsuń
  17. No to jesli przyjete zostanie to kryterium cytowalnosci to wiekszosc (bez urazy!) z tu piszacych padnie na wejsciu. Wiek i dlugosc kariery bedzie ograniczajaca.
    Czy nie lepszym bedzie przyjecie indeksu h? Albo moze wprowadzenie wlasnego indeksu liczonego (ilosc cytowan/ilosc prac)? Powinien on dac pewna wage dla wieku, bo teoretycznie, im dluzej ktos zyje w nauce tym ma wiecej artykulow. Przynajmniej bardzo teoretycznie. Ale to wymagaloby wprowadzenia dodatkowej informacji przez skladajacych wnioski, tj. ile prac indeksowanych opublikowali. Tego sie nie podaje w tej chwili. Mozna zas sprawdzic cytowalnosc autorow sprawdzajac ilosc cytowan prac podawanych w ankiecie. Ale, tu tez powinna byc modyfikacja. Autorzy powinni podac wszystkie prace za ostatnie 5 lat, a nie tylko 10.

    To w ramach uwag konstruktywnych.

    michal

    OdpowiedzUsuń
  18. Wlasnie wpadla mi do glowy jeszcze jedna mozliwosc wprowadzenia korekty wiekowej. Skorygowac cytowalnosc o czas od uzyskania doktoratu. Sposrod wszystkich wnioskodawcow okreslic srednia skorygowana o czas od dr i ci powyzej 1SD od sredniej maja umiarkowana cytowalnosc, >2SD umiarkowana wysoka, >3SD wysoka. Odpowiednio w dol od sredniej. Wiem, ze moze jest to wariactwem dla paru tys wnioskow, ale jest to jakis pomysl.

    michal

    OdpowiedzUsuń
  19. Michał,
    weż pod uwage, że index h też jest związany z liczbą prac i wiekiem autora, a cytowane mogą być też prace nie indeksowane, więc może tutaj do tego Twojego kryterium (liczba cytacji/liczba prac) wziąc dane ze SCOPUSa - bo zawiera on wiecej prac niż ISI. Z drugiej strony nie zawiera chyba cytacji monografii książkowych, które można znaleźć na ISI.

    Co do pytania Felixa:
    myśle, że kryterium dziedziny jest jednak bardzo ważne, szczególnie w cytowalności, w ocenie dorobku też nie można sugerować się wyłacznie IF danego czasopisma, bo też różni się między dziedzinami. Myśle, że jeśli oceny dorobku i cytowalności będą dokonywać ludzie pracujący w danej dziedzinie, to będą w stanie w miarę obiektywnie ocenić, czy dorobek i cytowalność jak na dziedzinę sa duże czy przeciętne (różnica jednego punktu w ocenie). Uśrednienie kilku takich ocen nie powinno skrzywdzić wnioskodawców.
    Bardziej bym się zastanawiał jak oceniać cały zespoł badawczy: gdy np. osoba z dużą cytowalnością itd ma w projekcie niewielką role, a pozostali (głowni) wykonawcy projektu mają cytowalność niską.

    Takich problemów pewnie jest wiecej, ale formularz jest szczegółowy i jeśli te wstepne oceny będzie robiło kilka osob to powinno być OK i rozbieżności nie powinny być duże i od dalszego etapu powinny przejśc te projekty i ich wnioskodawcy, którzy na to zasługują.

    I przy okazji pytanie, przepraszam, bo przyznaję się, że nie czytalem dokumentów(jeszcze trwa sezon), a być może to jest już wiadome i gdzieś napisane. Czy lista wniosków odrzuconych na pierwszym etapie będzie znana i autorzy beda o tym wiedzieli juz wcześniej, zeby mieć ewentualnie dłuższy czas na przygotowanie kolejnych (zakładając ze polegną na tych punktach związanych z oceną merytoryczną wniosku a nie dorobku), czy też rozwiązanie konkursu będzie jedno?
    pozdrawiam
    TM

    OdpowiedzUsuń
  20. TDM pyta: "przyznaję się, że nie czytalem dokumentów... Czy lista wniosków odrzuconych na pierwszym etapie będzie znana ..."

    Nie masz co przepraszac, bo taka informacja akurat chyba nie jest w opublikowanych dokumentach podana (choc glowy nie dam, bo sposob udostepniania tych wszystkich informacji, porzadkowanych wg numerow uchwal, nie jest wcale wygodny - to tez powinno byc zmienione!). Nie wiem na 100% jak ma byc - postaram sie dowiedziec.

    A w sprawie "standaryzacji" oceny za cytowalnosc: Michal podal kilka pomyslow numerycznych - dla kazdego mozna latwo pokazac argument przeciw. Stosunek liczby cytowan do liczby publikacji? - swietnie wypadnie ktos, kto jest przypadkowym wspolatorem dobrze cytowanej pracy, jedynej w swoim zyciu. Poza tym, trzeba by miec dane o laczej liczbie publikacji. I co robic z publikacjami wcale niecytowanymi - czy efektywnie wnioskodawca mialby byc "karany" za napisanie oprocz publikacji swietnie cytowanych takze takich, ktore cytowane nie sa, albo nie bedacych w ogole uwzglednianych na indeksach cytowan? Pomysl by liczyc rozklad statystyczny dla wszystkich wnioskodawcow i od tego odchylenia? - gruba robota, a i tak nie uwzgledni ani wieku ani specyfiki dysypliny (a gdyby mial uzwglednic, to to by sie robil dosc skomplikowany model statystyczny). Nota bene, jesli "wysoki" mialoby byc powyzej 3SD to - przy normalnym rozkladzie - bylby to 1% wnioskodawcow. To juz prosciej przyjac po prostu arbitralnie 1000 albo cos w tym rodzaju, bo co za roznica, czy status "wysoki" bedzie mialo 1 czy, dajmy na to, 0.5 czy 3 procent wniskodawcow. Wazenie przez czas od doktoratu? - lepiej wypadnie ktos kto doktorat robil 12 lat, niz ktos kto zrobil w trzy lata. Indeks h? - wcale nie niweluje roznicy wieku.

    Wiec proste to nie jest - TDM juz sie zadowola tym, by bylo tylko "W MIARE obiektywnie", i nie w oparciu o "standaryzacje", a jednak opinie eksperckie...

    Flelix

    OdpowiedzUsuń
  21. Felixie,

    nie bede sie upierac przy swoich pomyslach. Zapytales o pomysly, poddalem. Doswiadczenie u mnie niewielkie. Ale najwazniejsze jest, ze Wy tam (w ncnie) myslicie, jak problem rozwiazac. Tak zeby bylo dobrze (mam nadzieje). A to najbardziej cieszy.

    Powodzenia,
    michal

    OdpowiedzUsuń