sobota, 30 marca 2013

Iuventus III - próba podsumowania



Drodzy czytelnicy bloga,
Po ostatnich dyskusjach prowadzonych w kilku postach (w sumie ok pół tysiąca komentarzy!) chciałbym jako startujący w Iuventusie, ale również jako administrator bloga podsumować temat. Proszę przy tym o wyrozumiałość, ponieważ mam trudne zadanie - emocje są duże, opinie i wypowiedzi skrajnie różne, a dodatkowo sam startowałem w konkursie. Staram się by blog był z jednej strony bezkompromisowy i niecenzurowany a z drugiej merytoryczny. Nie zawsze się to udaje, za co w dużej mierze ponoszę odpowiedzialność

Do konkretów:

1.
Zawsze będziemy mieć podział na winners & losers, bo w nauce, tak jak w ekologii, panuje zasada: "gdyby wszyscy mieli po równo to każdy miałby za mało". Środki są ograniczone, nie wszyscy mogą otrzymać finansowanie. I bardzo dobrze, że tak jest. Warto krytycznie przyjrzeć się swoim grantom i dorobkowi. Byłoby świetnie gdyby odrzucenie wniosku działało na nas motywująco - na mnie tak działa. W pierwszej chwili chodzę po ścianach ale następnego dnia jestem spokojniejszy i biorę się do pracy. Tak jest również teraz. Tego wszystkim życzę.

2.
Szczere gratulacje dla zwycięzców - jest kilka naszych koleżanek i kolegów z działki eko-ewo, a z tego co znam te osoby, to są to naprawdę zdolni naukowcy z bardzo dobrym mocnym dorobkiem. Cieszę się, że otrzymali finansowanie i myślę, że wszyscy będziemy trzymać kciuki za ich badania prowadzone w ramach Iuventusa. Ja na pewno tak.

3.
Sprawy techniczne - dzwoniłem do MNiSW. Recenzji nie będzie, bo taka jest idea tego konkursu (czy to wada czy zaleta - zdania są podzielone). Od dwóch pań zajmujących się konkursem (p. Orieta Kurkowska i p.Bożena Tomiak) można otrzymać informację ile punktów uzyskaliśmy i jaki był podział tych punktów za projekt (max 20) i za IF (max 50). Pani Tomiak była w piątek na urlopie ale będzie od wtorku. Telefony: .Tomiak: (22) 52 92 454, p.Kurkowska: (22) 52 92 490. Przy okazji - z mojego doświadczenia: panie były zawsze bardzo miłe i warto pamiętać, że to nie one zafundowały nam to przesuwanie terminów.

4.
Śledząc dyskusję trzeba dojść do wniosku, że zasady konkursu Iuventus nie są precyzyjnie zdefiniowane. Począwszy od definicji "głównego autora" (tylko pierwszy, czy ostatni korespondencyjny również?), poprzez określenie "publikacje z ostatnich 2 lat" (czy 2010 wchodził?), terminy ogłoszenia wyników, na samym algorytmie oceny kończąc (np. system punktowania IF-ów). Nie możemy jednak, nie znając szczegółów dot. powyższych kwestii, formułować zarzutów o ustawionym konkursie i przydzielaniu grantów po znajomości. Takie wpisy się niestety pojawiają. Jeśli ktoś ma w tej sprawie dowody/konkrety to chętnie udostępnię bloga do ich publikacji. Ale bez nich rzucanie mocnych oskarżeń jest zdecydowaną przesadą.

5.
Chciałbym temat trochę pociągnąć i wysłać do MNiSW oficjalne pismo z prośbą o uszczegółowienie tych kilku punktów, co do których było najwięcej pytań. Jest to musztarda po obiedzie ale może się przydać na kolejny konkurs i powinno ostudzić emocje.

6.
Chciałbym też sam przyjrzeć się prostej zależności, a konkretnie: sumaryczny IF deklarowany we  wniosku vs. punkty za IF otrzymane z MNiSW. Wszyscy oczekujemy liniowej zależności i współczynnika korelacji wynoszącego 1. W tym celu bardzo proszę osoby chcące mi pomóc, ale tylko z dziedziny nauk biologicznych, o przesłanie w prywatnym mailu do mnie: (1) imię i nazwisko - tu nie może być anonimowości, (2) deklarowany we wniosku sumaryczny IF, (3) ocena za IF wg. MNiSW. Zarówno od zwycięzców jak i przegranych. Jak spłynie kilka chociaż ocen wrzucę wykres na bloga.

Jeszcze raz dziękuję wszystkim za dyskusję i korzystając z okazji załączam najlepsze życzenia świąteczne!

 michał żmihorski



12 komentarzy:

  1. Michał,

    Jak zwykle wykazujesz dużo taktu w odniesieniu do procedur rozdziału pieniędzy.

    Jeśli mogę wrzucić tu dwa grosze z perspektywy obserwatora.

    Zaskakuje mnie brak recenzji/uzasadnienia dla ocen Waszych projektów. Wydaje mi się, że powinno to być nieodłącznym elementem rzetelnej oceny. W innym wypadku może algorytm komputerowy powinien oceniać wnioski na podstawie IF w zależności od pozycji na liście autorów oraz tajemniczej kompozycji słów kluczowych we wniosku?

    Biorąc pod uwagę ilość i ciężar krytyki wobec systemu NCN, być może w przypadku oceny wniosków "młodych zdolnych" dobrym systemem mogłoby być ocenianie wniosków wg reguły double blind? Być może wnioski mogłyby być wysłane do recenzentów w celu wykonania oceny wniosku, na tym etapie bez ujawniania tożsamości wnioskodawcy, a równolegle urzędnicy/komputer wyliczaliby tabele IF i pozycji w liście autorów. W efekcie powstawałaby ocena będąca rezultatem oceny wniosku i dorobku wnioskodawcy. A CI, którzy napisali wniosek, otrzymywaliby jego rzetelną i dogłębną ocenę.

    No i poza tym pozostają kwestie podniesione przez Ciebie.

    michał

    OdpowiedzUsuń
    Odpowiedzi
    1. Double-blind w wielu przypadkach byłby fikcją. Jak ktoś się zajmuje działką X i chce zdobyć finansowanie na kontynuację badań, to we wniosku praktycznie koniecznie będzie musiał zacytować swój dotychczasowy dorobek. I dla recenzenta wszystko będzie jasne - kto, skąd i dlaczego.

      Usuń
    2. Ten komentarz został usunięty przez autora.

      Usuń
  2. Czy ktoś próbował w ministerstwie dowiedzieć się także jaki był mechanizm obliczania punktów (0..50) za IF publikacji i jakie publikacje brano pod uwagę. Bo patrząc na listę rankingową zaczynam się mocno nad tym mechanizmem zastanawiać.

    OdpowiedzUsuń
  3. tak jak pisałm - ja będę próbował uzyskać oficjalną informację od MNiSW w tej sprawie, a poza tym regresja IF deklarowany vs. punkty otrzymane wiele nam wyjaśni jaki był mechanizm. Jeśli korelacja będzie perfekcyjna (a tego się spodziewamy) to z równania regresji będziemy mogli uzyskać informacje o tym jaki był zakres impaktów (intercept w modelu, oraz intercept plus slope*zakres punktacji) i jaki był przelicznik impaktu na punktację. Poza tym, będziemy mogli zidentyfikować residua z regresji (o ile będą - miejmy nadzieję, że nie) a tym samym wskazać osoby dla których punktacja jest zbyt niska/wysoka w stosunku do deklarowanego impaktu. Do tego potrzebuję jednak danych, które opisałem w punkcie 6 tego posta. Od pierwszych osób już mam, potrzebuję więcej.
    michał żmihorski

    OdpowiedzUsuń
  4. Moim zdaniem problemem nie jest to ze czyjs projekt zostal odrzucony. Problemem jest brak przejrzystosci oceny. Wszystko byloby ok, gdyby byl podany sumaryczny IF osob, kotre otrzymaly projekt i wtedy latwo kazdy moglby sobie wyliczyc, co i jak. Projekty w tej sytuacji nie powinny byc oceniane.
    Ale w pulandzie jak to w pulandzie, nic nigdy nie jest jasne, bo wiadomo o co chodzi, o uklady i ukladziki. To jest nasz mentalnosc i tego sie nie da zmienic.

    OdpowiedzUsuń
    Odpowiedzi
    1. Większość ludzi w swoich wypowiedziach na tym blogu obraża jednak tych, którzy dostali finansowanie. Te wszystkie oskarżenia o kumoterstwo i układy jest krzywdzące dla nich. Rzeczywistość bywa jednak przewrotna i być może jest tak, że większość osób, która nie otrzymała finansowania i tak krzyczy tutaj na blogu, nie dostrzega w swojej nadętości, że są po prostu naukowo cieniutcy. Prawda bywa brutalna, ale czasami trzeba spojrzeć jej w oczy, co polecam niektórym autorom "amokowych" wypowiedzi.

      Usuń
    2. zgoda z przedmówcą - dostrzegam wszelkie niedoskonałości MNiSW, dostrzegam brak przejrzystości, ale to nie upoważnia nikogo do rzucania takich oskarżeń jak "układy i układziki". Wyluzujcie trochę - sam nie dostałem, sam jestem wkurzony tym całym czekaniem, ale bez przesady. Nie można publicznie pisać takich rzeczy, bo to uderza w panel oceniający i zwycięzców (ich nazwiska są znane), tak jak napisał anonim powyżej. Bardzo proszę o merytoryczną dyskusję i konkrety.

      Usuń
  5. Nie byloby tej calej dyskusji, gdyby kryteria byly jasne. Dopoki nie sa jasne, ludzie maja prawo czuc sie oszukani i podejrzewac ze cos jest nie tak. Jezeli ktos akceptuje taki stan rzeczy to albo odpowiada mu taki uklad bo jest uwiklany w kumoterstwo badz przepraszam za wyrazenie jest po prostu glupi. Kto ma "czyste rece i sumienie" a dostal to stypendium to tez wolalby, zeby kryteria byly jasne i zeby nie musial sie tlumaczyc z ewentualnych "bezpodstawnych" oskarzen.
    Ja nie uczestniczylem w konkursie, tak wiec sprawa bezposrednio mnie nie dotyczy, ale wolal byc wiedziec, ze granty zostaly przyznane uczciwie. Wkoncu ta sa po czesci rowniez moje pieniadze.

    OdpowiedzUsuń
  6. Iuventusa też nie dostałam, ale to było do przewidzenia (mój sumaryczny IF wyniósł 5,6 za pierwszoautorskie prace). Jak na dziedzinę jest ok, ale w porównaniu do innych osób w rankingu "wszystkich ze wszystkich dziedzin", stanowczo za mało.
    Wkurzona nie jestem, ale zadziwia mnie dominacja nauk technicznych finansowanych projektów IP. To tylko pokazuje, jakich dobrych mamy naukowców w tych dziedzinach :-)
    Gratuluję i życzę powodzenia!
    L.

    OdpowiedzUsuń
  7. Bardzo niezdrowy jest brak przejrzystości, zwłaszcza gdy przechodzą wnioski z grupy badawczej oceniającego. W takiej sytuacji możemy tylko liczyć na uczciwość oceniającego - czyli nie ocenianie wniosku swojego podwładnego. Jednak mimo wszystko wolałbym mieć to czarno na białym napisane. W NCN expert/recenzent nie ma takiej możliwości...

    OdpowiedzUsuń
  8. Znalazłem się w gronie szczęśliwców którym przyznano IP+.

    Mam przeczucie, (na własnej skórze uzasadnione), że cała obsuwa dotycząca wyników była spowodowana cięciami w budżecie konkursu.

    Dlaczego tak uważam? Przyznano mi 65% środków o które wnioskowałem na pierwszy rok realizacji projektu. Zgodnie z decyzją, chodzi o to że skoro jest już połowa roku, to przyznanie 100% wnioskowanej kwoty na ten rok jest (ponoć) niezasadne.

    W roku pierwszym planowałem zakup aparatury, bez której realizacja grantu jest niemożliwa. Przy przyznanym finansowaniu starcza na wynagrodzenia, odczynniki, materiały zużywalne.

    Czyli tak, jakby nikt nie przeczytał wniosku. Decyzja o przesunięciu środków jest wytłumaczona w sposób zupełnie irracjonalny.

    Mam teraz 2 wyjścia:

    1) walczyć z Ministerstwem (w najlepszym wypadku kolejna sterta papierów + przesunięcie terminu realizacji)

    2) ucieszyć się z tego że coś dostałem i dopasować projekt do zaistniałej sytuacji, np kupić najpierw komputer a w przyszłym roku monitor

    Btw. czy ktoś słyszał/odczuł może jakieś konkrety dotyczące podwyżek dla pracowników nauki? były przecież b. głośne deklaracje na przełomie 12/13.


    OdpowiedzUsuń