wtorek, 30 lipca 2013

Dobór naturalny naukowców - czy rzeczywiście?

W Gazecie Wyborczej ciekawy wywiad z prof. Jajszczykiem - bardzo podoba mi się jego diagnoza odnośnie tej uczelni, która składała 30 grantów i nic nie dostała. Tu całość:

http://www.ncn.gov.pl/sites/default/files/pliki/centrum-prasowe/2013.07.27-28-dobor-naturalny-naukowcow.pdf

Natomiast mam poważne zastrzeżenia do tytułu - czy system NCNu przypomina działanie doboru naturalnego? Miałem rozpisać się szerzej na ten temat, ale rzucę tylko temat w skróconej formie. Na początek cytat ze Stefana Kisielewskiego ("Wszystko Inaczej"), oczywiście nie pisał o NCNie, ale moim zdaniem świetnie tu pasuje:

"W ogóle osobliwa to rzecz, iż w systemie powołującym się na swą naukową, wręcz przyrodniczą prawidłowość nikt nie dostrzega prawidłowości rzeczywiście istniejących, wyłonionych mimo woli ale jedynie autentycznych"

A teraz transpozycja na systemy oceny grantów: osobliwa to rzecz, że w systemie dotyczącym funkcjonowania nauki, w tym nauk o życiu, nikt nie dostrzega mechanizmu działania doboru naturalnego, czyli kierowania strumienia zasobów na "ewolucyjnych zwycięzców", lecz wszyscy próbują podejść do problemu od drugiej strony, skupiając się na ocenie tego co jest napisane na 10 stronach aplikacji grantowej. 

W realu rozmaitość strategii jest weryfikowana przez życie i zostają najlepsze jednostki. Ich strategie okazują się najlepsze (dlaczego? bo odnoszą sukces) i one mają najwięcej zasobów do dyspozycji. NCN działa odwrotnie: bierze mikroskop i ogląda sekwencje DNA danego osobnika, potem grono ekspertów spotyka się i debatuje czy taki genotyp zagwarantuje sukces. NCN sugeruje zmiany sekwencji, kwestionuje niektóre jej fragmenty, chce dokładniejszych danych, bardziej szczegółowego opisu i lepszego mikroskopu, by mieć pewność, że osobnik jest już - jego zdaniem - właściwy, można mu przydzielić zasoby i wypuścić w teren. Stąd bardzo szczegółowy opis metod, harmonogram, kosztorys rozpisany na 5 lat do przodu, procentowy udział w realizacji wniosku... Mówiąc wprost: NCN ocenia deklarację sukcesu, a nie realne sukcesy aplikujących. Nie ma to nic wspólnego z doborem, ani z działaniem systemów naturalnych i prowadzi do ewolucji tych właśnie aplikacji (powstają coraz lepsze, coraz bardziej przekonujące, coraz bardziej szczegółowe i wiarygodne) a nie maksymalizację sukcesu...

W NCNie sukces mogą odnieść jednostki o bardzo niskim naukowym dorobku, które pokazały przez ostatnie 10-20 lat, że sobie nie radzą w nauce (negatywna weryfikacja przez dobór). I odwrotnie, osobniki uprawiające naukę w praktyce, często nie mogą przekonać NCNu, że warto zainwestować w nie trochę zasobów (oczywiście są też jednostki, i jest ich sporo, uprawiające naukę w praktyce na wysokim poziomie, które otrzymują granty - tego nie kwestionuję!). Dlatego twierdzę, że obecny system rozdzielania pieniędzy na naukę w niewielkim stopniu można nazwać doborem naturalnym, gdyż działa wbrew jego zasadom. 

Proszę nie odbierać tego jako kolejnej jałowej krytyki NCNu - mimo różnych kwestii poruszanych na blogu oficjalnie oświadczam, że trzymam kciuki za tę instytucję - lecz jako temat do dyskusji.

michał żmihorski

28 komentarzy:

  1. Muszę powiedzieć, że czasem już nie wiem jak reagować na ciągłe krytyki konkursowego systemu przyznawania grantów. Otóż nie wymyślił tego NCN, tak jest na całym świecie:
    Musisz być dobry (to twoje punkty za CV i publikacje) i mieć dobry pomysł (to twoje punkty za projekt, budżet itp). prof. Jajszczyk tego nie wymyślił ale w linkowanym wywiadzie o tym pisze: nie daje się grantów tylko za dorobek ale też trudno dostać grant tylko za dobry projekt, jeśli dorobku nie ma.

    Oczywiście, w konsekwencji zawsze będą przypadki, że ktoś nie dostanie grantu na świetne badania, bo miał za słaby dorobek, a ktoś inny nie dostanie grantu, choć miał takie IFy, że buty spadają, ale projekt się nie spodobał. I nie ma tu nic do dyskutowania, krytykowania ani nawet nie ma w tym nic ciekawego. Tak po prostu to się robi na całym świecie.

    Można się spierać (jałowo) o to jak wyważyć te dwie składowe, można robić róźne konkursy, gdzie jest różny rozkład akcentów pomiędzy dorobek i projekt, ale do wyboru są tylko te dwa kryteria: kto i co (jak, za ile) ma zrobić.

    Jak ministerstwo zrobi granty IUVENTUS, gdzie w zasadzie liczy się tylko dorobek, to jest źle, bo tylko punkty liczą. Jak ktoś z NCN powie, że starają się oceniać projekt, to jest źle, bo nie stusują "doboru naturalnego".

    Prawda jest też taka, że większość polskich wniosków (zwłaszcza te w IUVENTUSie, ale też te NCNowe) nie dostałyby pieniędzy za granicą. Po prostu zarówno projekty jak dorobek wnioskodawców jest za słaby. Ale niektórzy zamiast sprawdzić się w innych, lepszych, systemach konkursowych (polecam NIH, albo ERC) wolą narzekać na polski "zły system"...

    OdpowiedzUsuń
  2. Michale,

    Nie mogę się z Tobą zgodzić w kwestii odnoszenia sukcesu w otrzymywaniu grantów przez "słabe" i "dobre" jednostki.

    Po przeczytaniu Twojego tekstu (z którym się w dużej mierze jednak zgadzam) odnoszę wrażenie, że nieco stygmatyzujesz NCN pisząc iż finansowanie otrzymują osoby słabe, ale rokujące. To nieco zakłóca odbiór dość klarownej polityki NCN-u: na pewno polityka ta nie polega (jak to miało miejsce w poprzednim systemie) na pomocy słabym, aby mieli kolejną szansę na lepsze życie. Zdarza się, ale dość rzadko, iż osoby z nikłym dorobkiem gdzieś się "załapią" na listę zwycięzców, ale jednak NCN stara się eliminować takie przypadki. Wręcz przeciwnie: osoby ze słabym dorobkiem, ale w miarę dobrze przygotowanym wnioskiem, nie są faworyzowane.
    Myślę, że taki stan rzeczy może wynikać z ogólnie słabego stanu nauki: po prostu mając do dyspozycji pewną pulę pieniędzy i chcąc ją wykorzystać, NCN często godzi się na finansowanie grantów osób słabszych...
    Nie uważam, że osoby z dobrym dorobkiem z jakiś innych, niż merytoryczne, powodów mogłyby być przez NCN zwalczane.

    Gdyby tak było, to cała ustawa i zmiany w systemie finansowania nauki nie miałyby żadnego sensu--byłyby sztuką dla sztuki...

    OdpowiedzUsuń
  3. Bartek, nie wiem dlaczego dostrzegasz u mnie atak na NCN - po prostu rzucam myśl, chcę pokazać trochę inne spojrzenie na problem, nie atakuję NCNu (napisałem wyraźnie, że trzymam za nich kciuki!).
    Nie rozumiem też zupełnie dlaczego dyskusję o ważeniu tych dwóch składowych o których piszesz uważasz za jałową - przecież od tego ważenia zależy jakość całego systemu i sztuką jest optymalizacja tej proporcji. Alternatywą jest po prostu nie poruszać tematu i przyjmować to co jest bez dyskusji - myślę, że dostrzegasz wady takiego biernego podejścia? W tedy nie miałoby też sensu pisanie/czytanie bloga.

    Lidia, nie pisałem, że osoby z dobrym dorobkiem są "zwalczane" - nie wiem skąd taka interpretacja. Po prostu znam przypadki super naukowców, którzy pokazali, że w praktyce się sprawdzają, ale nie dostają grantów, bo nie do końca przekonali oceniających, że (tu ironia) liczba osobogodzina pracownika technicznego w piątym roku projektu jest wiarygodnie uzasadniona...

    Słuchajcie, zgłaszam następujący problem: zbyt duża moim zdaniem jest waga wniosku (czyli prozy zapewniającej jakie świetne badania przeprowadzimy), a zbyt mała waga twardych faktów, czyli to co kandydat już zrobił. Problemem jest nie to, że ktoś nie dostanie grantu na świetne badania, bo miał za słaby dorobek, jak pisze Bartek, ale że ktoś właśnie dostaje grant na świetne badania, mimo, że miał za słaby dorobek (nie mówię oczywiście o startujących doktorantach itp.).

    OdpowiedzUsuń
  4. W konkursie etiuda zostala zmieniona liczba punktow w ocenie zespolu. Wczesniej moja doktorantka miala mniej teraz zwiekszylo jej sie wszystko niemal o 100%. W aktualnie przyznanej decyzji rowniez dopuszczono mozliwosc odwolania, czego nie bylo we wczesniejszej decyzji dotyczacej tego samego wniosku/konkursu. Wie ktos o co chodzi ?

    OdpowiedzUsuń
  5. Może źle Cię zrozumiałam Michał, ale nie możemy zawsze i wszedzie widzieć tylko ciemnych stron.

    NCN działa analogicznie do NSF, może tylko na "nieco" niższym poziomie, bo granty przesyłane do NSF są nieporównywalnie lepsze a i dorobek przeciętnego aplikanta NSF-u nie umywa się do naszych (nikogo nie obrażając). Bartek ma rację: większość osób, które otrzymały granty w NCN-ie (nie wspomnę o MNiSW w poprzednich konkursach) nie przeszłaby w ERC czy NSF...
    Nawet w NSF-ie nie przechodzą bardzo dobre granty bardzo dobrych osób, jest duża konkurencja.

    Nie sądzę, aby waga oceny za dorobek była za niska w stosunku do dorobku w algorytmie stosowanych w NCN: jest mniej więcej tyle samo. Problemem są (i będą) niezbyt rzetelni oceniający, których nie da się do końca wyeliminować w ocenie tylu grantów. NCN chyba nie ma aż takich kompetencji, aby ten czynnik zminimalizować, mimo usilnych starań...

    Lidka Trocha

    OdpowiedzUsuń
  6. Oczywiście, że system grantowy w NCN-ie nie ma nic z doborem naturalnym - to taka dziennikarska metafora, ale zupełnie chybiona. Już w samym wywiadzie jest informacja, że NCN dostał w ustawie narzędzie do kreowania polityki naukowej i cały system jest ustawiony na kanalizowanie strumienia pieniędzy w miejsca, które w tej polityce są preferowane (dlatego np. w biologii jest wyraźna nadreprezentacja biologii molekularnej). Jest więc zarysowany pewien cel, którego w ewolucji biologicznej nie ma. Dlatego pewnym dziedzinom z góry powiedziano, że nie mają szans bo nie szło o to, żeby je porównywać z poziomem jakie one reprezentują na tle najlepszych w tej samej dziedzinie na świecie tylko czy są one w tym kanale preferowanym. Również system parametryczny jako podstawa preselekcji przez wrzucenie do jednego wora wszystkich dziedzin spowodował "polityczną" kanalizację, od doboru osób do ciał decydujących po oceny wstępne samych projektów.
    Dlatego dyskusja powinna pójść w tym kierunku czy rozwiązania szczegółowe, to balansowanie wartości dorobku badacza i projektu, rzeczywiście daje rezultat jaki oczekujemy. Już w którejś z wcześniejszych dyskusji na tym blogu zauważono, że wiele rozwiązań w NCN-ie jest w sumie bardzo zbliżona do tych, które były w KBN-ie (choć oczywiście NCN chciałby, żeby ich działalność była postrzegana jako kamień milowy w porównaniu z przeszłością). Nie jest więc wcale łatwo stworzyć nową jakość. Kompletnie są chybione porównania z ERC i NSF. System grantowy miał (przynajmniej tak było w czasie dyskusji o nim) nie tylko kierować środki do najlepszych, ale stymulować podnoszenie średniego poziomu polskiej nauki. Jeżeli jako punkt porównawczy przyjąć np. NSF to niepotrzebny jest w ogóle cały NCN i ta polityka. Bardzo łatwo można wskazać te osoby w nauce polskiej, które w NSF przynajmniej potencjalnie miały by szansę na granta, dać im te 0,8% PKB, a resztę olać bo to tylko marnowanie pieniędzy. I jakie by państwo miało oszczędności nie musząc utrzymywać tych urzędów.
    Na razie, przynajmniej we wskaźnikach globalnych, nie widać jakiegoś wyraźnego skoku polskiej nauki. Inni przecież też włączyli się do tego wyścigu i często z wyższej bazy niż my (Czerwona Królowa się kłania jeżeli mamy się bawić w ewolucyjne metafory). Ale może upłynęło zbyt mało czasu na jakieś podsumowania.

    OdpowiedzUsuń
    Odpowiedzi
    1. Skad ten poglad, ze biologia molekularna jest preferowana? Na stronie NCN sa statystyki konkursow i patrzac na ostatnie dwa OPUSy (na co idzie zdecydowanie najwiecej pieniedzy) ewidentnie widac, ze NZ 8 z eko-ewo nalezy do preferowanych dziedzin (p. wskazniki sukcesu).

      Usuń
    2. Jak przeanalizuje się wszystkie projekty to tę nadreprezentację widać. Już dyskutowano na tym blogu, że w pewnych dziedzinach projekty z "wkładem molekularnym" mają wyraźnie większą szansę. Akurat eko-ewo ma taki potencjał intelektualny, że broni się bez tego.

      Usuń
  7. A ile Pani Lidia Trocha widziala grantow do NSF, ze jest takim ekspertem o jakości polskich i zagranicznych projektów badawczych. Ludzie przestańcie przeceniać, że tam za granicą pracują jacyś super geniusze, a my to tylko możemy im buty czyścić. To są tacy sami ludzie jak my, nierzadko posiadający gorszy sprzęt. Jeżeli sami nie będziemy siebie szanować to na pewno nikt inny nas nie będzie!

    OdpowiedzUsuń
    Odpowiedzi
    1. Kilkanaście w NSF, a w NCN kilkadziesiąt.
      Fakt, my nie są głupie, tylko odsetek słabszych jest u nas większy i to o niebo...
      Pozdrawiam,
      Lidia Trocha

      Usuń
    2. skąd możesz wiedzieć, że tam są takie świetne a u nad słabe, znając tytuł, ewentualnie abstrakt?

      Usuń
  8. No to mamy pierwszy anonimowy atak ad personam ;) Wiwat blogosfera...

    A tak bardziej do rzeczy. Uważam, wbrew wpisowi i kilku innym głosom, że NCN robi nie najgorszą robotę. Próbują oni po swojemu wyważać dorobek i projekty i robią to w sposób zróżnicowany: dla młodych trochę inaczej niż dla "doświadczonych".

    Nie widzę sensu w tym, żebyśmy tutaj dyskutowali o tym jaka jest "złota proporcja" pomiędzy dorobkiem a projektem, bo nie ma jednej takiej proporcji. Powinny być (i są) różne programy grantowe, gdzie ta waga jest różna. Gdyby wpis dotyczył jakiegoś konkretnego programu i argumentował (najlepiej rozsądnie), że coś w nim można poprawić, to jestem za taką dyskusją.

    I jeszcze na koniec, naprawde nie tylko NCNem świat stoi: Jeśli ktoś ma dorobek, ale nie lubi się babrać w tabelkach budżetowych, to może poszukać innych źródeł finansowania: Ja np. korzystam z EMBO i FNP - obie instytucje są bardzo nastawione na szukanie tych z "dorobkiem" (stosownym do wieku) i finansują w sposób prostszy niż NCN.

    OdpowiedzUsuń
  9. Ja również nie zgadzam się, że "zwalczanie" (wiem że słowo nie padło ale dobrze skrótowo obrazuje ideę ;)) osób z dorobkiem ma miejsce. Myślę, że takie "wypadki" (jak te osobogodziny o których pisze Michał) się zdarzają (choćza bardzo nie wiem jak to ocenić - w kóncu recenzentów nie jest sztuk jeden - więc czyżby Ci pozostali też byli antyfanami źle policzonych osobogodzin?). Z własnego doświadczenia - i doświadczenia osób znajomych - wiem, że niejednokrotnie problemy i niedociągnięcia w grancie (i to dość konkretne - wynikające np ze specyfiki problemu) są bardzo racjonalnie traktowanie przez recenzentów. Niestety problem nierównych recenzji jest trudny do wyeliminowania - nie można przecież szkolić recenzentów, choć może dobrym pomysłem byłby zestaw wytycznych? (to i to oceniać surowo, to i to tak sobie ;)) Także mimo wszystko myślę, że owo "zwalczanie" to raczej wrażenie wywołane wyjątkami niż reguła (zwłaszcza że zwalczeni z reguły głośniej narzekają niż niezwalczeni).

    OdpowiedzUsuń
  10. Nie rozumiem, dlaczego wśród naukowców powinien istnieć "dobór naturalny"? Takie rozwiązanie promuje strategię szczura (r) czyli mnożyć szybko, dużo i być może będzie w tym coś wartościowego. Jeśli nauka byłaby układaniem cegieł na budowie, to dobór naturalny wśród naukowców miałby sens. Ale na szczęście nie jest. Dlatego też należy przykładać dużą wagę do oceny projektów, zwłaszcza ich nowatorskości, a niekoniecznie tylko do "fenotypu" i "historii życiowej" aplikanta.

    OdpowiedzUsuń
    Odpowiedzi
    1. a skąd wniosek, że dobór naturalny promuje strategię r??? Chyba uczyliśmy się innej ewolucji ;-))

      Dobór naturalny w nauce mógłby zdziałać dużo dobrego poprzez promowanie tych, którzy odnoszą sukces (definiowany jako odkrycie, patent, dobra publikacja itp) i uwolniłby nas od tej całek otoczki administracyjno-urzędniczej. To oczywiście jakieś ekstremum ale chodzi mi o pokazanie pewnego alternatywnego spojrzenia na problem.

      Usuń
  11. Jeszcze w temacie odnoszenia się do zagranicznych wzorców, które to ciągle się przewija na blogu w kontekście NCNu i grantów. Nawet w tej dyskusji kilka osób już pisało, że to są najlepsze światowe standardy, więc Żmihorski nie masz o czym tu dyskutować.

    Zwróćcie uwagę na jedną rzecz: na "zachodzie" troszkę inny jest system zatrudniania ludzi w nauce i troszkę łatwiej wylecieć z nauki jeśli się nic nie robi. Jeśli tam ktoś składa grant do jakiejś fundacji rozdającej kasę, to myślę, że na ogół reprezentuje już jakiś poziom, bo w ogóle sam fakt bycia pracownikiem naukowym oznacza, że przeszedł weryfikację w jednostce i przedłużono mu kontrakt na kolejne 2 lata. U nas natomiast, ze względu m.in. na prawo pracy i mentalne pozostałości z poprzedniej epoki, mamy w nauce masę ludzi, którzy z nauką nie mają nic wspólnego, mamy mnóstwo "naukowców" którzy nauką się po prostu od wielu lat zupełnie nie zajmują. Więc nie szarżujcie z tym sztywnym wzorowaniem się na ERC lub NSF, bo tam jest inaczej na etapie poprzedzającym samo aplikowanie o grant...

    OdpowiedzUsuń
    Odpowiedzi
    1. No właśnie, cały czas patrzymy na tamte systemy nie zwracając uwagi, że u nas baza jest kompletnie inna. Wielokrotnie już na tym blogu pisałem, że to brak rzetelnej wymiany kadry nie sprawdzającej się w pracy jest największą bolączką polskiej nauki. Gdybym ja mógł wymienić tych nierobów na młodych chcących spróbować sił w nowym układzie to sytuacja byłaby zupełnie inna. A tak system aktywizuje tylko część środowiska więc i poziom konkurencyjności spada, a beneficjenci są praktycznie ciągle ci sami (a i system ich woli niż podejmować ryzyko).

      Usuń
    2. Należy również pamiętać, że w zachodniej Europie i USA istnieje wielu grantodawców (rządowych i pozarządowych) przyznających granty wynoszące miliony jak i niskobudżetowe. W Polsce grantodawców jest zdecydowanie mniej, co więcej instytucje pozarządowe same starają się o granty zamiast takowe rozdawać. Myślę, że u nas brak jest źródła przyznającego mniejsze granty, część badań ekologicznych jest w zasadzie niskonakładowa, np. te bez części genetycznej.
      DD

      Usuń
    3. Uważam, że posiadanie dobrego, choć wciąż niedoścignionego wzorca nie jest złe. Jak ma być lepiej, skoro boimy się porównać do najlepszych? Fakt: na "zachodzie" też są słabi a u nas też są wybitni, ale to nie my zdominowaliśmy najlepsze czasopisma i to nie my mamy po kilkanaście tysięcy cytowań.
      System był słaby przez ostanie kilkadziesiąt lat i teraz ponosimy tego konsekwencje. Trudno, boli, ale musi nastąpić w końcu przełom.
      "Rewolucji nie da się zrobić w białych rękawiczkach", jak mawiał pewien "wielki wódz".
      Źródeł finansowania jest u nas wiele, choć znacznie więcej na tzw. badania aplikacyjne (nie wiem, dlaczego rząd je preferuje, skoro i tak większość z nich nie wnosi do gospodarki znacznego postępu).
      Nie wierzę, że ktoś z piszących na tym blogu, kto ma dorobek (a raczej większość ma) i startujący z dobrym grantem np. do NCN-u, tego gratu nie otrzyma...konkurencja wcale nie jest jeszcze taka duża...chyba że woli konkurować z tymi słabymi Amerykanami w NSF-ie...good luck ;-)

      Usuń
  12. Myślę, że Michał robi dobrą robotę, żeby w NCN-ie trzymali rękę na pulsie. Ale zgadzam się absolutnie z opiniami tych osób, które są zadowolone ze standardów działania tej instytucji. Nie jestem w stanie ocenić wszystkich paneli ale NZ8 na pewno działa cn. dobrze, choć bardzo dużo zależy od szefa panelu w danym rozdaniu. Natomiast co do finansowania wyłącznie tych co już odnieśli sukces, to jednak byłoby to trochę błędne koło, w końcu osoby młode z dobrymi pomysłami a bez dorobku też powinny mieć szanse, a jeśli pochodzą np. z kiepskich ośrodków to mogą mieć słabych opiekunów. Z całym szacunkiem, ale geniusze nie rodzą się wyłącznie w Krakowie i w Warszawie :)
    Myślę, że w tej chwili jednak główny problem to brak pieniędzy (włączając te dzielnie przez Panią Minister zwrócone do budżetu ostatnio), oraz system finansowania uczelni działający w oparciu kalkulacji dotacji w oparciu o skórki, a przepraszam... studenta. Dopóki to co trzyma uczelnie kupie, a więc finanse z których są pensje, będzie zależne od dotacji liczonej poprzez liczbę studentów, nic się po prostu nie zmieni. Finansowanie powinno być oparte na jakości uprawianej na uczelni nauki a studia powinny być płatne, po to by liczbą studentów rządziły mechanizmy rynkowe. Policzcie sobie ilu jest w chwili obecnej studentów biologii na wszystkich uczelniach! Myślę, że pewnie parę tysięcy. W samym Poznaniu pewnie ze 2 tys. na UAM i UP. Ilu z nich znajdzie pracę w zawodzie ? Myślę że poniżej 5-u procent.
    Podsumowując, to nie NCN jest problemem w Polskiej nauce, to brak systemowego rozwiązania powiązania dydaktyki z nauką, brak prawdziwych konkursów na stanowiska i brak pieniędzy. Niedoskonałości, które zapewne wciąż są w NCN-ie, mogą sprawić że dobry wnioskodawca i dobry projekt, czasem dostanie pieniądze za 2-im czy 3-im razem, ale w końcu dostanie. Ale jak już dostanie, to i tak nie zmieni to całości obrazu polskiej nauki, który jest gnuśny, bo przecież można być dożywotnio profesorem i nic nie robić.

    Pozdrawiam,
    Tomek Osiejuk

    OdpowiedzUsuń
  13. Przemek Chylarecki1 sierpnia 2013 00:14

    Moje trzy grosze.
    (1) Michał ma rację pisząc, że system ocen grantów promuje ewolucję aplikacji grantowych a nie ewolucję dobrze wykonanych badań i dobrych publikacji. Doceniam błyskotliwe porównanie analizy DNA jako predyktora sukcesu i analizy zrealizowanego sukcesu ewolucyjnego.
    (2) Nie widzę jednak lepszej opcji - dwiema rękami podpisuję się pod pierwszym postem Bartka. Proponowany przez Michała system, który działa w oparciu o mechanizm kuli śniegowej - jest totalnie antydemokratyczny i cofa nas w czasy komuny/caratu/feudalizmu, gdzie za samo "dobre" nazwisko miało się dostęp do fruktów. klasa uprzywilejowanych a priori i klasa upośledzonych a priori. sorry, to jest totalne zaprzeczenie wartości i zasad wspólnot europejskich w 21 wieku.
    (3) Piszę jednak głownie dlatego, że jestem mocno zdziwiony etykietowaniem tej propozycji w kategoriach doboru naturalnego. jeśli dobór naturalny miałby działać w opisany przez michała sposób, to rzeczywiście czytaliśmy inne publikacje przez wiele lat:-). dobór naturalny to międzyosobnicza wariancja w sukcesie reprodukcyjnym (mierzonym liczbą rekrutów lub lepiej własnych genów w następnym pokoleniu). dobór naturalny nie premiuje a priori osobników o wysokim sukcesie reprodukcyjnym z poprzednich lat. każdy epizod selekcji - ostra zima, sukces w przechodzeniu przez autostradę, sukces w migracji z alaski na nową zelandię w locie non-stop, doprowadzenie lęgu do lotności - działa stosując kryteria premiujące wydajność osobnika w trakcie tego akurat, pojedynczego epizodu. to, jaki był dobry (=ile miał dzieci) w przeszłości - nie ma najmniejszego znaczenia. co więcej, osobniki, które miały dużo dzieci w przeszłości, to często osobniki stare (liczba przeżytych sezonów rozrodczych jest z reguły jednym z najlepszych predyktorów lifetime reproductive success). a w poszczególnych epizodach selekcji osobniki stare bywają łupione nieproporcjonalnie silnie - właśnie z uwagi na obniżoną (z uwagi na fizjologię=starzenie) wydajność w danym momencie.
    (4) zaproponowany mechanizm faworyzowania osobników działa do pewnego stopnia w doborze płciowym, gdzie osobniki bywają nagradzane za past achievements, z wykorzystaniem mechanizmów kopiowania wyboru, handicapu, podglądactwa i pozyskiwania zasobów [seksistowska uwaga dla mniej zaawansowanych - chodzi o to że dziewczynki lecą na dobry samochód, dużą kasę, wysokie stanowisko kolesia - które są indykatorami skumulowanego sukcesu z lat poprzednich; kto się oburza niech poczyta davida bussa]. no dobra, ale dobór naturalny, od czasów Wade i Arnolda (30 lat jak nic) to coś zdziebko innego niż dobór płciowy (wariancja w liczbie partnerów rozrodczych).
    (5) Podsumowując - zaproponowany przez Michała mechanizm finansowania wniosków w oparciu o sukces w latach ubiegłych jest wybitnie niespójny z zasadami demokracji. Nie jest to mechanizm spójny z zasadami doboru naturalnego. To jest mechanizm działający do pewnego stopnia wśród jeleni na rykowisku, ale nie sądzę, że warto go aplikować do rozdawiennictwa grantów wśród uczonych z polski.
    (6) Michał, sorry - nothing personal. ale nie wciągaj do swoich krucjat Darwina. NCN działa na pewno "suboptymalnie" , ale Twoje kryteria oceny są dla mnie wycieczką do Rwandy w XVIII wieku.
    Przemek Chylarecki

    OdpowiedzUsuń
  14. Rwanda, piękny kraj... ;-)

    A poważniej, trzy punkty:
    1. W NCNie taki jest mechanizm, że finansowanie wniosków jest dokonywane (częściowo) w oparciu o sukces z lat ubiegłych. Przecież w aplikacji podajesz jakie miałeś osiągnięcia (publikacje, granty, stypendia), co jest brane pod uwagę przy rozdzielaniu kasy. Jest coś zupełnie naturalnego, bo to jedyna pewna rzecz jaką wiadomo o kandydacie i ta wiedza jest wykorzystywana we wszystkich konkursach jakie w Polsce mamy: Iuventus, stypenida START, granty NCNu... Dziwie się, że dostrzegasz w tym jakieś negatywy. Jaką proponujesz alternatywę? Nie bierzemy dorobku pod uwagę i oceniamy same pomysły, dobre chęci kandydatów? Traktujemy osoby w tym samym wieku z dorobkiem i bez tak samo? To już chyba przerabialiśmy w poprzednim systemie...

    2. O doborze - może to kwestia przenośni i dlatego nie możemy się zrozumieć. Każdy epizod selekcji, wbrew temu co piszesz, oczywiście ma kapitalne znaczenie ale w szerszym kontekście niż proponowany przez ciebie - spójrz na samo przeżycie jak na wskaźnik sukcesu. W tym sensie można napisać, że wynik każdego epizodu selekcji (sukces w migracji z alaski na nową zelandię w locie non-stop, przejście przez autostradę) jest najbardziej wiarygodnym wskaźnikiem jakości osobnika (fitness). Z jesiennej populacji nornic przeżywa do wiosny 5%, czy twierdzisz, że fakt przeżycia jest słabym determinantem dalszego ich sukcesu?? Inwestowałbyś zasoby w te osobniki, które nie przeżyły zimy? Tłumacząc przenośnię - każdy komu się udało, kto się sprawdzi w nauce i pokaże, że odnosi sukces w planowaniu, wykonywaniu i publikowaniu badań generując tym samym wysokiej jakości wiedzę powinien dostać zasoby, jeśli nauka w PL ma iść do przodu.

    3. nie kumam co ma do tego demokracja - twierdzenie, że "finansowanie badań w oparciu o sukces z lat ubiegłych jest niezgodne z demokracją" jest chyba jakąś pomyłką, albo nie rozumiem znaczenia. Nauka jest wybitnie niedemokratyczną działką naszej cywilizacji, gdzie masy ludu są niczym w konfrontacji z wiedzą jednego osobnika.

    Rozumiem, że obawiasz się stabilizacji takiego układu: komu raz się udało ten dostaje dożywotnio granty, a młodzi nie mają szansy wbić się w ten układ. Zapewniam, że nie o tym myślałem, a brak zrozumienia wynika pewnie z niedoskonałości przekazu. Zgłaszam raczej problem ciągłego inwestowania w nornice, które nie przeżyły zimy...

    OdpowiedzUsuń
  15. Przemek Chylarecki5 sierpnia 2013 23:56

    no dobra, ponieważ nikogo temat narzekactwa nie obchodzi (cieszę się), to trzeba zamykać wątek odcinając się od nieporozumień. odpowiadam na punkty z postu michała.
    (1) bardzo mi odpowiada system, w którym przy ocenie bierzemy zarówno pomysł na aktualne/nowe badania, jak i dotychczasowy dorobek. dlatego napisałem, że 2 rękami podpisuję się pod postem bartka ("dorobek i projekt"). ty jednak - na ile dobrze rozumiem, bo danych ilościowych brak - sugerowałeś, by patrzeć wyłącznie na dorobek. i tego dotyczy mój sprzeciw. i bartka pewnie też.
    (2) jestem nadal przekonany, że czytaliśmy inne publikacje o działaniu selekcji naturalnej. czy chcesz mi powiedzieć, że stare ptaki najlepiej przeżyją epizod selekcji pt. atak mrozu? dane empiryczne (Bumpus sparrows i dziesiątki innych) sugerują jednak, że kryterium przeżywalności/sukcesu jest cecha niezależna od wieku (np. wielkość ciała, niezależnie od wieku) lub rzut monetą. twierdząc, że wiek jest istotnym (ba, najlepszym) predyktorem sukcesu implikujesz bardzo silną selekcję na długość życia. no, a te cholerne drobne ptaszki w 50% żyją tylko 1 sezon rozrodczy i nie chcą dłużej. gdyby sikorki modre stosowały się do twoich reguł decyzyjnych, to przeciętna modraszka żyła by 30 lat. Mówienie o wieku jako predyktorze sukcesu braniu kolejnego zakrętu selekcji naturalnej (powódź, kolizje z budynkami, mróz, upał, unikanie drapieżnika) to urban legend albo antropomorfizacja selekcji (gdybym był złośliwy, to bym coś powiedział o opowieściach myśliwych. ale nie jestem przecież złośliwy). moja personalna, jednostkowa anegdota na temat wieku/doświadczenia jako predyktora sukcesu jest taka. śledziłem losy indywidualnie znakowanych sieweczek obrożnych. miałem ptaka, który przez 4-5 lat (nie pamiętam dokładnie) gniazdował na tej samej górce ("grądziku") w dolinie zalewowej rzeki. nad górką przebiegała linia przesyłowa średniego napięcia. ptak zginął w 4 albo 5 lat od oznakowania rozbijając się o te druty, które codziennie miał nad swoją głową. doświadczenie mu nie pomogło, wiek pewnie tylko zaszkodził. podsumowując - fakt przeżycia jednego epizodu selekcji jest słabym determinantem przeżycia następnego epizodu selekcji, szczególnie jeśli czynnik selekcji jest odmienny (drapieżnik vs pogoda vs myśliwy itd.).
    (3) myślałem o demokracji nie w odniesieniu do mas ludowych, ale w odniesieniu do konkurentów z działki "uczeni". jestem przekonany, że różni uczeni powinni mieć podobne warunki do konkurowania o granty. np. Ty i ja:-)
    (4) wiem, że nie myślałeś o systemie cementującym obecny układ. tak tylko wyszło, że największy wojownik przeciwko układowi "jak-mam-nazwisko-ta-zawsze-dostanę-kasę" zaproponował algorytm, który dokładnie ten pieprzony system legalizuje...
    pozdrawiam,
    Przemek Chylarecki

    OdpowiedzUsuń
    Odpowiedzi
    1. Drogi Przemku, bardzo mądre rzeczy piszecie spierając się o te mechanizmy doboru, ale umyka wam istota problemu tzn. co ma być miarą sukcesu w tej grze. Czy chodzi wam o sukces indywidualny, żeby móc chodzić jak paw i mówić, że ja dostałem granta, a inny nie więc jestem lepszy? Czy, że system grantowy wspierając tych "lepszych" wspiera sukces polskiej nauki jako sumy tych popartych indywidualności? A może jest tak jak w prawdziwej ewolucji biologicznej tzn. nie bardzo wiadomo czemu ma to wszystko służyć, bo celu nie ma i toczy się tylko zmienna gra w zależności od warunków jakie system stworzył. Popieram twoją myśl o demokracji w takim rozumieniu jak piszesz. Uważam, że nauka jako całość lepiej rozwija się w takim systemie niż przy mocnym sterowaniu, choć koszty uboczne mogą być duże, bo na takim demokratycznym systemie może żerować wielu słabeuszy (ale przecież to można też zmienić polityczno-administracyjnie i dziwne, że tu decydenci nie wykazują takiej determinacji). Selekcja, którą proponuje nasz system ani nie ma nic wspólnego z doborem naturalnym, ani w istotny sposób nie wpływa na ogólne podnoszenie jakości nauki. Beneficjenci obecnego systemu byli takimi beneficjentami również w przeszłości i system jedynie dał im więcej środków, dlatego będą bronić go jak niepodległości. Ale poważnie utrudnił rozwój wielu dziedzin niszowych (to nie znaczy że niepotrzebnych tylko dlatego, że nie produkują wysokich parametrów IF i i-H), niszczy indywidualności (bo bardziej opłaca się podpiąć pod grupę, która już na wejściu ma więcej argumentów), wspiera bezpieczne projekty dające gwarancję sukcesu parametrycznego (co wcale nie oznacza powstania lepszego wyniku) itd. Na razie obserwuję, jak ten system niszczy w polskiej biologii to, co było jakąś istotną wartością z punktu widzenia pozycji w światowej biologii choć w dziedzinach słabo impaktowalnych, a w globalnych porównaniach pozycja Polski praktycznie się nie zmienia.

      Usuń
  16. Podsumowując:
    1. chodziło mi o zwrócenie uwagi na fakt, że obecnie pieniądze są przydzielane na podstawie deklaracji nauki, a niekoniecznie tam gdzie ta nauka jest faktycznie robiona. Upraszczając: finansujemy wnioski a nie naukowców. Granty czasami dostają osoby teoretycznie świetne (=bo ich wnioski perfekcyjne), które w praktyce się nie sprawdzają (np. nie mają publikacji).
    2. nie neguję całego systemu (pisałem - kibicuję NCNowi) i nie proponuję rewolucji, tylko lekkie przesunięcie, by komponent dotychczasowego dorobku miał jednak większą wagę niż obecnie (bo jeśli można dostać grant bez publikacji, to znaczy, że ma niewielką).

    Nie będę się już spierał z Przemkiem na temat ewolucji, bo jest ode mnie lepszy, choć myślę, że różnica zdań wynika z nieperfekcyjnej komunikacji między nami (i obiektywnych trudności w przekładaniu Darwina na NCN), a nie czytania różnych książek,

    pozdrowienia,

    OdpowiedzUsuń
  17. W NCN, w wiekszości konkursów, pod uwagę bierze się zarówno dorobek jak i pomysł badawczy. Udział dorobku (typowo 40%) jest znaczący. Więcej na ten temat w moim tekście "Grantowe strachy na Lachy": http://ncn.gov.pl/sites/default/files/pliki/centrum-prasowe/2013_07_29-grantowe-strachy-na-lachy.pdf

    Z urlopowymi pozdrowieniami
    Andrzej Jajszczyk

    OdpowiedzUsuń
  18. Mam wraże, że opinie osób wypowiadających są mimo woli nieobiektywne. Jak ktoś dostał np. Iuventusa, a nie może dostać grantu z NCN, to będzie chwalić Ministerstwo ganiąc przy tym NCN. Ponadto używanie sformułowań "słaby", "kiepski" naukowiec też nie zbyt mądre.
    Np. nie udało mi się dostać Iuventusa, dostałem bardzo mało punktów (<20 punktów na 60 czy 70 możliwych). Więc mogę siebie uznawać za "bardzo słabego naukowca". Tylko chwilę później dostałem spory grant z NCN. Dodam tylko, że doborek w moim odczuciu mam ok, bardzo podobny do tego, co mają ludzie w moim wieku z Niemiec, Francji, Wielkiej Brytanii, USA. Tylko, że to jest moja ocena. Inni, jak widać, oceniają mój dorobek bardzo różnie.

    Czy dostając grant z NCN przestałem być słabym naukowcem? Może jestem dalej słabym, tylko grant dostałem przez przypadek? Może powinienem teraz psy wieszać na Kudrycką za pomysł z Iuventusem? Nie. Iuventus nie był "skrojony na mnie", kryteria oceny nie współgrały ze zwyczajami w moim poletku naukowym. W panelu nie było za bardzo osób, które się znały na tym co robię (mogę wymienić więcej zarzutów).
    Natomiast w NCN dostałem w miarę sensowne recenzje. Zatem, mogę stwierdzić, że NCN jest OK a grantowe pomysły Kudryckiej są chore. Czy jestem zatem obiektywny?
    Czekam na odpowiedź od tych co dostali Iuventusa, z problemami w NCN.

    OdpowiedzUsuń
    Odpowiedzi
    1. Podzielam pogląd juventusa oraz Przemka Chylareckiego, a ta dyskusja trąci mi nieco frustracją powstałą z niedoceniania (w opinii aplikującego) czyjegoś dorobku. Jak już wielokrotnie tu pisano, ocena dorobku jest rzeczą wysoce subiektywną - czy dużo prac w relatywnie słabych (acz punktowanych) tytułach jest lepsze od kilku, ale za to mocnych publikacji? Jak porównać niszowe (ale wcale nie nieważne) dziedziny z modnymi? Czy światowej sławy taksonom, który jest cytowany przez wszystkich (ale jest ich niewielu), co się znają na jego robocie, jest lepszy od autora, który napisał coś, co się dobrze wpasowuje do prawie każdego wstępu do pracy w danej dziedzinie, więc wszyscy (częściowo z lenistwa) go cytują, ale nauka wielka to nie jest?
      Fakt, że raz dostajemy granty, a raz nie wynika nie tylko z tego, że mamy doskonały pomysł, ale także z powodu, że zmienne są składy paneli, nierówni recenzenci etc. Poza tym nasza ocena jakości swojego wniosku jest zawsze subiektywna - jeżeli nie dostaliśmy pieniędzy, może porażka wynika także z naszej niedoskonałości w przekonywaniu recenzentów, że warto nam zaufać, bo wiemy, co robimy? Zatem, w moim mniemaniu, im więcej elementów bierzemy pod uwagę rozdzielając kasę, tym lepiej. Zdecydowanie nie zgadzam się z opinią, że granty należy przydzielać wyłącznie za dorobek (zwłaszcza w przypadku młodych, którzy zaczynają) - argumenty pojawiały się już wyżej, więc nie będę ich powtarzał. Rozsądne zważenie jakości pomysłu i dotychczasowego "performance" wydaje mi się najlepsze. NCN ma zresztą taki mechanizm - w aplikacji wszakże trzeba podać ostatnich klika grantów i ich rezultatów, i to wydaje mi się stosunkowo dobrą miarą (to też zresztą nie jest proste, bo nie zawsze w ekologii i pokrewnych dziedzinach da się coś opublikować zaraz po zakończeniu grantu, zwłaszcza jak było ryzykownym pomysłem i nie wypaliło).
      W moim przypadku, gdy nie dostanę grantu, nie obrażam się na system czy recenzentów (choć w czasach ministerialnych zdarzyło mi się, bezskutecznie, pisać odwołania na absurdalne recenzje), lecz staram się tak poprawić aplikację, aby następnym razem była bardziej przekonująca. Bez względu na to, czy będziemy pracować w USA, UK czy w Polsce system finansowania nauki nie premiuje niestety tych, którzy są wybitni (czasem w własnym mniemaniu!), ale osoby, które najlepiej potrafią przekonać wysokie jury, które niekoniecznie zna się na wszystkim, że zrobią coś rozsądnego. Nie każdy to potrafi, a czasem nawet wybitne pomysły mogą się na tym zaciąć, bo wyłożenie w sposób prosty, acz nie trywialny, pewnych naukowych idei to spora sztuka (w Polsce dość rzadka - prawie nikt u nas nie uczy jak powinna przebiegać naukowa komunikacja: od formułowania aplikacji grantowych, poprzez prezentację własnych wyników, do publikacji tychże włącznie). Musimy się chyba z tym pogodzić, że czasem się nie udaje (co bywa częste, gdy kołderka za krótka, jak u nas w kraju) i uczyć się na własnych błędach...

      Usuń