niedziela, 17 kwietnia 2011

Stypendia FNP "Start"... czy "FalStart"?

Witam
Na stronie FNP ukazała sie niedawno lista osób, które otrzymały stypendia "Start" . Blogowicze jakoś specjalnie tego nie komentują, więc ja zacznę. Stypendium „Start” to najbardziej popularne stypendium, mające w swej koncepcji wspierać młodych zdolnych badaczy. Tak z ciekawości sprawdziłem kilku laureatów i zauważyłem, że wielu z nich ma dorobek znacznie mniejszy niż 5 publikacji z listy filadelfijskiej. Z drugiej strony wiedziałem, ze o to stypendium starało się kilka osób, których dorobek był większy, niż tegorocznych Laureatów. Zdumiało mnie to nieco, wiec zerknąłem na regulamin konkursu, który dotychczas wydawał mi sie najbardziej obiektywny, jaki znalem. Ku mojemu przerażeniu, zobaczyłem, ze regulamin jest pełen różnych „kwiatków” , jak z najgorszego naukowego koszmaru. I co tam znajdujemy? Np: "Stypendia są przyznawane na podstawie ocen recenzentów i ekspertów z różnych specjalności według szczegółowych zasad tralalala..." Skądinąd znane i lubiane:). I gdzie te „szczegółowe zasady”?? Ale dalej: "Podstawowym kryterium oceny wniosku jest naukowa jakość i oryginalność opublikowanego dorobku naukowego kandydata. Dorobek ten jest oceniany przez recenzentów na podstawie dołączonych do wniosku publikacji (maksymalnie trzech), które kandydat uważa za najważniejsze w swojej karierze naukowej. W ocenie dorobku NIE liczy się liczba opublikowanych prac, ale ich wartość merytoryczna" No i to ostatnie zdanie jest moim zdaniem rozbrajające ..... Chciałbym zobaczyć tych ekspertów oceniających wartość merytoryczna publikacji. Na podstawie jakich kryteriów to robią? Własnego „widzi mi się”?? A może wynajmują wróżbitów, którzy czarodziejską różdżką wskazują, które prace są wartościowe merytorycznie?? Zupełnie nie potrafię, pojąć dlaczego nie bierze się pod uwagę całego dorobku kandydata. Może eksperci FNP są zbyt leniwi, żeby przeglądać całokształt osiągnięć kandydatów? Jak dobrze wiemy, w nauce istnieją dosyć obiektywne miary oceny pracownika naukowego i są nimi z pewnością liczba publikacji oraz impact factor czasopism, w których one się ukazują. Dlaczego eksperci z FNP nie przyjmują tego do wiadomości, jest dla mnie kompletną zagadką.
Ponieważ, nie lubię ot tak dywagować, to zrobiłem wczoraj na szybko kilka analiz. Wziąłem wszystkich stypendystów FNP od 2000 roku włącznie, w dziedzinach, które są mi bliskie: biologia, zoologia, botanika, ekologia i biologia srodowiskowa. Następnie, wykorzystując bazę Scopus, sprawdziłem ile mieli publikacji do roku przyznania Stypendium (łącznie z tym rokiem, ponieważ większość kandydatów wykazuje również prace w druku). Następnie sprawdziłem, czy liczba publikacji do roku przyznania Stypendium ma związek z: (1) całkowitą liczbą publikacji (stan na 15.04. 2011), (2) z indeksem H, (3) liczbą publikacji, które ukazały się po otrzymaniu Stypendium. Zastosowałem do analiz ogólny model liniowy mieszany. Do analiz włączyłem również kowariatę, którą była liczba lat od otrzymania stypendium do 2011 roku (liczba publikacji i indeks H zależy od czasu, więc trzeba ten czynnik kontrolować) oraz efekt płci. Rok, w którym przyznano stypendium, był czynnikiem losowym. Łącznie wykorzystałem dane o 80 osobach. Niestety, dwoje stypendystów (Andrzej Mazur oraz Anna Wójcik) musiałem wykluczyć z analiz, bo nie byłem w stanie jednoznacznie przypisać afiliacji oraz publikacji do nazwisk (zbyt dużo osób o takich nazwiskach i scopus to wszystko zmieszał:).
Wyniki (tabele i ryciny ) są zawarte w poniższym linku:

http://skorasp.republika.pl/start.pdf

Widać wyraźnie, że jeśli kandydat miał dużo publikacji w roku przyznania to miał ich dużo w całym dorobku , przy kontrolowaniu liczby lat, jakie miał na opublikowanie prac (Tabelka 1 i rycina 1 w podanym linku) Model wyjaśnia bardzo dużą część zmienności (R2 = 0.70). Rozumiem, że łączna liczba publikacji, wg FNP nie jest wartościową miarą, wiec w następnym kroku sprawdziłem jak liczba publikacji w roku przyznania stypendium „Start” ma się do późniejszego indeksu Hirscha. Znowu, widać wyraźnie pozytywną zależność, a model wyjaśnia dużą cześć zmienności (R2 = 0.63) (Tabela 2 i Rycina 2,w podanym linku). Warto zaznaczyć, ze zależność ta nie jest prostoliniowa (indeks h wydaje się nie przyrastać prostoliniowo wraz z liczbą publikacji). Na koniec sprawdziłem jeszcze czy otrzymanie stypendium „Start” stymuluje do pracy wszystkich jednakowo. Jeśli by tak było, to oczekujemy braku zależności miedzy liczbą publikacji do roku otrzymania Stypendium, a liczbą nowych publikacji, które ukażą się po otrzymaniu Stypendium. Niestety, zależność jest znowu pozytywna (Tabela 3 i Rycina 3, w podanym linku) i model wyjaśnia całkiem sporą część zmienności (R2 adj = 0.53). A zatem, jeśli dana osoba opublikowała dużo prac do roku, w którym otrzymała stypendium, to po otrzymaniu tej nagrody będzie publikowała jeszcze więcej, w porównaniu do osób, które miały mniej publikacji. Innymi słowy, stypendium ma większy efekt na produktywność bardziej produktywnych osób :).

Widać wyraźnie, że przyznawanie Stypendium osobom, które mają mało publikacji nie ma większego sensu. Najlepszą inwestycją jest natomiast nagradzanie osób produktywnych. Dlatego nie rozumiem, dlaczego Fundacja przyznaje stypendia osobom, które maja np. 2 publikacje listy filadelfijskiej, albo w ogóle takowych nie posiada. Oczywiście trzeba pamiętać, że należałoby zrobić podobną analizę dla wszystkich dziedzin, bo uwzględniłem tylko „działkę” biologiczno-ekologiczną i do niej należy się odnosić. Ale raczej trudno oczekiwać innych trendów.
Nie wiem, co o tym myśleć, ale wydaje mi się, że jedyna Instytucja, która zdawała się, że ocenia i przyznaje pieniądze w sposób obiektywny, stoczyła się w kłębowisko niejasnych wewnętrznych przepisów. Zresztą, w regulaminie tego konkursu jest więcej „fajnych fragmentów" - polecam poczytać.

Jest mi bardzo głupio, że jako były laureat tego stypendium muszę wytykać oczywiste dziwactwa, które determinują przyznawanie tego stypendium. Ale jeszcze bardziej głupio czuję sie, kiedy przychodzą do mnie magistranci czy doktoranci i pytają się co robić, żeby dostać takie stypendium. Dotychczas z uśmiechem na twarzy mówiłem „myśl, ostro pracuj i publikuj najlepiej jak sie da”. A co teraz mam powiedzieć? „Graj w totolotka?”. Najgorsze jest to, że kryteria przyznawania tego stypendium zniechęcają młodych ludzi, którzy nie rozumieją dlaczego ich koledzy „wyhaczają” stypendium, mimo, że posiadają słabszy dorobek i wcale nie w lepszych czasopismach. Juz kilka lat temu prof. Adam Łomnicki napisał bardzo fajny tekst o impact factorach i publikowaniu prac (Łomnicki 2003. How „impact factors” promote scientific excellence, Nature 424, 487). Kiedyś nie zgadzałem się z jego opinią... dzisiaj jestem przekonany o jej słuszności. Nawet więcej. Jestem za ślepym stosowaniem w ocenach ludzi nauki impact faktorow, indeksow H i liczby publikacji, bo w naszych warunkach są to jedyne obiektywne miary pracy naukowca.

Na koniec mam nadzieje, ze wszyscy laureaci "Starta" wybacza mi moje wątpliwości, gdyż wszystkim serdecznie gratuluje. Jak zawsze czepiam sie "systemu" - nie jednostek.

Pozdrawiam
Piotrek Skorka

34 komentarze:

  1. Ciekawa analiza, fajnie, że ruszyłeś ten temat. Ja nie chciałem tego robić, bo jestem w niezręcznej sytuacji: nie będę robił tajemnicy z tego, że złożyłem wniosek (po raz trzeci) i dostałem negatywa... Ale skoro Ty zacząłeś to dorzucę coś od siebie, zaznaczając jednak na wstępie, że stypendium dostało wielu bardzo zdolnych ludzi i na pewno im się ono należało.

    Moim zdaniem zasady są jednak totalnie subiektywne i niejasne. Opis w postaci eseju planów czy dotychczasowej pracy to w przypadku nauk takich jak biologia jakieś nieporozumienie - przecież dysponujemy obiektywnymi i uznawanymi na całym świecie narzędziami do opisywania dorobku naukowców, jakości czasopism, jakości jednostek itp. Dlaczego FNP stosuje opis planów naukowych skoro nie ma jasnego mechanizmu szeregowania opisów od poszczególnych osób, a poza tym opis ten może być kompletną fikcją! Przecież mogę napisać cokolwiek, że planuję polecieć na księżyc - a jak nie polecę to i tak nikt mi stypendium nie cofnie, więc po co to pisać i jak to oceniać? Czy realność wykonania planów jest wagą w ocenianiu? Tego nie wiemy...
    Po drugie sprawa dorobku - ja startowałem z listą 51 publikacji z czego 23 na liście w tym 9 z 1 i 2 ćwiartki (łącznie). Po ogłoszeniu wyników sam też sprawdzałem kilku laureatów na ISI i muszę przyznać, że nie znalazłem klucza oceny...

    tak czy inaczej mam ostrego doła po tym konkursie więc na razie sobie dałem spokój ze wszystkim i siedzę w lesie :o)

    pozdrowienia
    michał żmihorski

    OdpowiedzUsuń
  2. "tak czy inaczej mam ostrego doła po tym konkursie więc na razie sobie dałem spokój ze wszystkim i siedzę w lesie :o)"

    podpisuje sie pod tym :)

    tez startowalem i tez bez sukcesu
    najbardziej mnie zdumiewalo ze nie podawane jest jakies mierzalne kryterium wg ktorego zakwalifikowano (lub nie) danego kandydata do laureatow
    a moze "kryteria oceny" do STARTa sa tak mgliste i subiektywne zeby sie nie dalo tego latwo uzasadnic???
    coz, widocznie recenzenci uznali ze i moj dorobek jest cienki merytorycznie, moze trzeba zmienic tematyke badawcza na jakas bardziej chodliwa, bardziej trendy ?

    dzieki Piotrek za ta analize!

    pozdrawiam
    ŁKajtoch

    OdpowiedzUsuń
  3. Ja preferuję łąki...
    Moje publikacje też były za cienkie, żebym dostała tą nagrodę.

    Cieszę sie niezmiernie, że zostawiono mi otwartą furtkę, żeby bez problemu wrócić na psychologię którą rzuciłam w połowie semestru, żeby mieć więcej czasu na badania, pisanie itd.

    Co do analizy Piotra - osoby, które miały mniejsza liczbę publikacji i które znam, sa bardzo zdolne. Sądzę, że w ich przypadku bdb publikacji będzie bardzo dużo.

    No ale trend jest wyraźny, zdecydowanie bardziej konkretny niz zasady tego konkursu.

    Pozdrawiam, Lendi

    OdpowiedzUsuń
  4. Jak dla mnie i Łukasz i Magda mają naprawdę mocne prace w twardych czasopismach z listy..

    OdpowiedzUsuń
  5. A może znaczenie mają tylko prace, w których delikwent jest pierwszym lub jedynym autorem? Wiemy przecież jak to jest z tym "pisaniem" prac przez dziesięciu autorów?

    SW

    OdpowiedzUsuń
  6. Problemem jest to, ze nikt nie wie co ma znaczenie przy otrzymywaniu tego stypendium. Brak transparentności reguł jest bardzo złą praktyką, i jest to zadziwiające, że taka instytucja jak FNP sobie na to pozwala. Przykładowo: czy któryś z kandydatów ma dostęp do recenzji swojego wniosku? Nie. Czy kandydaci wiedzą, jaki jest klucz przyznawania punktów za poszczególne elementy wniosku? Nie.

    Co sie zas tyczy "wieloautorstwa". Wydaje mi się, ze czas pisania epopeji jednego autora przemija. Nowoczesna nauka opiera się na wspólpracy między wieloma osobami, ktorzy sa wstanie krytycznie spojrzeć na prace kolegów, a tym samym wspólnie robić lepsze badania (i jednoczesnie zrobić więcej). Nie mozna zatem, w mojej ocenie, tego dyskryminowac.

    Jestem w stanie zrozumieć niesmak osob, ktore nie otrzymały Stypendium, pomimo, że mają znaczący i ciekawy dorobek. Ale na pewno, nie można sie poddawać, tylko dalej robic swoje i czerpac z tego przyjemnosc. W koncu to tylko stypendium, i jesli tak dalej pojdzie, to juz niezbyt prestiżowe.

    Pozdrawiam
    PSkorka

    OdpowiedzUsuń
  7. "Co sie zas tyczy "wieloautorstwa". Wydaje mi się, ze czas pisania epopeji jednego autora przemija. Nowoczesna nauka opiera się na wspólpracy między wieloma osobami, ktorzy sa wstanie krytycznie spojrzeć na prace kolegów, a tym samym wspólnie robić lepsze badania (i jednoczesnie zrobić więcej). Nie mozna zatem, w mojej ocenie, tego dyskryminowac. "

    może ta epopeja i dyskryminacja to jednak przesada; nie ma co kłócić się z arytmetyką skoro wiele czasopism (przede wszystkim tych z pierwszej półki) prosi autorów o podanie wkładu pracy współautorów. Dobrze jeśli to współautorstwo ma taki obraz jak piszesz, ale zwykle jest to dopisywanie się nawzajem do prac, których n-ty autor nawet nie wziął do ręki. I chyba świadczy o zdecydowanie wyższej klasie autora jeśli jest jedynym niż jeśli jest jednym z 5.

    Co do prestiżu tego stypendium to moim zdaniem wynika ono tylko z kwoty (na polskie warunki) bo jego wartość merytoryczna nigdy nie była wyższa niż obecnie.

    SW

    OdpowiedzUsuń
  8. Do SW, gdyby liczyly sie prace gdzie jest sie jedynym autorem, takie osoby jak Michal powinny dostac to stypendium.

    Co do swojej osoby, mam o wiele mniej publikacji niz Michal i Lukasz, w niewielu jestem pierwsza autorka, mam mniej cytacji. Wiec to ze ja nie dostalam, jakos mnie nie dziwi. Ale negatyw dla nich bardzo.

    Lendi

    OdpowiedzUsuń
  9. odnosnie tej monoautorskosci - mlody ma na ogol male mozliwosci samodzielnego (indywidualnego) prowadzenia badan, przewaznie bierze udzial w projektach starszych stopniem wspolpracownikow, wiec w efekcie wiekszosc prac mlodych jest wieloautorska, wcale tez to nie jest zawsze tozsame z tym ze taki mlody niewiele sie narobil a dopisali go do pracy:), czesto bywa odwrotnie - "niewolnik" robi wiekszosc niewdziecznej pracy (w terenie, labie, przy kompie) i laduje na ktoryms tam n-tym miejscu wsrod innych autorow ktorych wklad jest rozny (ale to juz wychodzi poza watek tego tematu;)

    wieloautorskosc zalezy tez od dziedziny bo w niektorych typach badan (szczegolnie biologicznych) nie da sie zrobic wszystkiego samodzielnie (zebrac material, oznaczyc, przemielic, zanalizowac wyniki na rozne sposoby)

    niech FNP poda jakas definicje "wartosci merytorycznej" publikacji to wtedy czesc osob od razu zrezygnuje z aplikowania o stypendium i recenzenci beda miec mniej roboty przy ocenianiu wnioskow:)

    łkajtoch

    OdpowiedzUsuń
  10. Kwestia prac wieloautorskich jest kolejną delikatną sprawą... Zgadzam się, że obecnie pisze się głównie w zespołach i nie ma w tym nic dziwnego - taki mamy system i jest on chyba dobry. Ale z drugiej strony wiemy też, że jeśli ktoś już do dobrego, publikującego zespołu dołączy, jako doktorant, adiunkt czy asystent, to musi się mocno zapierać rękami i nogami, żeby takim współautorem w ciągu 1-2 lat nie zostać... I tu pytanie do FNP: czy fundacja umie oddzielić ludzi, którzy wchodzą do zespołu i ciągną go naukowo zostając współautorami prac od ludzi, którzy za przysłowiowe mycie probówek są dopisywani do (cholernie mocnych) publikacji ??? Jedyny element we wniosku do FNP to wpisanie swojego udziału w danej pracy, ale jest on subiektywny i nieweryfikowalny, a poza tym nie znamy algorytmu, który z takich udziałów wylicza rangę danego kandydata w konkursie...

    michał żmihorski

    OdpowiedzUsuń
  11. Witam,
    Postanowiłem po raz pierwszy zabrać głos na forum, bo wyraźnie widać, że brakuje osoby, która ma obojętny stosunek do stypendium START (nigdy się nie starałem i nie zamierzam aplikować o to stypendium – miażdżące kryterium wieku ;-(.
    Analiza kol. Piotra niczego nie wykazuje, bo jest niepełna. Nie uwzględniono w niej osób, które starały się o stypendium, ale go nie dostały. Dopiero porównując te dwie grupy moglibyśmy wyciągać uzasadnione wnioski.
    Jak sama nazwa wskazuje, stypendium Start jest skierowane do osób zaczynających karierę naukową. W tej sytuacji wydaje mi się, że liczba publikacji jako kryterium oceny niestety nie ma najmniejszego sensu. Trudno oczekiwać, że osoba zaczynająca karierę naukową (np. w trakcie doktoratu) będzie miała wiele publikacji w czasopismach z listy filadelfijskiej (z tym się nie spotkałem nawet w USA). Można jednak oczekiwać, że osoba taka posiada pewną wizję swojej kariery, dalszych badań itp. Jeżeli ta wizja jest poparta dowodem zdolności kandydata do realizacji zamierzeń w postaci 1-3 publikacji, to uważam, że to wystarczy aby podjąć decyzję, czy kandydatowi stypendium przyznać, czy też nie. Ocena tych kilku publikacji nie powinna przysparzać większych problemów – każdy z nas przyznałby więcej punktów za 1 publikacje np. w Molecular Ecology, niż za kilka publikacji w Polish Journal of Ecology. Ponadto należy pamiętać, że w innych dziedzinach nauki osiągnięcie dużej liczby publikacji w krótkim czasie może być bardzo trudne – i co w związku z tym – dla każdej dziedziny maja być opracowane inne kryteria?
    Część osób, którym się nie powiodło w konkursie START, najwyraźniej aplikowała do nieodpowiedniego konkursu. Drogi Michale, z listą 51 publikacji w moich oczach za początkującego naukowca nie uchodzisz – jesteś już zawodowcem i powinieneś stawać do konkursów z innymi zawodowcami (co zresztą z sukcesem czynsz), a nie z początkującymi.
    Niestety wszystko to przypomina mi szukanie dziury w całym i jest krzywdzące w stosunku do osób, które dostały stypendium. Ostatni konkurs Juventus Plus, w którym kryterium oceny była właśnie liczba publikacji (i nic poza tym) też został mocno skrytykowany (przypomnę, że Michał dostał ten grant – tam liczba jego publikacji została należycie doceniona). Wygląda na to, że co by się nie działo, zawsze będą niezadowoleni.
    Z pozdrowieniami,
    Stanisław Pagacz

    OdpowiedzUsuń
  12. Witam,
    Drogi kolego Stanisławie. Nie mogę zgodzić się z Twoją opinią, że analiza niczego nie pokazuje. Widzimy w niej naukowy „performance” tych, którzy juz stypendium otrzymali. Jest to oczywiście podgrupa wszystkich osób, które się o to stypendium starały. Porownianie osob, które dostały stypendium oraz tych, którzy go nie otrzymali byłoby bardzo dobre (i chętnie zrobiłbym taką analizę :), niestety dostępu do takowych danych nie mam, gdyż FNP nie publikuje listy wszystkich osób starających sie o stypendium. Z tego, co widzę po wypowiedziach po blogu, to trzy osoby starały się o to stypendium , ja znam jeszcze jedną osobę. Sprawdziłem ich liczbę publikacji i indeks h (Michal Zmihorski – 24, h =3; Lukasz Kajtoch – 10, h = 1, Magdalena Lenda – 8, h =2, osoba4 – 4, h = 1). Dla porównania dorobek Laureatów tegorocznego Starta w dziedzinie biologii i ekologii: Laureat 1 – 7, h = 2, Laureat2 – 5, h = 2; Laureat3 – 5, h =1; Laureat4 – 2, h =0. Impakty czasopism, w ktorych publikowały te dwie grupy osób – bardzo podobne. Nawet jesli założymy, ze grupa powyzej wymienionych osób z nazwiska stanowi grupę najlepszych pośród przegranych, to jednak cos jest nie tak, bo jesli porównamy ich z tegorocznymi Laureatami, to nie wypadają gorzej,.. a nawet nie tak samo :).
    Działanie FNP, ktore miałoby polegac na tym, ze daje sie tzw ”poczatkującym „ mlodym naukowcom stypendium, tylko dlatego ze przedstawią sensowny opis swojego rozwoju byłoby zupełnym nieporozumieniem, przypominającym targ wróżek. No i byłoby zupełnie sprzeczne z podstawowymi zasadami działania i misją FNP, które hucznie na stronie tejże Instytucji brzmią min. „główna dewiza: „wspierać najlepszych, aby mogli stać się jeszcze lepsi” lub „doskonałość naukowa - najważniejsze kryterium decydujące o przyznaniu wsparcia”.
    Poza tym, skoro kryterium umożliwiającym staranie sie o stypendium jest wiek oraz „wybitne osiągnięcia”, to nie widzę najmniejszego powodu żeby np. Michal Zmihorski nie mógł się starać o to stypendium, bo to że harował za młodu nie powinno go degradować, a jedynie nobilitować. Kategoryzowanie takich osób do grona „zawodowców” jest z mojej perspektywy bezzasadne, bo niezależnie od wieku i tytułu naukowego, uprawiając naukę musimy być zawodowcami.
    Zresztą, przeglądając dalej zasady działania i misje FNP znajdujemy np. „Fundacja w szczególny sposób dba także o przejrzystość i jawność swoich działań, uważając to za podstawę budowania zaufania społecznego zarówno do niej, jak i do całego sektora organizacji pozarządowych”....:). No i jakoś w przypadku Stypendium „Start” tego mi brakuje. A zwłaszcza tego tajemniczego, decydującego o przyznawaniu Stypendium, „klucza” który, przekonałby mnie (i pewnie innych), że oceny kandydatów są przeprowadzane obiektywnie. Bo na obecną chwilę, czytając regulamin konkursu, zapewnienia o ocenach ekspertów, i te ściśle ustalone reguły (których nikt nie widział) mam wrażenie, ze jest to bełkot.
    Pozdrawiam
    PSkorka

    OdpowiedzUsuń
  13. Hmm trochę nie zgadzam się z Piotrkiem, bo skoro kryterium tego konkursu było inne niż liczba publikacji, to nie można wziąć tylko ich liczby, h itd. To już są nasze oceny i nie piszmy w sposób który może urazić Laureatów.

    Jeśli ktoś pracuje nad jakimś ważnym odkryciem czy to z genetyki/ewolucji/medycyny, widać że ma potencjał żeby zrealizować plany, ale odkrycie to wymaga czasu, nie możemy mówić że nagroda mu się nie należy.

    Wiele badań z tych działek trwa bardzo długo, a my nie znamy planów ludzi którzy dostali Start. Nie twórzmy takiej atmosfery, w której mówimy sobie kto z nas powinien dostać a kto nie.

    Nasza praca jest na tyle przyjemna, że nie wierze iż nie otrzymanie jakiejś nagrody, spowoduje gorsze wykonywanie czegoś co lubimy. (troche pozytywizmu :)

    Lendi

    OdpowiedzUsuń
  14. Staszek, myślę, ze nie masz racji. Kilka punktów:
    1. To, że analiza jest niepełna nie znaczy, że nie wnosi nowych informacji. Piotrek to z resztą wyjasnił; jego analiza pokazuje pewne zjawiska choć niekoniecznie porównuje winners vs. losers.
    2. Możemy uznać, że liczba publikacji nie ma sensu (ja się akurat z tym nie zgadzam) ale w takim razie po co zamieszczać liczbę wszystkich publikacji??? Przecież zamieszczenie listy publikacji jest wymogiem FNP...
    3. Jeżeli mamy nagradzać naukowców za, jak to ująłeś, "wizję", a nie brać pod uwagę ich dorobku bo to "nie ma najmniejszego sensu" to ja trochę się gubię... Staszek, przecież zaczynamy mówić o fikcji!
    4. Piszesz, ze ta dyskusja jest krzywdząca dla laureatów - niesłusznie. Pisałem już wcześniej, to samo zaznaczał Piotrek, że szczerze gratulujemy laureatom, przynajmniej tym których znamy. Ja mogę powiedzieć, że wszyscy ci których znam zasłużenie otrzymali stypendium, na pewno bardziej im się należało im niż mi. Ale nie rozumiem dlaczego naszą dyskusję odbierasz tak negatywnie???
    5. Juventus nie był przeprowadzony dobrze, niezależnie od wyniku poszczególnych osób. Konkursu w którym PO OGŁOSZENIU WYNIKÓW (!) dowiadujemy się, że wszystko ma być skończone do końca roku zamiast planowanych 2-3 lat, przyznasz chyba sam, nie można nazwać rozsądnym...

    Podsumowując - też nie lubię (polskiego?) narzekania na wszystko ale z drugiej strony jedynie krytyczny feedback "z dołu" daje szansę, że nauka w tym kraju będzie szła w dobrą stronę...

    pozdrowienia
    michał żmihorski

    OdpowiedzUsuń
  15. Magda, z tego co ja rozumiem to główny problem polega chyba na braku jasnych kryteriów... Bo z jednej strony liczą się 3 najważniejsze, z drugiej mamy wypisać wszystkie podając IF i wkład w każdą pracę...
    pozdr

    OdpowiedzUsuń
  16. Czołem,

    Piotr wykonał analizę, ok. Tyle, że jak zauważyła Lendi, poza publikacjami zapewne dużo punktów można było uzyskać za pomysł na projekt.
    Ja składałem wniosek o to stypendium raz, nie dostałem. Najwidoczniej poza publikacjami, wnioski innych ludzi były lepsze niż mój.

    Mogę tylko mieć nadzieję, że recenzje były obiektywne.

    Michał

    OdpowiedzUsuń
  17. Witam,

    Michale,

    To, że analiza jest niepełna nie znaczy, że nie wnosi nowych informacji....


    Wydaje mi się, że zależność jaką wykazał Piotr dałoby się wykazać wobec każdej losowo wybranej grupy naukowców. Pomijając talent, czy pracowitość wpływ na liczbę publikacji ma indywidualny styl pracy. Jedni pracują w małych zespołach, drudzy wolą/potrafią pracować w kilku projektach na raz i w związku z tym mają dużo więcej publikacji. Wątpię, czy analizowanie wyłącznie liczby publikacji ma sens.


    Możemy uznać, że liczba publikacji nie ma sensu..., ale w takim razie po co zamieszczać liczbę wszystkich publikacji?

    Nie twierdzę, że liczba publikacji nie ma sensu, ale uważam, że nie może być głównym kryterium w tego typu konkursie. Skąd taki wymóg nie wiem, ale prawdopodobnie w pewnych przypadkach lista może być pomocna w ocenie kandydatów.


    Jeżeli mamy nagradzać naukowców za, jak to ująłeś, "wizję", a nie brać pod uwagę ich dorobku bo to "nie ma najmniejszego sensu" to ja trochę się gubię...

    Michale, nic podobnego! Jasne, że sama wizja nie wystarczy, ale jeżeli jest ona poparta dowodem zdolności kandydata w postaci chociażby jednej dobrej publikacji, bardzo dobrą opinią szefa itd., to nie widzę powodu, aby takiej osobie nie przyznać stypendium.

    Piszesz, ze ta dyskusja jest krzywdząca dla laureatów - niesłusznie. ... nie rozumiem dlaczego naszą dyskusję odbierasz tak negatywnie???

    Piotr negatywnie ocenia cały konkurs na podstawie faktu, że pewne osoby nie dostały stypendium, a część, która dostała ma według niego słaby dorobek. Sugeruje tym samym, że nie zasłużyli na stypendium i to uważam za krzywdzące, a nie samą dyskusję o zasadach oceny.

    Juventus nie był przeprowadzony dobrze.... .

    Zgadzam się, jednak pisząc o Juventusie chciałem tylko zaznaczyć, że bywają konkursy z bardzo obiektywnymi kryteriami – nie miałem zamiaru twierdzić, że był wzorowy.

    Chciałbym się jeszcze odnieść do słów Piotra:

    Poza tym, skoro kryterium umożliwiającym staranie się o stypendium jest wiek oraz „wybitne osiągnięcia”, to nie widzę najmniejszego powodu żeby np. Michal Zmihorski nie mógł się starać o to stypendium....Kategoryzowanie takich osób do grona „zawodowców” jest z mojej perspektywy bezzasadne, bo niezależnie od wieku i tytułu naukowego, uprawiając naukę musimy być zawodowcami.

    Piotrze, rzeczywiście masz rację i podzielam twoje zdziwienie, że Michał nie dostał stypendium. Ale podejrzewam, że to wina recenzentów, a nie reguł konkursu. Uważam, że kandydaci powinni dostać recenzje swoich wniosków.
    Oczywiście niezależnie od wieku musimy być zawodowcami, użyłem niewłaściwego słowa. Chodziło mi o to, że Michał ma znacznie większe doświadczenie i młodsi nie mają szans w starciu z takim przeciwnikiem. Być może sprawę załatwiłaby zmiana kryterium wieku na kryterium stażu. Początkujący mogliby stawać do konkursu Start, a dla bardziej doświadczonych powinno się zorganizować jakiś inny konkurs.

    Co się zaś tyczy współautorstwa prac i pierwszych autorów: w USA (i innych krajach także) praca doktorska składa się zwykle z 3-5 artykułów naukowych. Doktorant jest pierwszym autorem, a oprócz niego współautorami są promotor i 1 lub 2 osoby, które znacząco przyczyniły się do powstania pracy (np. opracowując model GIS). Nie ma mowy o dopisywaniu autorów. Te prace świadczą o poziomie młodych naukowców i są podstawą ich oceny. Takie prace będzie można pisać w Polsce od 1 października, ciekawe czy znajdzie się wielu chętnych na tę formę doktoratu.

    Ponieważ wcześniej zostałem źle zrozumiany podkreślam:

    - Jestem zwolennikiem stosowania współczynników opartych na liczbie publikacji, IF, cytowań itp. do oceny pracowników naukowych.

    - Jednocześnie uważam, że zastosowanie ich jako głównych kryteriów w konkursie Start nie koniecznie ma sens z uwagi na to, że jest on skierowany do początkujących naukowców, którzy zwykle nie mają licznych publikacji/cytacji.

    Pozdrawiam
    S. P.

    OdpowiedzUsuń
  18. Jeszcze wczoraj nie zamierzałem się włączać do tej nowej dyskusji, choć w dużym stopniu jest ona właściwie przedłużeniem tej poprzedniej (nie jestem bezpośrednio zainteresowany stypendiami dla młodych naukowców – dla starych zresztą też nie... – ale dyskusja znowu toczy się wokół kryteriów oceny, czyli tego o czym dyskutowaliśmy poprzednio). Do ponownego zabrania głosu skłoniły mnie dwa względy: 1) podczas gdy przed miesiącem nikogo nie udało mi się przekonać do moich racji, niektórzy uczestnicy obecnej wymiany poglądów (choć – z jednym wyjątkiem, o ile „SW” to ta sama osoba która wtedy tak sygnowała swoje wypowiedzi – nie moi ówcześni oponenci) wypowiadają niemal te same opinie które w marcu ja formułowałem; 2) conajmniej jedna ważna sprawa najwyraźniej nie została wówczas dostatecznie wyjaśniona choć bardzo wymaga wyjaśnienia, a wprawdzie IF (czy jakikolwiek formalny indeks) czasopism w których lubię publikować jest bardzo niski, na podstawie czego ów wspomniany (nie wiem czy identyczny z obecnym) „SW” uznał że moje poglądy wynikają z tego iż jestem „bublo-naukowcem” niezdolnym do napisania czgoś wartościowego, to jednak owe poglądy albo są słuszne albo nie niezależnie od tego czy „SW” ma rację co do mojej „wartości naukowej” i/lub motywacji czy nie, ani od tego czy wygłosiłem je przy kuflu piwa, czy przedstawiłem w „blogu”, czy też opublikowałem w „Nature”!
    Tyle wstępu. Owa wymagająca (moim zdaniem) „doprecyzowania” kwestia to problem „obiektywizmu” w ocenie projektów, publikacji i ich autorów. Piotr SKORKA w „artykule wstępnym” sformułowanie że „Stypendia są przyznawane na podstawie ocen recenzentów i ekspertów z różnych specjalności według szczegółowych zasad” i „W ocenie dorobku NIE liczy się liczba opublikowanych prac, ale ich wartość merytoryczna” ocenia jako „„kwiatki”, jak z najgorszego naukowego koszmaru”, ja natomiast gdybym był obecnie „eligible” do takiego stypendium to „skakałbym z radości” że wreszcie ktoś „w górze” ruszył rozumem i zauważył że naukowca należy oceniać według naukowych zalet i wad jego prac a nie według nie mających z nim wyraźnego (a często w ogóle żadnego) związku IF-ów, wskaźników h, itp. takich czy innych czasopism, ani według tego na jak wiele osobnych artykulików potrafił podzielić to czego dokonał lub do ilu „wieloautorskich” publikacji udało mu się dopisać [żeby nie było nieporozumień: wiem że nie wszyscy takie sztuczki stosują, i że nie wszystkie wieloautorskie publikacje powstają na tej zasadzie, ale fakt że jest to praktyka dość powszechna („zwykle jest to dopisywanie się nawzajem do prac, których n-ty autor nawet nie wziął do ręki. I chyba świadczy o zdecydowanie wyższej klasie autora jeśli jest jedynym niż jeśli jest jednym z 5” – jak słusznie zauważa SW) dodatkowo uwypukla bezsensowność ocen „parametrycznych]...
    Roman Hołyński [cdn.]

    OdpowiedzUsuń
  19. [cd.]
    Ocenę wartości merytorycznej dorobku PS uważa za propozycję „rozbrajającą”, bo „Chciałbym zobaczyć tych ekspertów oceniających wartość merytoryczna publikacji. Na podstawie jakich kryteriów to robią? Własnego „widzi mi się”?? A może wynajmują wróżbitów, którzy czarodziejską różdżką wskazują, które prace są wartościowe merytorycznie??”. Oczywiście PS ma w pewnym sensie rację: jeśli szukamy jakiegoś „obiektywnego” kryterium (które powie nam że ponieważ wskaźnik x wynosi 3.3497 a współczynnik y 2.7528, więc po podstawieniu do wzoru Smitha otrzymujemy na wartość naukową publikacji Kowalskiego 7.3764 a pracy Zetowicza 7.3765, wobec czego stypendium należy przyznać Zetowiczowi a nie Kowalskiemu), to rzeczywiście żadnego takiego „algorytmu” „eksperci oceniający wartość merytoryczną” (mam nadzieję...) nie stosują. A nie stosują (jak sądzę) dla powodów które przedstawiłem podczas marcowej dyskusji: „obiektywność ma znaczenie tylko wtedy gdy jest równoznaczna (a conajmniej ściśle skorelowana) z adekwatnością. Kłopot w tym że obiektywna i równocześnie adekwatna ocena naukowej wartości publikacji (lub jej autora) nie jest możliwa. To niewątpliwie przykra wiadomość – niestety, mam jeszcze gorszą: stopień obiektywności jest odwrotnie skorelowany ze stopniem adekwatności!”.
    Na szczęście nie jesteśmy skazani na „obiektywne” (a więc nieadekwatne) oceny: te subiektywne prowadzą zazwyczaj do znacznie sensowniejszych wniosków! Spróbujmy sformułować „obiektywne” kryteria według których poznamy czy widziane z odległości, powiedzmy, 10 metrów zwierzę jest psem czy kotem – bardzo wątpię czy którekolwiek zapewniłoby nam „stopień trafności” większy niż 70-80%, a przecież każdy mały dzieciak, bez żadnych „kryteriów”, bezbłędnie (poza jakimiś zupełnie wyjątkowymi przypadkami) powie nam czy to „hau-hau” czy „miau-miau”... Tak samo jest z oceną dorobku naukowców: nikt przecież nie ma wątpliwości że (tak nie lubiana przez PS) „wartość merytoryczna” dorobku DARWINa czy EINSTEINa była bardzo znaczna, choć IF-u (ani wskaźnika h) nikt w tamtych czasach nie oceniał, a i pod względem ilości publikacji każdy z nich przegrałby z kretesem rywalizację z pierwszym-lepszym dzisiejszym (choćby i „bublo”)- naukowcem. Oczywiście w przypadku mniej wybitnych autorów ocena nie jest aż tak prosta i oczywista, ale naogół jednak nie potrzeba ani „wróżbitów, ani „czarodziejskich różdżek” aby rozpoznać „które prace są wartościowe merytorycznie”! Naturalnie pod warunkiem że – w przeciwieństwie do „SW” z poprzedniej dyskusji – znamy odpowiedź na pytanie „wartość - co to takiego?”, a więc na wszelki wypadek podpowiadam: na wartość merytoryczną pracy składają się takie – trudne lub niemożliwe do „zalgorytmizowania”, ale przeważnie nie nasuwające dysponującemu pewnym doświadczeniem recenzentowi poważnych wątpliwości przy przybliżonej (np. w skali od zera do pięciu) ocenie – elementy jak oryginalność pomysłu, znajomość i wykorzystanie literatury, adekwatność metodyki, logika interpretacji, klarowność prezentacji itp. I niema w tym niczego „rozbrajającego”, już chociażby dlatego że obecnie stosowane i tak żarliwie przez PS bronione kryteria oparte na „rankingu” czasopism (IF, indeks h itp.) w ostatecznym rozrachunku opierają się na właśnie tego typu ocenach: przecież ostateczny wniosek jest conajwyżej na tyle obiektwny na ile obiektywne jest najmniej obiektywny etap wnioskowania, a o tym czy praca została przyjęta do druku w „wysokoimpaktowym” czasopiśmie decyduje (przynajmniej teoretycznie) opinia recenzentów – dlaczego więc PS nie zapyta z oburzeniem „Na podstawie jakich kryteriów [owi recenzenci] to robią? Własnego „widzi mi się”?? A może wynajmują wróżbitów, którzy czarodziejską różdżką wskazują, które prace są” warte opublikowania?
    Roman Hołyński [cdn.]

    OdpowiedzUsuń
  20. [cd.]
    Sądzę że rzeczywistym powodem „miłości do IF-ów” jest nie tyle ich (a właściwie tylko ich ostatniego etapu) „obiektywność” ile złudne wrażenie wielu (zwłaszcza młodych) naukowców że oceny „parametryczne” eliminują groźbę ocen stronniczych, uzależnionych nie od naukowych walorów pracy lecz np. od tego kto się komu naraził, czyj szef jest „mocniejszy”, w jakiej instytucji oceniany autor jest zatrudniony, jaki ma stopień naukowy, czy wnioski są „po myśli” recenzenta, a nawet czy recenzent nie miałby ochoty „pożyczyć sobie” pomysłów zawartych w ocenianym projekcie. Takie obawy są niestety w pełni uzasadnione, tylko że „parametryzacja” ocen nie eliminuje zagrożenia lecz je wręcz wzmacnia (częściowo przenosząc na wcześniejszy etap – przyjęcie lub odrzucenie pracy przez „wysokoimpaktową” redakcję – gdzie kryteria są jeszcze mniej „rygorystyczne” a „za to” nawet oficjalnie znacznie luźniej związane z naukową wartością), a i tak „gdy ktoś chce psa uderzyć to kij zawsze znajdzie”, a gdy recenzent zechce pracę odrzucić to znajdzie uzasadnienie [jeśli w ogóle będzie zmuszony je podać, co nie we wszystkich konkursach ma miejsce – a to już (tu się w pełni zgadzam!) rzeczywiście bardzo zła praktyka...]!
    Inny problem z „nieobiektywnymi” ocenami może wynikać z faktu że nawet jeśli „aplikant” dostaje recenzję swojego projektu z uzasadnieniem odrzucenia, to i tak w większości wypadków nie ma możliwości „odwołania się” nawet jeśli jest zupełnie oczywiste że decyzja wynikła z niezrozumienia (lub błędnego zrozumienia) przez recenzenta tego co w projekcie było napisane. Ale i to w niewiele (jeśli w ogóle...) mniejszym stopniu dotyczy ocen „parametrycznych”...
    I jeszcze tylko jedna uwaga o „wieloautorstwie”. Różnica opinii na tę sprawę wynika chyba w dużym stopniu z tego, że autorstwo publikacji to nie tylko „sława mołojecka” (i ewentualnie dodatkowe „punkty” w takiej czy innej konkurencji) ale i (w moim pojęciu przedewszystkim!) odpowiedzialność: wpisując swoje nazwisko jako autor oświadczam „to jest moja praca, to co i jak jest w niej napisane to są moje poglądy przedstawione w wybranej przeze mnie jako optymalna formie, za te poglądy i tę formę ja przyjmuję odpowiedzialność!”. Dlatego nie chcę ponosić odpowiedzialności za wnioski nie przeze mnie sformułowane, nie na moich obserwacjach oparte, w innej niż moim zdaniem optymalna formie przedstawione. A że jestem głęboko przekonany że niema na świecie dwu myślących osób których opinie w jakiejś nie trywialnie prostej sprawie byłyby pod każdym względem identyczne, więc niemal wszystkie moje publikacje są jednoautorskie (a poza dwoma wyjątkami wzystkie były w całości przeze mnie pisane). Czy to znaczy że nie współpracuję z „kolegami po fachu”? Oczywiście wtedy nie mógłbym w ogóle pracować: Łukasz ma rację pisząc że „w niektorych typach badan (szczegolnie biologicznych) nie da sie zrobic wszystkiego samodzielnie (zebrac material, oznaczyc, przemielic, zanalizowac wyniki na rozne sposoby)”, i „moja” taksonomia jest właśnie taką dziedziną już choćby z tego powodu że opiera się na materiałach w olbrzymiej większości zgromadzonych nie przez autora (muzealnych lub otrzymanych lub wypożyczonych od kolegów). Cóż więc się dzieje gdy przesłałem okazy ze swojej kolekcji koledze który chce je włączyć do swojej analizy lub na ich podstawie opisać nowy gatunek, udostępniłem mu swoje niepublikowane obserwacje, jakimiś swoimi „genialnymi pomysłami” przyczyniłem się do uprecyzyjnienia interpretacji lub tp.? Ano, w takim przypadku spodziewam się że w odpowiednich miejscach jego publikacji znajdzie się uwaga w rodzaju „R. HOŁYŃSKI in litt.”, a w „Acknowledgements” znajdzie się podziękowanie R. HOŁYŃSKIemu za udostępnienie okazów (niepublikowanych obserwacji, cenne uwagi, owocną dyskusję – niepotrzebne skreślić!). I tyle – nigdy w takich sytuacjach nie domagam się, ani nie przyjmuję proponowanego, współautorstwa. Współpraca nie musi – i moim zdaniem w większości przypadków nie powinna – być utożsamiana z współautorstwem!
    Roman Hołyński

    OdpowiedzUsuń
  21. Ja tylko dwa zdania o niejakim Żmihorskim, bo chyba jednak chłopaki trochę przesadzacie i ciężko mi się to czyta :o)) Mój dorobek jest naprawdę cienki jak mu się bliżej przyjrzeć. Ok, mam trochę prac ale w większości to prace najwyżej przeciętne, publikowane w słabych lub średnich czasopismach (np. Pol. J. Ecol., Folia Zool., Biologia, itp.) i bardzo rozrzucone tematycznie (ptaki, mrówki, murawy, historia lasu, zaburzenia i cholera wie co jeszcze). To nie robi dobrego wrażenia. I tak sobie teraz na spokojnie myślę, że wszystko to w połączeniu z brakiem konkretnego planu badawczego na przyszłość (znowu - zbyt wiele wątków chyba) jednak w pełni uzasadnia decyzję FNP...

    pozdrowienia sprzed świątecznego laptopa :o)
    michał żmihorski

    OdpowiedzUsuń
  22. Witam,
    Do Kolegi Romana Hołynskiego. Całą odpowiedz na Twój komentarz można zawrzeć w jednym zdaniu: No właśnie proces publikowania prac w najlepszych czasopismach, wygląda tak jak przedstawiony przez Ciebie opis oceny merytorycznej kandydata . Każdy (prawie?), kto uprawia naukę przecież próbuje przedrzeć się ze swoimi ideami do tych najlepszych czasopism. A podstawowym kryterium decydującym o przyjęciu pracy do druku jest nowatorskość, pomysłowość, i potencjalne znaczenie pracy, plus oczywiście bardzo dobre/doskonale wykonanie metodyczne. W redakcjach czasopism zasiadają nie roboty, ale naukowcy, którzy lubią przeczytać ciekawy artykuł, a nie jakiegoś odgrzewanego kotleta, słabo zaplanowane badania, albo po prostu nieciekawe. Mało tego, zwłaszcza czasopisma z wysokimi impact factorami chcą publikować jak najciekawsze i najlepsze prace i bardzo dbają o dobór maszynopisów. To sprawia, że kryterium impact factora jest ważne, bo oznacza, że publikacja zainteresowała recenzentów (sensu: innych naukowców), którzy w tych najlepszych czasopismach są zazwyczaj bardzo dobrymi badaczami i specjalistami w danej dziedzinie (podejrzewam ze porównywalnymi do „specjalistów” z FNP). Dlatego nie rozumiem dlaczego FNP nie używa kryterium impact factora, tylko wykonuje jeszcze raz oceny, która w znacznie bardziej precyzyjny sposób została wykonana w czasopismach, w których publikował kandydat. Tak samo, nie jestem w stanie pojąc, dlaczego FNP nie stosuje kryterium liczby publikacji, które oprócz tego, że oznacza, iż kandydat jest pracowity, to również wskazuje, jak często jest ów kandydat w stanie przekazać swoje idee i pomysły „światu” ;).
    Pozdrowienia znad świątecznego stołu,
    PSkorka

    OdpowiedzUsuń
  23. [P. SKORKA]: >>>Każdy (prawie?), kto uprawia naukę przecież próbuje przedrzeć się ze swoimi ideami do tych najlepszych czasopism<<<
    Nie wiem czy “prawie”, ale napewno nie wszyscy: np. ja (i znam takich więcej...) nie – m.in. dlatego że nie uważam „wysokoimpaktowych” czasopism za „z zasady” „najlepsze” (niekiedy – p. niżej – wręcz odwrotnie!).

    >>>No właśnie proces publikowania prac w najlepszych czasopismach, wygląda tak jak przedstawiony przez Ciebie opis oceny merytorycznej kandydata. ... A podstawowym kryterium decydującym o przyjęciu pracy do druku jest nowatorskość, pomysłowość, i potencjalne znaczenie pracy, plus oczywiście bardzo dobre/doskonale wykonanie metodyczne.<<<
    Czy aby??? Kryteria decydujące o przyjęciu pracy do druku są bardzo różnorakie i w większości luźno lub wcale nie związane z wartością naukową: zaczynając of „standardów redakcyjnych” (gdzie ma być przecinek a gdzie dwukropek, co ma być wytłuszczone a co pisane kursywą, czy nazwy czasopism mają być skracane czy nie itp. – przez każdą redakcję traktowane jako „jedynie słuszne” ale dla każdej z nich inne!), poprzez „profil” czasopisma (określany często nie przez dziedzinę tylko przez metodykę lub „filozofię” („Molecular ...”, „Integrative...”, „Modern...”, „Cladistic...” itp.), maksymalną lub minimalną objętość artykułu, jego „charakter” („oryginalny”, „przeglądowy”, „komentarz” itp.), typ wyniku (opis nowego taksonu, rewizja grupy, rekonstrukcja filogenezy), a przedewszystkim osobiste upodobania recenzenta i redaktora, zgodność z aktualną modą (niedawno jedno z takich wysokoIFowych czasopism odrzuciło pracę, bo choć i recenzenci i autor ocenili jej wartość naukową pozytywnie, ale... za niedopuszczalny błąd uznali przeprowadzenie analizy filogenetycznej programem PAUP bo „jest już nowszy” – nikt nawet nie próbował argumentować że lepszy! – TNT), i gdzieś-tam między tym wszystkim kryteria wymienione przez Ciebie, a wśród nich na eksponowanym miejscu „potencjalne znaczenie pracy” (którego ocena to dopiero jest „wróżenie z fusów”!). Natomiast nowatorskość ma w praktyce (choć oczywiście nie w deklaracjach...) najczęściej negatywny wpływ na szanse przyjęcia do druku (znacznie „bezpieczniej” – zwłaszcza gdy autorem jest ktoś nie będący ani dyrektorem Smithsonian Institutio, ani laureatem Nobla, ani... członkiem tak czy inaczej definiowanego „klubu” do którego należy recenzent lub redaktor – jest „nie wychylać się” ze zbyt oryginalnymi pomysłami...).

    >>>W redakcjach czasopism zasiadają ... naukowcy, którzy ... są zazwyczaj bardzo dobrymi badaczami i specjalistami w danej dziedzinie<<<
    Hmmm... Jak Ci do tej tezy pasuje „druzgocąco” negatywna recenzja pracy o klasyfikacji Buprestidae, rozpoczynająca się od stwierdzenia że... recenzent nie jest ani taksonomem ani nawet entomologiem (co zresztą nie ulegało wątpliwości i bez tego „wyznania”...), ale czuje się wystarczająco kompetentny bo... „interesuje się owadami”??? Albo uzasadnienie odrzucenia wniosku o grant do SYNTHESYS (to coprawda nie redakcja czasopisma, ale zasady działania recenzentów +/- te same) opisane w „linku” – „Za co naprawdę płaci się naukowcom?” – zamieszczonym miesiąc temu w tym „blogu”): „The USP (User Selection Panel, czyli owi recenzenci, oceniający wniosek z dziedziny na której się nie znają, i podający swoją ignorancję jako uzasadnienie odrzucenia wniosku!!!) understand that you do not know exactly what you are going to do. The comment was a reflection on the fact that all USP members come from different scientific backgrounds, so without a detailed work plan (for example how many specimens/size of collection you will be looking at; what will you be doing - e.g. photographing/making slides/ making written observations) it is difficult for them to assess how feasible the project is”?
    Roman [cdn.]

    OdpowiedzUsuń
  24. [cd.]
    >>>nie rozumiem dlaczego FNP nie używa kryterium impact factora, tylko wykonuje jeszcze raz oceny, która w znacznie bardziej precyzyjny sposób została wykonana w czasopismach, w których publikował kandydat<<<
    Moim zdaniem bardzo to dobrze o nich świadczy! O owej „precyzyjności” patrz wyżej, ale w każdym razie miałbym raczej niewysokie mniemanie o poczuciu odpowiedzialności „decydenta” który wziąłby na swoje sumienie odpowiedzialność za decyzję od której zależy „los” młodego (zwłaszcza, ale i nie tylko) naukowca nie próbując samemu ocenić wartości projektu lecz opierając się na ocenie innych publikacji przez inne osoby o których wiedzy, motywacjach, preferencjach czy choćby uczciwości nic nie wie... Jabym się czegoś takiego napewno nie podjął!

    >>>nie jestem w stanie pojąc, dlaczego FNP nie stosuje kryterium liczby publikacji, które oprócz tego, że oznacza, iż kandydat jest pracowity, to również wskazuje, jak często jest ów kandydat w stanie przekazać swoje idee i pomysły „światu” ;)<<<
    Weźmy jeden przykład: niedawno opublikowałem w formie książkowej opracowanie podplemienia Chrysochroina (to te moje bogatki – Buprestidae). Książka ma prawie 400 stron, zawiera wiele rozdziałów zarówno ściśle taksonomicznych jak metodycznych, teoretycznych, polemicznych &c., i mógłbym bez trudu (poza „normalnymi” użerkami z recenzentami i redaktorami...) opublikować to samo w formie kilkudziesięciu osobnych artykułów. Miałbym teraz nie ok. 90 publikacji na liście lecz dwa razy tyle, ogólna objętość też byłaby znacznie większa (kilkadziesąt razy powtórzone wstępy, literatura, podziękowania itp. to już samo w sobie ilościowo niemały „dorobek”...), znacznie większą wartość według preferowanych przez Ciebie kryteriów (książki nie mają IF-ów...) – tylko „sumaryczna” wartość naukowa byłaby według najkorzystniejszych ocen taka sama a w rzeczywistości znacznie mniejsza (utrudnienie porównań, rozbicie związków logicznych, itp., nie mówiąc o trudności zgromadzenia wszystkich tych artykulików przez czytelnika)... Jak w tym (nieco skrajnym ale „jakościowo” typowym) kontekście wygląda wartość ilości publikacji jako kryterium wartości naukowej autora?
    Roman [cdn.]

    OdpowiedzUsuń
  25. [cd.]
    Na koniec jeszcze jedna uwaga na temat „najlepszości” wysokoIFowych czasopism. Dwa z „niebosiężnie najwyższym” IF-em to Science i Nature – przyjrzyjmy się ich zawartości! Po pierwsze, jest tam sporo mniej lub bardziej trafnych, ważnych i cennych ale pod względem wartości naukowej niemal „pustych” pół- lub ćwierć-stronicowych komentarzy na temat polityki, gospodarki itp. Po drugie, te rzeczywiście naukowe pozycje dotyczą tylko niektórych „modnych” dziedzin i tematów. Po trzecie, są to w rzeczywistości z reguły „rozszerzone abstrakty”, których pełną wersję i tak trzeba oddzielnie opublikować w „normalnym” (ale – paradoksalnie – znacznie „niżej IF-owanym”...) czasopiśmie. Po czwarte, większość takich artykułów to publikacje wielo- (często bardzowielo-)autorskie. Po piąte, wiele z nich występuje w „zdublowanej” formie: w jednym miejscu piętnastu autorów publikuje dwustronicowe streszczenie czegoś co następnie ukaże się na pięćdziesięciu stronach gdzie indziej, a na innych (zwykle wcześniejszych) stronach tego samego numeru innych dziesięciu autorów streszcza to co pisze tamtych piętnastu! Dla tych co się doczepili do tematu atrakcyjnego dla Nature (np. – przykład z poprzedniej dyskusji – piszą o słoniach a nie o wciornastkach) świetny biznes: odrazu każdy z 25 „autorów” ma superIFową publikację (a piętnastu z nich jeszcze jedną, choć już nie tak wysoko „punktowaną”) – tylko gdzie tu się kryje ta tak wysoko oceniana „wyższość” wartości naukowej??? W moim przekonaniu Science i Nature to czasopisma nie tylko nie „najlepsze” ale wręcz kiepskie (również redakcyjnie: potwornie zagmatwany „user-unfriendly” spis rzeczy, przeładowanie reklamami, w wielu wypadkach brak adresów autorów itp.): ja bym nie znalazł dla nich miejsca nawet w pierwszej setce znanych mi periodyków! To również skrajny przykład, ale i w przypadku innych czasopism IF i rzeczywista „wartość merytoryczna” są bardzo słabo (jeśli w ogóle) skorelowane – nie mówiąc o tym że ta wartość jest różna w zależności od tematu konkretnego przeznaczonego do publikacji artykułu...
    Roman

    OdpowiedzUsuń
  26. Witam,
    Juz miałem zarzucić ten watek Stypendium, ale nie mogę się powstrzymać od kilku uwag. Jak kolega Roman zauważył, świat nauki jest pełen niesprawiedliwości i absurdu. Podał, jako jeden z przykładów, sposób uzasadnienia odrzucenia grantu do programu SYNTHESIS, ..... przecząc jednocześnie swoim poglądom. Gdyby sposoby przyznawania grantow czy stypendiów były oparte na jasnych kryteriach, bardziej „mechanistycznych” , tego typu recenzje nie mogłyby mieć miejsca.

    Pisanie, że Nature i Science jest naukowo słabe jest tanim trikiem, w stylu pewnego byłego polityka PO z Lublina, i wynika z niezrozumienia zasad na jakich te czasopisma funkcjonują. Wydawnictwa te są platformą łączącą swiat nauki z „normalnym swiatem”. Dlatego muszą tam obowiązywać nieco inne zasady, niż w bardziej specjalistycznych czasopismach. Być może odkrycie jakiejś dodatkowej kończyny u owada z rzędu X i rodzaju Y jest fascynujące dla sporej grupy entomologów, to dla reszty zwykłych ludzi i pewnie większości innych naukowców nie ma żadnego znaczenia. Trzeba nabrać dystansu do tego co się robi. Mnie, prace w Nature i Science podobają się – nie ma tam „lania wody”, a metody i tak są bardzo dobrze opisane w elektronicznych załącznikach. Jak ktoś lubi opasłe rozdziały to zawsze może sięgnąć do jakichś monografii albo zasiąść do czytania.. bloga :o
    No i za zupełne kuriozum uważam, że ktos nie potrafi dobrze sformatować tekstu względem wymogów danego czasopisma. Pisanie, że problemem może być różny format edycyjny poszczególnych czasopism jest dawaniem złego przykładu w pracy naukowca i nie jest do konca spójny logicznie. Wysyłając maszynopis do najbardziej beznadziejnego czasopisma i tak musimy ten tekst jakos sformatować. Rozumiem, że jak ktos pisze 400 stronicową monografie, to moze mieć problem z przeformatowaniem tekstu, ale nie ma „zmiłuj się”. Trzeba to zrobić, choćby z tego powodu, żeby nie uważano autorów(a) za niechlujnych.

    Na koniec, wracając wprost do problemu Stypendium, merytoryczność ocen moglibyśmy zobaczyć, gdyby opinie recenzentów i oceny wniosków były jawne dla kandydatów. Niestety, wbrew zasadzie transparentności głoszonej przez FNP, takowe nie są dostępne.
    Pozdrawiam
    PSkorka

    OdpowiedzUsuń
  27. [PSkórka] >>>kolega Roman ... Podał, jako jeden z przykładów, sposób uzasadnienia odrzucenia grantu do programu SYNTHESIS, ... przecząc jednocześnie swoim poglądom. Gdyby sposoby przyznawania grantow czy stypendiów były oparte na jasnych kryteriach, bardziej „mechanistycznych” , tego typu recenzje nie mogłyby mieć miejsca<<<
    Niestety kolega Piotr najwyraźniej nie zauważył kiedy i w jakim kontekście [„na jaką okoliczność”] kolega Roman ten przykład podał, a bez uwzględnienia kontekstu każdy przykład można sprowadzić do absurdu... Zarówno w tej jak i w poprzedniej „fazie” dyskusji o „IF”ach (oczywiście IF jest tu tylko skrótową „etykietką”: to samo dotyczy wszelkich formalnych „obiektywnych” miar wartości naukowej publikacji i jej/ich autora) stale zaznaczałem że podstawowym problemem jest to że „mierzą” nie to co mają mierzyć: że są nieadekwatne, ich związek z rzeczywistą wartością naukową jest w najlepszym razie bardzo luźny a najczęściej niemal żaden! W tej sytuacji argument że „gdyby sposoby przyznawania grantow czy stypendiów były oparte na jasnych kryteriach, bardziej „mechanistycznych” , tego typu recenzje nie mogłyby mieć miejsca” brzmi mniej-więcej tak jak propozycja zastąpienia subiektywnych (i często kontrowersyjnych) ocen jury np. w Konkursach Szopenowskich „jasnymi, bardziej „mechanistycznymi” kryteriami” w rodzaju ilości „wyprodukowanych” przez muzyka decybeli albo szybkości przebierania palcami po klawiaturze – czy spodobałaby Ci się taka „reforma”??? Natomiast mój przykład z SYNTHESYS „wywodził się” ze stwierdzenia (z którym się zgodziłeś!) że „IF”-y w ostatecznym rozrachunku opierają się na subiektywnych ocenach „peer-reviewerów” i redaktorów a więc nie mogą być „w sumie” bardziej obiektywne niż one, a bezpośrednio był odpowiedzią na Twoje „hurraoptymistyczne” twierdzenie że recenzentami są z zasady „naukowcy, którzy ... są ... bardzo dobrymi badaczami i specjalistami w danej dziedzinie” – przykład SYNTHESYS (ściśle biorąc, przykłady SYNTHESYS i artykułu o klasyfikacji Buprestidae – a mógłbym przytoczyć takich więcej) poprostu ilustrował jak to wygląda w praktyce... Różnica między Konkursami Szopenowskimi a systemem „recenzenckim” w nauce polega przedewszystkim na tym że tam jury składa się naprawdę z wybitnych specjalistów świetnie znających i teorię muzyki i praktykę wykonywania tych samych utworów których wykonanie oceniają, a przedewszystkim jurorzy są znani z imienia i nazwiska a więc bez kompletnej „utraty twarzy” żaden z nich nie odważyłby się uznać (jak „recenzent” pracy o buprestidach) za kompetentnego bo „wprawdzie nie znam się ani na muzyce fortepianowej ani na twórczości Szopena ale lubię dyskotekę”, ani argumentować w stylu SYNTHESYS że jurorzy „understand that you do not know exactly what you are going to do. ... all jury members come from different artistic backgrounds [?malarze, architekci, poeci...?], so without a detailed work plan (for example how many decibels you produce or how quickly you move your fingers) it is difficult for them to assess how good your performance is”! Takie argumentacje są możliwe nie dlatego że oceny nie są oparte na “obiektywnych” kryteriach (przeciwnie: zauważ że SYNTHESYS USP chciał swoją decyzję opierać właśnie na jasnych, bardziej „mechanistycznych” kryteriach”: ile rysunków wykonam a ile fotografii, ile okazów zmierzę a ile opiszę itp.!!!), lecz są konsekwencją dominacji takich formalnych „algorytmów” [m. in. pozwalając redaktorom przesyłać nadesłane prace do recenzji nie-specjalistom, bo przecież nie potrzeba specjalisty aby stwierdzić czy autor zastosował najnowszy program filogenetyczny TNT czy starszy PAUP (że w danym przypadku PAUP był równie albo i bardziej przydatny niż TNT to „przecież” niema znaczenia...) albo czy poprzednie swoje prace autor opublikował w „nisko-„ czy „wysokoIFowych” czasopismach (czy te prace były dobre czy kiepskie a owe czasopisma odpowiednie czy nie to „przecież” również obojętne: IF był niski, to tylko się liczy – jak mawiał pewien kapral, „umarł nie umarł, u mnie na apelu musi być!”)]!
    Roman [cdn.]

    OdpowiedzUsuń
  28. [cd.]
    >>>Pisanie, że Nature i Science jest naukowo słabe jest tanim trikiem, w stylu pewnego byłego polityka PO z Lublina, i wynika z niezrozumienia zasad na jakich te czasopisma funkcjonują. Wydawnictwa te są platformą łączącą swiat nauki z „normalnym swiatem”<<<
    Do tych celów służą czasopisma takie jak Świat Nauki, Wiedza i Życie, Wszechświat i inne „popularnonaukowe” – Nature i Science również i w tej roli się nie sprawdzają: artykuły (przynajmniej te naukowe) są pisane „technicznym”, „hermetycznym” językiem niezbyt zrozumiałym dla „normalnego swiata”, nie sądzę aby wiele osób z owego pozanaukowego świata do nich zaglądało... Tylko że Wiedzy i Życiu czy Wszechświatowi nikt nie liczy IF-ów i wartość naukowa żadnego autora nie jest oceniana na ich podstawie (dlatego większość artykułów ma jednego, dwu, wyjątkowo trzech autorów, nie kilkudziesięciu lub nawet kilkuset jak w Nature...).

    >>>za zupełne kuriozum uważam, że ktos nie potrafi dobrze sformatować tekstu względem wymogów danego czasopisma<<<
    Przykro mi to stwierdzać, ale to prymitywny (i niezbyt sensowny...) „chwyt poniżej pasa”: doskonale wiesz (zresztą jednoznacznie wynika to z mojej argumentacji, a nawet z tego co sam piszesz dalej...) że nie o to chodzi czy „ktoś potrafi czy nie” tylko czy ogromna strata czasu, ryzyko wprowadzenia błędów, utrudnienie precyzyjnego wyrażania myśli itp. (po to tylko aby redaktor mógł „pokazać kto tu rządzi”) ma sens czy go nie ma!

    >>>Pisanie, że problemem może być różny format edycyjny poszczególnych czasopism jest dawaniem złego przykładu w pracy naukowca<<<
    Przepraszam, nie rozumiem???

    >>>i nie jest do konca spójny logicznie. Wysyłając maszynopis do najbardziej beznadziejnego czasopisma i tak musimy ten tekst jakos sformatować<<<
    Oczywiście, i każdy to robi pisząc cokolwiek (ja np. i ten tekst piszę jako w pełni sformatowany – poprostu chcę przynajmniej sam rozumieć za dzień czy rok co miałem na myśli, a temu właśnie wszystkie te wyróżnienia, kapitaliki, skróty lub ich rozwinięcia, itp. mają służyć: nie wymyślono ich po to aby redaktorzy mieli co „standardyzować”! – a że potem komputerowy program „blogu”, tak jak redaktor „wysokoIFowego” czasopisma, mi to „deformatuje”, na to już niestety nie mam wpływu...)! Chodzi o to jaki sens ma (moim zdaniem żadnego...) „przeformatowywanie” (na – z punktu widzenia autora, a w rezultacie i czytelnika – gorsze!) w zależności od „standardów” redakcyjnych (czytaj: „widzimisiów” danego redaktora czy wydawcy) tego czy innego czasopisma???

    >>>Trzeba to zrobić, choćby z tego powodu, żeby nie uważano autorów(a) za niechlujnych<<<
    Przepraszam, ale to znowu jakaś dla mnie niezbyt zrozumiała „żonglerka umysłowa”... Więc według Ciebie niechlujnym jest autor który swoje prace pisze jednolitym, przemyślanym, konsekwentnym stylem dostosowanym do treści którą zamierza przekazać, natomiast „chlujny” to ten który każdy artykuł pisze inaczej, bez z wiązku z tym o czym i do kogo pisze lecz tylko w zależności od przez kogoś wydumanych, „dobrych na wszystkie okazje” „instrukcji dla autorów”??? Przedziwna interpretacja! [cdn.]

    OdpowiedzUsuń
  29. [cd.]
    >>>merytoryczność ocen moglibyśmy zobaczyć, gdyby opinie recenzentów i oceny wniosków były jawne dla kandydatów. Niestety, wbrew zasadzie transparentności głoszonej przez FNP, takowe nie są dostępne<<<
    Niewątpliwie jawność ocen bardzoby poprawiła ich sensowność – ale tylko gdyby była uzupełniona jawnością recenzentów: z całą pewnością rację mają WILSON & MCCRANIE (1993) pisząc że anonimowe recenzje są „unfair” (“cowardly”, “unprincipled, unethical, uncooperative, unscientific, and unwarranted” – dopóki recenzenci „strzelają zza płotu”, duża część recenzji zawsze będzie przypominała te z moich przykładów... A „obiektywne” kryteria sytuację tylko pogarszają – chociażby (choć nie tylko i nawet nie przedewszystkim!) dlatego że są i tak oparte na „nieobiektywnych” ocenach, a więc „w sumie” mogą być (i są) tylko jeszcze mniej obiektywne niż te oceny! C.b.d.d.
    Również serdecznie pozdrawiam! – Roman

    OdpowiedzUsuń
  30. hej, popatrzcie jeszcze raz na stronkę z wynikami z 2011 roku, bo pojawiła się tam nowość. Klikając na część nazwisk można zobaczyć publikacje Laureatów. "Mała zmiana" i odnosi się tylko do 2011...

    OdpowiedzUsuń
  31. Witam, domyślam się że wątek jest już dawno zapomniany ale podzile się swoją refleksją i dołożę swoje "5 groszy " Myślę, że autor tego wątku zapomniał dodać o osiągnięciach naukowych do których również zaliczają się Patenty. Jest spore grono osób która uzyskały stypendium Start z niewielką liczbą publikacji, za to z pokaźnym dorobkiem patentowym.

    OdpowiedzUsuń
  32. No juz widze te Patenty w naukach biologiczno-ekologicznych :)))

    OdpowiedzUsuń
  33. Niemniej, czas wyników z różnych programów FNP nadchodzi. Kto wie co los szykuje. Może Piotr Skórka jakieś nowe analizy przeprowadzi?

    OdpowiedzUsuń
  34. Witam,
    Raczej nic takiego nie planuję. W zasadzie ten czas lepiej zainwestować w napisanie jakiegos papieru :-)
    Pozdro
    PS

    OdpowiedzUsuń