Analiza impaktów po rozmowie z MNiSW

uwaga2: dziś jeszcze jeden update wykresu, bo sprawa niesamowita: IF prawie 20, same świetne czasopisma (nie to co moje) i niepełna punktacja za impakt skutkująca porażką w konkursie.

uwaga: zmieniam wykres zastępując go uaktualnionym o kilka kolejnych punktów, a do tego trochę statystyki:

deklarowany IF jest istotnym predyktorem otrzymanej punktacji (p=0.03) jednak tłumaczy tylko 46% zmienności ostatecznej liczby punktów nadawanych przez Panel Oceniający. Wartości resztowe z modelu liniowego wahają się od -11.7 do 11.4. Czyli niektórzy dostali 11 mniej punktów a inni 11 punktów więcej  niż byśmy oczekiwali z prostej zależności liniowej (ja takiej zależności oczekiwałem). 
 

Temat dla niektórych może nudny, ale rozmowa z p.Bożeną Tomiak zmotywowała mnie do drążenia tej kwestii. 

Za sumaryczny impakt 17,4 dostałem 35 punktów (na 50 możliwych) natomiast mój kolega dostał 40 punktów za impakt 8,5. Na razie wygląda to tak (ten różowy to jeden, który otrzymał finansowanie):

Przypomnę, cytując wypowiedź prof. Radwana, że "Postanowiliśmy też nieco wyżej oceniać ten sam łączny impakt..." - Rozumiem tę zasadę (choć uważam, że jest to zmiana reguł w czasie gry). Ale czy zasada ta tłumaczy to co widzimy na wykresie? Stawiam publicznie pytanie: dlaczego gdy osoba A ma dwukrotnie wyższy imapkt (w żadnym razie nie można powiedzieć, że ten sam) niż osoba B, to A dostaje mniej punktów za impakt niż B ??? I jeszcze drugie: dlaczego osoba z impaktem 8 dostaje tak wysoką punktację?

Najciekawsze: w odpowiedzi na moje pytanie dlaczego za IF=17,4 mam tylko 35 punktów p.Tomiak powiedziała, że jest to "ewidentny błąd" i że nie wie z czego on wynika!!! 

Wniosek: zadzwońcie do MNiSW i dopytajcie o wasze punkty, być może "ewidentne błędy" mają miejsce również w waszych przypadkach. I ponawiam prośbę o przesyłanie impaktów i punktacji - punktów na wykresie mogłoby być więcej. Oczywiście zachowuję pełną anonimowość i nie puszczam tych informacji dalej. 

przykro mi, że muszę drążyć ten temat, ale są to publiczne środki i tu powinna być całkowita jasność w kwestii ich rozdzielania,
 
michał żmihorski

Iuventus III - komentarz prof. Radwana

Ponieważ zauważyłem, że wyniki ostatniego konkursu Juventus Plus wzbudziły wśród czytelników blogu Ecology i Evolution sporo emocji, jako członek zespołu oceniającego wnioski z dziedziny nauk przyrodniczych w ramach tego programu postanowiłam podzielić się kilkoma refleksjami.  Zespól ten został powołany i rozpoczął prace wraz z drugim konkursem.  Ja uczestniczyłem tylko w pracach ubiegłorocznego, 2-giego konkursu, natomiast w tym roku odmówiłem udziału, ponieważ w konkursie brały udział osoby z mojego zespołu (nawiasem mówiąc, MNiSW nie przewidziało na tę okoliczność żadnych procedur, była to wyłącznie moja osobista decyzja).

Dostaliśmy do oceny wnioski, w których artykuły opublikowane przez wnioskodawców miały przypisane impact factors zweryfikowane przez pracowników MNiSW. Naszym zadaniem było ustalenie zasad punktacji w oparciu o te impakty. W ramach zespołu nauk przyrodniczych uznaliśmy, że będziemy dostosowywać liczbę przyznawanych punktów do dziedziny, czyli na przykład ten sam impakt dawał mniej punktów w biologii molekularnej niż w ekologii. Postanowiliśmy też nieco wyżej oceniać ten sam łączny impakt, jeżeli wnioskodawca był głównym autorem artykułu w prestiżowym czasopiśmie, niż gdy opublikował kilka artykułów w mniej znaczących czasopismach. Weryfikowaliśmy też warunek głównego autorstwa.  Za głównego autora uznawaliśmy pierwszego autora (także w przypadku łączonego pierwszego autorstwa), a także autora korespondencyjnego.  Oceny były uzgadniane w czasie wnikliwej dyskusji wspólnie przez wszystkich członków zespołu. 

W kolejnej fazie oceny każdy ekspert oceniał projekt, w razie potrzeby konsultując wątpliwości z  kolegami z zespołu. (Oczywiście nikt nie oceniał projektów z własnej  instytucji.)Następnie wszystkie wnioski zostały omówione, osoba oceniające podsumowywała mocne i słabe strony wniosku, i po dyskusji zespół przyznawał punkty za tę część. Na koniec posiedzenia zespoły tworzyły wspólną listę rankingową. Podobnie było w tym roku i trudno mi zrozumieć, dlaczego ogłoszenie wyników nastąpiło dopiero dwa miesiące po sporządzeniu rankingu. 

Ocena punktowa impaktowych publikacji, których wnioskodawca był głównym autorem nie budziła większych kontrowersji, natomiast wielu z nas było zdania, że wąskie grono ekspertów nie jest w stanie w krótkim czasie ocenić wystarczająco wnikliwie projektów, które opiewają na kwoty porównywalne z dobrymi grantami NCN.  Dlatego proponowaliśmy, aby projekty poddano recenzji, jednak ten postulat nie został przez MNiSW spełniony.  NCN na specjalistyczne recenzje wniosków przez dwóch recenzentów wydaje 700 zł. Gdyby MNiSW zamówiło od razu recenzje dla wszystkich wniosków, wydałoby ok. 455 tys. zł, czyli mniej więcej tyle, co koszt dwóch projektów sfinansowanych w ramach programu.  Ja uważam, że byłoby warto, zwłaszcza że można by wzorem NCN zamówić recenzje tylko dla części projektów, np. dla tych, których autorzy zgromadzili najlepszy dorobek. Usłyszeliśmy argument, że recenzje spowolniłyby cały proces. Jednak  doświadczenia z ostatniego konkursu wskazują, że wąskie gardło procesu znajduje się gdzie indziej.

Reasumując, proces oceny projektów nie jest optymalny, podobnie jak sprawność administrowania programem, co skłania niektórych członków zespołu oceniającego do zadumy nad sensem dalszej w nim pracy. Natomiast nie ulega dla mnie najmniejszej wątpliwości, że członkowie zespołu oceniającego zrobili wszystko, aby proces oceny był jak najbardziej rzeczowy i obiektywny. Oczywiście zawsze mogą zdarzyć się błędy. Jeżeli ktoś otrzymał zdecydowanie zaniżoną liczbę punktów za dorobek, może zwrócić się do odpowiednich pracowników MNiSW z prośbą o zweryfikowanie, czy nie zaszła pomyłka. Jeżeli chodzi o ocenę projektu, z powodu wyżej wymienionych ograniczeń nie można niestety liczyć na szczegółową recenzję. Mimo tej i innych wad programu jestem przekonany, że wśród laureatów ubiegłorocznego konkursu znaleźli się wszyscy ci, którzy mogli się pochwalić naprawdę znaczącymi osiągnięciami. Także dlatego, że jeżeli chodzi o finansowanie młodych badaczy, jesteśmy moim zdaniem wciąż w sytuacji niedoboru wybitnych kandydatów.

Jacek Radwan

Iuventus III - próba podsumowania

Drodzy czytelnicy bloga,

Po ostatnich dyskusjach prowadzonych w kilku postach (w sumie ok pół tysiąca komentarzy!) chciałbym jako startujący w Iuventusie, ale również jako administrator bloga podsumować temat. Proszę przy tym o wyrozumiałość, ponieważ mam trudne zadanie - emocje są duże, opinie i wypowiedzi skrajnie różne, a dodatkowo sam startowałem w konkursie. Staram się by blog był z jednej strony bezkompromisowy i niecenzurowany a z drugiej merytoryczny. Nie zawsze się to udaje, za co w dużej mierze ponoszę odpowiedzialność

Do konkretów:

1.

Zawsze będziemy mieć podział na winners & losers, bo w nauce, tak jak w ekologii, panuje zasada: "gdyby wszyscy mieli po równo to każdy miałby za mało". Środki są ograniczone, nie wszyscy mogą otrzymać finansowanie. I bardzo dobrze, że tak jest. Warto krytycznie przyjrzeć się swoim grantom i dorobkowi. Byłoby świetnie gdyby odrzucenie wniosku działało na nas motywująco - na mnie tak działa. W pierwszej chwili chodzę po ścianach ale następnego dnia jestem spokojniejszy i biorę się do pracy. Tak jest również teraz. Tego wszystkim życzę.

2.

Szczere gratulacje dla zwycięzców - jest kilka naszych koleżanek i kolegów z działki eko-ewo, a z tego co znam te osoby, to są to naprawdę zdolni naukowcy z bardzo dobrym mocnym dorobkiem. Cieszę się, że otrzymali finansowanie i myślę, że wszyscy będziemy trzymać kciuki za ich badania prowadzone w ramach Iuventusa. Ja na pewno tak.

3.

Sprawy techniczne - dzwoniłem do MNiSW. Recenzji nie będzie, bo taka jest idea tego konkursu (czy to wada czy zaleta - zdania są podzielone). Od dwóch pań zajmujących się konkursem (p. Orieta Kurkowska i p.Bożena Tomiak) można otrzymać informację ile punktów uzyskaliśmy i jaki był podział tych punktów za projekt (max 20) i za IF (max 50). Pani Tomiak była w piątek na urlopie ale będzie od wtorku. Telefony: .Tomiak: (22) 52 92 454, p.Kurkowska: (22) 52 92 490. Przy okazji - z mojego doświadczenia: panie były zawsze bardzo miłe i warto pamiętać, że to nie one zafundowały nam to przesuwanie terminów.

4.

Śledząc dyskusję trzeba dojść do wniosku, że zasady konkursu Iuventus nie są precyzyjnie zdefiniowane. Począwszy od definicji "głównego autora" (tylko pierwszy, czy ostatni korespondencyjny również?), poprzez określenie "publikacje z ostatnich 2 lat" (czy 2010 wchodził?), terminy ogłoszenia wyników, na samym algorytmie oceny kończąc (np. system punktowania IF-ów). Nie możemy jednak, nie znając szczegółów dot. powyższych kwestii, formułować zarzutów o ustawionym konkursie i przydzielaniu grantów po znajomości. Takie wpisy się niestety pojawiają. Jeśli ktoś ma w tej sprawie dowody/konkrety to chętnie udostępnię bloga do ich publikacji. Ale bez nich rzucanie mocnych oskarżeń jest zdecydowaną przesadą.

5.

Chciałbym temat trochę pociągnąć i wysłać do MNiSW oficjalne pismo z prośbą o uszczegółowienie tych kilku punktów, co do których było najwięcej pytań. Jest to musztarda po obiedzie ale może się przydać na kolejny konkurs i powinno ostudzić emocje.

6.

Chciałbym też sam przyjrzeć się prostej zależności, a konkretnie: sumaryczny IF deklarowany we  wniosku vs. punkty za IF otrzymane z MNiSW. Wszyscy oczekujemy liniowej zależności i współczynnika korelacji wynoszącego 1. W tym celu bardzo proszę osoby chcące mi pomóc, ale tylko z dziedziny nauk biologicznych, o przesłanie w prywatnym mailu do mnie: (1) imię i nazwisko - tu nie może być anonimowości, (2) deklarowany we wniosku sumaryczny IF, (3) ocena za IF wg. MNiSW. Zarówno od zwycięzców jak i przegranych. Jak spłynie kilka chociaż ocen wrzucę wykres na bloga.

Jeszcze raz dziękuję wszystkim za dyskusję i korzystając z okazji załączam najlepsze życzenia świąteczne!

 michał żmihorski

Iuventus III - są wyniki!

na szybko, link:
http://www.nauka.gov.pl/fileadmin/user_upload/ministerstwo/Inicjatywy/Programy_ministra/20130329_Iuventus_2012.pdf

michał żmihorski

Iuventus III - nadal czekamy na wyniki...

Proponuję przenieść dyskusję do nowego wątku, bo tamten, ze względu na liczbę komentarzy, jest dość uciążliwy w obsłudze, zarówno dla czytających jak i dodających komentarze.

Jeśli ktoś dzwonił już dziś lub ma jakieś inne informacje bardzo proszę o komentarze tutaj.
Jeżeli ktoś chciałby dzwonić do MNiSW z pytaniem to programem Iuventus zajmuje się pani Bożena Tomiak, tel.: 22 52 92 454

michał żmihorski

CENT3 (fal)startuje!

Znowu będzie narzekanie, ale wierzę, że wytykanie marnotrawstwa w nauce ma sens.
Przedwczoraj na UW wystartował CENT3, który kosztował 290000000 zł (specjalnie to zrobiłem - to 290 milionów). MNiSW poinformowało nas o tym wydarzeniu w specjalnym komunikacie. Czytamy tam m.in.:

"Siedziba ponad 130 nowocześnie wyposażonych laboratoriów powstała na terenie kampusu Ochota UW."
 "Przy wykorzystaniu możliwości jakie daje konkurencyjny system grantowy i dzięki współpracy wybitnych ekspertów z młodymi naukowcami w powstającej tutaj „BioDolinie Krzemowej” przed naukowcami z UW rysują się zupełnie nowe perspektywy – dodała minister nauki."

więcej w komunikacie:
http://www.nauka.gov.pl/ministerstwo/aktualnosci/aktualnosci/artykul/kolejne-nowoczesne-centrum-naukowe-juz-otwarte/

Śledzę od dawna ich stronę (oto ona)... Znaczna część zakładek jest "w budowie" albo po prostu nie działa. Nie działa m.in. cała zakładka "Oferta", w tym "badania na zlecenie", "ekspertyzy" i "współpraca". Aż trudno w to uwierzyć, bo przecież to ma być jednostka nastawiona na klientów zewnętrznych, na pogranicze biznesu i nauki, na wdrażanie rozwiązań, na gospodarkę... Tymczasem od ponad roku potencjalny klient nie może przeczytać podstawowych informacji o tej cholernie drogiej inwestycji. Nie działa nawet zakładka "misja i cele"!!! Wersja angielska jest sporo uboższa niż polska (np. 2 grupy badawcze znikają). Co ciekawe, w dniach 28 stycznia 2010 r., 1 lipca 2010 r., 31 stycznia 2011, 28 lutego 2011 r. program spotkania Komitetu Sterującego jednostki obejmował sprawy strony internetowej CENT3, w tym między innymi: Prace (cd.) nad strukturą i zawartością strony internetowej, Strona internetowa - aktualny stan., Uzgodnienia w zakresie promocji projektu (strona internetowa), Omówienie stanu realizacji postępowania o udzielenie zamówienia publicznego na wykonanie strony internetowej projektu.
więcej tu:
http://www.cent3.uw.edu.pl/static/show/id=32
 

Jak zapewne wszyscy się domyślamy, strona internetowa nie powstała za darmo. Już od ponad 3 lat komitet steruje budową strony, prawdopodobnie również na zasadach dalekich od idei wolontariatu... Nie rozumiem, dlaczego od samego początku zarządzanie tą jednostką leży?! Mnie to bardzo denerwuje, że pieniądze publiczne (przypomnę: pieniądze unijne nie przylatują w kapsule z marsa, jest to po prostu nasza forsa!) są tak nieumiejętnie wydawane. Jeśli powstaje jednostka za 300 milionów, ma wejść na rynek i przynosić dochód, a od ponad 3 lat jej kierownictwo nie potrafi opublikować zakładki "oferta" na własnej stronie www, to dla mnie jest to równoznaczne z wyrzucaniem pieniędzy w błoto...

michał żmihorski

Ekto- i endopasożyty sikory modrej – badania terenowe w Szwecji

Poszukuje osoby, ktora wzielaby udzial w badaniach terenowych w ramach projektu „Interakcje miedzy ekto- i endopasozytami na przykladzie pasozytow sikory modrej”. Badania prowadzone sa w populacji sikory modrej zasiedlajacej skrzynki legowe, zlokalizowanej w poludniowej czesci Gotlandii. Prace terenowe obejmuja standardowe czynnosci, m.in. kontrole skrzynek legowych, chwytanie ptakow doroslych, obrączkowanie, pomiary biometryczne oraz pobieranie krwi. Termin wyjazdu:  18 kwietnia – 18 czerwca (istnieje możliwość niewielkiego przesunięcia tych terminów). W zależności od etapu badań, może być konieczny wielogodzinny pobyt w terenie oraz rozpoczynanie pracy we wczesnych godzinach porannych.  Najchętniej widziane są osoby z doświadczeniem w pracach terenowych na ptakach, ale nie jest to warunkiem koniecznym.

Za udział w pracy terenowej oferuję wynagrodzenie. Koszty przejazdu oraz zakwaterowania pokrywane są z grantu.

Anna Dubiec

tel.: (22) 629 32 21 w. 49

e-mail: adubiec(at)miiz.waw.pl 

Kolejne Laboratoria Przyrodnicze w Warszawie...

Uniwersytet Kardynała Stefana Wyszyńskiego (UKSW) buduje Centrum Laboratoryjne Nauk Przyrodniczych. Koszt tej inwestycji to 65 mln. Tak to będzie wyglądało docelowo:

Tutaj jest opis inwestycji (powierzchnia całkowita to 6500m2, kubatura 30 000m3):
http://www.ceibi.uksw.edu.pl/node/1638

MNiSW chwali się dziś tym Centrum na swoich stornach, czytamy tam m.in.:
"na UKSW, dzięki środkom unijnym (28 mln zł), możliwe będzie ukończenie Mazowieckiego Centrum Laboratoryjnego Nauk Przyrodniczych. "UKSW poszerza swoje możliwości o cały obszar przyrodniczy. Do tej pory był to uniwersytet bardziej o charakterze humanistycznym. Teraz pojawią się pracownie przyrodnicze chemiczne, fizyczne, biologiczne..." - mówił Adam Struzik."
http://www.nauka.gov.pl/nauka/sukcesy-uczonych/sukcesy-uczonych/artykul/60-mln-zl-na-dwa-centra-badawcze-w-stolicy/ 

I teraz moje wątpliwości: jakie jest uzasadnienie ekonomiczne i w ogóle społeczne tak ogromnej i drogiej inwestycji? Czy naprawdę jest potrzeba by budować kolejny moloch na potrzeby nauki? Przypomnę o budynkach na SGGW, o CENT budowanym na UW za 200-300 mln, a teraz mamy kolejny za 65mln. Czy opłaca się ten cały gmach utrzymywać z punktu widzenia zwykłego bilansu zysków (np.publikacji, patentów, wiedzy)  i strat (np. koszt ogrzania zimą)? Mam do tego poważne wątpliwości. Cały Wydział Biologii i Nauk o Środowisku UKSW wyprodukował w roku 2012 jedynie 14 prac filadelfijskich, czyli mniej więcej tyle co dwóch średnio pracowitych adiunktów:
http://www.wbns.uksw.edu.pl/nauka-i-rozwoj 
Nie wiem czy ktokolwiek się zastanawia, że potem taki budynek trzeba utrzymać (zakładam, że to są koszty ogromne). Skończą się środki UE to trzeba wziąć kalkulator i policzyć ile kosztuje metr sześcienny gazu i jaki jest koszt ogrzania zimą kubatury 30 000 m3... Czy kadra naukowa UKSW, a nawet naukowcy w stolicy są w stanie wykorzystać te wszystkie nowo powstające budynki, sprzęt, laboratoria? Czy inwestycje i wyprodukowane metry kwadratowe laboratoriów to faktycznie dobra miara rozwoju sektora nauki? Czy ktoś w ogóle myślał o tym, że w Dziekanowie, czyli obok UKSW, zaraz będą stały puste budynki i 3 hektary gruntów po CBE PAN?

michał żmihorski 

PS i jeszcze dalej w tym klimacie kilka zdjęć dających do myślenia:
biblioteka uniwerytecka we Wrocławiu:

  
kompleks naukowo-dydaktyczny Uniwersytetu Rzeszowskiego:

  

Sumienie naukowca, czyli trochę polityki (niestety)

Ktoś z czytelników postulował by wrzucić temat jako oddzielny post. Robię to pełen obaw, bo nie chciałbym rozpętać tu dyskusji politycznej, jednak z drugiej strony miało nie być kompromisów i uciekania od tematów trudnych. Więc wrzucam:

Minister Kudrycka napisała jakiś czas temu kilka słów o sumienności i sumieniu naukowca:
http://www.nauka.gov.pl/ministerstwo/zdaniem-ministra/zdaniem-ministra/artykul/sumiennosc-i-sumienie-naukowca/?cHash=abc77a9d1d

pisze tam m.in., że:

"Pierwsze skojarzenia z naruszeniem etyki w nauce to plagiat, sfabrykowane badania albo nepotyzm. Ale nie mniej ciężkim przewinieniem jest choćby próba zarażania studentów swoim światopoglądem..."

Wg. wikipedii: "Światopogląd – względnie stały zespół sądów (często wartościujących), przekonań i opinii na temat otaczającego świata".

No i mamy na ten tekst odpowiedź podpisaną przez ponad 500 nazwisk, w tym osoby z działki eko-ewo:

http://wpolityce.pl/wydarzenia/47171-list-otwarty-do-minister-barbary-kudryckiej-w-sprawie-tekstu-sumiennosc-i-sumienie-naukowca-zamieszczonego-na-stronach-mnisw 

 

Mój komentarz: ta wymiana poglądów (minister vs. 500 nazwisk) zahacza o pytanie: czy nie za dużo polityki w działaniach MniSW? Nie wiem, nie sugeruję odpowiedzi, ale temat upolitycznienia działalności MNiSW się przewija co jakiś czas. Z jednej strony to ministerstwo, więc trudno, żeby było apolityczne, z drugiej wszyscy chyba oczekujemy, że nauka będzie apolityczna. Trudny temat...

 

michał żmihorski 

Iuventus Plus III - wyniki w lutym

Uwaga: występuje problem z wyświetlaniem najnowszych komentarzy - przez tak dużą ich liczbę. Aby wyświetlić wszystkie trzeba kliknąć na dole strony, pod ostatnim komentarzem, link "załaduj więcej"!

Uwaga: zmieniam datę dodania posta na wczorajszą (oryginalnie był 1 grudnia 2012), by był wyświetlany na samej górze! MŻ

 Pani z MNiSW w rozmowie telefonicznej dwa dni temu poinformowała mnie, że wyniki konkursu grantowego Iuventus Plus (edycja III, deadline składania wniosków mijał 30 października) będą dopiero w lutym. Wygląda na to, że jest szansa na bardziej szczegółowy proces recenzji, bo do tej pory duża ilość wniosków była oceniana bardzo szybko.


michał żmihorski

Praca terenowa w Instytucie Zoologii PAN

Pracownia Badań Ornitologicznych Muzeum i Instytutu Zoologii PAN poszukuje osoby do pomocy w pracach terenowych (umowa o dzieło, możliwe także zaliczenie praktyk studenckich) w okresie od kwietnia do ok. połowy lipca 2013. Badania prowadzone są na sikorze bogatce oraz muchołówce żałobnej i odbywają się na powierzchni badawczej w Sękocinie Starym k. Janek pod Warszawą.

Osoby zainteresowane proszę o kontakt mailowy: iga@miiz.waw.pl. Iga Góźdź.