Pokazywanie postów oznaczonych etykietą IF. Pokaż wszystkie posty
Pokazywanie postów oznaczonych etykietą IF. Pokaż wszystkie posty

sobota, 9 listopada 2013

Ekspercka ocena grantów - czy nie ma zbyt dużej wagi?

Na wstępie powtórzę to co zwykle - że według mnie NCN zmienia naukę w Polsce na lepsze, pracujący tam ludzie wykonują kawał dobrej i często niewdzięcznej roboty i generalnie trzymam kciuki za Centrum. Tym bardziej więc nie mogę przejść bez komentarza nad ostatnimi publikacjami prasowymi związanymi z "aferą wrocławską". Przerażające są doniesienia prasowe dotyczące skali i sposobu działania mechanizmu przechwytywania środków na naukę. Nawet nie chodzi o miliony które już wyciekły bokiem z systemu - chodzi o to, że system jest "nieszczelny" z definicji. Ale po kolei. 
Cały tekst tutaj:

a na szybko cytaty:
"<<spółdzielnię>> tworzyć ma kilku, a może kilkunastu, najbardziej utytułowanych naukowców z dziedziny informatyki, automatyki i programowania, którzy wzajemnie wspierają się przy staraniach o pieniądze: pozytywnie opiniują składane wnioski. [...] Ze względu na swój naukowy dorobek wszyscy wchodzili w skład zespołów ekspertów, tzw. paneli zajmujących się dzieleniem grantów Narodowego Centrum Nauki"

i dalej:
"Składane do konkursów wnioski oceniane są przez 20 ekspertów, których nazwiska są tajne. Członkowie "spółdzielni" jednak je znali, co pozwalało im docierać do owych ekspertów i wpływać na nich [...] niemal w każdej kolejnej edycji sami wchodzili w skład takich zespołów, mieli więc bezpośredni wpływ na ich ocenę i mogli sterować: kto dostanie pieniądze, a kto odpadnie już na starcie"

i jeszcze to:
"co najmniej trzech członków <<spółdzielni>> pełniło w ostatnim czasie funkcje przewodniczących paneli w różnych konkursach. Dzięki temu mieli bezpośredni wpływ na to, który wniosek o grant otrzyma dofinansowanie. Jak twierdzi jeden z naszych rozmówców, na swoje potrzeby wynajęli nawet mieszkanie w Warszawie, by z dala od wścibskich oczu ustalać treści recenzji poszczególnych wniosków o granty."

I teraz kilka słów ode mnie:
powyższy przykład pozwala sądzić, że NCN popełnia błąd zostawiając panelistom tak wiele do powiedzenia w sprawie przyznawania grantów. W kraju, w którym nauka przez szereg lat była niedofinansowana, a kadra naukowa żyła (i częściowo nadal żyje) na głodowych pensjach, tak duże pole subiektywnej oceny przy rozdawaniu setek milionów może być wykorzystywane w ten właśnie sposób. Myślę, że jeśli NCN chce poprawić system finansowania nauki w Polsce, to najważniejszym zadaniem jest ograniczanie subiektywizmu przy rozdawaniu pieniędzy! Obecnie dorobek kierownika - czyli jedyny twardy fakt jakim dysponuje panel - ma niewielkie znaczenie i panel może robić co chce (czyli nie dać osobie z dużym dorobkiem, a przyznać komuś z zerowym, co z resztą często ma miejsce). W efekcie dochodzimy do absurdu - powstał system, w którym finansowanie publikowania (bo do tego, upraszczając, się sprowadza nasza działalność naukowa) opiera się nie na umiejętności publikowania, lecz na umiejętności deklarowania publikowania! Osoba, która publikuje przegrywa z osobą która umie ładnie deklarować, że coś opublikuje, mimo, że tego nie robi. A że estetyczna ocena deklaracji jest subiektywna i niemierzalna, to mamy efekt w postaci spółdzielni.

Zwróćmy uwagę, że cały przekręt ze spółdzielniami opiera się właśnie na subiektywnej ocenie grantu: "Dzięki temu mieli bezpośredni wpływ na to, który wniosek o grant otrzyma dofinansowanie". To oznacza, że subiektywna opinia członka panelu ma na tyle duży wpływ, że spółdzielni opłaciło się nawet wynajęcie mieszkania w Warszawie, by podnieść komfort pracy "swoich" panelistów! Przecież gdyby ocena w panelach opierała się faktycznie na jakości projektów i dorobku naukowym, to spółdzielnie nie miałyby prawa istnieć - co mógłby zdziałać taki panelista-oszust, gdyby grant przyznawano rzeczywiście za jakość pomysłu i osiągnięcia naukowe zespołu? Oczywiście nic! Cała akcja była możliwa, gdyż system nie działa w pełni zgodnie z założeniami i dopuszcza zupełne ignorowanie przez panelistów dorobku kierownika i jakości projektu. Gdyby spiąć finansowanie bardziej sztywno z dorobkiem kierownika, mierzonym twardymi parametrami, to spółdzielnie nie miałyby prawa bytu. Ale tego nikt nie zrobi, bo byłaby to "głupia pogoń za impaktem i cytowaniami", a to, jak wiadomo, jest dla nauki w tym kraju największym zagrożeniem! Przecież ktoś, z chęci marnego zysku, mógłby podstępem opublikować w dobrych czasopismach dużo dobrze cytowanych prac i wtedy - mając odpowiednie wskaźniki - mógłby wyciągnąć łapy po pieniądze na naukę... 

michał żmihorski

niedziela, 7 lipca 2013

Impakty i inne

Dziś dostałem list od Pani z naszej biblioteki nt. IF-ów.  Może kogoś to zainteresuje?
List poniżej.
Michał Wojciechowski


Szanowni Państwo

W maju Science opublikowało ciekawy komunikat zatytułowany:

In 'Insurrection,' Scientists, Editors Call for Abandoning Journal Impact Factors

http://news.sciencemag.org/scienceinsider/2013/05/call-to-abandon-journal-impact-f.html

Deklarację DORA podpisało wielu ważnych wydawców i instytucji dotujących nauke:
http://am.ascb.org/dora/


Od dawna w świecie toczy się poważna debata o tym, ze IP powinno odesłać się do lamusa a wprowadzic szereg nowych wskaźników oceny pracy naukowej, które dotyczą pojedynczego artykułu, pojedynczego naukowca, a nie czasopisma, stad prace w USA nad Altmetrics:
http://www.plos.org/measuring-article-impact-introducing-alm-reports/

http://www.altmetric.com/


Miłej lektury



Bożena Bednarek-Michalska
Biblioteka Uniwersytecka w Toruniu
Zastępca dyrektora ds. Informacji i Innowacji

wtorek, 11 grudnia 2012

Impact factor, h-index i inne...

Witam wszystkich,

jako że jednym z wiodących tematów na blogu jest kwestia użyteczności
(tu oczywiście można wstawić wiele innych terminów) metrycznych ocen
pracy naukowców jak impact factor czy h-index, chciałbym zwrócić uwagę
kolegów na dyskusje, która toczy się w innym miejscu.

mianowicie tu: http://occamstypewriter.org/boboh/2012/09/25/altmetrics-whats-the-point/

Autorem bloga jest Bob O'Hara, wysokiej klasy biolog-statystyk (h-index=19).
Nie będę w żaden sposób streszczał/opisywał dyskusji. Chciałbym raczej
zwrócić uwagę na bardziej symetryczny podział zdań w tej kwestii niż
ma to miejsce u nas, oraz na wysoce sensowne (moim zdaniem) argumenty
obu stron.


Podążając dalej tym samym tematem, polecam też cztery artykuły z dwóch
ostatnich (wrześniowy i grudniowy) numerów TREE.

Joern Fisher et al piszą o potrzebie wyważenia ilości i jakości
"robionej" nauki:

http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347(12)00125-5

http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347(12)00202-9

http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347(12)00204-2

jest też odpowiedź z Brazylii, którą chyba można przyrównać w tej
sytuacji do Polski.

http://www.cell.com/trends/ecology-evolution/fulltext/S0169-5347(12)00188-7


Jeżeli ktoś jeszcze nie widział, to z pewnością warto do tych dyskusji zajrzeć.

Pozdrawiam,
Michał Bogdziewicz

środa, 18 maja 2011

Journal of Universal Rejection (J Univ Rej)

Naprawdę ciekawe czasopismo i niedrogie - podrzucone przez Piotrka Tryjanowskiego... Tu oficjalna strona czasopisma z listą dostępnych zeszytów:
http://www.universalrejection.org/#about

a tutaj blog, gdzie można m.in. na bieżąco śledzić losy maszynopisów:
http://reprobatiocerta.blogspot.com/

powodzenia przy ewentualnej submicji...
michał żmihorski