niedziela, 7 lipca 2013

Impakty i inne

Dziś dostałem list od Pani z naszej biblioteki nt. IF-ów.  Może kogoś to zainteresuje?
List poniżej.
Michał Wojciechowski


Szanowni Państwo

W maju Science opublikowało ciekawy komunikat zatytułowany:

In 'Insurrection,' Scientists, Editors Call for Abandoning Journal Impact Factors

http://news.sciencemag.org/scienceinsider/2013/05/call-to-abandon-journal-impact-f.html

Deklarację DORA podpisało wielu ważnych wydawców i instytucji dotujących nauke:
http://am.ascb.org/dora/


Od dawna w świecie toczy się poważna debata o tym, ze IP powinno odesłać się do lamusa a wprowadzic szereg nowych wskaźników oceny pracy naukowej, które dotyczą pojedynczego artykułu, pojedynczego naukowca, a nie czasopisma, stad prace w USA nad Altmetrics:
http://www.plos.org/measuring-article-impact-introducing-alm-reports/

http://www.altmetric.com/


Miłej lektury



Bożena Bednarek-Michalska
Biblioteka Uniwersytecka w Toruniu
Zastępca dyrektora ds. Informacji i Innowacji

26 komentarzy:

  1. Ocena naukowców na podstawie IF jest szczególnie dyskusyjna w momencie gdy dochodzi do porównania naukowców o różnych specjalizacjach. Przykładowo, zoolog - ekolog i biochemik. Moim zdaniem lepszy w tym przypadku jest wskaźnik Hirscha, ale tylko wtedy gdy porównywane osoby są na podobnym etapie kariery zawodowej, czyli mniej więcej w tym samym wieku. Moim zdaniem przy porównywaniu naukowców najlepiej uwzględniać szereg kryteriów, takich jak liczba publikacji, liczba punktów ministerialnych, wksaźnik Hirscha, liczba publikacji w których dana osoba jest pierwszym autorem, liczba referatów na konferencjach, w których dana osoba była prelegentem. W moim przekonaniu tylko tak szeroka ocena dorobku naukowego pozwala na rzetelną ocenę naukowca, ponieważ przy okazji wychodzi nieuczciwość w pracy, np. dopisywactwo.

    OdpowiedzUsuń
    Odpowiedzi
    1. Zauważmy, że zarówno IF, jak i H zależą od dyscypliny. IF czasopism reprezentujących jedną dyscyplinę niż inną jest mniejszy, bo artykuły z tej dyscypliny są rzadziej cytowane. Zatem autorzy reprezentujący tę dyscyplinę są rzadziej cytowani. Ergo: w ogóle nie należy porównywać tego typu metryk bibliometrycznych dla autorów z różnych dziedzin.

      Usuń
  2. A może należałoby przeczytać kilka prac tego autora, zobaczyć ile grantów zdobył etc. a dopiero potem go oceniać? Może wprowadzenie takiego systemu, jak jest w RPA i chyba w Kanadzie ma sens? Tam raz na jakiś czas składa się swoje dokumenty do oceny w ichnim NCNie i na tej podstawie jest kategoryzowany raz na jakiś czas. I teraz mając kategorię A, to on dostaje bardzo konkretną kasę na utrzymanie laboratorium. Nie instytucja, która go zatrudnia.
    Jeśli popełniłem jakiś błąd przez zbytnie uproszczenie, to proszę mnie poprawić.

    m.

    OdpowiedzUsuń
  3. A co do oceny dorobku mają konferencje? To są broszki na kołnierzu. Ale zgadzam się, że problemem jest dziedzina i wiek delikwenta.
    Jednakże, nawet ilość publikacji nie jest dobrym wskaźnikiem: ktoś wypuszcza co roku szitowe publikacje w nisko-IF czasopismach. Proszę spojrzeć na ilość prac Davida Tilmana i jego indeksy...
    W US liczy się liczba cytowań i indeks H. Wieloautorskie publikacje są traktowane tak samo, jak te, gdzie jest sie pierwszym autorem, bo każdy wnosi coś cennego do publikacji. Nie istniej słowo "dopisać". No tak, ale u nas to różnie bywa...
    LT

    PS. Co do podziału kasy na konkretne zespoły vs instytucje: u nas kasę dostaje instytut, ale wewnątrz dzielona jest już wg osiągnięć konkretnych pracowni. Nie jestem przekonana, że kategoryzacja liderów grup, zamiast instytutów/wydziałów itd. przyniosłaby im większe zyski...byłoby to może bardziej sprawiedliwe i motywujące, ale też pewności nie mam...?

    OdpowiedzUsuń
    Odpowiedzi
    1. no właśnie u nas te wieloautorskie budzą moje wątpliwości... Po pierwsze bywa tak, że szef labu/zakładu z automatu wchodzi do każdej. Po drugie, jest też tak, że prawie każdy kto wpadnie między kilku dobrych profesorów i będzie robił to co mu powiedzą, po kilku latach będzie miał świetny (wg. definicji NCNu) dorobek. Pytanie tylko jaki poziom reprezentują takie osoby nagle wyciągnięte z tego układu? Myślę, że to jest poważny problem, zupełnie niedostrzegany...

      Usuń
    2. No właśnie i tu pojawia się po raz kolejny problem uczciwości naukowej. Moim zdaniem gdy przy ocenie naukowej danej osoby będzie brane pod uwagę szerokie kryterium oceniania to taka ocena pozwoli również na "prześwietlenie" takiej osoby - pokaże czy jej kariera naukowa to efekt zwykłego dopisywania do publikacji, czy tez efekt własnej pracy. Dlatego w poprzednim komentarzu wymienione zostały konferencje. Uwierzysz, że znam osobę, która jest o krok o habilitacji, a nie wygłosiła nigdy referatu na konferencji? To chyba o czymś świadczy...
      Poszczególnym kryteriom oceny można by nadać odpowiednia wagę punktową, tak aby ocena była jak najbardziej obiektywna. Zgadzam się, że sama liczba publikacji to nie jest najlepsze kryterium oceny, ale jeśli połączymy to z sumaryczna liczba punktów ministerialnych, to wtedy ocena zaczyna oddawać rzeczywistość, np. 10 publikacji za 6 punktów i 6 publikacji za 35 punktów.

      Usuń
    3. Pełna zgoda co do tego, że wiele kryteriów obniża prawdopodobieństwo uzyskania oceny błędnej - widzę potrzebę stworzenia takiej checklisty co powinna zawierać ocena dorobku. Niestety z tego co obserwuję to nawet CK ma bałagan i różne osoby stosują różne kryteria (nie ma dwóch takich samych wykazów dorobku - każdy robi po swojemu). A na radach naukowych to już kompletny chaos mam wrażenie...

      Usuń
    4. Przepraszam, ale to jakieś nieporozumienie: w USA nie istnieje słowo "dopisać"??? Współpracowałem z wieloma naukowcami z USA i powiedziałbym wręcz, że niektórzy tam są aż bezczelni. Zrobiłem sobie nawet śmiertelnego wroga z jednego pośród nich, kiedy go "wyrzuciłem" z mojej pracy, do której się SAM dopisał po tym, jak ktoś go poprosił o techniczną pomoc przy manuskrypcie. Uznałem, że możemy mu podziękować, ale współautorstwo? Nie wiem nawet, czy wiedział, co w nim jest.

      Przykładów znam o wiele więcej. Przy takim wyścigu szczurów każda pozycja jest ważna. Nie przesadzajmy, nie jesteśmy wyjątkami w tego typu haniebnych praktykach.

      Usuń
    5. W 100 % zgadzam się co do Amerykańców. Są bardzo bezczelni, mało pracowici, ale jeszcze bardziej chętnie dopisują się do maszynopisów.

      Usuń
  4. W zasadzie to rozporządzenie ujmuje szeroko elementy oceny habilitanta pokazując, które są ważniejsze, a które stanowią dopełnienie wizerunku. Brakuje tylko do tego jednoznacznych kryteriów (poza oceną publikacji). Niemniej gdyby taka sytuacja zaistniała i zabrakło by miejsca na ocenę środowiska naukowego delikwenta to nie była by potrzebna żadna komisja tylko zwykły kalkulator. To dało by natomiast wiele do popisu lawirantom. Nadal powinna być brana dziedzina pod uwagę, wiek adepta ect. Sama ocena publikacji to mało. Punkty biologów środowiskowych zwykle dotyczą solidnych i wielosezonowych badań, te same "probówkarz" zdobywa znacznie szybciej i często za przyczynkarski wkład w swoją dziedzinę wiedzy. Stąd czynnika ludzkiego w ocenie nie wyeliminuje się i nie należy tego robić. Jest jeszcze jeden aspekt, który wymyka się parametrom. Postawa wobec wiedzy i człowieka. Tu dzieli się na naukowców i uczonych (Ci co mają wiedzą o co chodzi z resztą nie warto o tym dyskutować)

    OdpowiedzUsuń
  5. Niektóre wydziały (np. Nauk Biologicznych UWr) mają opracowane swoje kryteria oceny, kiedy kandydat na habilitowanego może przystąpić do procedury habilitacyjnej. Obejmują one różne parametry, ale zdecydowany nacisk jest na publikacje i wzajemne proporcje prac wyżej i niżej punktowanych (te wyżej zaczynają się od 20 punktów). Po paru latach funkcjonowanie tego systemu widać jednak, że dużo łatwiej zrobić habilitację biologom molekularnym czy generalnie laboratoryjnym niż środowiskowym. Przeciętny dorobek przy habilitacji laboratoryjnego wynosił 16-20 prac (bo w większości wyżej punktowanych), środowiskowego 50-60 (bo środowiskowi generalnie mają większy dorobek ilościowy i bardziej zróżnicowany punktowo). System praktycznie nie jest w stanie odróżnić "naukowców" od "uczonych", a zrobienie habilitacji na przyczynkarskim dorobku laboratoryjnym jest bardzo łatwe. No i system też wywołuje konflikty bo środowiskowi często mają za złe laboratoryjnym, że oni mają mały dorobek i bardzo algorytmiczny, a ci drudzy z kolei wytykają środowiskowym iż część ich publikacji to, za przeproszeniem, pierdoły. Nie ma problemu gdy mamy do czynienia z "uczonym", bo tych łatwo odróżnić bez względu na rodzaj nauki jaki uprawiają, ale gro osób przystępujących obecnie do habilitacji trudno zaliczyć do tej grupy. Poruszono tu na blogu też kwestię wartości aktywności konferencyjnej jako takiego pośredniego miernika oceny klasy badacza. Na wspomnianym wydziale UWr był przypadek (jeszcze przed obowiązującymi przepisami) gdy kandydat na habilitowanego został zastopowany, gdyż recenzent napisał, że nie jest w stanie ocenić klasy badacza bo ten nigdy nie wziął udziału w jakiejkolwiek konferencji, sympozjum czy warsztatach i był dla oceniającego kompletnym anonimem. A dorobek naukowy według recenzenta choć ilościowo dość wysoki, był w jego ocenie bardzo niespójny i brakowało prac syntetycznych, które by pozwoliły ocenić również intelekt kandydata.
    Ale w zasadzie te bariery są bez znaczenia, bo w obecnym systemie jak brakuje punktów do progu na własnym wydziale, to można znaleźć inny o niższych wymaganiach i tam licząc na szczęście przy doborze recenzentów i tak sfinalizować habilitację. Dość regularnie czytam recenzje na stronie CK przy habilitacjach (głównie z biologii środowiskowej) i jest tam parę przypadków skandalicznych, gdzie mimo bardzo rzetelnej negatywnej recenzji głosami pozostałych recenzentów i komisji wynik był pozytywny.

    OdpowiedzUsuń
    Odpowiedzi
    1. Co to za bzdurne rozróżnienie między naukowcem, a uczonym? Jeśli miałbym wybierać między tymi dziwacznymi opcjami, to bezsprzecznie wolałbym być naukowcem. W moim środowisku istnieją Ci tzw. uczeni, gdyż najczęściej określają się tak samozwańczo. No i oczywiście chętnie z pogardą odnoszą się do osiągnięć innych. Generalnie uczeni świetnie spełniają się w opowiadaniu śmiesznych historyjek przy grillu, zapychania godzin dydaktycznych, ale z uprawianiem nauki na wysokim poziomie mają zazwyczaj spory problem.

      Usuń
    2. Jeżeli nie jesteś w stanie tego odróżnić to bardzo ci współczuję i raczej wątpię czy kiedykolwiek uczonym zostaniesz. A może po prostu nigdy nie miałeś okazji kogoś takiego poznać. W moim otoczeniu jest wielu takich gawędziarzy o jakich piszesz, ale żadnego z nich nikt nie nazywa uczonym. Natomiast kilku uczonych miałem okazję poznać, a nawet z paroma się zaprzyjaźnić i daję gwarancję, że i ich dorobek naukowy i inne walory intelektualne znakomicie przewyższały tę charakterystykę, o której piszesz. I nawet dzisiaj, gdy mają oni ponad 80 lat publikują prace, o jakich wielu sfrustrowanych młodych jak ty może tylko pomarzyć.

      Usuń
    3. Nie jestem już ani młody, ani nie jestem sfrustrowany. Mój krytyczny umysł zwyczajnie nie pozwala się podniecać domniemanym intelektem innych, ani odurzać oparami bliskości wielkich "uczonych".

      Usuń
    4. Być może twój umysł jest wybiórczo krytyczny, ale jeżeli nie jest w stanie ocenić czyjegoś intelektu to ta krytyczność jest nic nie warta. Ale na szczęście u nas dominują parametryczne wskaźniki oceny, więc to ciebie zwolni od własnego wysiłku intelektualnego przy ocenie innych. Masz duże szanse na szybki awans w naszej nauce.

      Usuń
    5. Ty z kolei spędzisz całe życie na bezproduktywnych dysputach nad tym kto jest ile wart

      Usuń
    6. Popieram, niezwykle ważna i konstruktywna dyskusja, przybliżająca nas do sedna sprawy.

      Usuń
  6. Panowie,
    Piszecie o "uczonych" i ich wartości zarówno na polu nauki jak i postawie jako człowieka. No i widzę, że macie poważny problem: może IF Wam nie brak, ale kultury na pewno...po co się obrzucać błotem na blogu? Dajcie sobie po twarzy i problem z głowy.
    Skąd te problemy emocjonalne u polskich łuconych...;-)

    L.

    OdpowiedzUsuń
    Odpowiedzi
    1. Trochę się pogubiłem: czyli mamy "uczonych" i "naukowców" - a które z tych określeń ma mieć wydźwięk pejoratywny? Jak dla mnie były to do tej pory synonimy, neutralne pod względem wartościującym. Ale wygląda na to, że jedno z nich to ciężka obelga, a drugie komplement.

      Usuń
    2. Żadne nie ma wydźwięku pejoratywnego. Gdyby chcieć najprościej to wytłumaczyć to naukowiec to człowiek wykonujący swój zawód, lepiej lub gorzej, którego zaspokaja osiągnięcie określonego wyniku. Uczony to osoba poszukujące nie tylko tego wyniku, ale zadająca sobie na bazie nauki, którą uprawia bardziej fundamentalne pytania, egzystencjalne, filozoficzne itd. Jest to też osoba potrafiąca pogodzić pracę naukową z rozwojem intelektualnym w szerszym zakresie, co nadaje jej pewien uniwersalizm intelektualny. Na pewno, odnosząc się do polemiki powyżej, taka osoba sama siebie nie będzie nazywać uczonym, to właśnie m.inn. odróżnia prawdziwego uczonego od przyszywanego.
      A tak odnośnie kultury co razi kol. L. Czytam od czasu do czasu sprawozdania z posiedzeń towarzystw naukowych w XIX wieku, które były stenografowane i publikowane (najlepsze są z towarzystw francuskich). W świetle tamtych sprzeczek to powyższa, ironiczno-złośliwa polemika to wersal. Czasem i takie polemiki są potrzebne dla otwarcia oczu i aż takiego obrzucania błotem to nie widzę (były na tym blogu ewidentnie bardziej pozbawione kultury wypowiedzi).

      Usuń
  7. Co do kultury wypowiedzi, to Panie również udzielają się na forum, więc dawanie sobie po pysku odpada.
    Dla mnie podział na naukowców i uczonych jest trochę na siłę. Zresztą biorąc pod uwagę wypowiedzi na forum nie wszyscy to rozumieją. Jak ktoś zajmuje się prowadzeniem badań naukowych to jest po prostu naukowcem, lepszym albo gorszym. Jedna osoba będzie formułowała nowe teorie naukowe i robiła rewolucję w swojej dziedzinie, a inna będzie badała preferencje pokarmowe gąsienic, co nie zmienia faktu, że i jedna i druga osoba naukowcem jest, zakładając, ze publikuje wyniki swoich badań. Większym problemem jest odróżnianie naukowców od pseudonaukowców. Jak walczyć z systemem który dopuszcza zatrudnianie ludzi którzy nie publikują a są na etatach naukowych?

    OdpowiedzUsuń
  8. Można by w zamian zaproponować ciąganie się za włoski ale pewnie zaraz odezwie się jakiś łysy :-)

    OdpowiedzUsuń
  9. Państwo uroczo się spieracie o semantykę, ale nikt powyżej nie zwrócił uwagi, że wyścig szczurów trwa także na innych torach i również czasopisma manipulują wskaźnikami jak tylko mogą. Przykład z własnego doświadczenia: nie dalej jak wczoraj dostałem "proof" pracy z przyzwoitego czasopisma (IF ok. 3), w którym bez mydła, na etapie składu (recenzenci tego nie sugerowali!), dopisano mi dodatkową referencję. Była zupełnie niepotrzebna, w zasadzie nieszkodliwa, ale zupełnie koło dyskutowanego zagadnienia - jedyna jej istotna cecha to ta, że została opublikowana w tym samym piśmie, co ładnie pompuje przyszły IF tytułu. Byłbym jej pewnie nie zauważył, bo nic istotnego nie wnosiła do tekstu, ale niefortunnie dla edytora była na "A" i otwierała spis literatury, mocno rzucając się w oczy. Oczywiście w korekcie nakazałem ją usunąć, ale ciekaw jestem co się stanie dalej, mając nadzieję, że tylko niewielka część prestiżu czasopisma, wynika z takich praktyk...
    Ukłony
    M.Zych

    PS Dalej o podobnych wątkach:
    http://curt-rice.com/2012/04/06/how-journals-manipulate-the-importance-of-research-and-one-way-to-fix-it/

    OdpowiedzUsuń
  10. Ach te dyskusje o punktacji, impact factor, Hirschu itp., itd. A rzeczywistość jest taka, że Pan Rektor (uczelni z 1-szej 30) zażyczył sobie zróżnicowanie podwyżki dla pracowników naukowych ze względu na aktywność mierzoną punktami MNiSW. I tak, pracownicy naukowi, którzy zdobywają dużo punktów dostają 130 zł brutto, ci, którzy coś tam piszą 80 zł, a ci co olewają 50 zł. Wynika z tego, że władze oceniają wysiłek publikowania w dobrych czasopismach, zdobywania punktów na 80 zł brutto podwyżki (pierwsza od ok. 10 lat). Przypuszczam, że podobnie jest na innych uczelniach.
    Śledzę dyskusję takie jak powyżej i nie wiadomo, czy śmiać się, czy płakać? Szanowni Koledzy i Koleżanki zakochani w pracy naukowej, jesteście „robieni w konia” na tej prostej zasadzie, że wysiłek (bardzo duży) pisania prac na poziomie światowym nie przekłada się w Polsce na rzecz uznaną wszędzie na świecie za ekwiwalent wysiłku, czyli na kasę.
    Punktacje, impact factory itp. przypominają bardziej grę towarzyską niż poważne zajęcie dla dorosłych ludzi, którzy myślą np. o założeniu rodziny, kupnie mieszkania, albo (o zgrozo!) odłożeniu kapitału na starość.
    Gra wciąga i nic dziwnego, że powstają czasopisma oparte na wzajemnej adoracji (cytowaniach), „spółdzielnie cytowań”, dopisywanie się do prac podwładnych, czy „turystyka konferencyjna” i jeszcze inne patologie. To są przecież elementy trików w grze towarzyskiej, i nic więcej. Bo tak naprawdę, KOGO TO OBCHODZI? Minister Kudrycką? Tylko o tyle, o ile, może przedstawić raport min. Rostowskiemu: ”Patrz, ile punktów zdobyłam za jaką małą kasę!”. Przyjemnej zabawy za 80 zł satysfakcji!
    Prawdziwe życie (utrzymanie rodziny, odkładanie na emeryturę) toczy się przecież gdzie indziej. To są fuchy (sorry, ekspertyzy), to są etaty i zlecenia ze szkół prywatnych, to są tzw. projekty unijne (są takie, do których recenzenta wybiera wnioskodawca), polegające często na umiejętnym obracaniu hasłami i tzw. szkoleniami.
    Nazwijcie mnie przyziemnym materialistą, proszę bardzo. Byłem już idealistą, materialistą, a nawet dualistą. Nihil novi sub sole… Ale dopóki praca badawcza i poznanie świata mnie cieszą, niewolnikiem gry w punkty i impakty nie będę.

    OdpowiedzUsuń
    Odpowiedzi
    1. Piep..... to wszystko, idę się zrobić. Przynajmniej na tyle mnie stać i tyle mogę odłożyć z mojej pensji naukowca.

      Usuń
    2. U nas ta "podwyżka" wyniosła średnio 72 zł brutto na głowę. Kilka osób dostało więcej (do 120 zł) ale tylko dlatego, że mieli pensję wyraźnie niżej dolnych widełek na swoim stanowisku. Kupiłem sobie za to co mi wyszło na rękę butelkę dobrego wina i się schlałem z radości.

      Usuń