piątek, 26 października 2012

Index Plus raz jeszcze

Otrzymałem od prof. Grzegorza Rackiego z Katedry Paleontologii i Stratygrafii Uniwersytetu Śląskiego dwa ciekawe teksty dotyczące programu MNiSW "Index Plus". 
Profesor pisze m.in.:
"tylko 5 polskich tytułów ma co najwyżej 30 pkt. (patrz ramka), a dalszych 10 uzyskało 25 pkt. [...] I do tego ekskluzywnego klubu pupili z <<diamentowej listy polskich czasopism>>, z okresowo weryfikowanym certyfikatem jakości, należałoby w pierwszej kolejności systematycznie kierować strumień finansowania na pokrywanie CAŁOŚCI kosztów wydawania"


oba teksty do pobrania w pdf: pierwszy i drugi

Z mojej strony pełna zgoda co do kierowania strumienia do najlepszych. Jednak dorzucę od siebie jedną wątpliwość: czy punkty MNiSW powinny być jedynym wyznacznikiem do kierowania strumienia finansowania? Dla przykładu: Studia Mathematica z ramki powyżej IF=0.6, a przecież jest kilka polskich czasopism nieuwzględnionych w ramce, które mają dwukrotnie wyższy IF. Podawałem jakiś czas temu przykład pokazujący, że czasopisma z IF3.8 oraz IF=0.8 mają takie same punkty wg. MNiSW...

michał żmihorski

21 komentarzy:

  1. To jest kolejny przykład na to, że polscy naukowcy uwielbiają kisić się we własnym sosie.

    OdpowiedzUsuń
  2. Chciałam tylko zwrócić uwagę, że IF jest dobrą miarą czasopisma, ale nie może on być oderwany od dziedziny, którą reprezentuje dany periodyk. Stąd np. najlepsze czasopismo z biologii molekularnej może mieć IF rzędu 40, a najlepszy tytuł z etnografii 1. Dlatego nie można na podstawie tylko tego jednego parametru porównywać czasopism z różnych dyscyplin. MNiSzW bierze nie tylko pod uwagę IF, ale też miejsce, na którym plasuje się dane czasopismo.
    Aneta Drabek

    OdpowiedzUsuń
    Odpowiedzi
    1. Pani Aneto, tutaj też są zdania podzielone - bo ten IF, czyli średnia liczba cytacji w jednostce czasu, też o czymś świadczy... Przerabialiśmy ten temat ostatnio, proszę rzucić okiem na tę dyskusję:

      http://zmihor.blogspot.com/2012/09/nowa-punktacja-czasopism.html#comment-form

      i tu:
      http://zmihor.blogspot.com/2012/09/ocena-czasopism-naukowych-wg-mnisw.html

      pozdrawiam,

      Usuń
    2. Panie Michale, przeczytałam wpisy i komentarze. Rozumiem, że zdania mogą być podzielone. Ja jednak pozostanę przy swoim. Porównanie czasopisma z jednej dziedziny z czasopismem z drugiej dziedziny tylko i wyłącznie na podstawie IF jest jak porównanie ziemniaka z porzeczką. Dziedziny "gorące", takie jak biologia molekularna czy immunologia zawsze będą mieć wyższą cytowalność niż np. matematyka. Głównie dlatego, że te pierwsze posiłkują się zwykle najnowszą literaturą, co ma zasadniczy wpływ na wysokość IF. Natomiast historyk czy matematyk równie dobrze może korzystać z prac XIX wiecznych, co oczywiście także przekłada się na to, że IF będzie niski. Do tego dochodzą zwyczaje cytowań charakterystyczne dla danej dyscypliny. Sporo na ten temat pisał prof. A. K. Wróblewski. Zachęcam do lektury choćby artykułu "Bibliometryczne nieporozumienia" (http://forumakad.pl/archiwum/2001/09/artykuly/17-polemiki-bibliometryczne_nieporozumienia.htm).
      Aneta Drabek

      Usuń
    3. Pani Aneto, szkoda czasu na przekonywanie niektórych uczestników tego forum. Pani naiwnie myśli, że u źródeł tych ocen parametrycznych jest troska o jakość nauki, a tak naprawdę chodzi o skanalizowanie źródeł finansowych. Nawet jeżeli na początku tworzenia tego systemu ktoś naiwnie sądził, że będzie on służył tej jakości to szybko się przekonał jak łatwo pewne grupy lobbingowe stworzyły okazję do przejęcia władzy i pieniędzy w nauce. Niech Pani zauważy, że te wszystkie wady systemu parametrycznego, o jakich pisał w 2001 roku prof. Wróblewski obecnie stanowią istotę oceny. Podpisując wczoraj wnioski na projekty dla młodych pracowników nauki zauważyłem, że podstawą wstępnej oceny w 70% jest sumaryczny IF, a tylko w 30% sam opis merytoryczny projektu, a więc ten największy absurd podnoszony przez prof. Wróblewskiego stał się podstawowym czynnikiem oceniającym. Ten system jest wygodny i dla gremiów oceniających (bo zwalnia ich od oceny merytorycznej, parametry robią to automatycznie) i dla tych, którzy w tym systemie osiągnęli największe profity (a więc dziedziny o najwyższej średniej cytowalności). Wszelkie dyskusje merytoryczne są błyskawicznie wyciszane demagogicznymi argumentami, że jakość nauki = IF. Nikt nie chce zauważyć jak ogromne szkody psychologiczne powoduje ten system, do jakich jarmarcznych kłótni dochodzi na posiedzeniach rad wydziałów, z jakim poczuciem wyższości osoby reprezentujące te wysoko impaktowalne kierunki traktują przedstawicieli innych, mniej IF-owanych dziedzin. Na dodatek robi się wodę z mózgu młodym pracownikom nauki i szczuje na siebie doktorantów (to nie są moje wymysły, jestem tego świadkiem na forum wydziału uniwersytetu z pierwszej piątki w Polsce). Niektóre wypowiedzi na tym forum są pokłosiem tych konfliktów. Przeraża mnie, że ci młodzi ludzie tak mało mówią o wartości nauki, a cały ich wysiłek idzie na biadolenie, że kolega z innej działki ma więcej punktów z mniejszego IF niż ja. Oczywiście, zaraz usłyszę, że jestem stary zgred bo tęsknię za czasami kiedy wszystko było po uważaniu, a klika profesorska pilnowała aby młodzi nie podskakiwali. Niestety, byłem jednym z pierwszych w Polsce, którzy wprowadzali system parametryczny do oceny własnej jednostki, a teraz z przerażeniem patrzę w jakim kierunku to się rozwinęło i jak ta rewolucja szybko zaczęła zjadać własne dzieci.

      Usuń
    4. W nauce widać jest w gospodarce, od skrajności do skrajności, od rewolucji do rewolucji. Mieliśmy socjalizm naukowy, gdzie kasta mędrców decydowała co komu i jak i gdzie większość opierała się tylko o ściany; teraz idziemy w kierunku bezmyślnego kapitalizmu, którego efektem są coraz to większe nierówności miedzy dziedzinami (analogicznie do nierówności społecznych). Widać, że żadna z tych skrajności nie jest dobra, ale kierunek podążania nauki jak i społeczeństwa nie jest wypadkową jakiś przepisów i decyzji, jest to raczej proces bezwładny - tak jak kula bilardowa po odbiciu podąża w zadanym kierunku aż do kolejnego odbicia. Obserwuję, że jest w świecie nauki coraz silniejsza presja w kierunku od parametrów, ale nawet kiedy dojdzie do przesilenia, bo dojdzie prędzej czy później na pewno, mam nadzieję, że Ci, którzy z takim rozrzewnieniem napominają o dawnych czasach, przypomnieli sobie takie same dobre chęci i intencje stały za tymi, którzy chcieli odwrotu od tego co było. Koniec końców, zalecam trochę umiaru obu stronom.

      Usuń
    5. Z wieloma obserwacjami podanymi powyżej się zgadzam, ale cel mojej wypowiedzi był nieco inny. Chciałam mianowicie zwrócić uwagę, że nie można porównywać między sobą czasopism z różnych dziedzin tylko i wyłącznie na podstawie impact factora. To nie ma nic wspólnego z wiarą. To fakt.
      Proszę pamiętać, że IF powstał jako narzędzie ułatwiające ocenę czasopism (podkreślam: czasopism) i ich wybór do indeksowania w SCI. To, że ten wskaźnik „awansował” do rangi czynnika oceniającego ludzi i jednostki, to na to nie miał wpływu nawet jego twórca Eugene Garfield. Tenże Garfield zawsze podkreślał, że w ocenie dorobku nie powinno się brać pod uwag tylko i wyłącznie oceny parametrycznej.
      U nas niestety nastąpiło pewne ujednolicenie ocen w ramach wszystkich dziedzin, właściwie nie uwzględniające ich specyfiki. Przedstawiciele tych dziedzin protestują i słusznie. Doszło również do zaburzenia (w moim przekonaniu oczywiście) proporcji i faktycznie demonizowaniu IF.
      Ja osobiście jestem zwolennikiem oceny mieszanej (i to pomieszanej w odpowiednich dla danej dziedziny proporcjach), czyli parametryczna + peer review. Uważam, że system recenzencki stosowany jako jedyny w Polsce się nie sprawdzi. Mogą wtedy dojść do głosu argumenty pozamerytoryczne; sama nieomal padłam ofiarą takich działań.
      Aneta Drabek

      Usuń
    6. "Proszę pamiętać, że IF powstał jako narzędzie ułatwiające ocenę czasopism (podkreślam: czasopism) i ich wybór do indeksowania w SCI."

      ten argument jest zupełnie nietrafiony; istnieją wszak także rankingi uczelni i studenci a także naukowcy kierują się tymi rankingami w swoich wyborach szukając uczelni czy pracodawcy pomimo, że są to rankingi uczelni. Niby dlaczego ci sami nie mieli się kierować w doborze czasopism rankingiem tychże czasopism? Wreszcie, po co czasopismu ranking?

      Gdy napiszę pracę zastanawiam się gdzie ją opublikować (lub myślę już o tym w trakcie pisania, tak by uniknąć dodatkowej zabawy w formatowanie tekstu). Decyzję podejmuję z założeniem poinformowania jak najszerszego grona naukowców o swojej pracy - to chyba logiczne. Dlatego patrzę m.in na IF czasopisma i mając już pewne doświadczenie, pozwalające mi na wykonanie w miarę trafnej samooceny (czasami po dyskusji z kolegami), wybieram czasopismo o wartości IF mieszczącej się w górnej granicy moich oczekiwań. Moim celem nie jest zatem opublikowanie w czasopiśmie o wysokim IF, ale nadanie rozgłosu swojej pracy. Przecież nasza praca jest dla innych nie dla nas. A zatem dobierając czasopisma na podstawie ich IF działamy dla czy przeciw postępowi w nauce? Wydaje mi się, że nie ma to znaczenia, ponieważ opublikowanie pracy w czasopiśmie o wysokim IF wiąże się z rosnącą konkurencjo, podobnie jak ma to miejsce z przestrzenią reklamową. Ludzie będą zatem wykorzystywali wszelkie dostępne mierniki, czy to oficjalne czy nie i z całą pewnością nie będą dążyli do samoograniczania się w imię jakichś idei. Swoją droga zawsze śmieszyło mnie takie 'ascetyczne' podejście do nauki, sprowadzające się do wyzbycie wszelkich własnych potrzeb osobistych w imię tzw. dobra nauki.

      Zastanawiam się zatem co by było gdyby nie publikowano impact factorów. Prawdopodobnie szukałbym czasopism o ugruntowanej renomie, takich w których sam znalazłbym najwięcej interesujących źródeł i takich, w których publikowały by osoby uznane prze zemnie za 'autorytety' w dziedzinie. Dlatego myślę, że brak IF niczego by nie zmienił.

      Usuń
    7. Nikt by nie protestował, gdyby rzeczywiście szło o to, o czym piszesz. Ambitny uczony w przeszłości, kiedy nikt nie wyliczał IF, tak właśnie postępował. I do tego momentu zgoda. Ale problem zaczął się wtedy, kiedy zaczęto wykorzystywać IF do parametryzacji środowiska (czytaj dzielenia kasy na naukę). W tym momencie rozum wysiadł i zaczęło się przeciąganie kołderki. Czy naprawdę uważasz prof. Wróblewskiego za idiotę? Ciekawe, że w USA w tej chwili raczej podzielają jego opinię w sprawie przydatności IF do parametryzacji jednostek (choć słusznie w dalszym ciągu uważają, że jest to bardzo dobry wskaźnik informujący o impaktowalności danych dziedzin, a również wartości czasopisma - z tym zastrzeżeniem, o którym pisze prof. Wróblewski, że w większości przypadków wysoki IF nadaje wąska grupa badaczy, a reszta się tylko podwiesza licząc, że może ktoś przy okazji zauważy i jego pracę). Cały czas jak podaje się przykłady obrazujące jak złudna może być wartość IF dla oceny jakości nauki i parametryzacji odwracacie kota ogonem i wmawiacie, że to taki doskonały wskaźnik, bo pozwala odróżnić lepsze czasopisma od gorszych. Tylko, że nikt z kontestujących nie negował tego znaczenia, również Pani Drabek. Nie podejrzewam, że macie problemy z czytaniem ze zrozumieniem.

      Usuń
    8. "a reszta się tylko podwiesza licząc, że może ktoś przy okazji zauważy i jego pracę"

      proszę bardzo, podwieś się w science :-) jakoś niewielu polaków się podwiesza, widać że w Polsce jesteśmy przeciw podwieszaniu się - honorowy kraj!

      Skoro o wartości pracy nic nie mówi IF czasopisma to dlaczego niby prace publikowane w czasopismach o wysokim IF, ale słabo bądź w ogóle nie cytowane należałoby traktować jako gorsze skoro IFu tego czasopisma nie należałoby traktować jako wyznacznika jakości publikacji?

      Usuń
    9. O wartości pracy mówi z jednej strony wskaźnik cytowalności tej konkretnej pracy i to nie tylko w ostatnich dwóch latach, ale w znacznie dłuższym okresie czasu i pod warunkiem, że nikt nie wykaże iż ta wysoka cytowalność nie jest efektem rzucenia się innych na opublikowaną bzdurę i jeżeli ta praca przejdzie do podręczników itp. Zawsze myślałem, że to jest jasne ale widać, że nie dla wszystkich. Powtarzam jeszcze raz, warto wysyłać swoje publikacje do topowych czasopism (bez względu na wartość bezwzględną IF, bo jak już dowiedziono różne dziedziny mają ten top ustawiony w różnym miejscu, co słusznie Pani Aneta i inni zauważyli). Jeżeli napisaliśmy coś naprawdę dobrego to jest większa szansa, że w takim czasopiśmie zostanie szybciej zauważona i doceniona. Ale jeżeli taka praca nie zostanie cytowana, to jej wartość jest taka sama jak pracy nie opublikowanej (chyba, że mamy do czynienia z dziedziną, gdzie weryfikacja jest pokoleniowa jak to się dzieje np. w taksonomii i wtedy mamy bardzo długo odłożoną cytowalnośc). Pisząc powyżej o wartości czasopisma własnie to miałem na myśli, ta wartość wynika z potencjału nośnika, a nie oznacza automatycznie, że każda tam zamieszczona praca ma tą najwyższą jakość. I tak właśnie rozumieją wartość czasopism z listy filadelfijskiej w USA i o tym pisał prof. Wróblewski. Tak się składa, że podwiesiłem się w Science, wprawdzie nie opublikowaną tam pracą (w mojej dziedzinie nie sięga się tak wysoko), ale jako cytowanie mojej pracy. Też satysfakcja, czego i Koledze życzę.

      Usuń
    10. "O wartości pracy mówi z jednej strony wskaźnik cytowalności tej konkretnej pracy i to nie tylko w ostatnich dwóch latach, ale w znacznie dłuższym okresie czasu i pod warunkiem, że nikt nie wykaże iż ta wysoka cytowalność nie jest efektem rzucenia się innych na opublikowaną bzdurę i jeżeli ta praca przejdzie do podręczników itp."

      To stwierdzenie właściwie wyklucza jakąkolwiek ocenę. To jak samospełniająca się przepowiednia. Pomijam tutaj fakt, iż liczba cytowań jako taka nie ma żadnej przewagi nad IF, w zasadzie sprowadza się do tego samego. Są dziedziny 'gęściej obsadzone', przez co 'gęściej cytowane' i vice versa. Ta nierówność prowadzi do odchodzenia od pewnych dziedzin na korzyść innych, co jeszcze pogłębia tą nierówność. Jednocześnie wzrost cytowalności wcale nie przekłada się na jakość i rozwój dziedzin, prowadzi raczej do rozdrabniania publikacji i do transakcji wymiennych (ja ciebie ty mnie).
      Wreszcie, liczby cytacji są zupełnie niepraktyczne jeśli chodzi o młodych naukowców. Jeśli już to IF jako całkiem niezły predyktor cytowalności jest tutaj lepszym wyznacznikiem jakości ich prac niż te pojedyncze cytacje, którymi mogą się pochwalić. Pamiętajmy, że w przypadku młodych naukowców, ocena ich dorobku powinna bazować przede wszystkim na próbie oszacowania ich potencjału na podstawie dorobku niż na próbie oceny samego dorobku i sumaryczny IF nie jest w tym kontekście wcale taki idiotyczny, ale rozumiem prof. Wróblewski powiedział to stul p...

      Usuń
    11. "Pomijam tutaj fakt, iż liczba cytowań jako taka nie ma żadnej przewagi nad IF, w zasadzie sprowadza się do tego samego"
      W takim razie kolego nie wiesz, jak się wylicza IF. Akurat na pewno nie jest to to samo. Jedna praca wielokrotnie cytowana może bardzo podnieść IF czasopisma, ale to wcale nie wpływa na wartość tych pozostałych prac. Dalej piszesz dokładnie to samo co ja, tylko innym językiem. Cały czas staram się uświadomić, że wrzucanie do jednego wora różnych dziedzin biologii jest krzywdzące dla tych niżej impaktowalnych. Natomiast zupełnie nie zgadzam się z wnioskiem końcowym, że sumaryczny IF jest dobrym parametrem oceniającym młodego naukowca. Piszę to jako osoba w przeszłości będąca w gremiach przyznających granty. Gdyby zastosować ten parametr to sporo osób, które obecnie są na topie w polskiej biologii nie dostało by wtedy grantów i nie wiadomo jak by się ich losy potoczyły. A myśmy im zaufali i przyznali granty oceniając merytorycznie ich projekty (wtedy była ocena merytoryczno-parametryczna), często po burzliwej dyskusji w ramach komisji w KBN. Zupełnie kuriozalny jest twój wniosek, że młodych nie powinno się oceniać na wartości ich dorobku. Jak ktoś nie potrafi wymyślić coś wartościowego na początku swojej drogi to niby jak mam ocenić jego wartość. Oczywiście, jak przyjmą mu pracę do dobrego czasopisma to jest to namacalny dowód wartości, ale ja wyżej własnie o tym piszę. Ale IF tego czasopisma już niekoniecznie automatycznie daje wartość tej pracy, bo ją weryfikuje przyszłość.

      Usuń
  3. Pan profesor Wróblewski nie może się niczym wielkim pochwalić w swojej karierze i jak wielu innych nierobów zabiera publicznie głos próbując usprawiedliwiać swoją małość, zrzucając winę na ocenę parametryczną i impakt faktory. Polacy to taki naród, który zamiast wziąć się do pracy, woli prawić długie i bezsensowne dysputy. Zacznijcie publikować wszyscy w takich czasopismach jak Ecology, American Naturalis czy Ecology Letters, to wtedy będzie się można bawić w rozprawy o sensie i bezsensie parametryzacji. Bo póki co, z waszego marnego gadania/pisania wynika, że najlepiej byłoby uprawiać polską naukę po polsku, najlepiej w Wiadomościach Ekologicznych.

    OdpowiedzUsuń
  4. Anonimowy, przytemperuj troche swoj jezyk, a jesli kogos nazywasz nierobem, to miej odwage sie podpisac.
    michal

    OdpowiedzUsuń
  5. Anonimowy się pewnie nie podpisze bo sam wygląda na takiego co prawi dysputy. Mogło by się jeszcze czasem okazać, że również zalicza się do nierobów, odmiany nadętych :-)

    OdpowiedzUsuń
  6. Bardzo proszę trzymać poziom dyskusji i nie wyjeżdżać z mocnymi personalnymi tekstami, bo będę usuwał takie komentarze!

    OdpowiedzUsuń
  7. A system osf oczywiście padł w czasie, kiedy powinien być najbardziej wydajny (ponoć mamy wybitnych informatyków w kraju). I jak tu uprawiać naukę na wysokim poziomie, jak już od podstaw wszystko jest demotywujące....

    OdpowiedzUsuń
  8. System padł bo pewnie ci co mieli złożyć już złożyli ... :-)
    Ostatnio miałem przeboje z pewnym wnioskiem bo system padł a jak się podniósł to była jakaś dodatkowa informacja wymagana, wniosek cofnęło i wyjaśnienia w Ministerstwie, dowody, że wysłano etc. nic nie pomogły ... Wniosek był za późno i przesunięto na następny termin. Tu akurat chodziło o dofinansowanie towarzystwa naukowego.

    OdpowiedzUsuń
  9. U mnie system OSF śmiga jak szalony. Wniosek wręcz pisze się sam.. ;)
    Masz już zatem możliwość uprawiania nauki na wysokim poziomie Anonimie ;)

    OdpowiedzUsuń