czwartek, 4 października 2012

Uwagi i zastrzeżenia dot. listy czasopism + pytanie

Na stronie MNiSW pojawiła się informacja, że do dnia 19 października można przesyłać "zastrzeżenia i uwagi" do listy czasopism. Może być to szansą dla w ten czy inny sposób poszkodowanych czasopism, chociaż nie jest jasne na ile obecna lista może jeszcze się zmienić. Generalnie dobrym pomysłem wydaje się wnoszenie uwag dotyczących przestarzałego Impact Factor - skoro od kilku miesięcy jest nowy, dlaczego cały system jest budowany w oparciu o ten już dawno nieaktualny? Może warto podjąć próbę uaktualnienia tej listy zanim zostanie przyjęta w ostatecznej formie?

szczegóły komunikatu tu:
http://www.nauka.gov.pl/ministerstwo/komunikaty/komunikaty/artykul/informacja-dotyczaca-wykazu-czasopism-naukowych/

a teraz pytanie: cała dyskusja o systemie oceny czasopism i związaną z nim oceną pracowników i jednostek powinna się zacząć od tego jak jest u naszych zachodnich sąsiadów? Czy ktoś może był lub slyszał i wie jak to wygląda w UK, USA czy np. w Niemczech??? Może całym tym systemem punktów, dość sprzecznym z rankingiem wg. Impact Factor wyważamy od dawna otwarte drzwi? Czy nie byłoby łatwiej zaadoptować system już funkcjonujący? A może najnowsza propozycja MNiSW jest właśnie tego przykładem? Myślę, że wiele osób chętnie o tym poczyta zatem prosimy bardziej doświadczonych o komentarze!

michał żmihorski

12 komentarzy:

  1. W USA w wielu dziedzinach biologii (mogę się wypowiadać tylko o tych, które znam z autopsji) w ogóle nie stosuje się IF dla oceny jednostek lub pracowników, a nawet uważa się, że system na tym oparty może być korupcjogenny (pisał już o tym swojego czasu prof. Walicki http://www.przeglad-tygodnik.p... ale jakoś dziwnie przemilczano ten artykuł). Na Uniwersytecie Davis w Kaliforni (w zeszłym roku nr jeden na liście rankingowej jednostek w dziale entomologia), w jednostkach środowiskowych każda praca opublikowana w czasopiśmie z tzw. listy filadelfijskiej jest równocenna, bez względu na IF i młodzi badacze jeżeli mają dorobek w takich czasopismach zwykle nie mają problemów z pozyskiwaniem grantów. Generalnie, w USA nie wrzuca się do jednego worka wszystkich dziedzin biologii, tylko wyraźnie dzieli się na te niskoimpaktowe i wysokoimpaktowe i ocen dokonuje się wewnątrz grup. Unika się w ten sposób konfliktów środowiskowych i wyniszczania kierunków bioróżnorodnościowych, niskoimpaktowych z samego charakteru tych dziedzin. Na tym samym uniwersytecie w Davis jest pracownia fizjologii owadów, której dorobek jest miażdżący parametrycznie w stosunku np. do też wiodącej pracowni owadów społecznych, ale nikomu nie przychodzi do głowy porównywać parametrycznie tych jednostek, gdyż pierwsza konkuruje w grupie eksperymentalnej i laboratoryjnej, zaś druga w bioróżnorodnościowej. Mimo znaczących różnic punktowych w dorobku (gdyby je liczono polskim systemem) obie uchodzą za wiodące w swoich dziedzinach w USA, obie zdobywają duże granty na kontynuacje swoich badań i znane są w całym świecie, i każdy student ze świata marzy o załapaniu się na PhD w tych jednostkach (nota bene w pracowni owadów społecznych jest obecnie studentem doktoranckim i pracownikiem na pół etatu były doktorant Uniwersytetu Wrocławskiego, wcześniej grantobiorca w fundacji E. Mayra Uniwersytetu Harvardzkiego, a obecnie również zdobywca grantu National Geographic na badanie mrówek Madagaskaru, o czym donosiła prasa - w Polsce, przy jego dorobku parametrycznym raczej nie miałby szans na taką karierę). To pokazuje, że przy całym systemie konkurencyjności w USA tworząc systemy oceny nauki pracują tam głową, czego życzę polskim twórcom ocen parametrycznych.

    OdpowiedzUsuń
    Odpowiedzi
    1. Wracamy zatem do punktu wyjścia, czyli do róbta co chceta,bo w Polsce z tym właśnie mieliśmy do czynienia gdy oceny parametrycznej nie było. Argumenty które przytaczasz są analogiczne do stwierdzeń osób tłumaczących dlaczego w Skandynawii jest porządek a u nas bałagan. Niby tam nikt nikomu nie musi przypominać, że nie należy robić pod siebie, i o dziwo nikt nie robi. Tylko, że my żyjemy w Polsce i się robi!
      Dlaczego zatem Amerykanie są tak mądrzy? ano wcale nie są tacy mądrzy tylko ich system powstawał oddolnie przez kilkaset lat a u nas tworzy się go odgórnie w lat kilka, próbując ramami prawnymi zastąpić ludzką mentalność. Jakichkolwiek ram by nie użyć, Polak sobie poradzi. Moim zdaniem jedynym sensownym systemem jest jak najszersze otwarcie Polskiej nauki na świat. Tylko wymiana krwi i jak najszersze włączanie naukowców spoza Polski w procesach decyzyjnych może coś zmienić.

      Usuń
    2. Pewnie masz trochę racji odnosząc to do naszej mentalności, ale z tą Ameryką to nie do końca tak jest. Akurat w USA jakieś 30 lat temu istniał system parametryczny bardzo podobny do Polskiego (w tym sensie, że wrzucono do jednego wora całą biologię). Na początku bardzo wierzono w obiektywizm takich ocen ale później zorientowano się, że system wycina całe dziedziny biologii i sprzyja powstawaniu korupcyjnych spółdzielni nabijających cytowalność. W efekcie np. prawie zniszczono systematykę i taksonomię i nie jest przypadkiem, że w tej chwili kuratorami w dużych muzeach przyrodniczych w USA są głównie ludzie z łapanki w krajach europejskich, często ze wschodniej Europy, lub Latynosi. Aby przełamać ten kryzys stworzono system, który się bardzo różni od naszego przede wszystkim tym, że nie jest już centralistyczny. Nawet jak są wielkie fundacje rządowe finansujące naukę, to w ich obrębie wyróżniono niezależne ścieżki dla dziedzin charakteryzujących się różną impaktowalnością. Ocena każdego projektu i jednostki jest podwójna merytoryczno-parametryczna z naciskiem na merytoryczną. W biologii molekularnej i eksperymentalnej u nich też wartość IF i H-i jest mocno eksponowana, ale już w bioróżnorodnościowej prawie wcale. W tej drugiej działce tak jak wyżej napisałem ważne jest tylko aby pisać do czasopism filadelfijskich i bardzo liczą się duże monografie - to ostatnie jest ważne bo osoba pisząca dużą monografię z reguły ma mały dorobek ilościowy w tych latach i musi to być zrekompensowane (w naszym systemie pisanie monografii to samobójstwo, bo i nie ma czasu na mniejsze prace i za efekt końcowy dostanie się tyle punktów co poślednia pracka w czasopiśmie). Poza tym tam są różne fundacje pozarządowe finansujące biologów środowiskowych takie jak wspomniana wyżej Fundacja E. Mayra (do której mogą startować młodzi badacze z całego świata, tak jak do National Geographic Foundation). Generalnie ten system powoduje, że nie ma czegoś takiego jak obserwuje się na tym forum, gdzie młodzi pracownicy jednych dziedzin (sami często jeszcze raczkujący) wypominają różnym ptakolubom i faunistom, że zajmują się bzdurami, a nie wielką nauką. Spory toczą się wewnątrz dziedzin na poziomie merytorycznym, a nie o wyższości jednych świąt nad drugimi i każda osoba dobrze pracująca w swojej działce ma szansę na w miarę obiektywną ocenę bez absurdalnych porównań (np. patrz, a twój kolega z biochemii ma już kilka prac za 40 punktów z IF > 3, a ty tylko 10 z IF poniżej 1). Nasz system stwarza dziwne paradoksy. Patrzę na obecną tabelę i widzę, że Myrmecological News jest na 5-tej pozycji w tabeli entomologia (co mnie akurat osobiście cieszy). Daje to szansę w najbliższym czasie na chyba 40 punktów (nie chce mi się liczyć tych procentów). Przeglądam ostatnie tomy tego czasopisma, czy ktoś z Polski tam opublikował jakąś pracę i znajduję jedną. Tym samym najwyższą liczbę punktów w polskiej taksonomii ostatnich lat uzyska notatka o nowym dla Polski gatunku mrówki. Super strzał. I tyle komentarza.

      Usuń
  2. Tylko kto i jak będzie definiował dziedziny i do jakiej dziedziny się wpisać? Jeśli zajmuję się zachowaniami społecznym owadów to jestem faunista, entomologiem czy ekologiem behawioralnym, czy też kimkolwiek byle by stać wyżej w porównaniach.

    OdpowiedzUsuń
  3. Jeśli miałbym jakieś zastrzeżenia do tej listy, to być może takie, żeby była ona na bieżąco aktualizowana. Jest to pewnego rodzaju kuriozum, że wymaga się o naukowców efektywności w pracy, a jacyś ludzie w ministerstwie się opierniczają. Trudno tego tak nie nazwać, skoro do oceny parametrycznej używa się listy z 2010 roku, czyli już nieaktualnej. To jest zupełnie niezrozumiałe dla mnie, jak taka listę można konstruować przez kilkanaście miesięcy, skoro mając bazę impaktów, jest to zadanie na 15 minut do wykonania w excelu. Jeśli pracownicy w ministerstwie tego nie potrafią zrobić, to ja się polecam ;-)) (będę na pewno tańszy i szybszy).
    Co się zaś tyczy samej ideologii, to zlikwidowanie ocen parametrycznych doprowadziłoby do chaosu i zapaści. Po pierwsze, mniej ambitni pracownicy poczuliby zupełny luz, zaś z tych bardziej ambitnych "zeszłoby powietrze" ;). Wystarczy popatrzeć co ocena parametryczna zrobiła z instytutami panowskimi, których istnienie w znacznej mierze polega na publikacjach. Wielu ludzi zaczęło dobrze publikować i to jest in plus. Zresztą były na tym forum już głosy oburzonej kadry uniwersyteckiej, że jednostki panowskie zaczynają wygrywać z nimi w konkursach grantowych. I bardzo dobrze. Trzeba pamiętać, że większość instytutów panowskich była w głębokiej zapaści (niektóre dalej są), ale ocena parametryczna doprowadziła do tego, że pewne z nich zaczęły dosyć sprawnie naukowo funkcjonować.
    I jeszcze małe ale. W USA wcale nie jest tak różowo jak opisuje to powyżej kolega, który miał okazję tam podróżować. Konkurencja o pieniądze jest ogromna. Owszem, w obrębie dziedzin, ale procent finansowania grantów jest znacznie mniejszy niż w Polsce. No chyba, że stara się o jakieś granciki z różnych towarzystw, to rzeczywiście można i tak zarabiać na chleb.

    OdpowiedzUsuń
    Odpowiedzi
    1. Co do dwóch pierwszych akapitów to masz dużo racji. Jeżeli chodzi o ostatni akapit to sprawa jest bardziej skomplikowana. Pojęcie grantu w USA jest dużo szersze niż u nas. Możesz starać się o indywidualny grant, tak jak w naszym systemie i tu rzeczywiście konkurencja jest bardzo duża (czy większa niż w Polsce to dyskusyjne, w rozmowach z kolegami z USA odniosłem wrażenie, że jest podobnie; może w biologii molekularnej jest trudniej). Ale tam też funkcjonuje coś takiego jak grant na instytucję tzn. cały zespół. Jest więc duży projekt zbiorowy i w ramach niego możesz otrzymać grant na utrzymanie całej pracowni, etatów technicznych i grupy doktorantów (można z niego nawet opłacić czesne dla doktoranta i wykroić dla niego część etatu - tak funkcjonuje wspomniany powyżej nasz były student pracujący na mrówkach; kto w Polce dałby mu 30000$ na czesne i pół etatu w pracowni badań molekularnych mrówek?). Jeżeli taka pracownia wykaże się dużymi osiągnięciami jej szanse bardzo wzrastają przy następnym ponowieniu grantu, ale też bardzo wzrastają szanse jej pracowników i doktorantów na otrzymanie grantów indywidualnych (sumuje się jakby sukces pracowni i jednostek tam pracujących). Trudno mi mówić jaki jest sukces w procentach, bo nie mam dokładnych statystyk, ale generalnie spotykałem się z optymistycznymi opiniami (ale tu może być artefakt bo to były jednak rozmowy z ludźmi pracującymi w jednej z najlepszych jednostek).

      Usuń
  4. Kiey czytam te komentarze, to odnosze wrazenie, ze jednak system zaproponowany przez MNiSW jest niezly. Bo przeciez dzieki na dziedziny korzystajac z podzialu ustalonego w ISI. Jak ktorys z przed-piszacych powiedzial, w USA "wazne jest tylko aby pisac do czasopism filadelfijskich". DO tego sie sprowadza lista ministerialna - pisac do najlepszego czasopisma w danej dziedzinie ujetego w liscie ISI. Owszem, problemem sa monografie. Jak rowniez zauwazyl Anonim, monografia w Polsce to samobojstwo. ALe tu sie klania wlanie nasz mantalnosc i koniecznosc ustalenia co jest czym. Bo czy mozna postawic znak rownosci pomiedzy monografia wydana przez University of Chicago Press a monografia wydana przez "wydawnictwo pod psia buda". Nawet jesli obie sa napisane po angielsku? A niestety tak jest, ze na naszych uczelniach ludzie ida do wydawnictw, ktorych jest co niemiara, wydaja co popadnie i w rozliczeniu podaja to jako wielka monografie. NIe jest tak? MOze wiec napisac do Ministerstwa propozycje, co uznac za rzetelna monografie i takowa powinna byc punktowana jak dobre, badz nawet najlepsze czasopismo?

    I jeszcze ze wspomnien. Kiedy kilka lat temu opowiadalem swoim kolegom z USA i innych, tzw. rozwinietych naukowo krajow jaki jest u nas system oceny, to wszyscy byli zachwyceni, ze mamy w miare obiektywny system, ktory na rowno ocenia prace w najlepszych czasopismach z entomologii i z medycyny. Bo do tego ten system ma sie przeciez sprowadzac.

    michal

    OdpowiedzUsuń
    Odpowiedzi
    1. Kolego Michale, masz wyjątkowa zdolność do rozwadniania dyskutowanych problemów uciekając od meritum. Prawo można tworzyć na dwa sposoby: po pierwsze zakładać, że wszyscy to złodzieje i oszuści więc trzeba maksymalnie wszystko zapisać w paragrafach (zauważam, że popierasz ten punkt widzenia); po drugie można stworzyć jakieś ogólniejsze zasady i liczyć, że ta lepsza część na tym skorzysta, natomiast tych oszustów tępić już indywidualnie (ja jestem zwolennikiem tej zasady). Popieram konieczność pisania do czasopism o światowym zasięgu (czytaj indeksowanych przez ISI), ale też do widzenia ogromnych nieraz różnic pomiędzy dziedzinami (tak jak to robią w USA). Obecnie te tzw. "jednorodne" dziedziny w tabelach ISI to fikcja. Z jednej strony jest niezwykle jednorodna ornitologia (fajnie pracować w tej dziedzinie w Polsce), bardzo rozbite na jednorodne działy biologie molekularne i eksperymentalne (które i tak są bardziej redukcyjne z natury), a cała systematyka jest w zasadzie w dziale Zoologia, gdzie rozrzut parametryczny jest ogromny. Jak pracujesz na owadach to jeszcze możesz się załapać do działu Entomologia, ale tam też jest miszmasz w porównaniu z ornitologią (bo czasopisma poświęcone fizjologii owadów czy biologii molekularnej owadów mają się nijak do ekologii czy taksonomii (zobacz, że te właśnie tytuły redukcyjne dominują na szczycie tej tabeli). Ale trudno się dziwić skoro najlepsze czasopisma taksonomiczne mają IF raczej poniżej 1. W USA jak pracujesz na fizjologii owadów to jesteś fizjologiem, a nie entomologiem o czym pisałem już wyżej. Wiem, że pojęcie monografii było w przeszłości wypaczane, ale deprecjonowanie tego typu dzieł w punktacji tylko dlatego, że w przeszłości ktoś oszukiwał uważam za przejaw idiotyzmu (i myślę, że nie było to spowodowane tylko tym o czym piszesz, po prostu wykorzystano pretekst). Ciekawe, że te wszystkie komitety tak ostro weryfikują dane nadsyłane przez jednostki czy ktoś się nie pomylił w punktacji, a nie są w stanie ocenić czy coś co jednostka typuje jako monografię jest nią czy nie (bez względu na miejsce wydania, mogę podać przykłady bardzo wielu świetnych monografii wydanych w Polsce w ostatnich latach, które uzyskały wysokie oceny poza granicami kraju, ale dziś ich autorzy zbierają baty za małą punkto-produktywność od zarządzających jednostkami naukowymi).
      A co do ostatniego akapitu to z takich samych rozmów prowadzonych z kolegami z USA w ostatnich latach wniosek był zupełnie odmienny. Wszyscy nam współczuli, że system spowoduje skonfliktowanie środowiska, wytnie niektóre dziedziny biologii i, w przeciwieństwie do USA, nie będziemy w stanie już tych szkód naprawić bo nas nie będzie stać na drenaż mózgów i tak jak oni nie będziemy w stanie szybko odbudować te braki. Ale słuchając różnych opinii dookoła, również z tego forum to odnoszę wrażenie, że spora część środowiska właśnie marzy o wycięciu niektórych działów biologii (no bo kołderka za krótka, i nie można marnować pieniędzy podatnika, i oczywiście IF jest najważniejszy itd.).

      Usuń
  5. Szanowny Anonimowy, czy ja uciekam od meritum? To moze powinienem sie zapytac, co jest tym meritum? Po raz kolejny udowadnianie, ze trawa jest zielona, a ocena parametryczna jest be? Uwazam, ze obecne rozwiazanie daje jakas mozliwosc 'zarabiania punktowo-statutowego' wszystkim, bez wzgledu, czy jest to botanik, czy medyk.
    Tez chcialbym aby ocena parametryczna byla niepotrzebna, zeby nie bylo niewidomo ilu list i kategorii i zeby pieniadze kapaly z nieba. I chcialbym tez aby wszystkiego nie wpisywac w rozporzadzenia, ustawy, listy etc. ALe zgodzisz sie chyba, ze zasada ogolna panujaca w cwaniactwie jest nastepujaca: nie wpisano co to monografia, wiec jest to kazda ksiazeczka o danej obietosci arkuszowej a nieistotnej zawartosci marytorycznej. I punty sie nabijaja.

    michal

    OdpowiedzUsuń
  6. Nikt mi nie wmówi, że "wybitna" monografia, którą cytuje 5-10 osób, była warta czasu, pieniędzy, papieru i tuszu. Niech sobie ministerstwo punktuje monografie, ale niech to będą książki wydawane w znanych seriach wydawniczych (Springer, Willey itp) i recenzowane przez zagranicznych specjalistów. Założę się, że liczba polskich wspaniałych monografii w takim przypadku się nie zwiększy.

    OdpowiedzUsuń
    Odpowiedzi
    1. Bralem udzial w ocenie placowek naukowych we Francji (AERES) i w Niemczech (DFG). W obu przypadkach zasada byla podobna. Powoluje sie zespol uczonych, w polowie (Francja) lub wylacznie z zagranicy (Niemcy), ktory albo wizytuje placowke albo wysluchuje jej przedstwicieli w siedzibie agencji finansujacej. Panel otrzymuje ponadto listy publikacji kazdego zespolu i plany badawcze. W rezultacie panel oceniajacy przedstawia rekomendacje. Tyle, jesli idzie o podstawy finansowania instytucjonalnego, przyznawanego w drodze konkursu. Proba paramertryzacji jest uznana, za skazana na porazke, bo jako porownac to czego sie nie da. Oczywiscie, inna choroba naszego systemu (zwlaszcza w porownaniu z USA) jest, ze ciagle jeszcze wiecej pieniedzy plynie do instytucji, a nie nie do badaczy (granty!).

      Usuń
  7. Warto poczytać rozważania na powyższe tematy na zaprzyjaźnionym blogu:
    http://ekulczycki.pl/warsztat_badacza/jak-liczyc-punkty-za-publikacje-z-lat-1999-2012/

    OdpowiedzUsuń