piątek, 11 września 2015

Podział punktów za publikacje

Update:
tak wygląda publikacja w Science, powstała w wyniku pracy międzynarodowego zespołu fizyków/astronomów... I jak dzielimy tu punkty?


Na blogu Emanuela Kulczyckiego ciekawe informacje odnośnie najnowszego projektu algorytmu dzielącego punkty:

http://ekulczycki.pl/warsztat_badacza/podzial-punktow-za-publikacje-ostateczny-projekt/


62 komentarze:

  1. Przy tak skomplikowanym sposobie wyliczania, nie bardzo wierzę w prawidlowe fiuncjonowanie systemu do oceny parametrycznej. Już w poprzednim, w moim przekonaniu, pojawialy się pewne błędy, a teraz to chyba się system pogubi w tym liczeniu i zaliczaniu lub nie poszczególnych publikacji do dorobku jednostki, w powiazaniu z 3 N itd. A to jest kluczowe w ocenie jednostek, porównywaniu w grupach jednorodnych itd.. Już poprzednio nie było łatwo i trudno było dociec czemu te a nie inne publikacje nie zostały uwzględnione (starałem się to posprawdzać, ale w przypadku co najmniej kilku publikacji poległem). A teraz pogmatwa sie jeszcze mocniej i kontrola będzie trudniejsza.
    No i chyba teraz więcej się uzyska punktów za publikacje 20-25p jednoautorskie(jednojednostkowe), niż za wysokie wieloautorskie, gdy autorem z jednostki bedzie jedna osoba. Nie widze tu więc wzmocnienia wspólpracy między jednostkami. Raczej chyba idziemy w kierunku powstawania dużych zespołów w obrębie jednostek..
    pozdr

    OdpowiedzUsuń
  2. Przeniesiony z innego wątku post Anonimowego:
    Wszyscy wiemy, że te pozorowane modyfikacje rozporządzenia nic nie zmienią na lepsze. Lobby już wszystko ustaliło, teraz będą beneficjentami nowych zasad. Przeczytajcie wpis "starego zgreda" blogu Kluczyckiego. W jakim normalnym i cywilizowanym kraju wprowadza sie totalnie odrealnione nowe zapisy pod koniec 3 letniego okresu rozliczeniowego (vide parametryzacja) ?! Tak może być tylko w tym kraju. Chodzi wyłącznie o kase dla uczelni z kieszeni polskiego podatnika.

    OdpowiedzUsuń
  3. Mnie przede wszystkim przeraża fakt, że po 3 latach pracy grupa geniuszy wymyśla dość skomplikowany algorytm, mający działać wstecz, który jest niejasny. To pokazuje kondycję merytoryczno-organizacyjną MNiSW...

    OdpowiedzUsuń
    Odpowiedzi
    1. Czyli gdybyś wiedział 3 lata temu to byś nie współpracował czy co? Czy też może nie dopisałbyś kilku kolegów a oni ciebie? Twoja wypowiedź Michale tylko dowodzi jak bardzo ta zmiana jest potrzebna.

      Usuń
    2. Chyba jak bardzo zmiana jest pozbawiona sensu, logiki, rozsadku, itp....

      Usuń
    3. Anonimowy12 września 2015 20:05. A Twoja wypowiedź dowodzi, że przejawiasz mentalność spiskową i wykorzystujesz anonimowość, żeby to uzewnętrzniać ;-)

      Usuń
  4. Sluchajcie, mamy Hit na swiatowa skale, ktorego nie powstydziliby sie nawet Rosjanie. Karanie za naukowa wspolprace miedzyosrodkowa. Fenomen na skale swiata.

    OdpowiedzUsuń
    Odpowiedzi
    1. Ja chciałbym zauważyć jeszcze jedno. Otóż te wszystkie naukowe próchna, które tak aktywnie krzyczały na tym blogu nagle zamilkły! Widać system zawrócił na właściwe tory - będzie miło, fajnie i bezstresowo. Co jakiś czas opublikuje się głupawą monografię o jakimś żuczku, koledzy napiszą entuzjastyczne recenzję i nauka polska w siłę rosnąć będzie.
      Fred

      Usuń
    2. To bardzo smutne co piszesz Fred, ale możesz mieć bardzo dużo racji. To był być może zasadniczy cel zmian. Teraz pieniądze dla uczelni będ wydawane w milionach na pokrycie kosztów monografii i byle jakich publikacji w wydawnictwach uczelnianych. Kto na tym skorzysta ?

      Usuń
    3. Powiem wprost, mnie to wa.i. To co dla innych, jest naukowym "mount everest", to dla mnie jest podejściem na Turbacz od strony Rdzawki. Jak trzeba będzie, to wypuszczę tych kilka papierów "solo" do Chrońmy Przyrodę Ojczystą, albo Polish Journal of Ecology, i tych punktów "nastukam". Szkoda tylko, że Polska Nauka, znowu zaczyna być dominowana przez debili, nieudaczników i generalnie schodzi na psy, jak za sowieckich czasów....

      Usuń
  5. Właśnie przetłumaczyłam główne zmiany w rozporządzeniu na temat parametryzacji dla znajomych z zagranicznych ośrodków. Są delikatnie mówiąc w szoku. Pytają się tylko czy to prawda, czy żartuję, że tak będzie wyglądać ocena aktywności naukowej na uczelniach od 2016 roku.

    OdpowiedzUsuń
  6. Koleżanka, świetny naukowiec która przeczytała ten blog i blog EK, a która od lat pracuje na światowym poziomie dzięki współpracy zagraniucznej oświadczyła mi, że podejmuje decyzję o wyjeździe. Ma już dość tego co się dzieje w polskiej nauce.

    OdpowiedzUsuń
  7. Przemek Chylarecki13 września 2015 00:03

    We wzorze na sukces brakuje mi jedynie liczby orgazmów delikwenta w okresie sprawozdawczym (te z partnerem pozamałżeńskim miałyby współczynnik 0,86 ważona przez długość znajomości z partnerem wyrażoną w latach). Myślę, że bardziej skompromitować tego systemu wymyślania koła od nowa - już się nie da. Gratuluję PT Kolegom. Sugeruję, by opracowanie tego projektu było punktowane w ich dorobku na specjalnych zasadach związanych z ko(s)miczną innowacyjnością. Bardziej serio - ktoś tu powinien jednak powiedzieć Autorom, że nie wolno odstawiać psychotropów na dłużej niż 2 dni.

    OdpowiedzUsuń
  8. "Szkoda tylko, że Polska Nauka, znowu zaczyna być dominowana przez debili, nieudaczników i generalnie schodzi na psy, jak za sowieckich czasów....". No i prosze jaki placz i zgrzytanie zebami. O co? O to, ze ktos wreszcie zorientowal sie o co chodzi w tym patencie na wspolprace z zagranica i wybitnosc. Wysylalo sie goscia na zewnatrz, on tam myl szkielka, wracal, byl dopisywany (za to mycie) i stukalo 35 pkt. razy kilka (tak bylo). Glupia sprawa, trzeba bedzie zrobic cos samemu tutaj. Hee, hee, Nauka Polska straci... no po prostu bajka.

    OdpowiedzUsuń
    Odpowiedzi
    1. No brawo. Funkcjonujesz umysłowo w 19tym wieku. Zobacz sobie na te prace publikowane w najlepszych czasopismach (o ile w ogóle do nich zaglądasz, bo pewnie czytujesz zeszyciki uczelniane), to zobaczysz jak robi się ważne i ciekawe rzeczy.

      Usuń
    2. Jeśli zatem przeczytałeś (ze zrozumieniem) tekst rozporządzenia to zauważysz, ze te ważne i ciekawe rzeczy będą nagradzanie a nie karane. Jak opublikujesz coś w czasopiśmie za 50 punktów to je dostaniesz bez względu na to ilu współpracowników i skąd będziesz miał.

      Usuń
    3. No właśnie, znowu marudzenie bo nikomu się nie chce dokładnie zrozumieć istoty tej zmiany. W porównaniu z poprzednim projektem podziału punktów za publikacje wieloautorskie jest to krok do przodu, bo jednak publikacja w wysoko punktowanym czasopiśmie zyskuje. Poprzedni system był jeszcze bardziej patologiczny. To spółdzielnie dopisywaczy sprowokowały te nowe zasady, a nie żadne leśne dziadki. Działam w działce laboratoryjnej i byłem przymuszany do dopisywania osób z innych ośrodków z naciskiem "oni też nas dopiszą i jednostka dostanie więcej punktów". Jestem za młody aby się przeciwstawić takim praktykom. Na początku to zazdrościłem kolegom ze środowiska czy systematyki, że oni swoje projekty realizowali na swoje nazwisko, ale ostatnio zauważyłem, że i tam zaczęły powstawać międzyjednostkowe kołchozy. Nagle zaczęli wyrastać specjaliści od wszystkiego, a to żuczki, a to motyle i skoczogonki na dodatek.
      Osobiście uważam nas za naród kombinatorów i te głosy biadolących odczytuję jako zaskoczenie, że trzeba będzie od nowa kombinować jak dostosować się do nowych przepisów, a nie jak podnosić jakość swojej pracy. Bardzo odpowiada mi system duński, gdzie publikacje dzieli się tytko na "filadelfijskie", inne angielskie i krajowe (w USA jak byłem na stażu to też tylko rozróżniano prace z listy i spoza niej), bez tych rozbudowanych wzorów, dzielenia na ćwiartki, ciągłego oczekiwania na nowe tabele Thomsona czy "moje" tytuły dostały 0.2 IF więcej itp. Porządny badacz będzie sam i tak dążył do publikowania w najlepszych czasopismach, a te nasze systemy rodzą kolejne pokolenia kombinatorów. Jak obserwuję spotkania doktorantów ile czasu oni poświęcają na kombinowanie jak najwięcej punktów wycisnąć z systemu to się płakać chce.
      A wyrolują was nie autorzy monografii (ten problem jest przesadzony, zwłaszcza w biologii, może u humanistów to jest większe źródło patologii), ale cwaniaki z molekułów, bo każdy system jest tak konstruowany, aby oni nie stracili. A w instytucjach grantowych beneficjenci będą dalej mieli się tak dobrze jak obecnie. Ta punktoza to jest zmartwienie raczej drugiego i trzeciego szeregu jednostek.

      Usuń
  9. Absurdalne i skandaliczne zmiany w ocenie parametrycznej wprowadzane po koniec okresu do oceny jednostek. To swiadczy o wszystkim. Zadem argument tego nie przebije. Tlumaczenie ze najwyzej punktowane beda premiowane to wylacznie odwrocenie uwagi od prawdziwych motywow tych zmian. Wszyscy wiemy, publikacje w pismach z 50 pkt sa jednak wyjatkami. A "wybitne monografie" oczywiscie zostaly ku uciesze lobbystow. Szkoda slow.

    OdpowiedzUsuń
  10. Nie odnosicie wrazenia, ze na tych zmianach skorzystaja glownie wydawnictwa uczelniane wydajace monografie oraz jednoautorskie platne publikacje ?

    OdpowiedzUsuń
  11. Dużo hałasu o nic. Zgadzam się z wpisem z 23:07, to problem jednostek spoza czołówki. Na moim wydziale od wielu lat jest jawny ranking pracowników. Prześledziłem listy z ostatnich 15 lat (w tym czasie system punktacji zmienił się kilka razy) i w czołówce rankingu są ciągle te same osoby. Jak przychodził łebski, nowy gość to szybko wchodził do czołówki i tam trwa. Do 3n od kilku lat wchodzą w ogromnej większości publikacje z listy filadelfijskiej + kilka za 9 pkt. i monografie (tych ostatnich jest rocznie 1-4, na prawie 140 ocenianych osób więc biadolenie z tymi monografiami też jest przesadzone). W pierwszej 10-ce jest constans, po 5 z jednostek laboratoryjnych i środowiskowych, w pierwszej piątce zwykle jest lekka przewaga środowiskowych (u nas nie ma całkowicie molekularnych, w laboratoryjnych są raczej geochemia środowiskowa, fizjologia, embriologia).

    Z tego widać, że w dobrych jednostkach (mój wydział jest też z kat. A) czołowi badacze utrzymują się zawsze na szpicy, bez względu na system i to oni decydują o wartości parametrycznej wydziału. Nowy system też niewiele zmieni. Problemem jest grupa ok. 30 osób, też od lat niezmienna, która jest w ogonie rankingu, często z zerowym kontem (ci ze szczytu rocznie wyrabiają ponad 150 punktów, rekordzista ponad 200). I to te lewusy powodują, że do 3n wchodzi jeszcze kilka publikacji poniżej 15 pkt.

    OdpowiedzUsuń
    Odpowiedzi
    1. Nowe reguły sprawią, że tych słabych publikacji wejdzie do 3N wielokrotnie więcej (bo współautorskie będą liczone nue jako jedna publikacja, tylko jako ułamek publikacji, zatem da ich się "upchnąć" o wiele więcej). I to jest największa bieda. Gdyby zmniejszyć liczbę 3N (dość radykalnie, nawet do N), to efekty nowego rozporządzenia nie byłyby takie złe. Ale pozostawienie 3N będzie miało FATALNE skutki.

      Usuń
  12. No i prosze, pochwaliem nowy system (12.09 godz.17.28). Spodziewalem sie wscieklego ataku na ten wpis, a okazuje sie, ze jednak wiele osob ma podobne doswiadczenia. Najlepiej oddaje to wpis 12.09 godz.23.37. Tzn. typowo za wszystko wini sie "lesnych" dziadkow, czyli starszawych profesorow najczesciej z malych osodkow. A prawda jest taka, ze w tej chwili nowa patologia rozpanoszyla sie po osrodkach rzekomo uznawanych za dobre.
    Sa to spoldzielnie dopisywaczy. Ta patogia to nie jest tylko polska specjalnosc, wziela sie ona ze sposobu liczenia sumarycznego impact factor-a oraz sposobu liczenie H. To liczenie nie wychwytuje liczby wspolautorow oraz cytowan przez wspolautorow itp. Czyli mowiac krotko "dogadanie sie" ze znajomymi skutkuje szybkim wzrostem wszystkich wspolczynnikow. Ludzie z tzw. waznych osrodkow dawno to odkryli i tna prowincje ile sie da we wszystkich zestawieniach strojac miny wielkich swiatowcow. NCN dawal sie na to nabierac, gorzej specjalisci ze spoldzielni dopisywaczy obecnie rozdaja tam karty. Wiec dobrze, ze ktos to w koncu wychwycil. Chociaz moim zdaniem powinno sie ponadto oceniac tylko trzy publikacje kazdemu pracownikowi i to pokazaloby takze jak wyglada zaplecze danego osrodka, a nie czolowka.

    OdpowiedzUsuń
    Odpowiedzi
    1. Najgorsze jest to jak psuci są doktoranci. Ma taki promotora, który publikuje o wszystkim, od mydła do powidła, ale nie zna się na niczym. Taki nowicjusz szybko zauważa, że ma pisać co się da i gdzie się da i zaraz niczego nie świadomy szerzy swoje mądrości po forach jak należy uzdrowić naukę polską. Owszem w nauce polskiej jest spory obszar bezwzględnego nieróbstwa, ale większość "debeściaków" wcale nie reprezentuje poziomu światowego. Mamy raczej do czynienia z rosnącym cwaniactwem. Bez oceny realnego dorobku, nie będącego efektem ubocznym systemu liczenia dorobku, nie ma mowy o realnej ocenie.

      Usuń
    2. Sam byłem takim doktorantem. Mój promotor publikuje średnio po 10 prac rocznie, we "współpracy" z kilkudziesięcioma kolegami. Gdy przyszedłem do niego krążyła w okół niego właśnie tak fama debeściaka, stąd i miał wielu studentów i doktorantów. Szybko okazało się jednak, że cały mój doktorat to była wielka improwizacja a od mojego promotora mogłem liczyć jedynie na uśmiech i wspólnego browara. Osobiście nic do niego nie mam, ale on chyba sam się pogubił w tym co i po co robi. Sam często wspominał o wagi prestiżu i chyba w ostatecznym rozrachunku o to mu chodzi. Jakoś sobie poradziłem, obroniłem się (w Polsce trudno by nie), ale zrozumiałem, że gdyby przeliczyć realny wkład mojego promotora w jego dorobek to byłby to marny procent tego co na papierze, a i jakościowo byłoby to mierne. Jest typowym objawem polskiego napinania się, próby udowodnienia wszem i wokół, że Polak tez potrafi. Nie panie i panowie nie da się zrobić na siłę. Najpierw jakość, później ilość - zastanawiam się czy jednak nie jest już za późno; czy cwaniactwo nie przeżarło już polskiej nauki doszczętnie? Ten nowy system to krok w dobrym kierunku, ale tylko krok. Ten sam problem dotyczy cytowań i indeksu h, ale nie tylko

      Usuń
    3. Tak, to niewątpliwie główny problem nauki w Polsce, że naukowcy nie stosują się do podziału tematycznego i piszą o czym chcą! Skandal! Proponuję powołajmy międzyjednostkową komisję, która będzie decydowała o czym może pisać dany naukowiec: przed submisją każdej pracy trzeba będzie złożyć maszynopis do Komisji plus opis swoich zainteresowań i umiejętności, a Komisja (w ciągu kolejnych 3 miesięcy) wyda czasowy certyfikat dotyczący danej pracy. Wtedy doktoranci będą rozwijać się prawidłowo...

      Usuń
    4. Zauwazyliscie, ze wpisy osob, ktore sa za podzialem punktow sa bardzo podobne w brzmieniu ? Zaplanowane lobbowanie okreslonej grupy, ktora chce na tym skorzystac ?

      Usuń
    5. Tak, też to zauważyłem, to spisek masonów i cyklistów. Należy dać im odpór zalewając blog wpisami bez konkretów.

      Usuń
    6. Anonimie 06:07.
      Twoja zdolność do czytania ze zrozumieniem jest wręcz porażająca :-D

      Usuń
    7. "Chociaz moim zdaniem powinno sie ponadto oceniac tylko trzy publikacje kazdemu pracownikowi i to pokazaloby takze jak wyglada zaplecze danego osrodka, a nie czolowka"

      Dokładnie tak. Dopiero wtedy jednostka zacznie dbać o jakość kadry. Poza tym, ci najlepsi nie tyle będą "musieli" produkować dziesiątki średnich prac po 20-30 pkt, ale raczej starać się uzyskać 3 razy po 40-50 pkt. Gdyby tak jeszcze skala punktów była bardziej stroma, to byłoby jeszcze lepiej.

      Usuń
    8. Kolego Janie,
      Rozpowszechniasz ten pomysł na różnych blogach i byłby on słuszny i godny poparcia, gdyby organy decyzyjne (twórcy ustaw i rozporządzeń ministerialnych) dali jednostkom narzędzia to takiej polityki kadrowej. Na tym blogu już kilkakrotnie osoby, które zajmowały wysokie stanowiska na uczelniach (dyrektorzy instytutów i katedr) wskazywały, że takich narzędzi nie ma. Zwalnianie osób na uczelniach to droga przez mękę, wieloletnie zmaganie się z sądami pracy, które zawsze stoją po stronie pracownika, no i wielopiętrowa hierarchia decyzyjna (u nas wszystkie osoby, które komisja wydziałowa oceniła do zwolnienia, rektor przywrócił do pracy jednym podpisem; pewnie nie chciał się szarpać z sądami lub miał swoją polityk przedwyborczą). W tej chwili, ten rozsądnie brzmiący pomysł będzie uderzał w dobrych pracowników wydziałów o dużej rozpiętości ocen w rankingach, o czym pisał na blogu E. Kulczyckiego kol. Redaktor, który te męki przechodził jako dyrektor dużego instytutu. Ten pomysł promuje np. instytuty PAN-owskie, gdzie prościej się prowadzi politykę personalną i łatwiej przenosić pracowników na stanowiska nie naukowe. Skorzystają też jednostki tworzone od podstaw, gdzie można zatrudniać nową kadrę od razu z wysokiego pułapu.

      Usuń
    9. ja bym chciał wiedzieć z kolei w czym cztery publikacje za np. 40 punktów każda są gorsze od trzech publikacji za 40 punktów każda - jeśli to zrozumiem, to popieram! Jeśli już chcemy tak stawiać na jakość to musimy rozciągnąć skalę bardziej, czyli podzielić kategorię "50 punktów" na więcej, inaczej ten system staje się logicznie niespójny.

      Usuń
    10. @anonimowy
      Jasne, że w naszych realiach zwolnienia są trudne (i bardzo dobrze, nawiasem mówiąc). Ale np. przeniesienie na etat dydaktyczny: chyba aż tak trudne nie jest? Poza tym mam nadzieję, że pe saldo wymusi to jakąś rotację i konkurencję w najlepszych ośrodkach (A+), bo inaczej wypadną z gry o tę stawkę. Etaty na uczelniach i tak są płatne w całości z dydaktyki, zatem ten element (BSt) na pewno nie będzie zbyt istotny w wydziałach przeciętnych i słabych. A PAN jest kategoryzowany osobno, zatem nie widzę problemu. Pamiętajmy, że finansowanie NIE zależy od liczby publikacji (tylko od kategorii).

      @michał żmihorski
      1. Jeszcze "lepsze" jest 30 publikacji po 40 punktów (w wielkich kooperacjach to zwykła rzecz), ale czy o to chodzi? Od pewnej liczby ilość publikacji jest efektem czysto "socjologicznym", nie mającym przełożenia na jakość danego naukowca. W wszystkich 3 przypadkach (3,4 czy 30 publikacji) mamy do czynienia z autorem na poziomie 40-tki, publikującym regularnie. Nie widzę potrzeby dalszego wymuszania ścigania się na ilość, niech to będzie kwestia indywidualnego wyboru, gdy komuś to pasuje do czegoś tam.

      2. Oczywiście, że bardziej stroma punktacja jest o wiele lepsza.

      3. Ideę "tylko 3 od każdego" można zmodyfikować, zwłaszcza w okresie przejściowym, na przykład dodając to tej puli jeszcze N najlepszych publikacji lub dopuszczając, aby od jakiegoś procenta (30?) wybranych pracowników trzeba/można było wskazać więcej (6?) publikacji.

      Usuń
  13. Tak, lobbysci sa dobrze przygotowani (wyszkoleni ?, przez kogo ?). Zawsze maja gotowa, dluga i pozornie konkretna odpowiedz. Ale tylko pozornie konkretna. Ich cel jest oczywisty - przepchnac wszelkimi sposobami nowelizacje rozporzadzenia. Decyzja o tym juz dawno zapadla.

    OdpowiedzUsuń
    Odpowiedzi
    1. przez kogo? przez żydów i masonów

      Usuń
    2. no super, jeszcze tego tematu nie było... ;-)

      Usuń
  14. Moim zdaniem nie ma sensu wymyślanie różnego rodzaju wzorów na publikacje. Specjalizacja nauki jest tak duża, że nawet w obrębie jednej dziedziny, nie sposób porównywać ze sobą naukowców.
    1) Ja jestem fizykiem i widzą to dobrze w naukach fizycznych. Przykład: moje badania to praca eksperymentalna w jednym z eksperymentów na Wielkim Zderzaczu Hadronów w CERN w Genewie (formalnie jestem pracownikiem polskiej uczelni). Nie sposób jest porównać liczbowo moje wyniki pracy do np. fizyka teoretyka. W moim eksperymencie (ALICE) zrobiono badania - średni czas powstania publikacji eksperymentalnej z danych LHC w ramach ALICE, to około 3 lata! Taka publikacja jednak trafia do dobrych czasopism (np. Physical Review Letters). Fizyk teoretyk, nawet zajmujący się fizyką wysokich energii, może jednak wypuścić takich publikacji więcej (publikacja eksperymentalna wymaga przejście skomplikowanej procedury zatwierdzania i sprawdzania wewnątrz CERN'u, jeszcze przed peer-review w czasopiśmie).
    2) Publikacje z LHC, np. odkrycie bozonu Higgsa (co potem przyniosło Nagrodę Nobla) czy ostatnia publikacja z naszego eksperymentu w Nature Physics (http://www.nature.com/nphys/journal/vaop/ncurrent/full/nphys3432.html) zawierają kilka tysięcy autorów (członków eksperymentu). Jest oczywiście grupka 3-5 osób z reguły, które odpowiadają konkretnie za te badania, które są w przedstawione w publikacji, ale inne osoby odpowiedzialne są za budowę detektorów, zbieranie danych, system akwizycji danych, skomplikowane środowisko software'owe wewnątrz ALICE itp. Jak ująć tego typu publikacje w takim wzorze? Czy wg tego wzoru nie ma sensu pracować w miejscach takicj jak CERN (mimo ogromnych nakładów, jakie Polska poniosła w budowę samego LHC i eksperymentów)?

    Pozdrawiam z Genewy,
    Fizyk z CERN

    OdpowiedzUsuń
  15. Pana wpis jest calosciowo dosc ciekawy. Ale propozycja odejscia od stosowania "wzorow" jest malo realistyczna. Rownie dobrze mozna powiedziec, ze uzywanie pieniedzy w zyciu nie powinno miec miejsca. No bo jak mozna porownywac wartosc dziela muzycznego z wartoscia koszyka cebuli? Oczywiscie, ze nie mozna takich rzeczy porownywac, ale wzgledy praktyczne powoduja, ze jest to konieczne. Podobna sytuacje mamy z podzialem srodkow finansowych dla jednostek. Rozne jednostki, rozne profile, ale podzial musi byc dokonany. I zawsze odywa sie to wg jakiegos "wzoru".

    OdpowiedzUsuń
    Odpowiedzi
    1. Proszę mnie nie zrozumieć źle - nie twierdzę, że nie może być żadnego systemu podziału środków. Oczywiście musi być. Ja uważam, że musi on być zależny od danej wąskiej specjalizacji i zawsze z uwzględnieniem opinii ekspertów a nie jednej liczby wychodzącej z takiego czy innego wzoru.
      Natomiast ogólny wzór do wszystkiego po prostu nie ma sensu. Różnice pomiędzy poszczególnymi wąskimi specjalizacjami są zbyt duże, nie sposób tego porównać. Tak jak napisałem - publikacji z LHC, innych akceleratorów, wielkich teleskopów, itp. gdzie jest kilkaset, a nawrt kilka tysięcy autorów, nie sposób porównać do publikacji 2-3 osobowych fizyków teoretyków dla przykładu. To po prostu jest niemożliwe.

      Pozdrawiam,
      Fizyk

      Usuń
    2. Dziękujemy za poruszenie tego wątku - faktycznie w niektórych dziedzinach może to być problem i trzeba podejść do niego z głową... Wrzucam przykład takiej publikacji jako update do posta, żeby każdy zobaczył w czym problem.

      Usuń
    3. Przykład tej publikacji jest dobry. Pokazuje na czym polega przekraczanie granic w nauce i rozwiązywanie naukowych problemów. Polscy naukowcy są jednak zbytnio obciążeni małostkowością i wybujałym ego, żeby zrozumieć dlaczego współpraca między różnymi ośrodkami jest konieczna, żeby rozwiązywać naprawdę ważne problemy naukowe. Zaraz tutaj wyskoczy jakiś anonim lub LB i zaczną się brednie o spisku, spółdzielniach itp.

      Usuń
    4. Super przyklad, wyslijmy ten spis autorow do Ministerstwa Nauki aby pokazac ze polski super fizyk dostanie po nowelizacji 0.0001 pkt.

      Usuń
    5. Przecież to jest Science więc za 50 punktów i nie ma żadnego podziału punktów, każdy autor dostaje 50 - Michale i kolejni klakierzy czy Ty liczyć nie potrafisz? Co wy za demagogię siejecie!

      Usuń
    6. Nigdy nie będzie 0,0001. Najmniej będzie 10%. A za Science nie będzie 50 tylko ok. 40 (wg tego koszmarnego wzoru).

      Usuń
    7. Czyli typowa kara (50 minus 10 pkt) za publikacje w Nature/Sciece. I to ma byc "normalny" system oceny ???

      Usuń
  16. Dopiero teraz cos mowia o poprawie zasad oceny ! Rowniez dzieki burzliwej dyskusji na tym blogu !

    OdpowiedzUsuń
    Odpowiedzi
    1. Dokładnie. Wcześniej dziadki leśne chciały ciąć punkty od linijki.

      Usuń
  17. Warto tu również dodać, że wybór czasopisma, do którego wysyła się takie publikacje wieloautorskie nie zależy od osób, które faktycznie zrobiły dane badania (jak i nie wyszczególnia się tych osób w takiej publikacji). W CERN w każdej dużej grupie badawczej (rzędu kilka tysięcy osób) jest specjalna komórka, zwana "Editorial board", która odpowiada za kontakty z wydawcami i to ona decyduje, do jakiego czasopisma dany wynik zostanie wysłany. Oczywiście artykułów w czasopismach typu Science czy Nature nie publikuje się codziennie - z kilku lat działania LHC (w tym Nagrody Nobla dla P. Higgsa z fizyki dzięki tym wynikom) liczba prac w Science lub Nature nie przekracza 5, o ile dobrze pamiętam. Najczęściej wyniki wysyłane są do czasopism takich jak Physical Review Letters (45 pkt), Physical Review C (35 pkt.), Journal of High Energy Physics (40 pkt), Nuclear Physics A (25 pkt), itp.

    Trudno oceniać jednostkę - członka takiego dużego przedsięwzięcia, czy samych naukowców z danej jednostki, przez to w jakich czasopismach ukazują się badania z danej współpracy międzynarodowej w tym przypadku. Z moich rozmów z różnymi ludźmi w CERN wynika, że w ich przypadku (finansowania udziału tych zagranicznych grup w eksperymentach na LHC) najważniejsze są *wyniki* - to co faktycznie w danej publikacji się znajduje. Samo czasopismo, w którym wynik jest publikowany (czy to jest Physical Review Letter czy Physical Review C dla przykładu), nie jest najważniejsze tutaj. I do takiego systemu powinniśmy dążyć - powinno się oceniać do faktycznie w tych publikacjach jest.

    Pozdrawiam,
    Fizyk

    OdpowiedzUsuń
    Odpowiedzi
    1. No i dyskusja wraca do punktu wyjścia. Ten system punktowy wymyśliły osoby, które nie miały na myśli ocen merytorycznych tylko szukały dróg kanalizacji kasy w sytuacji krótkiej kołdry. O tym pisał kilkakrotnie na tym blogu legendarny upiór LB, który jak widać dalej straszy (patrz wpis z 1:31), choć z tego co wiem ta osoba nie ma od paru lat najmniejszego wpływu na to co się w polskiej nauce dzieje i z powodów zdrowotnych nawet nie ma regularnych kontaktów ze studentami czy innymi pracownikami uczelni (jest na specjalnym domowym etacie, a uczelnia się na ten etat godzi, bo jest w ścisłej czołówce rankingu naukowego wydziału i przynosi dużo punktów dla oceny parametrycznej).
      Nie ma systemów doskonałych, proponowana zmiana w liczeniu punktów jest krokiem naprzód w porównaniu z pierwszym projektem, który był bezwzględnie proporcjonalny. Można było wysyłać uwagi do niego, co część osób zrobiło i stąd ta pozytywna modyfikacja (ale biadolący na tym blogu na pewno w tej dyskusji nie brali udziału bo nawet nie potrafią czytać ze zrozumieniem na czym ta zmiana polega). Istnienie spółdzielni dopisywaczy było faktem i działo się to na dużą skalę. Mam kolegę, który jest autorem w podobnej sytuacji jak kolega Fizyk i nasz wydział dla takich prac, w drodze odrębnych decyzji, przyznawał pełną kwotę punktów, aby ją docenić (system zwrotny kasy na wydziale opiera się prawie w 100% na punktacji ministerialnej). Takie prace nie są powszechne w porównaniu z powszechną praktyką dopisywania się przez grupy spółdzielców. Nasz system w ogóle nie uwzględnia też tzw. permanentnych publikacji internetowych tzn. witryn o ściśle naukowych treściach na bieżąco modyfikowanych przez moderatora i autora witryny. Te witryny są często wyżej (i to wielokrotnie) cytowane w publikacjach niż zwykłe publikacje, gdyż są formą centralnych baz informacyjnych dla danej gałęzi nauki. Ale ponieważ nie mają statusu czasopisma to w naszym systemie są za 0 punktów.
      I można tak bez końca wskazywać różne wyjątkowe sytuacje, które nas system krzywdzi, bo nikt nie wymyślił niczego lepszego od oceny merytorycznej. Systemy punktowe są wygodne również dla administratorów, którzy dzielą kasę bo zwalniają ich od odpowiedzialności i nie ma znaczenia czy system jest bezduszny i niesprawiedliwy. Wiem jedno, tak jak anonimowy z 2:14 uważam, że dla dobrego uczonego żaden system nie jest straszny.

      Usuń
    2. To teraz, aby przykryć "aferę z parametryzacją" mówi się, że nic się nie stało, a dobry naukowiec i tak sobie poradzi. TO PO CO ZMIENIACIE STARE ZASADY, SKORO I TAK NIC NIE ZMIENI SIE NA LEPSZE ???

      Usuń
    3. Ależ zmieni się, ale dla humanistów i kombinatorów z drugiego szeregu. Czy na lepsze, to kwestia z pozycji w jakiej jest zainteresowany. Lepsze jednostki, bazujące na dobrych publikacjach zyskają, słabsze stracą (nawet jak te tzw. wybitne monografie trochę osłodzą ich los). Dla nierobów ten nowy system też nic nie zmieni, będą dalej żerować na tym co wyrobią przodownicy.

      Usuń
  18. Moze warto podkreslic, ze wpis fizyka z CERN-u
    jest dosc merytoryczny i pokazuje wage problemu.
    Warto tez wiedziec, ze fizycy czastek elementarnych
    to zazwyczaj hobbysci w sensie jak najbardziej
    pozytywnym. Wiec w ogole jest to cenna wypowiedz.

    Ale... Jesli jednak wrocimy do zasadniczego problemu,
    czyli podzialu pieniedzy to sprawa jest bardziej
    skomplikowana. Ta publikacja z setkami autorow wcale
    nie dowodzi, ze obecny wzor zaproponowany przez MNiSW
    jest zly, tylko dowodzi, ze wszelkie liczbowe wyceny pracy
    naukowej sa mocno watpliwe. Czylki mowiac inaczej, dowodzi
    ze wspolczynnik H (wymyslony przez... fizykow) np. niezbyt
    nadaje sie do oceny pracy humanistow. Tylko do pory to
    nikomu nie przeszkadzalo (tzn. nie przeszkadzalo
    przedstawicielom nauk scislych). Prosze zwrocic uwage, ze
    np. caly system oceny w NCN jest systemem standaryzowanym.
    Wszystkie dyscypliny sa wrzucone w jeden schemat, nalezy
    podawac "takie to i takie wspolczynniki" (po odliczeniu
    autocytowan), publikacje tylko za ustalone lata (no chyba,
    ze ktos byl w ciazy, to ma szanse dostac dodatkowy rok).
    A specjalista od telekomunikacji (dyrektor nCN), calkiem
    na powaznie radzil humanistom publikowanie po
    angielsku, tak zeby podwyzszac to H. Mowiac inaczej przez
    ostatnie kilka lat starannie tworzono system "jednolitej
    oceny".

    A teraz jest nagle placz i zgrzytanie zebami. No bo ktos
    sie w koncu zorientowal, jak banalnie prosto pompuje sie
    te wszystkie wspolczynki.

    OdpowiedzUsuń
  19. Bardzo zastanawiające jest milczenie Obywateli Nauki. Dlaczego Koledzy i Koleżanki nie macie nic do powiedzenia w tak niezmiernie ważnej sprawie oceny parametrycznej

    OdpowiedzUsuń
  20. Cytat ze strony Obywateli Nauki:

    "Jerzy Bielec Obywatele Nauki - zadawałem pytanie w ramach dostępu do informacji publicznej, czy Ministerstwo Nauki i Szkolnictwa Wyższego będzie w jakiś sposób odnosiło się do zgłaszanych uwag i gdzie będzie można to przeczytać. Po serii wykrętnych odpowiedzi uznałem, że nie ma sensu legitymizować kolejnych FIKCYJNYCH KONSULATACJI.

    Wy jednak możecie zadać pytanie zwykłym mailem na adres Ministerstwa, podpisanym nazwiskiem o to, w jaki sposób potraktowano wasze, zgłoszone uwagi - i że żądacie wszelkich dokumentów związanych z wykonanymi pracami konsultacyjnymi do wglądu".

    OdpowiedzUsuń
  21. Szanowni Naukowcy,

    w dyskusjach na temat punktozy wszyscy zapominamy, dlaczego wprowadzono w Polsce takie arbitralne metody oceny dorobku naukowego. Nie muszę chyba nikogo z Państwa przekonywać, że wielu wygodnie pracuje na stanowiskach naukowych/naukowo-dydaktycznych, ale tylko niewielu poważnie publikuje. Trzeba ich jakoś mobilizować. Wszelkie próby oceny eksperckiej wydają się jeszcze bardziej kłopotliwe. Każdy, kto składał kilka podań o granty NCN / różne stypendia itd., wie, co mam w tej chwili na myśli. Nasi eksperci są dosyć nieprzewidywalni w swoich osądach i często pojawiają się dwie wykluczające się recenzje. Poza tym w wielu dziedzinach nie mamy tak dobrych specjalistów, żeby nazwać ich światowej klasy ekspertami.

    Z punktu widzenia nauk o międzynarodowym charakterze część A listy ministerialnej jest rozsądnie pomyślana. Moim zdaniem nie powinno się dalej poszerzać skali punktowej, bo fetysz czasopism za 50 pkt. jest mocno przesadzony. Weźmy pod uwagę, że są to zazwyczaj tytuły o bardzo szerokiej tematyce i ich impact factor jest zdominowany przez najwyżej cytowane dziedziny. Średnio trafiają tam dobre prace, ale to nie gwarantuje im wielkiej cytowalności w porównaniu z "regularnymi" czasopismami, bo zasada 80/20 dotyczy też Nature i nie brak w nim prac o znikomej liczbie cytowań. Wiele przełomowych prac jest publikowanych w czasopismach z niższą punktacją i specjalistyczne prace za ok. 35 pkt. nie powinny być pogardzane. Stąd zdziwienie obcokrajowców, gdy dowiadują się, jak bardzo skomplikowany jest nasz system punktowy do oceny jakości publikacji. Nie jest to system doskonały, ale jednak jakoś trzeba nagradzać publikujących w najlepszych tytułach, żeby z kolei wszyscy nie publikowali na ilość.

    Podział punktów na autorów wydaje się być zupełnie sprawiedliwy, bo np. 3 prace po 40 pkt., gdzie jesteśmy głównym autorem to nie to samo, co 3 prace po 40 pkt., gdzie autorów jest tysiąc, a my nie mieliśmy okazji napisać nawet zdania. Trzeba tylko określić dokładnie mechanizm 'slotów' publikacyjnych. Pamiętajmy, że 4/5 pracy za 50 punktów wcale nie oznacza całej pracy za 40 pkt. Tak samo dwie publikacje za 15 pkt. nie są równoznaczne jednej publikacji za 30 pkt. itd. Zaproponowana teraz premia dla czasopism z najwyższą punktacją powinna zadowolić zniechęconych do współpracy na najwyższym światowym poziomie, ale ruszyć przyzwyczajonych do współpracy na kiepskim poziomie. Poza tym premiowany jest rozwój samodzielności publikacyjnej danej jednostki naukowej. Często padają zarzuty, że prace we współpracy zagranicznej są pratycznie całkiem zagraniczne, a wkład autora z Polski jest znikomy.

    Najlepszym możliwym pomysłem jest ocena wybranych prac każdego pracownika z osobna, ale raczej długo nie będzie to możliwe do zrealizowania...

    Kolegę z CERNu pocieszę, że ogół fizyków w Polsce (zajmujący się fizyką ciała stałego) o Nature może sobie co najwyżej pomarzyć. Podobnie ma się kwestia teoretyków, którym niby jest lepiej, ale prace powyżej 40 pkt bez szerokiej współpracy z eksperymentatorami są niezwykle rzadkie. Z tego względu bardzo cienione są te wyjątki powyżej odcięcia dla 30-35 pkt., bo to one robią ostateczną różnicę pomiędzy najlepszymi jednostkami naukowymi i autorzy takich prac w nowym systemie nadal będą mocno nagradzani. Ale też więcej publikacji wejdzie do 3N, co lepiej będzie oddawało kondycję danej jednostki naukowej. Urealni się poziom odcięcia, który w wiodących jednostkach w tej dziedzinie (fizyka) sięgał przy ostatniej parametryzacji 30-35 pkt. Ale fundament do sukcesu danej jednostki musi być wcześniej zbudowany na licznych regularnych pracach "średniaków" i w nowym systemie większa liczba pracowników może mieć wpływ na poziom odcięcia dla swojej jednostki. Z tego względu jestem zwolennikiem nowego systemu oceny publikacji.

    Pozdrawiam,
    Kolejny Fizyk

    OdpowiedzUsuń
  22. Kolejny lobbysta, ktory probuje na sile uzasadnic wyjatkowe w skali swiata pomysly decydentow. Uparci jestescie...

    OdpowiedzUsuń
    Odpowiedzi
    1. Siedzisz tu wesołku (11:33) i czatujesz jak można opluć kogoś kto myśli inaczej niż ty. Może przedstaw wreszcie jakiś argument a nie gdacz jak kura. Poczytaj swoje posty - to jest właśnie poziom polskiej nauki - totalna żenada. Czy naprawdę uważasz, że ludzie nie potrafią myśleć i musisz im głupkowato podpowiadać to jest właściwe a co nie?

      Usuń
  23. Bardzo dziwne. Wszyscy moi znajomi prawdziwi fizycy (do anonimowego z 10.41) sa totalnie przeciwko nowym zmianom oceny parametrycznej.

    OdpowiedzUsuń
    Odpowiedzi
    1. Wcale nie dziwne. Mało kto dokładnie zapoznał się z tym problemem, a ministerstwo tego bynajmniej nie ułatwia. Jest mnóstwo niedomówień. W tej sytuacji najrozsądniej jest stanąć po stronie braku zmian. Do wcześniejszych zasad już się dobrze przystosowaliśmy.

      Zdecydowana większość prawdziwych fizyków jest odmiennego zdania, bo proponowane zmiany są rewolucyjne i dotkną przede wszystkim słabszych pracowników i słabsze jednostki, dla których "podwójne" liczenie punktów było zbawienne. Jeżeli ktoś ma kilka przyzwoitych prac rocznie, żaden system liczenia punktów mu nie zaszkodzi. Tymczasem średnia na pracownika w najlepszych jednostkach nie osiąga 2.5 pracy rocznie. Z tego można odliczyć pewien odsetek prac konferencyjnych, które z definicji są zaniedbywalne. Poza tym w dużych jednostkach ta średnia jest podbijana przez katedry/oddziały zajmujące się tematyką, w której publikuje się ogólnie więcej. Publikując mało, można się czuć poszkodowanym przez nowe zasady naliczania punktów, bo prestiż robi się mniejszy, trudniej o premie itd.

      W liczących się na świecie państwach też stosuje się różne (chociaż mniej skomplikowane) systemy oceny jednostek naukowych. W Polsce dotychczasowa punktoza spowodowała, że nie widzimy w ogóle publikacji, tylko widzimy punkty za nią. Kombinujemy, jak ich wygenerować najwięcej. Częściowo pokrywa się to z ogólną dla całego świata tendencją do generowania jak największego dorobku naukowego (duże wartości indeksu h robi się z dużej liczby publikacji), ale przez "podwójne" liczenie zachęcało się do cwaniactwa.

      Co do poszkodowania mało aktywnych - 3 przyzwoite publikacje na 4 lata da się zrobić we wszystkich znanych mi dziedzinach. Wyjątki stanowią przypadki jak Kolega z CERNu, ale ta ocena jest zaprojektowana dla ogółu. Jeżeli są to wieloautorowe prace o niskiej liczbie punktów, inni pracownicy muszą to nadrobić. Problem pojawia się, gdy brakuje tych innych pracowników. Niech prawdziwi fizycy robią swoje, czyli publikują regularnie na przyzwoitym poziomie, a żaden system oceny punktowej nie będzie dla nich straszny.

      Kolejny Fizyk (anonimowy z 10.41)

      Usuń
    2. Fizyku Kolejny,
      dzięki za wpisy, czekałem na taki głos rozsądku.

      Usuń
    3. Ja się w ogólności zgadzam co do zasady, że dla dobrego naukowca (publikującego regularnie) nie straszne są żadne kryteria. Jest jednak małe ale:
      1) Nie wszystkie dyscypliny są takie same. W jednych się publikuje więcej, w innych mniej, wrzucanie do jednego worka wszystkich jest trochę bez sensu (tego nie da się porównać). W mojej działce bardzo trudne jest posiadanie samodzielnej publikacji, będąc eksperymentatorem. Ma się natomiast całą masę takich z ~100 autorów, w których się nie napisało zdania (jak i również takie, które się napisało w całości, ale nigdzie to nie jest wyszczególnione)
      2) Jak to zostało już poruszone, kryteria stworzone do jednostek służą potem do oceny pojedynczych naukowców, to nie jest dobre. W ocenie pojedynczego uczonego powinno być coś więcej niż suche liczby.
      3) Dlaczego w zasadzie publikacje to jedyne kryterium oceny?

      Dam przykład, przepraszam, że znowu z mojej działki. Jak ocenić taką osobę: eksperymenty na LHC to bardzo skomplikowana aparatura badawcza. Analiza zebranych danych to jest ta wisienka na torcie. Żeby taki eksperyment działał potrzebna jest cała masa ludzi, np. takich którzy zajmują się jego stroną techniczną - np. zajmują się tym, by eksperyment działał wtedy kiedy jest to możliwe (są zderzenia cząstek w LHC - wtedy zbieramy za wszelką cenę cenne dane), zajmują się poszczególnymi subdetektorami - np. sprawdzają czy prawidłowe napięcia są dostarczone, czy ciśnienie gazu w niektórych detektorach jest poprawne (a jak nie to starają się to naprawić), czy zajmują się transferem danych od detektora na serwery, systemem ich zapisu, itp. To są takie techniczne rzeczy, jednak wykonywane również przez fizyków głównie. Nie znajdują się jednak oni na końcu tego łańcucha, czyli nie analizują danych (sami nie napiszą więc publikacji). Ale bez nich tych danych by nie było.
      W mniejszych eksperymentach, wykonywanych w typowych laboratoriach na uczelni, sprzęt jest dostarczany przez np. firmy, które go produkują - jest to taka niby czarna skrzynka, dzięki której się otrzymuje wynik (nie buduje się od podstaw multimetru, by zmierzyć napięcie lub natężenie prądu, korzysta się z gotowego urządzenia). Tutaj jest jednak inaczej - taka aparatura jest tworzona od podstaw przez wysokiej klasy specjalistów. Jak w polskich warunkach będąc fizykiem zajmującym się na przykład systemem akwizycji danych (bardzo skomplikowanym nota bene), funkcjonować w nauce? Zrobić habilitację czy dostać grant? Ja tego nie widzę... I to jest ta bolączka, wrzucanie wszystkich do jednego worka.

      Pozdrawiam,
      Fizyk z CERN

      Usuń
  24. Do kolegi z 14.49 - parafrazujac Twoje wlasne slows - "Poczytaj swoje posty lobbysto - to jest właśnie poziom polskiej nauki - ....... Czy naprawdę uważasz, że ludzie nie potrafią myśleć i musisz im głupkowato podpowiadać co jest właściwe a co nie ? "

    OdpowiedzUsuń
  25. Przeczytajcie komentarze na blogu Emanuela Kulczyckiego. Jedno jest jasne - zmiany promują głównie współautorstwo w obrębie uczelni, penalizując administracyjnie (poprzez redukcję punktów) współpracę z innymi jednostkami. Czyli ewidentny regres, zachęta do ograniczania się i likwidacji współpracy pomiędzy naukowcami z różnych miejsc pracy.To fakty.

    OdpowiedzUsuń