sobota, 4 lipca 2015

KEJN i nowa punktacja

Jak podaje Emanuel Kulczycki na swoim blogu, szykuje się konkretna zmiana w krajowej punktomanii:


wydaje się tym samym, że pogłębiają się nonsensy w tym algorytmie, skutkujące zbliżona punktacją za samodzielną pracę w Zeszytach Naukowych Wyższej Szkoły Łowiectwa w Krużewnikach oraz wieloautorską pracę w Nature czy PNAS... Każdy algorytm będzie budził protesty, jednak chyba większość jest zgodna, że należy skalę rozciągać, a nie ją spłaszczać. Gdy myślę o tych punktach przychodzą mi do głowy dwa pomysły: skala logarytmiczna (zamiast 10,15,20,25 raczej 1,10,100,1000) albo wykluczenie listy niefiladelfijskiej w ogóle - po co to raportować? Niech sobie ludzie publikują, ale ranking opierajmy na tych najlepszych czasopismach, przynajmniej w naukach biologicznych.

Niezależnie jednak od absurdów związanych z samą punktacją, mnie bardziej przeraża inna sprawa. Mianowicie, wymyślanie algorytmu oceniającego jednostki wstecznie! Przecież obecnie naukowcy w Polsce pracują nie wiedząc jakiej pracy wymaga od nich pracodawca (bo nie wiedzą, która publikacja będzie bardziej wartościowa). Rozumiem potrzebę dyskusji nad wieloautorskimi pracami i problem "rozmnażania" publikacji poprzez dopisywanie autorów. Jednak sam fakt, że KEJN aktualnie pracuje nad sposobem oceny publikacji za lata 2013-2015 jest czymś zupełnie nieprawdopodobnym. Jeśli faktycznie KEJN zaaplikuje nam działający wstecz regulamin, tak drastycznie różniący się od dotychczasowego (jak pokazuje E.Kulczycki - różnice są znaczne!), oznaczać to będzie, że cofnęliśmy się w standardach tworzenia prawa do czasów przed-rzymskich. Powstanie też nieodparte wrażenie (w mojej głowie już powstało), że ktoś po prostu dopasowuje algorytm do pożądanej kolejności jednostek w rankingu...

michał żmihorski

71 komentarzy:

  1. Mam takie małe marzenie, że obudzę się któregoś dnia i wszystko w tym kraju będzie normalne. Profesorowie będą z klasą i o wysokiej moralnośći, konkursy na stanowiska będą prawdziwe, adminstracja będzie pomagać, instytut będzie stać na papier, a ministerstwo będzie stosowało przejrzyste algorytmy....

    OdpowiedzUsuń
  2. Piękna debata Obywateli Nauki 24 czerwca w Warszawie, a po cichu, za plecami wprowadzają dzielenie punktów za publikacje i to wstecz !!!
    Co za hipokryzja, nadaje się tylko do panteonu hipokryzji światowej. A może to działania, aby wywołać dyskusję środowiska i przykryć ostatnie afery ?

    OdpowiedzUsuń
  3. Podczas debaty ON nic i wieloetatowości, nic o koszeniu kasy przez grupę stałych grantobiorców, nic o patologiach anonimowych recenzji NCN, NCBiR, nic o marnowaniu dotacji statutowych na niewyobrażalną skalę, nic o wegetacji uczciwych naukowców...

    OdpowiedzUsuń
  4. Im prostszy system oceny, tym łatwiejszy i tańszy w zaimplementowaniu, ale też bardziej podatny na manipulację. Alternatywą jest zastosowanie złożonej procedury (np. wskaźniki bibliometryczne + recenzje/oceny eksperckie) lub zmienienie procedury co jakiś czas ze skutkiem wstecznym, by nie opłacało się sztucznie dostosowywać do aktualnych wymogów.

    OdpowiedzUsuń
    Odpowiedzi
    1. Może po prostu nie wyłapałem ironii w Twojej wypowiedzi, ale chyba właśnie o to chodzi, żeby dopasować się do aktualnych wymogów - wolałbym klarowny system, w którym z góry wiem wg jakich kryteriów będę oceniany.

      Usuń
    2. Miara nie powinna być celem, bo w przeciwnym razie traci swój sens. Nie powinno się np. dopasowywać liczby współautorów przyszłej publikacji do aktualnych korzyści punktowych, nawet na etapie planowania badań. Założenie systemu punktacji jest raczej takie, że praca naukowców zmierza co osiągnięcia wyników wartościowych naukowo, a nie do zdobywania punktów. Choć to idealistyczne podejście, wierzę. że trzeba się tego trzymać. Społeczeństwo nie ma z tego żadnych korzyści, że naukowcy zdobędą dużo punktów. A nauka w Polsce nie poprawi swojego poziomu, jeśli rząd wprowadzi mnożnik 10 do dotychczasowej punktacji.

      Usuń
    3. "Wartościowych naukowo" - tzn. jakich?

      Usuń
    4. To nie powinien być "mnożnik 10", ale potęga.

      Usuń
  5. Dokładnie Michale ! do końca naszego życia tutaj nic się nie zmieni, wszystko będzie "dopasowywane" tak, aby wybranym było doskonale, pozostali będą na nich pracować i wegetować. Jest wyjście: zaskarżyć nowe rozporządzenia do sądu administracyjnego, uczelnie będę na tym podziale bardzo stratne.

    OdpowiedzUsuń
  6. Słuchajcie, należy wystąpić do ministerstwa o formalny dostęp do informacji w trybie publicznym, kto pracował i zaprojektował nowe przepisy. Wtedy wszystko będzie wiadomo. Każdy z nas ma prawo do dostępu do tego typu informacji. Tak stanowi prawo.

    OdpowiedzUsuń
    Odpowiedzi
    1. no to wystąp i napisz co uzyskałeś

      Usuń
  7. A ja mysle, ze to swietnie, ze system punktowania sie zmienia i nie mozna sie do niego z gory dostosowac. Przeciez to choroba (umyslowa) z ta cala punktomania. Trzeba rzetelnie pracowac, starac sie o znaczace wyniki i potem je publikowac, tak, aby jak najwieksze grono badaczy z dziedziny sie z nimi zapoznalo. Najgorsze co sie dzieje dzisiaj w nauce, to owo odwrocenie pojec. Ludzie sie zastanawia jakie czasopismo im sie bardziej oplaci w krajowej grze w numerki! To dopiero jest podmywanie etycznych fundamentow nauki!!

    OdpowiedzUsuń
    Odpowiedzi
    1. Ładnie to brzmi, ale zrozum, że mamy system, w którym papier w PNASie może być mniej wart niż solo w Ziemniaku Polskim! Jak się rozwijać, skoro autor tego drugiego dostanie więcej środków, doktorantów, sprzetu? Pieniądze trzeba jakoś dzielić - co proponujesz, każdemu według potrzeb??

      Usuń
    2. Michale! dzisiaj za pracę w Journal of Avian Biology jest tyle samo co w Nature, i to Cie nie oburza? Powiedz lepiej że boisz się o siebie ;-) Jeśli coś jest bez sensu to obecna skala punktów,oderwana od rzeczywistości, ale podział punktów na autorów jest jak najbardziej fair. Gdy zleceniodawca płaci za wybudowanie domu to płaci tyle samo niezależnie od tego ilu wykonawca zatrudni pracowników. W Polsce postanowiono tę kwotę przemnożyć przez liczbę pracowników - co za absurd. Poza tym podobne systemy ułamkowe istnieją w Norwegii, Australii i wielu innych krajach (Kulczycki pisze że zdecydowanie częściej niż double-counting) i nie sądzę żeby tam były czasy przed-rzymskie. To raczej u nas jesteśmy w erze kamienia łupanego. Niby rozumiesz "potrzebę dyskusji nad wieloautorskimi pracami i problem "rozmnażania" publikacji poprzez dopisywanie autorów", ale piszesz jakbyś zupełnie tego nie rozumiał. Szumu będzie dużo bo widać wielu z tym nie po drodze, ale czas najwyższy skończyć z wielokrotnym liczeniem tego samego.

      Usuń
    3. Dobrze, to powiem tak: jestem oficjalnie ZA dzieleniem punktów między jednostki. Ale zrozum, że ja na serio nie boję się o siebie, bo od półtora roku jestem w Szwecji i krajowa punktomania na serio nie dotyka mnie w żaden sposób! Z resztą sam mam trochę prac w których jestem jedynym autorem - dlaczego zakładasz, że boję się o siebie??
      Wkurza mnie nie kierunek zmian (powtórzę: lepiej dzielić punkty) tylko sam fakt zmiany wstecznej zasad. Jeśli dotychczas było powiedziane, że jednostki dostają kasę za publikowanie po litewsku, to zmienianie tego wstecznie jest nie fair, niezależnie od absurdalności tych zasad. Kurczę, czy to jest na serio takie trudne do zrozumienia???

      Usuń
    4. aha, równe punkty za Nature i JAB jak najbardziej mnie oburzają!

      Usuń
  8. Michał, prosimy o zamieszczenie przepisów o dostępie do informacji publicznej, to dla dobra nas wszystkich i może uzdrowić system nauki w Polsce. Oby obyło się bez cenzury. Ze strony "Sieć Obywatelska Watchdog".

    Informacja o działalności organów władzy publicznej i osób pełniących funkcje publiczne

    Definiując czym jest informacja publiczna warto wyjść od jej opisu zawartego w artykule 61 ust. 1 Konstytucji RP, który mówi że:

    1. Obywatel ma prawo do uzyskiwania informacji o działalności organów władzy publicznej oraz osób pełniących funkcje publiczne. Prawo to obejmuje również uzyskiwanie informacji o działalności organów samorządu gospodarczego i zawodowego a także innych osób oraz jednostek organizacyjnych w zakresie, w jakim wykonują one zadania władzy publicznej i gospodarują mieniem komunalnym lub majątkiem Skarbu Państwa.

    Czy jest możliwe aby władza publiczna wykonywała zadania nie dotyczące spraw publicznych? Wszak może działać jedynie na podstawie i w granicach prawa. Zatem informacją publiczną będzie wszystko to, co dotyczy władzy publicznej oraz informacje związane z wydatkowaniem funduszy publicznych i realizacją zadań publicznych np. przez spółki komunalne, organizacje pozarządowe, szkoły itd.

    Trzeba też wiedzieć, że Naczelny Sąd Administracyjny, w 2002 roku określił, że nie muszą to być koniecznie informacje wytworzone przez te władze, a również będące w ich posiadaniu.

    Informacje wytworzone przez władze publiczne oraz osoby pełniące funkcje publiczne oraz inne podmioty, które wykonują funkcje publiczne lub gospodarują mieniem publicznym (komunalnym lub Skarbu Państwa), jak również informacje odnoszące się do wspomnianych władz, osób i innych podmiotów, niezależnie od tego, przez kogo zostały wytworzone (wyrok NSA z dnia 30 października 2002 r., II SA 181/02).



    OdpowiedzUsuń
    Odpowiedzi
    1. jeśli masz sprawdzone dane o dostępie (więcej niż to co sam zamieściłeś), to mogę je zamieścić - jeśli mamy szansę coś tym zmienić/poprawić, to warto spróbować.

      Usuń
    2. Przewodniczącym Komitetu Ewaluacji Jednostek Naukowych jest Maciej Zabel, histolog z UMP (jest też aktywny przy ETI+ we Wrocławiu). Więc może do niego skierować pytania o wyjaśnienia ?

      Usuń
  9. Wg strony MNiSW : http://www.nauka.gov.pl/aktualnosci-ministerstwo/system-ocen-jednostek-naukowych-na-nowych-zasadach-zaczynamy-konsultacje-spoleczne.html

    "Do końca lipca potrwają konsultacje społeczne projektu rozporządzenia w sprawie kryteriów i trybu przyznawania kategorii naukowej jednostkom naukowym."
    Tak więc zamiast narzekać na to co jest proponowane, bo jak na razie wszystko pojawia się tu w sposób hasłowy, a choćby z komentarzy na blogu E. Kulczyckiego wygląda że całość jest bardzo złożona, bo np. te punkty inaczej się będą wchodzić do 3N, należy zapoznać się z całością proponowanych zmian i wziac udział tych konsultacjach.. Wg tej strony podobno projet ten był już konsultowany z Konferencją Rektorów i PAN (czego ja nie kojarzę, ale może jest ktoś kto np. widział takie pismo wyslane do poszczególnych jednostek do konsultacji), ale zakładam, że jeszcze jest czas na konsultacje społeczne.. I po zapoznaniu sie z calością warto wytykać wszystkie niedociągnięcia (jeśli takowe będą) . A swoja drogą należy też pogrzebać we własnych sekretariatach - jeśli jednostki dostają projekt do konsultacji, a nikt w nich nie uczestniczy (co chyba niestety jest częste), to potem nie dziwmy się, że budzimy się w rzeczywistości ktorej nie chcemy..
    pozdr TM

    OdpowiedzUsuń
    Odpowiedzi
    1. czołem!
      niezależnie od tego na ile złożony jest ten algorytm i co będzie/nie będzie wchodziło do 3N, to czy nie przeraża Cię sam fakt ustalania zasad gry dopiero po jej zakończeniu? Przecież to ma bezpośredni wpływ na przepływ gotówki z MNiSW do poszczególnych jednostek, bo czasem wystarczy kilka punktów więcej, by dana jednostka wskoczyła o kategorię wyżej. Masz rację, że warto przekazać swoje uwagi w konsultacjach (faktycznie dziwne, że akurat w wakacje...), ale sama konwencja tej ewaluacji jest skandaliczna.
      pozdrowienia,

      Usuń
    2. Upieram sie, ze lepiej, aby algorytm dzialal wstecz i nikt nie mogl sie do niego dostosowac, niz zeby deyzje o wyborze czasopisma i strategii publikowania (np. wspolautorzy lub nie) byly podejmowane "pod algorytm". Skadinad, w czolowo naukowych krajach nie ma zadnych puntkow (USA, Wlk. Brytania, Niemcy, Francja). Decyduja systemy grantowe, dorobek (oceniany przez pryzmat najlepszych - niewielu - publikacji) i oceny zespolow eksperckich "peer review". Jakos rozumie sie tam, ze 3 prace w "dobrym" czaspismie to nie to samo co jedna w najlepszym.

      Usuń
    3. Oczywiście Michał, że nie powinno działać wstecz, ale to powtarzamy jak mantrę od dawna..
      Powyżej anonimowy pisze
      "Upieram sie, ze lepiej, aby algorytm dzialal wstecz i nikt nie mogl sie do niego dostosowac, :"..
      Sorry, ale dla mnie to bzdura. Generalnie patrzmy na to wszystko z punktu widzenia jednostek i rozwoju nauki a nie poszczególnych osób - autorow publikacji (bo ocena osob zawsze jest w ten czy inny sposob indywidualna i łatwiej wszystko wziąć pod uwagę, a ocenę jednostki zrobi komputr po parametrach mu zadanych) Przygotowujesz się do czegoś, premiujesz pewne zachowania, inne wstrzymujesz, prowadzisz taką a nie inną politykę kadrową (jak się da), a nagle okazuje się że reguły są zupełnie inne.
      Można powiedzieć ze przegrani w ten czy inny sposób będą wszyscy, bo nie wiedzieli o tych zmianach.. Ale chyba chcemy się rozwijać, a nie zastanawiac się z której strony dostaniemy po głowie..
      Proponowana zmiana ma znacznie dalsze konsekwencje - obecnie preferowana była wspólpraca pomiędzy jednostkami, a więc też pewne rozdrobnienie tematyczne. Obecny projekt wskazuje, że najlepiej byloby tworzyć duże i silne zespoly wewnątrz jednostek, a na to oczywiście potrzeba czasu. Jakiekolwiek zmiany nie tylko nie powinny działać wstecz, ale powinny być znane do przodu - właśnie, żeby odpowiedzialnie i sensownie tworzyć politykę naukową jednostek na kolejne lata. Zauważmy też, że napisano, że projekt ma wchodzić w życie w pażdzierniku 2016.. Idealnie, gdyby dopisano, że będzie obowiązywał w ocenie parametrycznej za 2017-2020, a nie 2013-2016.

      Usuń
  10. Poczytajcie ostatnie wpisy na habilitant2012. Włos się na głosie jeży jeżeli to prawda, że jakieś lobby wpłynęło na powstanie rozporządzenia. Chcemy dowiedzieć się nazwisk osób w komisjach, komu na tym zależało.

    OdpowiedzUsuń
    Odpowiedzi
    1. zacytuj coś

      Usuń
    2. cytat:

      "Za ta zmiana stoja ewidentnie spolhumy, dla ktorych obce sa podstawy arytmetyki. Mysle, ze wielu lobbystom tych zmian pomogloby wiadro zimnej wody w postaci prostego przerachowania, jak bedzie wygladala ich indywidualna punktacja, kiedy punkty za "zakladowe" publikacje z listy B podzieli sie przez liczbe autorow.
      Przy proponowanych zasadach:
      - monografia "qwybitna" - 50 pkt.
      - monografia u szwagra za stodola - 25 pkt.
      - artykul z listy A za 40 pkt., 2 autorow - 20 pkt.
      - Nature, 5 autorow - 10 pkt.
      - artykul z listy A za 15 pkt., 4 autorow - 4 pkt.
      - konferencyjniak u szwagra w garazu - 4 pkt."

      Usuń
  11. Zauważyliście pewną prawidłowość od kilku lat ? Wszystkie najważniejsze zmiany w ustawie o szkolnictwie wyższym były procedowane w okresie przerw akademickich, czyli zakończeniu roku akademickiego. Pisano o tym w 2014, podobna sytuacja, naukowcy nie mieli czasu zapoznać się ze zmianami, część wyjechała na wakacje. Dobra socjotechnika.

    OdpowiedzUsuń
  12. Mógłbyś się Michale wysilić na odrobinę bezstronności (tak zrobił E. Kulczycki). Piszesz, że ktoś dopasowuje algorytm, ale Twój tekst jest także pisany pod własny interes - nożyce się odezwały.

    OdpowiedzUsuń
    Odpowiedzi
    1. to ciekawe, bo nie słyszałem by Szwedzki Uniwersytet Nauk Rolniczych w Uppsali jakoś szczególnie się przejmował twórczością KEJNu :-)

      A tak bardziej serio: nie piszę, że ktoś dopasowuje algorytm, lecz, że powstaje takie wrażenie, że ktoś dłubie przy tym. I nie jest to wrażenie tylko moje, lecz także innych osób - zobacz np. co dzieje się w komentarzach na blogu "habilitant2012"... Mnie bardziej bulwersuje sam fakt tworzenia prawa wstecz - przecież za tym idą ogromne pieniądze (bo jakaś jednostka spadnie/awansuje do kategorii A/B w wyniku stosowania konkretnego algorytmu, a to już jest gruba forsa!)

      Usuń
    2. To znaczy, że zwolniłeś się z PANu czy jesteś na urlopie bezpłatnym?

      Rozumiem, że uważasz obecny system za lepszy od proponowanego? W obecnym systemie także liczy się punkty wstecz. A na czym ma polegać to tworzenia prawa wstecz?

      Usuń
    3. To znaczy, że nie bardzo wiesz o czym piszesz, zarzucając mi "pisanie pod własny interes", jeśli nawet nie wiesz gdzie pracuję :-)

      Nie, nie uważam obecnego systemu za lepszy, tylko sygnalizuję problem pisania prawa wstecz: jeśli w jakiejś jednostce jest wiele osób współpracujących z innymi jednostkami i mają z nimi wspólne papiery, to wspomniana zmiana prawna powoduje, że ta jednostka dostanie znacznie mniej punktów, może spaść w rankingu, dostać mniej środków itp. Ale tylko dzięki tej zmianie, o której wcześniej nikt nie informował i KEJN to wymyślił przedwczoraj, a ma być stosowane do oceny działalności naukowej sprzed 2 lat... Czyli klasyczna zmiana zasad w trakcie gry: na razie biegnij, a potem powiem ci gdzie jest meta...
      Na serio nie dostrzegasz tego zagrożenia i absurdalności całej sytuacji??
      pozdrowienia,

      Usuń
    4. to znaczy że nie odpowiedziałeś na moje pytanie :-)

      każdy system oceny działa wstecz, ocenia się zawsze to co było. Jak według Ciebie należałoby wprowadzić te zmiany? Przyjmując Twoją argumentację - nigdy. Ta gra trwa w zasadzie bez przerwy więc co należałoby zamknąć uczelnie na 2 lata i dać wszystkim ostudzić emocje? O tej zmianie nikt jeszcze nie informował bo ma dotyczyć dopiero 2017 roku - kiedyś chyba musiał być ten dzień.

      Usuń
    5. mylisz dwie rzeczy: oceniany jest dorobek z minionych 4 lat, i to jest normalne (niby jak inaczej?), ale według zasad, które były znane już 4 lata temu. Tylko właśnie KEJN te zasady zmienił. Czyli najpierw jednostki dostały sygnał, że za jakąś pracę przysługują konkretne punkty, wszyscy tak pracowali, a po kilku latach powiedział, że jednak inne punkty.
      Jak należy zmieniać system? Bardzo prosto: ogłosić dziś nowe zasady i rozliczać wg nich jednostki z ich dorobku, ale nie wcześniejszego niż dzisiejszy.

      Usuń
    6. ale my Michale nie wiemy jak ten system będzie wprowadzany, to jest dopiero projekt do konsultacji. Tutaj natomiast krytykuje się głównie podział punktów jako zło wcielone. Ja natomiast uważam, że to zmiana w dobrym kierunku. Można dyskutować nad sposobem wprowadzania tej zmiany, ale nie nad tym czy ją wprowadzać.

      Usuń
    7. no to zgoda - to co piszesz mnie przekonuje. Nigdzie nie krytykowałem podziału punktów, a tym bardziej jako zła wcielonego ;-) Co więcej, uważam, że taki podział ma sens, a piszę cały czas jedynie o zmianie zasad w trakcie gry.
      Jutro spróbuję sprawdzić jak oni mają zamiar to wprowadzić w życie.
      pozdrowienia!

      Usuń
    8. zresztą cała ta gadanina o nature to lekkie zawracanie dupy. Ilu sytuacji to dotyczy? Dotychczasowa punktacja wcale przecież nie zachęcała do publikowania w czasopismach z najwyższej pułki, czytaj chory podział na dziedziny. Większość zdecydowana publikuje w czasopismach przeciętnych i podział punktów na osoby staje się jak najbardziej uzasadniony. Zestawianie PNAS z jakimiś Zeszytami... uznam za zasadne kiedy napiszesz Michale tę prace w PNAS, a tymczasem zejdźmy na naszą polską cwaniacką ziemię

      Usuń
    9. Nie dziwię się, że w nauce polskiej jest tak źle skoro tacy imb...yle pokroju kilku anonimowych wypodwiadają się na tym blogu. Oskarżanie Michała Ż. że ma jakiś interes w tym, żeby punkty były liczone sprawiedliwie jest jakimś nonsensem. NIe może być sytuacji takiej, że publikacja w PNAS lub Nature albo nawet w jakimś bardzo dobrym czasopismie o IF >5 miała tyle samo punktów co publikacja w zeszytach uniwersytetu w Koziej Wólce. Przecież jest najbardziej proste rozwiązanie problemu. Likwidacja punktów MNiSW i wprowadzenie tylko IF. Jest jednak jak przypuszczam w Ministerstwie silne lobby miernot naukowych, którzy mają problem z opublikowaniem pracy z IF, więc za wszelką cenę próbują wepchnąć czasopisma klasy B. Warto również podkreślić to, że nie tylko te czasopisma się nie liczą na świecie ale również nikt z poważnych naukowców nie bierze pod uwagę czasopism z IF<1-2. Znaczące czasopisma zaczynają się z IF>2 lub więcej w zależności od dziedziny nauki. Problemem jest ewentualny podział punktów, gdyż z jednej strony podział punktów eliminuje patologię z drugiej jednak strony ogranicza współpracę i jakość publikowanych prac. Ale to temat na inną dyskusję, a najśmieszniejsze jest to, że my tu sprzeczamy się proponujemy różne rozwiązania a Ci na górze śmieją się z nas, mają to daleko w d... i podejmują decyzje, które im pasują. Pozdrawiam, Patryk Oleszczuk

      Usuń
    10. Dokładnie tak p. Patryku, grupa oni czyli GTW wiedzieli jak to rozegrać, dzieląc punkty na autorów. Na debacie o nauce w Warszawie głoszą o umiędzynarodowieniu, a za ich plecami ktoś kombinuje szybko jak dostać więcej kasy na statutowe po nowej parametryzacji !

      Ciekawe, co teraz pomyśli polski super naukowiec Prof. Bujnicki, który tworzy wieloautorowe prace w bardzo dobrych czasopismach, w tym w Nature, bardzo często z naukowcami z zagranicy. Daje świetny dorobek dla kraju. Dla ironii, Profesor był jednym z panelistów tej debaty.

      Usuń
    11. Interesujące, jak zareaguje prof. Stanislaw Karpinski. Na swoim blogu napisał, że opublikowali pracę w PLOS Genetics za prawie 9 IF. Chciałbym widzieć jego minę, jak dowie się, że dostanie np. tylko 5 punktów ministerialnych dla wydziału.

      Usuń
    12. Zawsze płaczecie nad losem wykorzystywanych doktorantów i młodych doktorów to teraz okaże się kto ile pracy wkłada w publikacje ;-) Post wcześniej było marudzenie że tytuły nie powinny nic znaczyć a ludzie powinni dostawać kasę za pracę - to się doczekacie.

      Usuń
    13. Profesor Bujnicki wyraźnie podkreślał, że najważniejsze są wybitne publikacje, te w najlepszych czasopismach, tylko jakość się liczy (brawo profesorze). Czyli 1 artykuł w Nature na klika lat jest ważniejszy niż 5 lokalnych z listy B. Inni też podkreślali znaczenie "excellence" w nauce.

      A w tym samym czasie, pod koniec czerwca, za ich plecami KEJN wdrażał propozycje nowej parametryzacji, z podziałem punktów.

      Pooglądajcie całe video z tej debaty na stronie Niezależnego Forum Akademickiego, trzy części, druga i trzecia są istotne.
      Piękne, górnolotne słowa o excellence, a za kilka miesięcy całe tłumy naukowców zaczną pisać jendoautorowe artykuły do czasopism z listy B.

      Usuń
    14. Czyli dokładnie to co jest dzisiaj. Najlepiej być ornitologiem i pisać do czasopism za if 1.9 i dostawać tyle co za if 40. Problem jest w skali a ludzie pieją do podziału punktów - logika że aż się płakać chce

      Usuń
    15. kiedy Bujnicki opublikował coś w nature ?

      Usuń
    16. "Warto również podkreślić to, że nie tylko te czasopisma się nie liczą na świecie ale również nikt z poważnych naukowców nie bierze pod uwagę czasopism z IF<1-2. Znaczące czasopisma zaczynają się z IF>2 lub więcej w zależności od dziedziny nauki."
      no to wejdź sobie pan Panie Oelszczuk na zakłądkę Ornithology do JCR, nie ma tam czasopisma z if > 2 a połowa z czytających tego bloga to ornitolodzy! I za te czasopisma można dostać nawet 50 punktów. Ciekawe kto tu jest zatem imb...ylem

      Usuń
    17. Anomowy 5 lipca 2015 21:35: Podpisz się tchorzu a na marginesie 3 pierwsze czasopisma na liście maja 5-letni IF >2. A im.. odnosił się do innej kwestii, jednak biorąc pod uwagę twoją umiejętność czytania ze zrozumieniem to teraz jestem pewny, ze ty.

      Usuń
    18. Człowieku, odpuść sobie to imbecylowanie - za kogo ty się uważasz. Znalazł się cwaniak. Skoro Michał nie czuł się urażony wycieczkami pod swoim adresem to co ty się bawisz w harcerzyka?

      Usuń
    19. Do Tchórza z 23:10. Naprawdę ty nie rozumiesz o czym ja piszę, przepraszam ale do twojego poziomu nie zejdę więc raczej nie znajdziemy wspólnego języka.

      Usuń
    20. Oczywiście zgadzam się, aby prace w "Nature" itp. były liczone w innej skali (klasyfikacja "medalowa" raczej niż punktowa). Nawet prof. Bujnicki takich publikacji chyba nie ma (Scopus - nie wykazuje), zatem to problem cokolwiek abstrakcyjny i dla kategoryzacji - bez znaczenia.

      Dyskutanci nie zauważają, że i obecnie Nature (50 pkt) da się łatwo "przegonić" 4 pracami po 15 pkt. Jestem zwolennikiem obecnej modyfikacji POD WARUNKIEM, że podobne jak teraz będą tzw. "sloty", czyli multiautorowa publikacja w Nature będzie po 5 pkt, ale zajmie tylko slot rozmiaru 1/10. Zatem pięć takich publikacji będzie jedną 50-tką. [Akurat dla czasopism typu Science czy Nature zrobiłbym wyjątek, aby nie dzielić, albo dzielić przez dwa, ale jak napisałem, to abstrakcyjny problem, rzadko spotykany w polskiej praktyce].

      Obecna zmiana reguł wykluczy POWSZECHNĄ i bardzo ważącą na ocenie (w niektórych dziedzinach) inflację prac kooperacyjnych (kilkuset autorów). Przecież takich prac może być nawet kilkadziesiąt rocznie, i to po 40 czy więcej punktów. Teraz to się dzieli ledwie przez dwa. Nie widzę też powodu, aby 10 prac po 40 punktów zespołu 9-osobowego z danej jednostki ważyć ZNACZNIE mniej niż 10 prac, w których autorami są osoby z 9 różnych jednostek (każdej liczy się ta praca z kompletem punktów).

      Zmiana reguł w trakcie gry: jeśli jest na korzyść (eliminuje patologie), to jestem zdecydowanie za. Trzeba publikować jak najlepiej, a ocena powinna to uwzględniać. Obecnie - nie uwzględnia.

      Panie Michale: a gdyby Minister dał (teraz) 100 czy 200 pkt dla Nature, Science i, niechby, PNAS - to byłby Pan za czy też pryncypialnie przeciw? Proszę sobie odpowiedzieć na to pytanie...

      Usuń
  13. Czas na konkrety, mamy przemyślany projekt, aby wystąpić do MNiSZW o podanie nazwisk projektodawców tego pomysły z nową punktacją w trybie informacji publicznej. Jak sądzicie, do kogo zaadresować wniosek ?

    OdpowiedzUsuń
    Odpowiedzi
    1. nie jestem dobry w te klocki, ale czy nie jest oczywiste, że dostaniesz informację, że pomysłodawcą jest KEJN?

      Usuń
    2. Czy nazwiska lobbystów (zapewne profesorów z pewnych kierunków) są tajne ? Wszyscy mamy prawo wiedzieć, kto dał taki pomysł. Trochę już wiemy, mamy nowe informacje, ale musimy je potwierdzić. Na pewno nie byli to zwykli urzędnicy ministerstwa nauki.

      Usuń
  14. Czy ktos zna blizej pana Marcina Chalupke, prawnika ktory zajmuje sie legislacja w zakresie szkolnictwa wyzszego ?

    OdpowiedzUsuń
  15. Cała ta dyskusja to bicie piany. Każdy system liczenia punktów ma swoje zalety i wady. Akurat doświadczenie większości krajów pokazało, że system polegający na dawaniu pełnej puli punktów każdemu współautorowi rodzi zachowania patologiczne i my to w Polsce też przerabialiśmy. Poza tym umknęło dyskutantom to, że nie porównuje się wyników z społ-humów z np. przyrodnikami i cały ten nowy system ma głównie za zadanie uporządkować liczenie punktów w humanistyce. W dobrych jednostkach różnice w stosunku do poprzedniego systemu nie będą aż tak duże w przypadku parametryzacji , natomiast istotnie wpłyną na oceny indywidualne tam, gdzie system parametryczny został żywcem przeniesiony na rankingi indywidualne. Na moim wydziale do 3n wchodzą praktycznie tylko publikacje z czasopism indeksowanych i to w większości od 20 pkt. wzwyż i symulacja nowego systemu pokazała, że różnica w stosunku do poprzedniego będzie kosmetyczna (bo konkurenci, czyli inne wydziały przyrodnicze, stosowały podobne praktyki publikacyjne). Natomiast ten nowy system bardzo istotnie będzie redukował patologie przy podziałach kasy wewnątrz jednostek i przy stypendiach dla doktorantów, gdyż spółdzielnie wzajemnie dopisujących się uczestników wręcz już kłuły w oczy.
    Podobnie jest z IF. Ciągłe wyciąganie tego pomysłu, żeby IF zastąpiło całkowicie inne parametry pokazuje jak łatwo można wyłączyć mózgi rzekomo inteligentnym osobom jakimi powinni być naukowcy. Ciekawe, że wielcy uczeni z inicjatywy z San Francisco walczą z IF jako głównym czynnikiem patologii w nauce, gdy zaczyna on zastępować oceny merytoryczne w projektach naukowych i ocenach dorobku personalnego (nikt nie kwestionuje wartości tego wskaźnika dla oceny szybkości przepływu informacji w różnych dziedzinach wiedzy i pośrednio przez to oceny jakości czasopism). Również Fundacja Nauki Polskiej postanowiła zmniejszyć do minimum rolę IF w ocenie projektów, chociaż jeszcze parę lat temu jej prezes był entuzjastą tego parametru.
    A co do rzekomego kaca tych uczonych, którzy mają tak dużo dorobku wieloautorskiego między zespołowego - ni też będą porównywani pomiędzy podobnymi jednostkami, gdzie jest ta sama praktyka publikacyjna więc wszystko się wyrównuje. Ja mógłbym np. narzekać, że nowy system drastycznie obniża punktację za monografie wieloautorskie, które w moim dziale biologii są powszechne. Ale sam do 3n wydziału daję za ostatnie trzy lata ponad 10 publikacji z czasopism za minimum 20 punktów i nie zamierzam płakać za książkami, których przecież masowo się nie pisze (natomiast wiem, że istniały patologie z monografiami wieloautorskimi w innych działach i system ma to ukrócić).

    OdpowiedzUsuń
    Odpowiedzi
    1. Wy naprawdę nie dostrzegacie absurdu nowych propozycji ? "Wybitna monografia" to ewenement na skalę światową ! Nigdzie czegoś takiego nie ma !. Komu mogło na tym zależeć, aby lobbować za przepchnięciem tych przepisów Kto był pomysłodawcą ?

      Podczas debaty o nauce z udziałem ON piękne słowa o współpracy międzynarodowej, a w nowych propozycjach parametryzacji działania całkowicie odwrotne. Podział punków za karę, za to, że współpracuje się z zagranicą ! Nie widzicie totalnej hipokryzji ?

      Usuń
    2. a już myślałem, że wszyscy na głowę upadli - zgadzam się w pełni z Anonimowym 5 lipca 2015 06:06

      Usuń
    3. Czy ktoś zadał sobie trud i przeanalizował skład osobowy KEJN ? Przecież to właśnie te osoby wniosły o zmianę dotychczasowych zasad liczenia punktów, czyli to im zależy na zmianach. Dlaczego ?

      Usuń
    4. Oto skład Komitetu:
      Dominik Antonowicz
      Andrzej Betlej
      Krzysztof Tadeusz Chyży
      Andrzej Czerwiński
      Ewa Dahlig-Turek
      Wojciech Dajczak
      Józef Dulak
      Stefan Jackowski
      Andrzej Jerzmanowski
      Konrad Klejsa
      Przemysław Korytkowski
      Maria Lewicka
      Bogdan Mach
      Monika Marcinkowska
      Anna Nasiłowska-Rek
      Andrzej Olszyna
      Katarzyna Paprzycka
      Andrzej Pilc
      Antoni Porczak
      Ewaryst Rafajłowicz
      Barbara Rymsza
      Elżbieta Dagny Ryńska
      Błażej Skoczeń
      Tomasz Szczepański
      Marta Szoka
      Iwona Szwach
      Alfred Uchman
      Agnieszka Wierzbicka
      Maciej Zabel
      Romuald Zabielski

      Usuń
    5. A oto jak się przedstawia dorobek tego składu. Wg bazy Scopus 10 osob nie ma żadnej publikacji (przynajmniej w tej bazie), co jest bulwersujące. Ale są też osoby o ogromnym dorobku. Widać, że skład komisji prezentuje skrajności. Poniżej wynotowane wartości, za nazwiskiem kolejno: liczba publikacji, liczba cytowań i indeks H.
      1. Dominik Antonowicz 5 15 2
      2. Andrzej Betlej 0 0 0
      3. Krzysztof Tadeusz Chyży 41 470 14
      4. Andrzej Czerwiński 156 2885 28
      5. Ewa Dahlig-Turek 0 0 0
      6. Wojciech Dajczak 0 0 0
      7. Józef Dulak 187 4671 37
      8. Stefan Jackowski 11 152 7
      9. Andrzej Jerzmanowski 63 830 15
      10. Konrad Klejsa 0 0 0
      11. Przemysław Korytkowski 17 20 3
      12. Maria Lewicka 15 545 6
      13. Bogdan Mach 11 105 6
      14. Monika Marcinkowska 10 8 2
      15. Anna Nasiłowska-Rek 0 0 0
      16. Andrzej Olszyna 78 464 12
      17. Katarzyna Paprzycka 15 17 3
      18. Andrzej Pilc 228 5419 41
      19. Antoni Porczak 0 0 0
      20. Ewaryst Rafajłowicz 95 399 11
      21. Barbara Rymsza 0 0 0
      22. Elżbieta Dagny Ryńska 2 1 2
      23. Błażej Skoczeń 34 165 9
      24. Tomasz Szczepański 151 3385 32
      25. Marta Szoka 0 0 0
      26. Iwona Szwach 14 11 2
      27. Alfred Uchman 164 1661 22
      28. Agnieszka Wierzbicka 18 32 3
      29. Maciej Zabel 300 2192 23
      30. Romuald Zabielsk 130 1642 22

      Usuń
    6. Może są tam też osoby ze społ-hum., więc Scopus ich nie łapie, ale nie sprawdzałem po nazwisku kto jakie działy reprezentuje.

      Usuń
    7. Czyli 1/3 składu ma zerowy IF ??? No to pięknie...

      Usuń
    8. dobra robota, dzięki za to zestawienie!

      Usuń
  16. W trakcie debaty 24 czerwca z udziałem Pani Minister, non-stop o wdrażaniu, o promocji innowacyjności, współpracy z przemysłem, itp. A propozycje KEJN zawierają "wybitną monografię" (oczywiście ocenioną subiektywnie przez ekspertów jako wybitną), która może potencjalnie nigdy nie być cytowana przez nikogo na świecie poza Polską. Co za kuriozum...

    OdpowiedzUsuń
  17. Moim zdaniem wszyscy boją się impakt faktorów i wszelkich systemów oceniania opartych na takich parametrach z prostego powodu. Impakt czasopism działa jak dobór naturalny. Mówiąc dosadniej oddziela (nie boję się użyć takiego określenia) naukowe ziarna od plew. Nauka jest zasypana "wybitnymi monografiami" , "wybitnymi dorobkami" w zeszytach wiejskich itp. Tak jak w innych dziedzinach polskiej rzeczywistości, tak samo naukowa miernota polska, dominująca wszak liczebnie, próbuje za wszelką cenę znaleźć motywy swojej egzystencji, tworząc absurdalne rozwiązania zabijające naukową jakość. Bo nie oszukujmy się, te wszystkie naukowe monografie (a sporo ich w swoim życiu przeglądnąłem) są niewiele warte. Chyba warto zaryzykować stwierdzenie, że znowu "leśne dziadki" zaczynają przejmować kontrolę nad Polską nauką.
    PS

    OdpowiedzUsuń
    Odpowiedzi
    1. Zdarza się i tak, że grupa sprawnych pisarzy upycha w czasopismach z niezłym IF prace o tym, że w miastach jest więcej karmników dla ptaków niż na wsiach, albo że przy karmniku ptaki mają mniejszy dystans ucieczki...

      Usuń
    2. Może i "zdarza się". Ale w czasopismach niskim impaktem, czy też z tzw. listy A publikowanie truizmów i metodycznie niepoprawnych prac to raczej norma.
      MP

      Usuń
    3. Z ciekawości sprawdziłem o co biega z tymi karmnikami. Widzę, że polskie piekiełko zabulgotało. Lokalny anonimowy geniusz zbulwersował się pracami kolegów z podwórka. Pewnie sam ma ambicje wypuszczać wielkie dzieła, ale wychodzą z tego
      najwyżej rzadkie kloce.
      TZ

      Usuń
  18. Wystarczy po parametryzacji w 2017roku sprawdzić, kto dostał 50 pkt. za "wybitną monografię" i już będzie wiadomo, komu na tych zmianach tak bardzo teraz zależy. Komuna wraca w pełnej krasie...

    OdpowiedzUsuń
  19. Czy osoby będące w panelu debaty o nauce 24 czerwca wiedziały o nowych propozycjach oceny parametrycznej ? Jak sądzicie ?

    OdpowiedzUsuń
  20. Zdecydowanie jestem ZA nowymi zmianami z podziałem punktów. Panowie i Panie, czy naprawdę nie razi Was obecne "dopisywactwo"? Jak to możliwe, że nawet bardzo zdolny pracownik naukowy ma na koncie rocznie 15 publikacji? Czy rzeczywiście jego wkład jest tak wielki? Wszyscy wiemy, jak to wygląda. Przykład z mojego podwórka: mamy na wydziale gościa, który jest naukowo, bardzo, bardzo słaby. Dzięki nadzwyczajnym zdolnościom towarzyskim, umiejętności wkręcania się i pewnemu sprytnemu zabiegowi zaczął być dopisywany do wielu prac zagranicznych badaczy. Uczciwie jego wkład oceniam na 0,5%. Poza tym facet nigdy nie napisał sam liczącej pracy naukowej o IF choćby zbliżonym do 1. Gość przy okazji puszy się i pozuje na światowca, bo wyrabia więcej punktów, niż prawdziwie wybitne postaci na wydziale (jest takich kilka). Czy uważacie, że to jest normalne? Dlatego jestem za dzieleniem punktów. Taki autor otrzyma wówczas 4, a nie 40 punktów i nawet przy wielu takich publikacjach nie osiągnie nic imponującego.
    Poważnym problemem jest to, o czym pisało tu już kilka osób, czyli np. możliwość robienia wyników w oparciu o publikacje z listy B. Ale sposób jest prosty - uwzględniać wyłącznie publikacje z listy A, i to najlepiej za minimum 20 punktów. Proste! Osobiście przy podziale punktów podbiłbym ilość dla jednostki, z której pochodzi pierwszy autor - wszak to zazwyczaj on koordynuje pracę i w danej jednostce wykonane zostały w większości badania.
    Pozdrowienia, S.

    OdpowiedzUsuń
    Odpowiedzi
    1. Tak naprawdę chodzi tylko o szczegóły wielu tutaj natomiast wolałoby wylać dziecko z kąpielą. Choćby mieszając bez przerwy kwestię skali (o tym w temacie w ogóle nie było mowy) z kwestia podziałów punktów. Mam niestety wrażenie (podkreślam, że to moja ocena), że to działanie zamierzone. Obecna skala jest spłaszczona do granic absurdu; ministerstwo bezmyślnie przyjęło podział dziedzin z JCR i mamy tam sporo niezłych kwiatków. Mnie osobiście razi nie wyłączenie czasopism multidyscyplinarnych do kategorii tematycznych, przez co nature rywalizuje z science, ale już nie np. z Journal of Evolutionary Biology, tak jakby prace o tematyce ewolucyjnej nie ukazywały się w nature. W naszych realiach nature powinno mieć 500. Choć nie ulega dla mnie wątpliwości, że jakiś podział dziedzinowy powinien być, to jednak do dziedzin wąskich należy dorzucić czasopisma multidyscyplinarne tak by rozciągnąć skalę. Dzisiaj system w ogóle nie motywuje do publikowania w czasopismach multidyscyplinarnych a one w obiegu światowym liczą się najbardziej.
      Druga kwestia to lista B - należy ją po prostu zlikwidować.
      Wreszcie, podział punktów. Mogę tylko zgodzić się z moim przedmówcą. Człowiek ma dwie ręce i może wyprodukować n papierów w roku. Dorobek może poprawić albo rzez pisanie lepszych prac albo przez pisanie ich w większym gronie. W tym drugim przypadku możliwe są jednak dwie opcje: realne wzrost wydajności w zespole o optymalnym składzie albo pozorancka współpraca polegająca na wymianie przysług. W pierwszym przypadku, podział punktów nic nie zmieni bo współpraca wnosi wartość dodaną (czytaj grupa produkuje więcej niż suma dla jednostek), natomiast w drugim przypadku proponowana zmiana to tragedia. Sami sobie odpowiedzcie zatem czy was to boli.

      Pozdrawiam, A.

      Usuń
    2. Bardzo ciekawy pomysł! Gdyby rzeczywiście zmienić grupy tematyczne JCR w duchu, który Pan proponuje (czyli aby KAŻDĄ listę z wąskiej dziedziny uzupełniać czasopismami z dziedziny szerszej, w szczególności pisma totalnie interdyscyplinarne), to faktycznie - eliminuje się wiele lub wszystkie kiepskie 50-tki, a moze nawet 40-tki. Wtedy rozszerzyć skalę i jest całkiem dobrze, o wiele lepiej niż teraz!

      Usuń