wtorek, 31 stycznia 2017

Polska doskonałość vs skandynawski minimalizm, czyli o ocenie jednostek

Nie czytałem samego artykułu, a jedynie doniesienie z PAP, lecz na jego podstawie wnioski autorów wydają się rozsądne - ograniczenie liczby ocenianych czynników jest na pewno wskazane. Taki czynnik jak "potencjał naukowy" to, powiedziałbym, polska specjalność i znak rozpoznawczy polskiego środowiska naukowego: wprawdzie pani "Basia" niewiele zrobiła przez ostatnie lata, ale ma ogromny potencjał, dlatego dajmy jej habilitację i zatrudnijmy bezterminowo, niech uczy kolejne pokolenia jak skutecznie kumulować potencjał...

Ważne jest również to, co czytamy w ostatnim akapicie: 
W idealnym świecie kierownik jednostki naukowej wie, jak działa system oceny, i jest w stanie przewidzieć finansowe konsekwencje podejmowanych tam działań.
Oczywiście w Polsce tak nie jest, bo zasady są ustalane wstecznie, co nie przestaje mnie zadziwiać, no ale chyba reprezentuję wymierającą mniejszość przyzwyczajoną do tego, że prawo nie działa wstecz.

Inne pytanie, które mnie interesuje jest następujące: na ile środowisko oceniające jednostki chce uproszczeń i transparentnego systemu oceny. Wcale nie jestem pewien, że tak jest, bo gdy przepisów jest dużo i są niejasne, łatwiej podać pomocną dłoń zasłużonemu instytutowi, który przechodzi chwilowe problemy... 

Doniesienie PAP a w nim link do publikacji:

Michał Żmihorski

22 komentarze:

  1. Michał - artykułu nie czytałem, ale komentując to co w linku:
    Jeśli dobrze pamiętam z poprzedniej oceny - "Potencjał naukowy" to możliwość nadawania stopnia dr (50 p) i dr hab. (70p), doktoraty i habilitacje nadane w trakcie okresu oceny (kolo 1-2 p. za każde), punkty za członkostwo w redakcjach i radach redakcyjnych (czasopisma z listy A i chyba B), funkcje z wyboru w towarzystwach naukowych itd (też chyba jakieś 2-5 p. za każde, ale tu pamięć zawodzi) - ale są to rzeczy mierzalne i konkretne w skali jednostek..

    To już wolę, żeby zlikwidowali kryterium IV - "Pozostałe efekty działalności naukowej", gdzie trzeba opisać prozą 10 osiągnięć punktowanych jako całość 0-100 p. i gdzie punkty te mogą być przyznane po uważaniu, albo po kluczu tematycznym...

    pozdr
    T.

    OdpowiedzUsuń
  2. Istotą tego artykułu jest wykazanie, że kryterium 2 tzn. potencjał naukowy nie wpływa w istotny sposób na pozycję parametryczną jednostek z grupy Science. Autorzy więc sugerują, że dla zmniejszenia biurokracji można by to kryterium w przypadku tych grup jednostek pominąć.
    Z drugiej strony wyniki wskazują, że pominięcie tego kryterium w znacznym stopniu by wpłynęło na obniżenie kategorii wielu jednostek z grupy Arts, a więc kierunków humanistycznych i artystycznych.
    To wskazuje, że w humanistyce wkład publikacji naukowych w mniejszym stopniu wpływa na pozycję przyznanej kategorii niż kryteria poza naukowe. Nie dziwi więc opór se strony tych nauk na propozycję ministerstwa obniżenia liczby doktorantów, bo ich liczba daje konkretne punkty do parametryzacji. Utrzymanie tego kryterium sprzyja też obniżeniu wymagań przy habilitacjach i staraniu się o tytuł, bo liczba wypromowanych habilitowanych i profesorów też zwiększa potencjał jednostki, który się przekłada na punkty. W grupie Science publikacje tak dominują w ocenie, że ten efekt staje się mało istotny, więc te kierunki mogą podwyższać wymagania przy awansach (i dobre jednostki rzeczywiście tak robią).
    Istotnym wnioskiem płynącym z tego artykułu jest to, że mnożenie kryteriów oceny wcale nie podwyższa obiektywizmu końcowej oceny (a nawet może go obniżać). Wzmaga natomiast biurokrację. Przygotowanie wniosków parametryzacyjnych to ogromna praca i jak wynika z artykułu w sporej części niepotrzebna.
    Kryterium IV w małym stopniu wpływa na końcową ocenę, liczba tam otrzymanych punktów jest zbyt mała żeby istotnie przechylić szalę i na dobrą sprawę też podzielam opinie poprzednika, że można by je pominąć. Znam jednak jeden przypadek, gdy punkty z kryterium IV podwyższyły kategorię dla jednostki, co z automatu obniżyło pozycje innej jednostki, o zbliżonej liczbie punktów wynikającej z pozostałych kryteriów. Wynika to z tego, że liczba jednostek mogących otrzymać kategorię A+ jest ograniczona. Przypomina to sytuację z grantów, przy ograniczonej kasie z grupy równocennych trzeba wybrać te godne finansowania. W omawianym przypadku zadecydowała o tym ważna nagroda międzynarodowa dla jednego z pracowników, która dała możliwość wstawienia w kryterium IV maksymalnej liczby punktów.
    Leśny dziadek

    OdpowiedzUsuń
  3. rozumiem, że każde kryterium jest w jakiś tam sposób wytłumaczalne - ale jeśli jest ich kilkadziesiąt, w sumie dają efekt w postaci totalnego bajzlu. Nie rozumiem też dlaczego sama możliwość nadawania tego czy innego stopnia ma dawać jakieś punkty - to trochę właśnie takie premiowanie potencjału o którym pisałem. Jeśli już to za nadane stopnie, a nie za samą możliwość ich nadawania! Opis prozą czegokolwiek w celu oceny jednostek to też absolutny skandal, no ale na tym właśnie polega patologia tego systemu.

    Odnosząc się do wypowiedzi Leśnego dziadka - nie powinniśmy z faktu, że coś w małym stopniu wpływa na końcową ocenę, wnioskować, że jest niegroźne, bo potem mamy takie sytuacje o których piszesz: podobna ocena kilku jednostek i te detale przeważają.

    OdpowiedzUsuń
    Odpowiedzi
    1. Kryteriów jest tylko 4 i każdy ma inną wagę. Najmocniejsze jest kryterium 1, czyli punkty za publikacje naukowe za 3n. Na UWr właśnie pracujemy nad wnioskiem parametryzacyjnym i do 3n (razem ponad 360 prac) weszły wyłącznie publikacje od 25 punktów + 8 publikacji za 20 pkt, więc nawet sporo tych z czasopism indeksowanych przez Thomsona już się nie załapało.
      Ale liczy się oczywiście Czerwona Królowa i to, co nam dadzą te punkty zależy od pozycji innych wydziałów w Polsce. W poprzednim wniosku sprzed 4 lat do 3n wchodziły wszystkie publikacje od 15 pkt. i jeszcze spora grupka za 9 pkt. Można więc mówić o sporym postępie, ale czy relatywnie będzie to też postęp to się okaże.
      Leśny dziadek

      Usuń
    2. w samej kategorii "Potencjał naukowy" TDM powyżej wymienił 6 kryteriów...
      Co do publikacji to ładny wynik, ale tak jak piszesz - ciekawe jak inni sobie radzą. Generalnie poziom publikacji w PL chyba dość wyraźnie wzrasta.

      Usuń
    3. "w samej kategorii "Potencjał naukowy" TDM powyżej wymienił 6 kryteriów..."

      6 elementów, kryteriów jest tylko 4. Elementy dają określony wynik punktowy dla danego kryterium.

      Usuń
    4. "Generalnie poziom publikacji w PL chyba dość wyraźnie wzrasta"

      Na wydziałach kategorii A i A+ to chyba tak jest, ale na innych to już chyba nie jest tak ładnie. Obserwując dyskusje na blogu E. Kulczyckiego (np. http://ekulczycki.pl/warsztat_badacza/jak-zreformowac-system-oceny-jednostek-naukowych/ - tam można się zapoznać z wynikami publikacji anonsowanej przez Michała, ale i poprzednie wątki) to właśnie jednostki z niższych kategorii są zainteresowane w utrzymaniu tych rozbudowanych systemów oceny, bo one promują kryteria trudniej i mniej obiektywnie mierzalne. W topowych wydziałach samo kryterium 1 ustawia cały wynik rankingu i tylko to kryterium 4 pozwala niektórym rzutem na taśmę zwyciężyć (to jak złoty medal za 0,001 sekundy).
      Leśny dziadek

      Usuń
    5. ok, sorry - chodziło mi o elementy właśnie.
      Też mam podobne wrażenia, że te rozbudowane systemu oceny ratują właśnie te słabe jednostki. Współpracowałem kiedyś z bardzo słabym instytutem badawczym i tam w zasadzie nikt nie był zainteresowany żebym publikował, powiedziałbym nawet że mi to utrudniano. Oni ratują się w rankingach jakimiś pierdołami właśnie w stylu opisu prozą, potencjału itp.

      Usuń
  4. Zasada prawo nie działa wstecz odnosi się głównie do prawa karnego, a nie do stosunków administracyjno-prawnych. Dobrze, że zasady są ustalane post factum, bo inaczej naukowcy spędzaliby 50% czasu zastanawiając się jak uciułać jeszcze kilka punktów. Jak ktoś robi swoje dobrze, to nie ma się czego obawiać. Przecież jak wysyłasz artykuł do redakcji, to też nie masz pewności jakimi kryteriami będzie kierował się recenzent. Jednemu nie spodoba się błąd językowy, innemu wykres, a jeszcze innemu błąd w logice wywodu. Ale jeśli artykuł jest dobry, to nie masz się czego obawiać.

    OdpowiedzUsuń
    Odpowiedzi
    1. sorry, ale dawno nie słyszałem tak słabej argumentacji. To nie są żadne "stosunki administracyjno-prawne" tylko dystrybucja grubej forsy za pracę. Absurdem jest stwierdzenie: nie myśl co robić, tylko rób, a za 4 lata powiemy czy o to nam chodziło. Głupszy system trudno sobie wyobrazić, bo właśnie ten kto "robi swoje dobrze" może dużo stracić - np. okaże się że współpraca z zagranicą będzie oceniana niekorzystnie i cały dorobek wielu ludzi szlag trafi. Albo zespoły staną się nagle promowane/dyskredytowane, i dorobek danej jednostki zmniejszy się o 30%. Taki system właśnie sprawia, że tracimy czas, choćby na dyskusje na ten temat.

      Oczywiście idzie tu o grubą forsę, więc nie można wykluczyć, że ostateczny kształt algorytmu powstaje w wyniku symulacji i nacisków pewnych grup, które akurat o algorytmie decydują, lub znają kogoś decydującego: zmieniając o kilka procent wagę tego kryterium wskakujemy do lepszej kategorii i mamy milion więcej - ktoś da gwarancję, że takie sytuacje nie mogą mieć miejsca?

      Usuń
    2. Jeśli ktoś realizuje współpracę z zagranicznymi ośrodkami to raczej dlatego, że w kraju nie ma odpowiednich specjalistów lub sprzętu, a nie ze względu na punkty. Jeśli znajdziesz za granicą współpracowników spełniających Twoje oczekiwania, to masz duże szanse na wartościowe wyniki naukowe i na pewno zostanie to docenione.

      Usuń
    3. no właśnie nie na pewno, bo KEJN może wprowadzić zasadę, że te punkty są mniejsze - właśnie o to chodzi, że mimo wartościowych, jak piszesz, wyników naukowych, algorytm może być tak zmieniony, że np. jeśli jest więcej niż 50% współautorów spoza PL, to przysługuje połowa punktów. I wyprzedza Cię lokalny dłubacz, który pisał do słabszych czasopism, ale za to bez współpracy zagranicznej. Właśnie o to chodzi, że nie wiadomo co oni wymyślą.

      Usuń
  5. To w ogle nie jest forsa a prace! To sa pieniadze na przyszlosc!! Dostaja je Ci, ktorzy najlepiej rokuja, aby je dobrze wykorzystac. Zdecydowanie popieram poglad, ze nie powinnismy miec mozliwosci dostosowania sie do zasad. Kiedy cel ma miare, to miara staje sie celem. Wazne, aby ciagle zmieniajace sie zasady byly zawsze zgodne ze zdrowym rozsadkiem, czyli promowaly najlepsza nauke.

    OdpowiedzUsuń
    Odpowiedzi
    1. jasne, "dostają je ci którzy najlepiej rokują' - idź na najbliższy uniwersytet z kategorii A i zobacz ile tam jest starych dziadów, którzy nie opublikowali w życiu nic wartościowego, a dostają tę forsę od dziesięcioleci. Ci którzy najlepiej rokują (nie zaliczam siebie do tej kategorii) wyjeżdżają za granicę, bo to rozdawanie pieniędzy wg niejasnych zasad, ale zawsze swoim do syta, powoduje że się nie da normalnie pracować naukowo w PL.

      Usuń
    2. Dlaczego pani "Basia", anie pan "Jasio" ?

      Usuń
    3. Ja trochę rozumiem Anonimowego z 22:57. Obserwuję naszych doktorantów i ich walkę o wpasowanie się w system. Dla nich liczy się natychmiastowy sukces, bo większość i tak nie znajdzie pracy w nauce, bez względu na rokowania. W mojej opinii system powinien być prosty, oparty o jasne merytoryczne kryteria i stabilny. Wtedy nie będzie ważne czy on działa wstecz czy do przodu. Jako ten "leśny dziadek" przepchałem się już przez to najtrudniejsze sito i z niepokojem patrzę na moich kolegów z tej samej grupy młodych leśnych dziadków i wcale im nie ufam, czy chcą rzeczywiście przejrzystego systemu. Raczej myślą jak zablokować tych co są za nimi, żeby utrudnić konkurencję do zbyt małych zasobów. Z ciekawości zrobiłem wywiad na temat podziału dotacji statutowej wydziału wewnątrz mniejszych jednostek i ku mojemu zdumieniu to podział bezpośredni do pracowników wg rankingu naukowego przeważał w jednostkach kierowanych przez starych leśnych dziadków, a nie w tych prowadzonych przez młode wilczki. Oni raczej wolą trzymać rękę na kasie i dzielić doraźnie na prośbę pracownika. W jednostkach laboratoryjnych to można jeszcze znaleźć uzasadnienie dla takiej polityki (choć jest to jakaś forma ograniczenia inwencji jednostki), ale w pozostałych nie widzę racji dla takiej praktyki.
      Leśny dziadek

      Usuń
    4. może być pan "Jasio", albo pan "Michał" - nie mam tu żadnych uprzedzeń

      Usuń
    5. Dlaczego pani Basia a nie pan Michal? Bo pani Basia moze nalozyc miniowe, szpilki, podac herbate. Dla szefa, ktory jest normalnym facetem, moze to znaczyc wiecej niz jakies punkty z jakiegos czasopisma. A w sumie dla podatnika, to te punkty ministerialne tez nie generuja jakiejkolwiek wartosci. Wiec skoro nikt nic nie traci, to czasem lepiej napic sie herbaty niz tylko wypelniac tabelki.

      Problem, ktorego nie rozumieja tutaj dyskutanci jest taki, ze osrodki A+ powinny dawac jakas konkretna korzysc podatnikowi, a nie tylko poswiadczac, ze pracuja tam ludzie z wysokim IQ.

      Usuń
    6. Szermowanie pojęciem korzyści dla podatnika to czysty populizm. W nauce, a zwłaszcza w naukach podstawowych (a na tym blogu wypowiadają się głównie przedstawiciele takowych) przełożenie wyników naukowych - nieważne jak mierzonych - na tzw. korzyść jest zwykle bardzo odłożone w czasie, a czasem niemożliwe do przewidzenia. Ciekawe, że te same osoby w kółko chowające się za tego mitycznego podatnika nie walczą tak mocno, aby ustawodawcy nie marnowali pieniędzy tych podatników (te hordy pociotków wpychanych do spółek skarbu państwa to przypadkiem nie płacą sobie z pieniędzy podatników?). A podatnicy, którzy nie mają swoich przedstawicieli w parlamencie (bo ich partie przegrały w wyścigu wyborczym) to nie mają nic do powiedzenia, że rządzący dają kasę na projekty, których ci podatnicy nie akceptują. Można by tak bez końca ten wątek podatnika suwerena ciągnąć. Ale to zwykłe bredzenie. W nauce przede wszystkim (przynajmniej w krajach cywilizowanych) chodzi o to, żeby opłacani przez państwo badacze (ci opłacani przez przemysł podlegają innym prawom) pracowali na odpowiednim poziomie wyznaczanym przez wiodące w nauce grupy. I tak 90% (lub więcej) prac z pure science nie przełoży się na żadną konkretną korzyść dla mitycznego podatnika. Będzie służyć tylko dalszemu budowaniu gmachu nauki. Zawsze tak było i będzie w nauce. Sterowanie nauką pod podatnika skończy się tak kiedyś w ZSRR czasów miczurinizmu i łysenkizmu. W naukach aplikacyjnych oczywiście, inaczej są ustawione cele, ale i tam znaczna część budżetu ulegnie rozkurzowi. Jaki procent opublikowanych prac naukowych na świecie w instytutach zajmujących się badaniem raka przekłada się na aplikację czyli terapie antyrakowe? Gdzieś czytałem, że 2%, reszta to zwykłe prace z biologii molekularnej i eksperymentalnej. A jakim budżetem te instytuty dysponują.
      Leśny dziadek

      Usuń
    7. Chyba zdenerwowalem troche Pana Profesora (czyli "Lesnego Dziadka"). Bo nagle tyle slow ("bredzenie" itp.)zupelnie niepasujacych do arystokracji srodowiska akademickiego...
      Trudno, ale pozostane przy swoim zdaniu.
      Co to sa ewentualne korzysci, a wlasciwie w polskim wydaniu "straty"? O tym juz tu bylo, ale pewne rzeczy trzeba od czasu do czasu przypomniec. Otoz Polska ma fatalny wynik w udziale w programach UE, tracimy prawdziwe pieniadze, spore. Dalej, mamy jakies dziwolagi, czyli programy typu "mobilnosc", gdzie ludziom z PL funduje sie kilkuletnie pobyty zagranica razem z rodzina, tylko dlatego, ze doktorzy z (ponoc) wybitnych polskich osrodkow A+ i A nie sa w stanie wygrac postdoca w dobrym osrodku zagranicznym ufundowanego przez ten osrodek. A mozna? Oczywiscie, ze mozna - przyklad p.Michala (gospodarza na tym blogu, jak najbardziej to potwierdza). Ale u nas celem staly sie punkty dla punktow, a nie jako srodek do realizacji celow wyzszych.
      O sensownosci startupow (gdzie szanse powodzenia na koncowy sukces sa rzedu 10% oraz o opracowywaniu kuracji, o ktorych wspomnial poprzednik, i ktore stanowia podobno odbicie 2% publikacji nawet nie bede tutaj pisal, gdyz niedawno temat niebieskiego lasera znowu stal sie glosny (takze tutaj). Po prostu jako narod kompletnie niewiele rozumiemy z zasad funkcjonowania swiata. Jestesmy glownie "rozpakowywczami" zaawansowanych technologii przychodzacych z "wiekiego swiata". I poniewaz nie dorastamy do realizacji wyzszych celow, wiec wynajdujemy sobie inne, plaskie.
      I tyle.

      Usuń
    8. Pańskie wpisy na pewno mnie nie denerwują. Jak ja komentuję jeden aspekt Pańskich wypowiedzi to Pan sprytnie odpowiada pisząc o czymś zupełnie innym. Odnosiłem się do argumentu o podatniku, bo on zwykle pada wtedy kiedy nie ma się argumentów merytorycznych. W polskiej nauce jest wiele problemów lub wręcz patologii, ale ja lubię pisać o konkretach, a nie bawić się w populistyczne zagrywki. W jednej z wypowiedzi powyżej zwróciłem uwagę na wzrastającą liczbę publikacji w coraz lepszych czasopismach na moim wydziale. Żeby sprawić Panu przyjemność to napiszę, niestety, że jest coś co wciągu tych lat się na tym wydziale nie zmieniło. Mianowicie utrzymuje się stały odsetek pracowników na etatach naukowo-dydaktycznych, którzy do 3n wydziału nie dostarczają ani jednej publikacji. W ostatnim rankingu na ponad 120 osób zatrudnionych blisko 30 nie miało w ogóle żadnej publikacji. I ja uważam, że najpierw należałoby zrobić tutaj porządek bo widać, że nas system wcale nie jest konkurencyjny skoro zwykłe nieroby mogą latami się utrzymywać. Punktoza nie jest przypadkiem tylko Polski, obecnie takie systemy ewaluacyjne istnieją w większości krajów europejskich, stanowią też część systemu oceny w USA. Ja osobiście jestem przeciwnikiem tego polskiego, bizantyjskiego systemu oceny (wydawało mi się, że z moich wpisów to wyraźnie widać, ale wiem też, że czytanie ze zrozumieniem w tym kraju zanika). Nie wiem, jaką pozycję Pan zajmuje w nauce, czy miał kiedyś okazję być menedżerem w skali jakiejś większej jednostki (katedra, instytut, wydział). Takie stanowiska bardzo otrzeźwiają i sprowadzają na ziemię.
      I jeszcze uwaga do tego Pana Profesorstwa. Niektórzy już zauważyli, że zacząłem używać tego nicka "Leśny dziadek" trochę przewrotnie, po wpisach na tym blogu o rzekomym zagrożeniu polskiej nauki przez starych leśnych dziadków. Ja zacząłem dostrzegać wiecej zagrożeń ze strony młodych leśnych dziadków, których pokoleniowo lepiej znam. A, że jestem trochę złośliwy to na napaści personalne trochę też ogryzam się personalnie. A Pan ma jakieś kompleksy pochodzeniowe, że tak od tych arystokratów wyjeżdża. Dam Panu dodatkowe argumenty, moja prababka rzeczywiście była prawdziwą baronową (i jeszcze z von przed nazwiskiem, więc chyba mam zupełnie przechlapane).
      Leśny dziadek

      Usuń
    9. Panie Profesorze, "zaczepil' mnie Pan w paru sprawach, ale w wiekszosci nie odpowiem na te zaczepki. Pamietam Pana wczesbiesze, bardzo trzezwe wypowiedzi (szczegolniew kontekscie wypowiedzi roznych "mlodych wilczkow") i dlatego nie widze powodu spierac sie "o wszystko".

      Natomast co do tego, ze wzrosl nam poziom uprawianej nauku to uwazam, ze jest to ocena zbyt optymistyczna, tj. wg nmie nic sie nie zmienilo. Owszem w punktach IF, indeksie H jest lepiej niz bylo, ale to jest obecnie trend swiatowy (sam Pan o tym zreszta wspomnial). Mam znajomych m.in. w Chunach i Turcji, no tam to sie dopiero teraz dzieje... Czyli poniewaz wszyscy graja pod punkty, to punkty rosna. Wiec to jest tak jak z podwyzka pensji w warunkch inflacji. Moze oznaczac efektywnie wzrost, ale to moze oznaczac efektywnie spadek. Wracajac do nauki, to zdaje sie, ze zadne istotne parametry wzgledem reszty swiata nie ulegly poprawie (uczelnie wrecz spadly nizej). Jest jak bylo, czyli ten sam poziom zrozumienia o co w tym wszystkim chodzi. Pan Michal ujal sprawe wdrozen tak: "I chocby przyszlo tysiac atletow".. Do wielu rzeczy po prostu dalej nie dorastamy mentalnie.

      "miernota (bardzo zle) wychowana na prowincji angielskiej"

      Usuń