wtorek, 4 sierpnia 2015

Impakt oczekiwany vs zrealizowany

Przy okazji o dyskusji nad habilitacją i CK zastanawiam się sporo nad kwestią oceny dorobku, bo mam wrażenie, że coraz bardziej odchodzimy od sedna sprawy. Całkiem często pojawiają się prace w dobrych czasopismach, które są słabo cytowane, a równocześnie trafiają się prace w czasopismach z niższej półki, które pod względem cytowań radzą sobie zaskakująco dobrze (oczywiście uwzględniając rok publikacji). Które z nich mają większą wartość naukową i jak powinniśmy je oceniać? Zastanówcie się nad pytaniem, na które mi trudno odpowiedzieć: jaką pracę wolałbym mieć w swoim dorobku: z dobrego czasopisma ale niecytowaną, czy ze słabszego, ale z wieloma cytacjami? Czteroletnia praca w Auk z 0 cytacjami, czy publikacja w Ornis Fennica cytowana 25 razy? Powiecie, że jednak Auk? No dobrze, a OF cytowana 70 razy??

Skupiając się na jakości czasopisma (a więc de facto jego IF w danej kategorii tematycznej, bo na tym bazuje ranking ISI i MNiSW) przy równoczesnym ignorowaniu cytowań danej pracy, dochodzimy do paradoksalnej sytuacji, w której wskaźnik wpływu (IF) staje się ważniejszy niż sam wpływ (I). Ujmując rzecz przenośnią: stosujemy odpowiedzialność zbiorową i karzemy wybitnego uczonego, za to że pracuje w słabej jednostce (albo dobrego ucznia, za to że chodził do słabej szkoły). Przecież ta hipotetyczna praca z Ornis Fennica ma znacznie większy "impact" od tej z Auka, a IF tych czasopism jedynie obrazuje oczekiwania względem impaktu, które w odniesieniu do tych dwóch prac okazują się całkowicie mylące. Praca w Auk, której nikt nigdzie nie zacytuje praktycznie nie istnieje (i jest dowodem, że nawet najlepsi redaktorzy się mylą), a autor zamiast robić badania, mógłby spędzić ten czas przed telewizorem i nic by się nie zmieniło. Możemy oczywiście zarzucać wspomnianemu uczonemu, że powinien był się przenieść do lepszej jednostki, ale nie umniejsza to jego dokonań. Odwrotnie - gdyby pracował w jednostce dobrej, miałby jeszcze lepsze rezultaty, tak jak cytowany maszynopis - gdyby był opublikowany w Auk, byłby prawdopodobnie cytowany jeszcze częściej. 

Przykład ekstremalny: praca o ROC z czasopisma Radiology (IF=6.8) cytowana jest 8658 razy. Rozsądnie jest ją oceniać po impakcie czasopisma?

To rozumowanie prowadzi do wniosku, że w ocenie pracy naukowca tylko cytowania są ważne i nic innego się nie liczy. Jedynie one odzwierciedlają prawdziwy (=zrealizowany) wpływ naszej pracy na naukę, a wszystko pozostałe (jakość czasopism, częstotliwość publikowania itp.) to wyłącznie narzędzia, na których nie warto się skupiać. Jest to logiczny wniosek z zaakceptowania, że nie ma wartościowej publikacji bez cytowań i odwrotnie. 
Dostrzegacie gdzieś błąd w moim rozumowaniu??

michał żmihorski

PS pisząc o cytowaniach, raczej nie mam na myśli tych w stylu: "jak mylnie twierdzi Żmihorski (2010)..." ;-)

41 komentarzy:

  1. Błąd jest w tym, że zakładasz iż jedynym celem nauki i oceny dorobku jest cytowanie.

    OdpowiedzUsuń
    Odpowiedzi
    1. nie napisałem, że celem nauki jest cytowanie (nonsens), tylko że jedynym wskaźnikiem wagi naszej aktywności naukowej jest to, na ile jest ona przydatna innym naukowcom lub praktykom.

      Usuń
    2. No właśnie, teraz dodajesz też "praktykom" (może jestem ślepy, ale w tekście powyżej tego nie zauważyłem. Dam ci przykład z własnej działki. Napisałem książkę, ministerstwo odmówiło dofinansowania bo uznało, że ma mały potencjał naukowy (w sensie cytacji). Wydałem ją w polskim wydawnictwie w połowie własnym sumptem, w połowie kasę wyłożył właściciel wydawnictwa. Sprzedaliśmy w pierwszym rzucie ok. 3000 egzemplarzy. Publikacja jest jedną z najczęściej cytowanych z mojego dorobku, ale tych cytacji jest nieco ponad 100. Tymczasem okazało się, że ma ona ogromny walor praktyczny, bo kupcami były w większości instytucje związane z ochroną żywności (np. wiele laboratoriów FAO z całego świata). Ten walor praktyczny był również niespodzianką dla mnie, bo z tantiemów kupiłem nowe mieszkanie. Ale publikacja jest stricte naukowa.

      Pisałem już przy innej okazji, że w pierwszej 20-ce moich najczęściej cytowanych prac, pierwsza opublikowana w czasopismach z listy Thomsona, jest dopiero na 19 miejscu (nieco ponad 20 cytowań) Te topowe z ponad 100-ką cytowań to monografie książkowe.

      Popatrzyłem na statystyki habilitacji z naszego wydziału z ostatnich lat i widzę, że przeciętny molekularny lub eksperymentalny startował z 16-18 publikacjami całego dorobku (ważyły IF czasopism i wysokie cytacje), środowiskowy 35-45 (niższy sumaryczny IF, część publikacji poza Thomsonem, duży rozrzut cytacji), systematycy 55-70 (bardzo niski sumaryczny IF, mało cytacji). Te liczby pokazują ile prac musieli opublikować z poszczególnych działów aby przekroczyć próg punktowy wyznaczony do otwarcia przewodu (ale ci z pierwszej grupy byli z reguły tuż za granicą progu, a np. systematycy daleko poza progiem, środowisko różnie, w zależności od IF).

      Jak widać, bardzo trudno jest stworzyć jeden algorytm oceny dla wszystkich i ocena merytoryczna ciągle jest najważniejsza. I chociaż w naszym bagienku jest ona najbardziej podatna na kombinacje, układziki itp. to trudno ją wyeliminować. Same cytacje nie muszą też wskazywać na wartość publikacji, wpływa na nie wiele czynników poza merytorycznych (specyfika działu, zorganizowanie grup wzajemnych cytacji, popularność danej działki itd.), chociaż oczywiście zawsze lepiej mieć ich więcej niż mniej.

      LB

      Usuń
    3. ok, ale np Google scholar uwzględnia również cytowania w różnych raportach, ekspertyzach, planach itp., więc wątek aplikacyjny - jeśli jest ważny w danej dziedzinie - można właśnie śledzić korzystając z tej bazy.
      Uwzględniając w większym stopniu cytowania przy okazji oceny dorobku właśnie monografie stają się ważne i można je porównywać z publikacjami w czasopismach.

      Usuń
  2. Dlatego w większości przypadków (postępowaniach habilitacjnych, konkursach grantowych NCN) ocenia się też łączną liczbę cytacji i indeks Hirscha.
    Poza tym, takie skrajności są dosyć rzadkie. Sam posiadam w dorobku prace, które są słabe metodycznie, opublikowane w kiepskich czasopismach, a ku mojemu (i współautorów) zdziwieniu, mają całkiem sporo cytacji. Moim zdaniem, publikacja w wysoko impaktowym czasopiśmie mówi w dużej mierze jak metodycznie praca została wykonana. Chyba rzadko zdarza się, że metodycznie niepoprawnie wykonane badania są opublikowane w czasopismach z wysokim impaktem. Inna rzecz w tym, że oprócz metodyki liczy się oczywiście ciekawy temat lub problem i czasami słabsza metodycznie praca, ale ciekawa, może przebić się nawet będąc opublikowana w czasopiśmie typu Ornis Fennica. Poza tym wszystkim, i to trzeba jasno podkreślić, sam proces cytowania jest w dużej mierze losowy. Z pewnością wiele ciekawych i ważnych prac pozostaje niezauważonych i nie są cytowane.

    OdpowiedzUsuń
  3. Aktualnie zbyt dużo jest czasopism naukowych. Bardzo trudno jest ogarnąć wszystkie, więc do przeglądania wybieramy kilka najlepszych z dziedziny zakładając (mylnie bądź nie) że tam są prezentowane najnowsze i najlepsze badania. Znamy więc dobrze te konkretne czasopisma i zawarte w nich artykuły i później je cytujemy. W ten sposób postępuje wielu naukowców, więc publikując w bardzo dobrym czasopiśmie, prawdopodobnie nasza publikacja będzie miała więcej cytowań niż w jakimś przeciętnym. Druga sprawa to dostępność artykułów. Elsevier jest chyba najbardziej dostępnym wydawnictwem na świecie /wiele instytucji ma dostęp do czasopism od tego wydawcy/, więc jak jakiś artykuł jest łatwo dostępny będzie łatwiej cytowany. Moje artykuły z Elseviera są częściej cytowane niż np. ze Springera. Artykuły w lepszych czasopismach też w większości przypadków mają więcej cytowań niż te w gorszych czasopismach. Oczywiście zdarzają się wyjątki, ale zasadniczo u mnie jest jak napisałem. Większe cytowanie monografii może być związane podobnie jak z "review article" po prostu z faktem, że gdy potrzebujemy potwierdzenia na poparcie ogólnej informacji bierzemy "review" lub książkę. P. Oleszczuk

    OdpowiedzUsuń
  4. "Większe cytowanie monografii może być związane podobnie jak z "review article" po prostu z faktem, że gdy potrzebujemy potwierdzenia na poparcie ogólnej informacji bierzemy "review" lub książkę"

    Niekoniecznie, po prostu w mojej działce monografia uchodzi za szczytowe osiągnięcie. Tylko duże syntezy filogenetyczne są stawiane wyżej, ale ich się pisze raz lub kilka razy w życiu, a większość nigdy nie będzie miała. A na IF-y i cytacje to w ogóle się nie zwraca uwagi, bo wartość dużej monografii jest liczona w dziesiątkach lat trwania, a w dziedzinach laboratoryjnych większość prac szybko się dezaktualizuje więc parcie jest na jak najszybsze zaistnienie. No i w monografiach ten aspekt praktyczny ma dużo większe znaczenie niż w większości prac laboratoryjnych.
    LB

    OdpowiedzUsuń
  5. Myślę Michale, że znacząco upraszczasz sprawę. Przede wszystkim liczba cytować odzwierciedla liczbę cytowań, a nie "impakt" pracy. Jak wiadomo liczba cytowań zależy m.in. od liczby autorów, ich afiliacji itp. Praca może być wielokrotni cytowana i jednocześnie nie być czytana, co ma miejsce często w przypadku trudniej dostępnych publikacji książkowych/monografii itp. Znaczenie ma raczej to czy dana wiedza przebija się do obiegu w postaci podręczników. A co do if czasopisma, to nie można nie zauważyć, że poziom recenzji w czasopismach o nikim if jest mizerny. Sam wielokrotnie radziłem redaktorom odrzucanie prac za błędy fundamentalne a one i tak szły do kolejnych recenzentów i ukazywały się w mniej lub bardziej okrojonej postaci. Innymi słowy, opublikować można nawet największe fantasmagorie, ale im wyższy if czasopisma tym trudniej (nie jest to oczywiście niemożliwe). Później takie wydumane bzdury mogą być wielokrotnie cytowane, ale czy jest to powód do nagrody czy do wstydu? Gdybyśmy potrafili zapewnić, że prace w czasopismach o niskim if przechodzą przez takie samo sito recenzji merytorycznych jak prace w czasopismach z wysokim if to może miałbyś więcej racji, ale tak to uważam, że się mylisz. W czasopismach z wysokim if może i jest wiele prac kiepsko cytowanych, ale ich cytowanie jest generalnie bezpieczniejsze.
    Inna sprawa to problem wolności naukowej. Gdy podejmujesz problem to nie z myślą jak wielu może chcieć to zacytować. Jak zatem można oceniać kogoś prace za to jak wielu ją zacytowało. Być może dzisiaj zajmuje się tym jeszcze niewielu, ale może uda mi się zbudować zespół i zainteresować szersze grono moimi ideami i za parę lat więcej ludzi zajmie się czymś podobnym. Bezkrytyczne polegania na liczbie cytowań zniechęca do podejmowania nowych tematów i zachęca do chowania się za plecami innych. Nauka jest dla odważnych. Nie można budować poziomu oglądając się na innych.

    Podsumowując, uważam że liczba cytacji i if są komplementarne, ale trzeba jeszcze umieć czytać.

    PR

    OdpowiedzUsuń
    Odpowiedzi
    1. wydaje mi się to nielogiczne, co piszesz o równym sicie recenzji - każdy czyta i cytuje to, co uważa za wiarygodne. Możesz przecież cytować Łowca Polskiego, to nie jest zabronione, ale jakoś nikt tego nie robi, i nie ma z tym problemu, że "Nature znowu masowo cytuje Łowca, a przecież tam głupoty wypisują"...
      No właśnie o wolność naukową tu chodzi - prace nowatorskie, eksplorujące nowe pola, będą oczywiście chętniej publikowane i masowo cytowane. A prace adresujące te same problemy, co 50 lat temu, będą cytowane słabo.
      Zgadzam się natomiast, że cytowanie wieloautorskich itp to pewien problem techniczny

      Usuń
    2. "co uważa za wiarygodne" czy raczej co pasuje pod jego tezę? Jak znajdziesz w Nature to zacytujesz, ale jak tylko w łowcy to i tam zacytujesz.
      Prace nie tyle nowatorskie, można to rozumieć wielorako, co podejmujące nową tematykę nie mogą mieć masowo cytowane z definicji - nikt się tą tematyka nie zajmuje. Inaczej nie byłyby nowatorskie. Zaczną być cytowanie gdy tematyka stanie się popularna.
      PR

      Usuń
    3. Rozumiem Michale, że jeśli opublikujesz z kolegami kilka prac w Łowcy a następnie wzajemnie się zacytujecie to cytowania odzwierciedlą prawdziwy (=zrealizowany) wpływ waszych pracy na naukę? Typowo polski spryt. Jak pisał przedmówca, liczba cytacji odzwierciedla liczbę cytacji a nie jak piszesz zrealizowany wpływ.

      Usuń
    4. Przyznam że rozgryzłeś mój plan z Łowcem - taki właśnie miałem pomysł na karierę... No ale trudno, jak widać przed przenikliwością anonimów na blogu nic się nie ukryje ;-))
      Oczywiście nie chodzi o autocytacje i myślę, że dobrze to rozumiesz, więc odłóżmy złośliwości :-)
      No fajnie, że "liczba cytacji odzwierciedla liczbę cytacji", bardzo to mądre i nie sposób się nie zgodzić, ale moim zdaniem cytowanie pracy właśnie dobrze odzwierciedla jej wpływ. Przecież współczynnik wpływu jest budowany wyłącznie w oparciu o cytacje, taka jest jego definicja. Cytowanie pokazuje, ze dana praca jest zauważona, że jest inspiracją dla kolejnych badań, lub pozwala na ugruntowanie wiedzy w danym temacie. I odwrotnie: brak cytacji, choćby nie wiem jak genialne było odkrycie i jak świetne czasopismo, pokazuje że ta praca po prostu nie istnieje... Jasne, że ktoś może taką pracę przeczytać, skorzystać z niej w ten czy inny sposób, ale jej nie zacytować. Ale w skali makro, takie przypadki nie mają znaczenia.

      Usuń
    5. Niczego nie zrozumiałeś. Ja podałem tylko przykład jak bezsensowne jest poleganie na cytacjach - nijak nie odnosiłem tego do Ciebie. Nie pisałem także o autocytacjach, ale o altruiźmie odwzajemnionym - cytujesz tych co cytują ciebie. Współczynnik wpływu jest budowany w oparciu o ogół a nie jednostki i to że osoby wzajemnie się cytują nie wpływa na if bo kolega może akurat napisał w innym czasopiśmie. Śmiejesz sie ze stwierdzenia, że cytacje świadcza o cytacjach, ale to prawda. Wpływ pracy jest wypadkową liczby zakupionych kopii, częstości ukazywania się opisów w prasie i to niet yko popularno-naukowej, ale w niewielkim tylko stopniu cytacji. Praca może być zauwazona wiele lat po publikacji. Praca może być także zauwazona i czytana i opisywana w podręcznikach i nie cytowana w czasopismach naukowych - jeśli to nie jest wpływ to co nim jest. Młodzi ludzie nie przychodzą do nauki czytając Nature, jeśli już to Scientific American albo National Geographic. Fakt że praca jest cytowana może wynikać także z pobudek negatywnych; gdy uważasz że ktoś napoisał bzdury to też te bzdury cytujesz. Wreszcie jak można oceniać kogoś prace na podstawie tak korupocjogennego parametru jak liczba cytacji. Przecież jedynym sposobem na zwiekszenie liczby cytacji i nie sprzedawania się w ten lub inny sposób jest kumoterstwo. Czy Ty podejmując problem zastanawiasz się ilu to zacytuje, czy ptrafisz to choćby z grubsza przewidzieć. Ja nie i nie znam nikogo kto tak. Jak zatem mozna oceniać prace naukowca za coś co od niego nie zależy?

      Usuń
    6. O widzę że samotny, zrugany przez życie wilk musiał podzielić się swoimi "przemyśleniami". Komuś ewidentnie brakuje korelacji między osobistym ego, a liczbą cytacji.

      Usuń
    7. rozumiem że chcesz podnieść własna samoocenę próbująć poniżyć innych. Tak też można, ale to zawsze pozostanie SAMOoceną.

      Usuń
    8. Te wszystkie wskaźniki parametryczne są rozpaczliwą próbą zobiektywizowania czegoś co nijak nie da się obiektywnie wycenić. Tak naprawdę jak spojrzymy na historię tych parametrów to zauważymy, że tworzyły je gremia, których zadaniem było dzielenie kasy lub tworzenie pseudo rankingów (w domyśle też kasy, sukces rynkowy Thomsona pokazuje jak można wykorzystać naturalną skłonność kabotyńskich środowisk do rywalizacji). I tak jest do dziś, funkcja rzekomej oceny jakości nauki tymi parametrami, jakiegoś wpływu itp. to tylko puszczanie oka. Cała historia nauki pokazuje, że trwały efekt jakiś odkryć, ich przejście do historii itp. nie zależał od tych parametrów. Były przełomowe odkrycia robione przez skromnych urzędników i publikowane w regionalnych czasopismach, i takie dokonywane przez wielkie zespoły lub znakomite laboratoria i publikowane w topowych czasopismach. Ich wartość mogła być doceniona natychmiast, albo po wielu latach, a jak wiadomo nagrody Nobla w nauce przyznano też z ewidentnych błędów. W nauce jest w sumie podobnie jak w sztuce, gdzie wysławiany w swoim czasie wielki kompozytor (np. Salieri) jest weryfikowany jako przeciętniak, a pogardzany (np. Mozart) po latach uznany za geniusza.

      Pogoń za parametrami może być stymulująca, ale może też być niszcząca. Na blogu E. Kulczyckiego podawano niedawno przykłady czasopism usuniętych z listy Thomsona za korupcyjne działania nabijające cytacje i w efekcie IF, w skali personalnej zdarza się to jeszcze częściej.
      LB

      Usuń
    9. Obiektywne patrząc, LB podaje subiektywną ocenę czegoś, co jest w istocie prostą, ale bardzo niewygodną dla wielu "geniuszy" metodą weryfikacji efektów pracy naukowej. Kierując się logiką LB, pan Włodek, który od 10 lat nie opublikował niczego powinien posiadać etat naukowy, bo być może zostanie kiedyś geniuszem. Od dawna większych profesorskich farmazonów nie czytałem na tym blogu.
      Fred

      Usuń
    10. Nie, kolego Fred, obiektywnie to masz problem z czytaniem ze zrozumieniem. W moim tekście nie ma w ogóle wniosków co należy robić z panami typu Włodek. Obiektywnie, to wprowadzałem w moim byłym instytucie ranking pracowników naukowych zanim jeszcze ministerstwo wpadło na coś takiego. I takie Włodki ponosiły konsekwencje swojej pozycji w rankingu (na tyle na ile system pozwalał). Obiektywnie, to ministerstwo stworzyło system, który nam "menadżerom" nie dawał jednak żadnych szans, żeby takiego pana Włodka się pozbyć. Obiektywnie, to złamałem kariery kilku panom Włodkom, bo napisałem negatywne recenzje ich dorobku habilitacyjnego lub profesorskiego. A na jakich kryteriach obiektywnie się opierałem, to już wielokrotnie na tym blogu pisałem. I nadal będę je stosował, chociaż z powodu wieku i pozycji pewnie już dużo rzadziej będę miał okazję panów Włodków oceniać, ale może czasem i jakiś Fred się trafi.

      LB

      Usuń
  6. "cytujesz tych co cytują ciebie" - kto tak robi?? Pierwsze słyszę - ja cytuję tych, którzy napisali coś ważnego w dziedzinie, w której pracuję!

    "Współczynnik wpływu jest budowany w oparciu o ogół a nie jednostki" - no właśnie, i to jest argument przeciw IF, a nie za jego stosowaniem. Bo ważne jest jak często moja praca jest cytowana, a nie praca "sąsiadów" z tego samego czasopisma, czyż nie?

    "Wpływ pracy jest wypadkową liczby zakupionych kopii" - jakich kopii? Ile kupujesz kopii Oikosa w kiosku pod blokiem?

    "Praca może być zauwazona wiele lat po publikacji" - no i właśnie wskaźnik cytowań to uwzględni.

    "Młodzi ludzie nie przychodzą do nauki czytając Nature, jeśli już to Scientific American albo National Geographic" - no świetnie, ale co z tego? Co to ma w ogóle wspólnego z tematem?

    "Czy Ty podejmując problem zastanawiasz się ilu to zacytuje, czy ptrafisz to choćby z grubsza przewidzieć" - oczywiście, że tak! Każdy redaktor podejmując decyzję zastanawia się nad tym właśnie pytaniem. W redakcji Acta Ornithol np. robiliśmy analizy, jakie prace się cytują, jakie nie. A tu na SLU przyjechał redaktor Biol Conserv i mówił że w zasadzie robią to samo i wyliczał atrybuty pracy, która będzie cytowana. Upraszczając: jeśli robisz wiarygodne badania na dużej próbie eksplorujące nowy ale ważny temat, to będziesz cytowany, nie ma siły żeby było inaczej.

    Inaczej: co wnosi praca opublikowana w dobrym czasopiśmie, która nie jest w ogóle cytowana? Potrafi ktoś odpowiedzieć na to pytanie?

    OdpowiedzUsuń
    Odpowiedzi
    1. Michale, stawiając problem w tak ekstremalny sposób utrudniasz dyskusję na jego temat. Można się zgodzić, że 0 to jest 0 i to jest kwestia bezdyskusyjna. Im bardziej jednak od tego 0 będziemy się oddalać do nieskończoności to problem będzie się coraz bardziej komplikował. Dzisiaj jest wiele możliwości sprawdzenia na ile twoją produkcją naukową są zainteresowani inni. Cytacje to tylko jedna z nich i ja podzielam zdanie, że dyskusyjna. Możesz założyć profil na Academia.edu czy ResearchGate i śledzić ile twoich prac zostało przeczytanych, ściągniętych lub zacytowanych (również poza Thomsonem). Jeżeli sto osób ściągnęło twoja pracę z tych portali, ale żaden jej nie zacytował to nadal będziesz twierdzić, że ona nie miała żadnego wpływu i nic nie wniosła? A może oni pracują w działce na tyle odległej od twojej, że bezpośrednia cytacja jest niemożliwa. Ale to nie oznacza, że to co napisałeś ich nie zainteresowało, zainspirowało czy nauczyło. Tego się nie da wykluczyć.

      LB

      Usuń
    2. Broń Panie Boże przed taką oceną wpływu naszych publikacji jak liczba ściągnięć i oglądnięć w ResearchGate itp. Toż to jest dopiero podatna na manipulacje miara wpływu publikacji. Już widzę tych naukowców, klikających wieczorami w linki do własnych prac, żeby napędzać liczydło.

      Usuń
    3. Sorry, nie chcę utrudniać dyskusji - możemy zatem przyjąć wartości inne niż 0 - to nic nie zmieni. Uproszczę: jeśli praca A jest cytowana 10 razy, a praca B 50 razy, to czy musimy znać czasopisma, by wnioskować o impakcie tych dwóch prac? Ja uważam, nieco prowokacyjnie, że nie musimy. Bo praca cytowana 50 razy, choćby pochodziła ze słabego czasopisma, ma po prostu większy impakt, i koniec. Trochę jak w ewolucji: nie można być dobrze dostosowanym i wyginąć. I jeszcze raz wyjaśniam, że nie chodzi mi tu o cytacje negatywne i autocytacje. Należałoby też może standaryzować liczbę cytacji w obrębie dziedziny (bo liczba czasopism w różnych tematach jest różna).
      A co do przykładu podanego przez LB: jeśli ktoś przeczyta moją pracę i jej nie zacytuje, to - moim zdaniem - oznacza to, że jednak nie rzuciła go na kolana, ani nie wpłynęła na tyle mocno, by wskazywać ją z "imienia i nazwiska". Z resztą ten efekt zginie w replikacjach.
      Co do researchgate: podatne na przekręty...

      Usuń
    4. "Już widzę tych naukowców, klikających wieczorami w linki do własnych prac, żeby napędzać liczydło"

      Kurcze, nie wiedziałem , że tak można sobie nabić licznik w ResearchGate. Zamiast tracić czas w tej dyskusji lecę klikać na linki do moich prac. Powiedzcie mi tylko jak zrobić, żeby nie było widać, że to ja sam klikam.

      LB

      Usuń
    5. "A co do przykładu podanego przez LB: jeśli ktoś przeczyta moją pracę i jej nie zacytuje, to - moim zdaniem - oznacza to, że jednak nie rzuciła go na kolana, ani nie wpłynęła na tyle mocno, by wskazywać ją z "imienia i nazwiska"."
      Czy cytowałeś kiedyś Michale prace Einsteina? Myślę, że powaliłby Cię mimo wszystko z nóg. Ja czytam wiele prac spoza mojej działki (czasami nawet z bardzo bliskich), których nigdy nie zacytuję, ale które rzucają mnie na kolana. W matematyce wiele prac fundamentalnych jest bardzo słabo cytowane poza podręcznikami, ponieważ zamykają problem i nikt się nim później nie zajmuje.

      Usuń
    6. Zapewniam Cię, że gdyby Einstein opublikował dziś swoje odkrycia, to miałby tysiące cytowań, nawet bez mojego udziału ;-)
      Jeśli pracami "nikt się nie zajmuje" to znaczy nic innego jak to, że mają mniejszy impakt. Miały wpływ kiedyś, potem już nie - a inne mają stale, jak ta raca o ROC.
      Zwróć proszę uwagę na jedną rzecz: jeśli wierzymy, że Impact Factor czasopisma odzwierciedla faktycznie jego wpływ (zdaje się, że tego nie kwestionujesz), to jedynym logicznym wnioskiem jest uznanie cytowalności jako wskaźnika wpływu konkretnej pracy.

      I ponawiam swoje pytanie, na które nikt mi nie odpowiedział: jeśli praca A jest cytowana 10 razy, a praca B 50 razy, to czy musimy znać czasopisma, by wnioskować o impakcie tych dwóch prac?

      Usuń
    7. To ja Ci odpowiadam, że Twoje pytanie jest pytaniem z tezą. If nie jest potrzebny, bo może odpowiedzieć jedynie na pytanie przez jakie sito przeszła praca by zostać opublikowana. Natomiast podana przez Ciebie różnica cytowań ma nijak do różnicy 'impaktu' obu prac. Definiujesz wpływ liczbą cytacji a to nie ma nic wspólnego z rzeczywistością. Pisałeś wcześniej m.in. "jeśli robisz wiarygodne badania na dużej próbie eksplorujące nowy ale ważny temat, to będziesz cytowany, nie ma siły żeby było inaczej" - co jest wierutną bzdurą. Przeczytaj sobie choćby http://link.springer.com/article/10.1007%2Fs11192-012-0822-6

      Usuń
    8. Inna ciekawa praca:Citation frequency: A biased measure of research impact significantly influenced by the geographical origin of research articles
      jej wyniki:
      Results. Self-citation was common in cardiovascular journals (n = 1534, 17.8%). After exclusion of self-citation, however, the number of citations that originated from the same country as the author of the citation recipient was found to be on average 31.6% higher than would be expected by chance (p<0.01 for all countries/regions). In absolute numbers, nation oriented citation bias was most pronounced in the USA, the country with the largest research output (p<0.001).

      Conclusion. Citation frequency was significantly augmented by nation oriented citation bias. This nation oriented citation behaviour seems to mainly influence the cumulative citation number for papers originating from the countries with a larger research output.

      aż strach się bać do czego doprowadziło by wprowadzane systemu bazującego tylko na cytacjach w Polsce.

      Usuń
    9. Po pierwsze, nie przygotowałem jeszcze projektu ustawy, celem "wprowadzenia systemu bazującego tylko na cytacjach w Polsce" - po prostu zadaję teoretyczne pytanie, z ciekawości :-)
      Po drugie - wcale mnie nie dziwi, że jest autokorelacja przestrzenna w cytacjach - sam też cytuję najczęściej prace "z okolicy" bo robiąc badania szukam przykładów/odniesień/wniosków dot. tego samego ekosystemu/gatunku itp. Wyniki z Nowej Zelandii są najczęściej mało przydatne w tym kontekście. Wpływa to z pewnością na cytowania i może być problemem - ok!

      Nie rozumiem natomiast jaką tezę ma moje pytanie. Sprecyzuj też jeśli możesz - jaki jest mechanizm powodujący, że wiarygodne, nowatorskie i ważne badania nie będą cytowane? Nie przychodzi mi do głowy żaden mechanizm (no, może poza niezauważeniem ich, jeśli będą opublikowane w zeszytach wyższej szkoły łowiectwa w Piasecznie, ale to inny temat) - pytam serio, bo to ciekawy temat, nie stawiam żadnej tezy, nie jestem agentem GRU ani lobbystą Gazpromu ;-)

      Usuń
    10. Czy naprawdę wszyscy zajmują się ekologią populacji; jakie uzasadnienie ma przedstawiona korelacja biologii ewolucyjnej?
      A co do drugiego akapitu to dlaczego pytasz o brak cytacji z nie o cytacje. Ja nie mam problemy ze zrozumieniem, że brak cytacji nie świadczy pozytywnie o jej impakcie. Ty natomiast twierdzisz, że cytacje świadczą o impakcie. Nie znalazłem jednak w Twoich wypowiedziach niczego co by taką zależność potwierdzało, poza wesołymi kpinami. Mam na kolanach właśnie jedną prace w pnas, bez skazy dla meritum można by połowę z cytacji usunąć i dorzucić kolejnych sto. Na 43 cytacje 7 jest odnosi się wprost do eksperymentu i to są prace, bez których ta by nie mogła powstać. Reszta to tło wynikające z zaproponowanego schematu pisania prac. 11 prac to prace autocytacie przynajmniej jednego z 6 autorów. 2 prace (to dokładnie sprawdziłem) nie są pierwsze odnośnie cytowanego zjawiska, ale tamte prace są z Niemiec a zacytowane z Columbia U. i Georgetown U. a autor korespondencyjny jest z Princeton U. O jakim my tutaj impakcie mówimy?

      Usuń
    11. W biologii ewolucyjnej lub teoretycznej może mieć mniejsze (choć przecież zjawiska ewolucyjne i badania tych zjawisk też są 'zautokoelowane' - zobacz ile jest prac ewolucyjnych dot Fukushimy; one wszystkie będą cytowały siebie nawzajem). Ale wystarczy, że część prac dotyczyła e.populacji i mamy właśnie autokorelację - dziwne gdyby było inaczej. Statystyka.

      "nie mam problemy ze zrozumieniem, że brak cytacji nie świadczy pozytywnie o jej impakcie" - to tu się zgadzamy.

      "Ty natomiast twierdzisz, że cytacje świadczą o impakcie" - to prawda:
      1. sam podajesz przykład 7 prac, które są ważne dla tej z PNASa - to właśnie przykład, że cytacje świadczą o impakcie i w zasadzie nie trzeba dodawać nic więcej. Nawet jeśli pozostałe - jak sugerujesz - są wybierane losowo (uważam, że są rzadziej niż sądzisz), to niewiele zmienia, bo komponent losowy nie jest dowodem na brak sygnału.
      2. te pozostałe, z jakichś przyczyn zostały jednak zauważone i wybrane spośród milionów innych. Z pewnością również inne nadawałyby się do zacytowania (wybacz, ale nie jest to zbyt odkrywcze), ale akurat na te autorzy natrafili (szukając pewnie po słowach kluczowych), akurat te były napisane jasno, miały dobre ryciny, jasny przekaz itp., być może były też opublikowane w lepszym czasopiśmie (co pozawala sądzić, że są wiarygodne) itp. Na pewno było w tym też trochę przypadku. Oczywiście ich znaczenie w tej konkretnej pracy w PNAS jest mniejsze niż tych siedmiu, tu się zgadzam, ale w innej pracy akurat będzie odwrotnie: tych 7 będzie miało mniejsze znaczenie, a te mniej istotne staną się kluczowe.

      W efekcie, mając pracę indeksowaną w ISI, jest ona "oferowana" badaczom zajmującym się różnymi dziedzinami na całym świecie, więc jej cytowanie będzie wynikiem głównie intencjonalnego wyboru + trochę przypadku. Jest jednak niemal niemożliwe, że uzyska np. 50 cytacji, bo została wybrana 50 razy zupełnie przypadkowo spośród milionów innych, a inna, publikowana w tym samym numerze tego samego czasopisma, nie jest cytowana wcale.

      Usuń
    12. "Jest jednak niemal niemożliwe, że uzyska np. 50 cytacji, bo została wybrana 50 razy zupełnie przypadkowo spośród milionów innych, a inna, publikowana w tym samym numerze tego samego czasopisma, nie jest cytowana wcale. "

      Zgodzę się z tym, tylko założenie, że w każdym innym przypadku będzie takie same prawdopodobieństwo nieprzypadkowości wymagałoby empirycznego sprawdzenia na dużej próbie, gdybyśmy chcieli z cytowalności zrobić kolejnego parametrycznego bożka. A w mojej dziedzinie to ja nie muszę w ogóle robić takich wyliczeń bo prawdopodobieństwo, że cytacje są nieprzypadkowe jest bliskie 100% (no bo specjalista od Chrysomelidae cytuje w ogromnej większości prace na Chrysomelidae). W systematyce cytacje jako wskaźnik parametryczny są więc zupełnie bezwartościowe. Zajmując się motylami masz większe szanse na podbijanie licznika cytacji niż ktoś od Nemertini.

      I znów powraca dylemat, jakie wskaźniki są najbardziej uniwersalne dla ocen parametrycznych? Jestem uparty w stawianiu tego pytania, bo osoby tworzące systemy ocen pochodzą z działów gdzie jest straszna presja na szybkie zaistnienie w obiegu informacji i te kierunki nauk gdzie trwałość informacji jest bardzo długa, ale cytowalność w krótkim okresie czasu niska traktują często niepoważnie (np. przypomnę moją dyskusję z prof. Koteją sprzed paru lat skwitowaną przez niego, że system nie ma być sprawiedliwy, boi niby dlaczego skoro świat jest generalnie nie jest sprawiedliwy).

      Oczywiście, aspekt teoretyczny dyskusji jest ciekawy ale, Michale, na co ci ta odpowiedź na pytania jakie zadałeś? Chcesz lobbować na rzecz nowego systemu oceny dorobku, czy tylko w efekcie krytyki systemu jaka przelała się przez twój blog zacząłeś się zastanawiać nad tym jakie zmiany zadowoliły by tych sfrustrowanych?

      Usuń
    13. Sorry, nie podpisałem się, ale chyba jasno wynika, że to też LB.

      Usuń
    14. Myślałem, że właśnie taksonomia może być bardziej doceniona, gdy uwzględnimy cytowania, szczególnie cytowania monografii, kluczy, list gatunków itp. Np. w MIZ PAN jest kilka osób, które mają w swoim dorobku dobrze cytowane pozycje monograficzne, ale niekoniecznie dużo publikacji z wysokim IF. Moim zdaniem te cytowania monografii należy jakoś uwzględniać, tak jak ewentualne cytowania prac publikowanych przez taksonomów w słabszych czasopismach (czasem nawet spoza listy, jakieś faunistyczne itp.). Bo, znowu się powtórzę, dobrze cytowana praca z Fragmenta Faunistica, ma moim zdaniem po prostu spory wpływ naukę.

      Usuń
    15. "Nawet jeśli pozostałe - jak sugerujesz - są wybierane losowo (uważam, że są rzadziej niż sądzisz), to niewiele zmienia, bo komponent losowy nie jest dowodem na brak sygnału." - zgadza się, ale nie daje się odnieść do konkretnej pracy. Mówmy raczej o statystycznym zastosowaniu cytacji, ale nie odnośmy ich do konkretnych prac.

      Te prace, bez względu na to jak były wybrane nie miały żadnego wpływu na treść wypomnianej pracy, były tylko zacytowane. Jedynie 7 z 43 mało wpływ, reszta były TYLKO zacytowane.

      Usuń
  7. Proszę bardzo, oto przykład:

    Differences in host-ant specificity between Spanish, Dutch and Swedish populations of the endangered butterfly, Maculinea alcon (Denis et Schiff.) (Lepidoptera).
    By: Elmes, Graham W.; Thomas, Jeremy A.; Hammarstedt, Olle; et al.
    Memorabilia Zoologica Volume: 48 Pages: 55-68 Published: 1994

    ma w sumie 61 cytowań na ISI, między innymi w Science i Nature... Co macie do zarzucenia tej pracy? Moim zdaniem ma bardzo duży wpływ, mimo że była puszczona w czasopiśmie faunistycznym, które było słabe i już w ogóle nie istnieje.

    OdpowiedzUsuń
    Odpowiedzi
    1. Obawiam się, że to nie tyle taka świetna praca, co bardzo znane nazwiska....

      Usuń
    2. Gwoli ścisłości Memorabilia Zoologica było powołane jako czasopismo z historii biologii w Polsce (Michale, powinieneś to wiedzieć) i tomy z tego okresu działalności są bardzo interesujące, a niektóre zeszyty polecam jako świetną lekturę (np. listy Taczanowskiego do Dybowskiego i Wagi, które zupełnie inaczej pokazują stan ducha XIX-wiecznej Polski niż oficjalna nauka historii w szkole). W okresie mody na ekologizowaną faunistykę zmieniono profil czasopisma i wtedy rzeczywiście zrobiło się nędzne i upadło wraz z całą tą pseudoekologią uprawianą w PAN.

      Usuń
  8. Jeden z "młodych , zbuntowanych , dobrze publikujących z różnych miast" poruszył problem " Łowca polskiego". To bardzo jak się wydaje cenione w niektórych kręgach wysoce impaktowy żurnal . Poznałem, a następnie rozmawiałem z osobnikiem który otrzymał habilitacje miedzy innymi w oparciu o wiele publikacji ogłoszonych w Łowcu Polskim. Jak słuchy dochodzą , rzeczony badacz obejmie w ciągu roku lub dwu Katedrę Zoologii i czegoś tam na Uniwersytecie Przymiotnikowym na dalekiej Prowincji. Na wskazanego zawodnika zwróciłemu uwagę po tym jak trafiłem opublikowane w 2013 roku fundamentalne jego dzieło "Synanthropic predators as an environmental threat" które niewątpliwie zrewolucjonizowało polską : ekologie , zoologię a przede wszystkim moje naiwne myślenie o nauce w Polsce.

    OdpowiedzUsuń
  9. Michał, nie wiem czy czytałeś już ten tekst http://www.silvafennica.fi/article/1304
    Dobrze wpisuje się w tą dyskusję. Pozwolę sobie fragment zacytować:
    "One obvious metrics for measuring the quality of single articles is the number of times the article is cited by others. However, the number of citations accumulates slowly during years and cannot be used to evaluate the quality of recent papers. It is also noteworthy that different types of articles may have different impact life-cycles, e.g. highly relevant for a shorter time versus moderately relevant for a longer time. Thus, one should be careful for not placing unintended valuations on different article types when applying citation indices over time."

    Pozdrowienia,
    RP

    OdpowiedzUsuń
    Odpowiedzi
    1. ciekawe, dzięki za linka!
      Jasne, że do nowych prac trudno ją zastosować, ale z drugiej strony obserwuję ostatnio pod tym kątem swoje prace i nawet w publikacjach z 2014 widzę już wyraźnie, że niektóre są cytowane, a inne wyraźnie mniej. Na Google Scholar dwie prace z 2014: jedna 7, druga 0 (+2 auto). W kolejnych latach różnice stają się coraz bardziej wyraźne (np w 2012: jedna 38, druga 0), co jest dla mnie cenną wskazówką, które tematy są ważniejsze, jak pisać, które analizy dają klarowniejsze wyniki itp.

      Usuń
    2. Przeciez wedlug nowych planow decydentow wszystkie 'imperialistyczne' wskazniki nie beda mialy znaczenia bo powstaje nasz krajowy Wspolczynnik Wplywu, najwspanialszy...

      Usuń