Impakt oczekiwany vs zrealizowany

Przy okazji o dyskusji nad habilitacją i CK zastanawiam się sporo nad kwestią oceny dorobku, bo mam wrażenie, że coraz bardziej odchodzimy od sedna sprawy. Całkiem często pojawiają się prace w dobrych czasopismach, które są słabo cytowane, a równocześnie trafiają się prace w czasopismach z niższej półki, które pod względem cytowań radzą sobie zaskakująco dobrze (oczywiście uwzględniając rok publikacji). Które z nich mają większą wartość naukową i jak powinniśmy je oceniać? Zastanówcie się nad pytaniem, na które mi trudno odpowiedzieć: jaką pracę wolałbym mieć w swoim dorobku: z dobrego czasopisma ale niecytowaną, czy ze słabszego, ale z wieloma cytacjami? Czteroletnia praca w Auk z 0 cytacjami, czy publikacja w Ornis Fennica cytowana 25 razy? Powiecie, że jednak Auk? No dobrze, a OF cytowana 70 razy??

Skupiając się na jakości czasopisma (a więc de facto jego IF w danej kategorii tematycznej, bo na tym bazuje ranking ISI i MNiSW) przy równoczesnym ignorowaniu cytowań danej pracy, dochodzimy do paradoksalnej sytuacji, w której wskaźnik wpływu (IF) staje się ważniejszy niż sam wpływ (I). Ujmując rzecz przenośnią: stosujemy odpowiedzialność zbiorową i karzemy wybitnego uczonego, za to że pracuje w słabej jednostce (albo dobrego ucznia, za to że chodził do słabej szkoły). Przecież ta hipotetyczna praca z Ornis Fennica ma znacznie większy "impact" od tej z Auka, a IF tych czasopism jedynie obrazuje oczekiwania względem impaktu, które w odniesieniu do tych dwóch prac okazują się całkowicie mylące. Praca w Auk, której nikt nigdzie nie zacytuje praktycznie nie istnieje (i jest dowodem, że nawet najlepsi redaktorzy się mylą), a autor zamiast robić badania, mógłby spędzić ten czas przed telewizorem i nic by się nie zmieniło. Możemy oczywiście zarzucać wspomnianemu uczonemu, że powinien był się przenieść do lepszej jednostki, ale nie umniejsza to jego dokonań. Odwrotnie - gdyby pracował w jednostce dobrej, miałby jeszcze lepsze rezultaty, tak jak cytowany maszynopis - gdyby był opublikowany w Auk, byłby prawdopodobnie cytowany jeszcze częściej. 

Przykład ekstremalny: praca o ROC z czasopisma Radiology (IF=6.8) cytowana jest 8658 razy. Rozsądnie jest ją oceniać po impakcie czasopisma?

To rozumowanie prowadzi do wniosku, że w ocenie pracy naukowca tylko cytowania są ważne i nic innego się nie liczy. Jedynie one odzwierciedlają prawdziwy (=zrealizowany) wpływ naszej pracy na naukę, a wszystko pozostałe (jakość czasopism, częstotliwość publikowania itp.) to wyłącznie narzędzia, na których nie warto się skupiać. Jest to logiczny wniosek z zaakceptowania, że nie ma wartościowej publikacji bez cytowań i odwrotnie. 
Dostrzegacie gdzieś błąd w moim rozumowaniu??

michał żmihorski

PS pisząc o cytowaniach, raczej nie mam na myśli tych w stylu: "jak mylnie twierdzi Żmihorski (2010)..." ;-)