piątek, 18 marca 2011

Czy IF jest miarą wartości czegokolwiek? Uwagi frustrata i megalomana bez odrobiny poczucia humoru


Przypadkiem udało mi się przeczytać wymianę poglądów na temat IF (ściśle biorąc, wymianę jednego poglądu: że IF jest dobrą miarą wartości naukowej czasopisma, a zwłaszcza prac w nim publikowanych i autorów owych prac). Ciekawe że bardzo wielu bardzo poważnych autorów coraz częściej stanowczo wypowiada akurat przeciwną opinię – oto kilka przykładów wypowiedzi publikowanych w bynajmniej nie „lokalnych jaskrawych journalikach”:
If there is one thing every bibliometrician agrees, it is that you should never use the journal impact factor to evaluate research performance for an article or for an individual – that is a mortal sin,” says Anthony van Raan, director of the Centre for Science and Technology Studies at Leiden University in the Netherlands [Van Noorden R.  2010.  A profusion of measures.  Nature 465, 7300: 864-866]
... for the job of assessing the importance of specific papers, the impact factor – or any other journal-based metric for that matter – cannot escape an ... fundamental problem: it is simply not designed to capture qualities of individual papers” [Neylon C., S. Wu.  2009.  Article-level metrics and the evolution of scientific impact.  PLoS Biol. 7, 11: e1000242]
... scientific impact is not a simple concept that can be described by a single number, ... And, obviously, the fact that an article is highly influential by any measure does not necessarily mean it should be” [jw.]]
... the growing culture of “objectivity” has led administrators and policymakers to embrace the IF as a quick tool for decision-making, ignoring concomitantly he basic question of what is being actually measured. ... A continuous pressure to publish high impact articles might indeed alter scientific practices by stimulating data falsification ... and selective publishing of positive results ... ... the only way to evaluate the merit of researchers from a specific field of knowledge would be to analyze the quality of their publication” [Machado F.A., H. Zaher.  2010.  Pitfalls of artificial grouping and stratification of scientific journals based on their Impact Factor: a case study in Brazilian Zoology.  Zoologia 27, 4: 493-502]
In reality, impact factors always are corrupted ... since the sociology of citation is far from a straightforward citation of the best papers” [Krell F.-T.  2010.  Should editors influence journal impact factors?  Learned Publishing 23, 1: 59-62]
Giving pay rises on the basis of simple measures of performance means that ... Research reverts to a kind of ‘academic prostitution’, in which work is done to please editors and referees rather than to further knowledge. ... Of the 28 physics Nobel prize-winners from 2000 to 2009, just 5 are listed in ISI’s top 250 most-cited list for this field. [Frey B.S., M. Osterloh.  2010.  Motivate people with prizes.  Nature 465, 7300: 871]
‘Science is being killed by numerical ranking’, a friend once told me ... ... all too often, ranking systems are used as a cheap and ineffective method of assessing the productivity of individual scientists. Not only does this practice lead to inaccurate assessments, it lures scientists into pursuing high rankings first and good science second. There is a better way to evaluate the importance of a paper or the research output of an individual scholar: read it [Bergstrom C.T.  2010.  Use ranking to help search.  Nature 465, 7300: 870]
... impact factors ... usually highlight trendy papers, boom fields and recently highlighted topics” ... ‘metrics being used at ... university ... discourages me from doing important work that may be of null association’ said one respondent, a US postdoctoral fellow [Abbott A., D. Cyranoski, N. Jones, B. Maher, Q. Schiermeier, R. Van Noorden.  2010.  Do metrics matter?  Nature 465, 7300: 860-862]
Sądzę że to wystarczy – ale, jeśli ktoś ma ochotę, mogę zaproponować jeszcze sporo innej lektury. Dla mnie nie jest to potrzebne: moim zdaniem jest bardziej niż oczywiste że IF być może mierzy coś istotnego (choć niebardzo wiadomo co mianowicie...) odnośnie danego czasopisma ale „as a measure of scientific value of the researcher’s work [is] hardly better than his/her stature or date of birth” [Hołyński R.B.  2008.  God save us from friends, or: How to ensure taxonomy against passing away by dint of a successful operation?  Pol. Tax. Mon. 15: 3-54]. Do argumentów zawartych w przytoczonych cytatach dorzucę tylko jeden, w mojej dziedzinie (taksonomia/biogeografia/ewolucja) absolutnie decydujący ale ważny chyba we wszystkich: IF oparty jest na cytatach w ciągu dwu lat z ograniczonej listy czasopism – wszystko co jest cytowane w publikacjach (często znacznie bardziej odpowiednich, przez specjalistów danej dziedziny znacznie częściej czytanych niż te należące do „Towarzystwa Wzajemnej Adoracji”) „nie istnieje”, podobnie jak te prace które cytowane są przez dziesiątki lat a nie zapominane po dwu latach (czyli w praktyce natychmiast: cykl produkcyjny większości czasopism w których „cytujący” artykuł mógłby się ukazać jest niewiele krótszy, a jego napisanie – nie mówiąc o badaniach na których jest oparty... – też wymaga „niezerowego” czasu... Dlatego niektórzy autorzy proponują inne „miary”, np. CHL: „Cited Half Life (CHL), for instance, tells for how long the average article of a journal continues to be cited. It is not surprising that most of the journals with high IF do have low CHL, and vice-versa. ... The scientists that started to use the ISI standards to evaluate scientific performances disregarded the CHL and used only the IF. Strange enough, their tribunes had high IF and low CHL, so they enhanced what was favourable to them, disregarding other indexes [Boero F.  2010.  The study of species in the Era of Biodiversity: a tale of stupidity.  Diversity [2010], 2: 115-126]. Ten wskaźnik też ma wady ale – zwłaszcza stosowany do konkretnych publikacji i autorów – ma ich bez porównania mniej niż IF.
Oczywiście można twierdzić że wszyscy cytowani tu autorzy (i wielu innych) to frustraci i megalomani którzy krytykują „rankingi” bo stać ich tylko na produkowanie „bubli, które już dawno powinny wyginąć” – byłaby to jednak teza dość ryzykowna... A więc może jednak lepiej za miarę „rangi naukowej” autora przyjąć wartość jego publikacji a nie przynależność czasopisma w którym owa publikacja się ukazała do takiego czy innego klubu „for members only”?
I jeszcze dwie drobne uwagi:
1) Wbrew prymitywnemu, narzuconemu przez biurokratów schematowi myślowemu, czasopismo spoza „list ISI” niekoniecznie jest „czymś do czego nikt nie ma dostępu i czego wiarygodność jest mierna – często jest akurat odwrotnie: np. czasopisma „wąsko specjalistyczne” naogół nie należą do „wybranych” a są znane wszystkim poważnie zainteresowanym, podczas gdy owi zainteresowani specjaliści nawet nie próbują przeglądać (nie mówiąc o prenumerowaniu) Nature czy Science bo wiadomo z góry że nic tam ze swojej dziedziny nie znajdą.
2) Fakt że ktoś ma więcej publikacji niż ktoś inny nie dowodzi że naukowe osiągnięcia tego pierwszego są bardziej wartościowe niż tego drugiego – nigdy porównywanie prac naukowych „na kilogramy” nie miało sensu, a już od czasu gdy ilość publikacji zaczęła być jednym z głównych „mierników” decydujących o przyznaniu grantu czy stopnia naukowego zależność znikła niemal zupełnie (a nawet nie zdziwiłbym się gdyby ktoś przeprowadził specjalne badania na ten temat i okazałoby się że korelacja jest... odwrotna!): pozwolę tu sobie na jeszcze jeden „autocytat” (z już wcześniej cytowanej publikacji), bo choć nie zwiększy mojej rangi naukowej w kategoriach IF, ale dobrze ilustruje powyższą tezę, a przy tym nieźle podsumowuje sens całej mojej wypowiedzi: „One of the now widely applied „objective” measures of the value of scientists’ work is the number of publications, therefore everybody except the disdained „amateurs” must maximally extend the list. There are several recipes, all in common use: 1) “Divide each project into as many fragments as possible, and publish each of them as a separate paper: you will have five or ten publications instead of one”; 2) “Add the names of some colleagues as co-authors, then they will add yours in their papers, and again each of you will have several times more items on your lists”; 3) “Choose possibly most schematic subjects, in which the majority of work will be done by computer, and you will need only to change numbers and names in the introduction and discussion – you will save plenty of time otherwise lost on thinking and interpretation”; 4) “Avoid original, unorthodox methods and conclusions, so you will not be compelled to spend weeks or months on quarrels with reviewers and editors”; 5) “If nevertheless the reviewer or editor has found that you should change something, never let enter your mind the erratic hypothesis that perhaps right may be on your side, and anyway under no circumstances try to defend your view: quickly introduce the required changes, humbly express your gratitude for the valuable remarks, and automatically consider them in your further papers – after all, you will not be evaluated according to the aptness of your conclusions but to the number of your publications and the “ranking” of the journals they have appeared in. And always remember, that even if you have published thousands of papers in most renowned journals, this does not matter a bit unless you swiftly climbed to an adequately high rung on the “monkey ladder”: as master you are nobody, as doctor – almost nobody, you begin to count only after habilitation...”.
Życzę szybkiej wspinaczki!

Z poważaniem

Almost nobody: ledwiedr. nawetniehab. Roman B. Hołyński
05-822 Milanówek
ul. Graniczna 35
skr. poczt. 65
holynski@interia.pl