poniedziałek, 17 grudnia 2012

Skandale 2012

Inline images 2

Koniec roku się zbliża, czas na rozliczenia, także te mniej chlubne ;) The Scientist proponuje Top 2012 Science Scandals. Swoją drogą pomysł na powołanie Retraction Index mi się podoba, jest tego (tj. retrakcji) naprawdę istotnie więcej niż kiedyś.

(foto z artykułu)

Pozdrawiam
Szymek

27 komentarzy:

  1. trochę mnie przeraża bezkarność naukowców-oszustów. Wykluczenie z aplikowania o granty na 7 lat i uczenie chemii w szkole - to ma być kara?? Fajne podejście - jak jesteś oszustem to zostajesz nauczycielem...
    Po pierwsze, powinni zostać pociągnięci do odpowiedzialności finansowej, bo przecież brali pieniądze (pensja, granty) za wymyślanie wyników. Myślę, że pracodawca/grantodawca wygrałby z nimi w sądzie. Po drugie, jednak w naukach forensikowych cy medycznych to jest coś więcej niż wymyślanie, bo przecież to ma duże konsekwencje dla losu konkretnych osób:
    "As a result of her actions, a number of defendants may have been wrongly imprisoned, while others who may have been rightly accused were freed."
    Zakładam, że wobec tej pani toczy się jakieś postępowanie.

    OdpowiedzUsuń
  2. taki ktoś powinien zostać wykluczony z zawodu - po prostu nigdy nigdzie nie powinni jej przyjąć do druku nawet pół pracy, a tym bardziej nie powinna mieć prawa do nauczania kogokolwiek. Tak naprawdę, choćbyśmy nie wiem jak dokumentowali dwoje badania, mieli szczegółowe dzienniki laboratoryjne czy terenowe (jak popatrzę na swoje notatki, ech...), sygnowane notarialnie i deponowane w sejfie swojego instytutu, nie ma stuprocentowej możliwości zabezpieczenia się przed oszustami, bo nie wszystko da się udokumentować. A już zwłaszcza w terenie. Każdą dokumentację eksperymentu czy obserwacji da się też sfałszować, jedne trudniej, inne łatwiej. Pewnie nawet odczyty z detektorów cząstek w wielkim zderzaczu hadronów w CERN da się. Holotypy w taksonomii ;-) dość trudno (ale można sfałszować ich etykiety), zdjęcia czy nagrania audio łatwo... Dlatego nauki przyrodnicze tak naprawdę opierają się na ZAUFANIU badaczy. Mogą oni popełniać błędy, stosować złą metodologię, p-value fishing, arbitralne usuwanie outlierów, w ogóle uprawiać straszny bad-science, ale wszystko to - zakłada się - robione jest w dobrej wierze. Ale jeśli ktoś świadomie fałszuje wyniki, to popełnia chyba najbardziej przerażający "grzech" czy wręcz zbrodnię, jaką można w nauce popełnić - podważa bowiem właśnie to zaufanie, jakie mają do siebie badacze i jakie ma do badaczy społeczeństwo. Owszem, tu dochodzą jeszcze inne aspekty, wsadzenie do pudła niewinnych ludzi, wypuszczenie winnych, czy w medycynie po prostu doprowadzenie do czyjejś śmierci. Ale dla integralności nauki najgorsze jest samo fałszerstwo, niezależnie od tego czy chodzi o lek na raka, obalenie teorii względności, czy o pierwsze w Polsce stwierdzenie rzadkiego gatunku chrząszcza.

    Mateusz Ciechanowski

    OdpowiedzUsuń
    Odpowiedzi
    1. Zgoda, ale nie ma takiej procedury jak "wykluczenie z zawodu" niestety. Nie zabronisz nikomu publikować, a nawet jak go wywalą z jakiejś jednostki to przejdzie do innej. Chyba dobrym przykładem jest AP Moller (chociaż nie znam szczegółów) - wg. Scopusa miał ponad 1700 cytowań w 2011 roku, najwięcej w swojej karierze, czyli mimo ujawnionych przekrętów nadal dużo znaczy w nauce...

      Usuń
    2. Myślę, ze teraz powielasz w niezbyt miły sposób nieuzasadnione opinie na temat Mollera. Po pierwsze, nigdy nie udowodniono, że Moller fałszował dane. Owszem, w kilku pracach znaleziono jakieś nieścisłości, ale z prześledzenia całej sprawy nie było podstaw, żeby taki zarzut podtrzymać. Tutaj warto uderzyć się w pierś i przyznać, że jakieś nieścisłości w danych czy analizach mogą się zdarzyć, nawet przy bardzo skrupulatnym sprawdzaniu bazy, a ich ujawnienie nie świadczy jeszcze o świadomym fałszowaniu danych.
      Twoja wypowiedź, podobnie jak kilka wypowiedzi we wcześniejszych postach innych osób, jest bardzo krzywdząca dla Mollera. Wiadomo, że w nauce reputacja jest podstawową kwestią, więc trzeba ostrożniej chyba formułować krytyczne opinie, zwłaszcza, że oparte są najczęściej nie na bezpośredniej i wnikliwej analizie dowodów tylko na plotkach zasłyszanych od osób trzecich lub przeczytanych w internecie.

      Usuń
    3. Sam tego nie wymyśliłem i w jego przypadku mówi się jasno o fabrykowaniu wyników - nawet na tym blogu ktoś ostatnio wrzucał posta o sprawie. Zachęcam do lektury np na tej stronie:
      http://www.jorgenrabol.dk/default.asp?show=misconduct
      albo na blogu Oikosa:
      http://oikosjournal.wordpress.com/2011/11/03/is-scientific-misconduct-especially-rare-in-ecology-and-evolution/

      Co innego jest "jakieś nieścisłości" a co innego dopisywanie wyników... Jego praca z Oikosa została wycofana. Nie chcę bawić się w sędziego, ale gość jest dla mnie niewiargodny - zobacz co pisze o nim ten człowiek:
      http://bio.fsu.edu/~dhoule/Publications/mollerreview.pdf

      Usuń
    4. No sorry, ale to są cieniutkie argumenty w zaprezentowanych linkach. Trzeba mieć na wstrzymaniu kiedy dwóch byłych, jak widać niezbyt lubiących się, współpracowników zaczyna toczyć wojnę. Rabol zrobił po prostu dobrą i wnikliwą recenzję maszynopisów Mollera. Weźmiesz jakikolwiek maszynopis i też jesteś w stanie doczepić się do wszystkiego. Zauważ, że Rabol aby pokazać swoje racje, też usuwał z danych dostarczonych przez Mollera outliery.
      Nie twierdze, że Moller jest czysty, ale chyba trzeba mieć w sobie odrobinę sceptyzyzmu przy ocenie.

      Usuń
  3. Wierzyć mi się nie chce że w ekologii znalazłyby się osoby fałszujące dane, bo bycie "ekologiem" ani nie daje sławy i pochwał na tyle żeby było warto oszukiwać (czyli siedzieć w dziedznie/badaniach których sie nie lubi/nie jest sie dobrym) ani nie daje tyle pieniędzy żeby było warto...
    Za to cały czas trzeba szukac źródeł kasy na badania, ciągle o coś zabiegać, rywalizować, a wynagrodzenia w porównaniu do zwykłej pracy są niskie. Może jestem naiwna ale wydaje mi się że tą robotę trzeba poprostu lubić, lubić sposób w jaki się żyje przez nią. Nie wyobrażam sobie jak można fałszować badania, jest wiele takich które się nie udają, ale zawsze jest coś co w końcu wyjdzie i da się opublikować.

    Lendi

    OdpowiedzUsuń
  4. też tak myślę - ta niewielka styczność ekologów z dużymi pieniędzmi jest w tym przypadku zaletą. Z drugiej strony w ekologii, jak w niewielu innych dziedzinach, dokumentacja wyników jest bardzo skromna. Jaki problem lekko "podrasować" obserwacje terenowe i np. usunąć kilka osobników z każdej powierzchni kontrolnej, żeby uzyskać istotność efektu? Żaden! Przecież to się notuje ołówkiem w zeszycie... Liczenia ptaków, odłowy gryzoni, obserwacje zachowań czy nawet zdjęcia fitosocjologiczne są dość łatwe do przekłamania, bo nie pozostaje żaden namacalny dowód, że widziałem w danym miejscu 10 osobników a nie 12...

    OdpowiedzUsuń
    Odpowiedzi
    1. Zgadza się że można sobie liczyć ptaki i wpisywać N + x ale jak sie zostanie poproszonym o pokazanie danych to latwo poznać czy dane były zbierane w gowie człowieka czy zbierane w terenie. Z tego co widziałam na zajęciach ze statystyki dla psychologow to są nakładki na programy, czy też funkcje w programach stat które sprawdzają "stronniczość" wyników, skupianie wokół wartości co do których dany człowiek ma skłonności, schematy w których są wpisywane liczby itd. Więc na fałszowaniu wyników można bardzo łatwo wpaść. Zeby coś takiego obejsc chyba trzeba się niezle namęczyć. Oczywiście można nikomu nie pokazywać danych ale tak możne zrobic do 5 razy podajac jakas bzdurna wymówkę. Coraz wiecej lepszych journali chce surowe dane, a fabrykować dane do Pol.J Ekol to chyba taki wstyd x 2

      Usuń
    2. jak dla mnie to raczej bajki - takie nakładki po prostu wykażą asocjację ale interpretacja z czego wynika asocjacja (oszustwo czy prawdziwe zjawisko w terenie) jest niestety bardzo trudna. Wg. mnie na fałszowaniu wyników jest bardzo trudno wpaść...

      Usuń
  5. "nie ma takiej procedury jak "wykluczenie z zawodu" niestety" tak, ale jeśli 'publishing policy" każdego czasopisma będzie nieprzyjmowanie do druku artykułu osoby, której udowodniono świadome oszustwo, to w praktyce jest to wykluczenie.

    MC

    OdpowiedzUsuń
  6. Ja myślę, że poza fałszowaniem realnych danych w ekologii szczególnie kuszące jest ich sfabrykowanie od zera, stosując trochę modelowania i losowego szumu można łatwo każdy model statystyczny zmusić do wyplucia danych jakie chcemy, z takimi wartościami P o jakie nam chodzi ;) w ekologii jest to szczególnie łatwe bo tutaj często reprodukcja danych przez kogoś innego jest trudna lub niemożliwa. Na szczęście tego typu dane rzadko kiedy zbiera się samemu, co je automatycznie weryfikuje...

    OdpowiedzUsuń
    Odpowiedzi
    1. ja w dużej mierze zbieram sam ;o))

      Usuń
    2. Można się pocieszyć, że w Polsce jest niewielu ludzi, którzy w ogóle potrafią cokolwiek modelować ;-), więc problem takich przekrętów, jak i innych, mam nadzieję, nie istnieje. Poza tym nie rozumiem dlaczego fabrykowanie danych (od zera) miałoby być "szczególnie kuszące". Mówicie tutaj jednak o marginesie. Większość ludzi (przynajmniej tych, których znam) bardzo lubi swoją robotę, a chodzenie w teren jest jedną z najprzyjemniejszych rzeczy (jedynie być może ekolodzy teoretycy tego nie rozumieją) i byłby zupełnie bezsensowne, gdyby ktoś chciał się pozbawiać tej radości kontaktu z przyrodą czy zjawiskiem w laboratorium.
      Jeżeli pojawiają się jakieś przypadki oszustw, to lepiej zastanowić się, z czego wynika problem. Może właśnie pogoń za ilością, a nie jakością, systemy oceny, brak etosu pracy naukowej itp mogą właśnie generować takie patologie. Przecież naukowiec w obecnych czasach musi być Panem/nią biznesman/bizneswoman, potrafiącymi generować dużo publikacji, zarządzać grupą, pracować pod presją czasu itp. Każde takie próby skomercjalizowania nauki będą mogły prowadzić do patologii spotykanych w wielkich firmach.

      Usuń
  7. Kiedyś już podobny temat był na blogu: http://zmihor.blogspot.com/2011/11/ciekawy-artykul.html

    Anonimie (23.12.2012 godz. 06:37) - ciekawość nie pozwala mi nie zadać pytania (choć jednocześnie nie spodziewam się odpowiedzi) - kto wg. Ciebie potrafi cokolwiek w Polsce modelować, i na jakiej podstawie oddzielasz tych, którzy potrafią i nie potrafią? ;)

    OdpowiedzUsuń
  8. Przemek Chylarecki25 grudnia 2012 00:43

    A co powiecie o temacie mocno pokrewnym do fałszowania wyników, czyli radosnych występach uczonych kolegów w raportach oceny oddziaływania na środowisko (OOŚ)? To jest dopiero kraina bezkarności... nagle uczeni nie umieją ocenić, czy inwestycja stanowi zagrożenie dla trwałości populacji zwierząt czy nie. zapominają o całym warsztacie badawczym, o całym warsztacie analitycznym. zaprawdę, powiadam wam - TO jest pole hańby naszych uczonych.... i tego nie da się oddzielić od uczciwości na niwie "czysto" naukowej.
    pisałem o tym już kiedyś w wysokoimpaktowym czasopiśmie Academia, ale od tego czasu problem bynajmniej nie zniknął. stawiam pytanie: czy można być dobrym uczonym, publikując piękne teksty dotyczące nauki nie-stosowanej w dobruch czasopismach i jednocześnie pisząc raporty OOŚ, w których dla kasy udajemy dziecko we mgle? [albo gorzej - tu też jest pole do "twórczej" działalności].
    Przemek Chylarecki

    OdpowiedzUsuń
    Odpowiedzi
    1. OOŚ tylko unaocznia, że z uczciwością w światku naukowym jest nie inaczej niż w życiu codziennym, ja bynajmniej nie robiłbym sobie nadziei, że naukowcy pod tym względem odbiegają jakoś znacznie od przeciętnej.
      Jako doktorant dorabiałem zbierając dane do ekspertyz wiatrakowych i widząc co z tych danych wychodzi powiedziałem sobie, że nigdy więcej nie chcę mieć do czynienia z tą farsą. Zauważyłem jednak ciekawą prawidłowość, a mian., większość tych tzw biegłych to osoby z raczej kiepskim dorobkiem naukowym, zajmujących się głównie odwalaniem fuch, Ci z górnej półki rzadko się tym parają, co też i wiąże się z przeciętnie miernym poziomem merytorycznym tychże ekspertyz.

      To co mnie bulwersowało to sposób nabywania 'biegłości' w tym kraju! Większość osób wpisanych na listę nie ma ku temu kwalifikacji, pomijając fakt, iż wielu innych nie może się dopchać pomimo posiadania takowych. Brak w tym logiki i elementarnej sprawiedliwości, więc jak oczekiwać, od osób, które nabyły uprawnień, w delikatnie pisząc szemrany sposób, choćby minimum rzetelności

      Usuń
  9. Przemek Chylarecki25 grudnia 2012 11:03

    Pozwolę sobie jeszcze doprecyzować wczorajszy post. Nie interesuje mnie, co napisała w jakimś raporcie OOŚ pani Z, albo co napisał w jakiejś ekspertyzie pan X. Bardziej interesuje mnie: (1) czy ich dokonania na gruncie "applied science" powinny wpływać na to, jak są postrzegani jako naukowcy; (2) czy jako środowisko powinniśmy coś robić, gdy napotykamy tego typu opracowania, które są nie tylko słabe, ale – przede wszystkim – szkodliwe?
    Stawiam tezę, że w kwestii (1) jako środowisko mamy schizofrenię w postrzeganiu naszych koleżanek/kolegów (lub za mało informacji na ten temat), oddzielając grubą kreską poziom prac naukowych i poziom opracowań eksperckich i OOŚ. Zaś w kwestii (2) moja teza brzmi: tak, powinniśmy wyjść poza milczące przyzwolenie na szkodliwe opracowania.

    PCh

    OdpowiedzUsuń
    Odpowiedzi
    1. Przemek, ja do tego podchodzę tak:
      * często przyroda jest mocno zagrożona a inwestorzy działają w wielu przypadkach absolutnie niezgodnie z prawem, przekupując lokalne władze, kupując pozytywne ekspertyzy i opinie itp. W takiej sytuacji, chcąc zatrzymać inwestycję, która wiadomo, że będzie szkodliwa (typu Rospuda, wiatraki na międzyodrzu itp.) naukowcy czasami są zmuszeni wyjść poza swoje ostrożne zazwyczaj stanowisko i powiedzieć głośno i pewnym głosem, że ta inwestycja jest dużym zagrożeniem bo spowoduje coś tam złego. Gdybym pisał artykuł to wszystko to, co mówię w takiej sytuacji musiałbym wrzucić do dyskusji a i tak recenzent napisałby mi, że to jest zbyt 'speculative'. Ale zabranie głosu na spotkaniu z RDOSiem, inwestorem itp., nie jest artykułem i wymaga od nas konkretów i zdań twierdzących, a nie ostrożności i stawiania kolejnych pytań. I w tym kontekście dopuszczam pewną schzofreniczność - w czasopiśmie nie pozwoliłbym sobie na to na co pozwalam sobie w applied science. I dlatego byłbym ostrożny z przekładaniem dokonan na gruncie 'applied science' na ocenę danego gościa jako naukowca.

      * natomiast wyznaję też zasadę braku symetrii - powyższa zasada działa tylko 'na korzyść przyrody'. Nie wyobrażam sobie, by szarżować z interpretacją faktów w obronie inwestycji, czyli za kasę.

      co do szkodliwych opracowań - jeśli ktoś ze środowiska przyrodników-naukowców robi szkodliwe opracowania (czyli bezczelnie pcha szkodliwą inwestycje typu rospuda) mając z tego jakiś profit (najczęściej kasa) to nie powinniśmy udawać, jako środowisko, że nie ma problemu. Zgoda co do tego, że powinniśmy w takiej sytuacji przerwać milczenie.

      michał żmihorski

      Usuń
    2. Przemek Chylarecki26 grudnia 2012 00:38

      Michał, żeby Cię troszku wyzwolić ze stressu zarysowanego w pierwszym punkcie: dyrektywa siedliskowa pyta "czy można - z naukowo uzasadnionym prawdopodobieństwem - wykluczyć możliwość istotnego, negatywnego wpływu inwestycji?". więc kwestia jest postawiona odwrotnie niż w artykułach "czysto-naukowych".
      pch

      Usuń
    3. no tak, ale ja w ocenie postaw naukowców zajmujących się ochroną przyrody idę trochę dalej - w myśl zasady, że cel czasami uświęca środki nie potępiam lekkiego naciągania interpretacji faktów w celu ochrony przyrody. Nie potępiam tego braku symetrii w przedstawianiu argumentów za i przeciw inwestycji i w tym kontekście jestem wyznawcą zasady, że chroniąc przyrodę można więcej niż pisząc artykuł (żeby było jasne - w drugim przypadku nie można nic "więcej"). Ale chyba każdy kto miał do czynienia z urzędnikami, Lasami Państwowymi, myśliwymi i inwestorami wie, że walka na tym polu jest bezwzględna, bezpardonowa i ciosy poniżej pasa są normą. Często stoimy przed dylematem - piszemy pismo/raport eksponując potencjalne zagrożenie inwestycji albo jutro wjeżdżają spychacze...

      Ciekawe, że temat nie sprowokował nikogo do wypowiedzi. Koleżanki, koledzy, nie widzicie problemu w nierzetelnym podejściu naukowców do zleceń komercyjno-aplikacyjnych??? W ogóle wydaje mi się, że kwestia applied science jest w naszym środowisku bardzo niedoceniana i przez wielu biologów środowiskowych chyba nie jest traktowana poważnie.

      Usuń
  10. Jeśli jeden z czołowych instytutów w Polsce ze słowem "Środowisko" w nazwie, praktycznie oficjalnie pogardza applied science, to nie ma co się dziwić, że przechodzą inwestycje niszczące tereny cenne przyrodniczo.... pominę już fakt, że ów instytut, jak i inne budynki tego szacownego uniwersytetu budowane są na terenach cennych przyrodniczo, bez żadnej rekompensaty środowiskowej. To jest dopiero przekręt, a nie jakieś tam grzebanie w danych.
    Phd Student

    OdpowiedzUsuń
  11. Moze sprawe rozwiazaloby, przynajmniej czesciowo, wprowadzenie obligatoryjnej recenzji merytorycznej (naukowej) OOS (ale takze dokumentacji do PO/PZO?) przez ekspertow z dziedziny obejmujacej zagadnienia opisywane w danym dokumencie? Teraz to chyba kazdy moze "zdobyc" doswiadczenie i zostac specem od tego typu prac, np. jako podwykonawca, wiec moze sito powinno byc na etapie oceniania? Urzednicy w RDOS sprawdzaja te rozne oceny i plany, ale chyba robia to glownie pod wzgledem formalnym, prawnym itp., chyba nie zawsze w RDOSiach sa osoby na tyle kompetentne zeby ocenic rzetelnosc naukowa takich opracowan, i czesto urzednicy doslownie tona w papierach wiec nie maja czasu na dokladne sprawdzenie kazdego takiego opracowania. Gdyby do tego byl wymog recenzji (nie koniecznie az tak restrykcyjnej jak w pracach naukowych) to czesc z bubli odpadalaby przed ich formalnym zatwierdzeniem. Pewnie tego typu recenzje musialyby byc platne ale ich koszt zakladam ze bylby znikomy w porownaniu z caloscia srodkow przeznaczanych na OOS czy PO, a oszczednosci w przypadku wylapania bubli znaczne (i korzysci dla przyrody).

    Lukasz Kajtoch

    OdpowiedzUsuń
  12. Poważny problem z rzetelnością OOŚ, niestety patologiczne finansowanie raportów (kasa inwestora) wyklucza lub minimalizuje rzetelne opracowanie raportu w miejscu wrażliwym przyrodniczo. Gdyby na przykład inwestor wpłacał kasę na jakiś fundusz, a RDOŚ wyłaniał wykonawcę, zniknęłaby presja, że jak wyjdzie negatywne oddziaływanie to inwestor nie zapłaci. Oczywiście nie bronię tych kolegów, którzy nie mają w kwestii raportów 'kręgosłupa moralnego' i nie wahają się podpisać pod nierzetelnym opracowaniem - zwracam tylko uwagę na patologię
    u źródła.
    Druga ważna sprawa o której wspomniał powyżej Łukasz to PO/PZO i ich jakość. Tu presji inwestora nie ma ale jest pazerność ludzka i chęć 'nałapania' jak największej liczby zleceń. To z kolei przekłada się na wykonanie planów. Pisałam kiedyś o tym bezpośrednio do przyrodników zajmujących się ekspertyzami ale jakoś nikt nie podjął tematu.....Pomysł niezależnej weryfikacji eksperckiej jest bardzo dobry, może chociaż część potencjalnych wykonawców zastanowiła by się dwa razy, zanim się zgłosi do przetargu

    Joanna Zalewska-Gałosz
    Ps. Wybaczcie niezbyt zgrabne zdania, to z przejedzenia ;-)

    OdpowiedzUsuń
  13. co do PZO, rok temu przez to przechodziłem, na szczęście nie jako wykonawca ale jako przyrodnik z zewnątrz sugerujący co zapisać: RDOŚie dają tak śmieszne pieniądze na PZO, że tutaj nie można chyba oczekiwać, że ktoś to zrobi solidnie. O tym też trzeba pamiętać oceniając jakość tych opracowań. Inna sprawa,ze jeśli ktoś się w to pakuje chyba wie co robi...

    Co do pomysłu Łukasza - taka procedura powinna być normą. Teraz to czasami się zdarza, że RDOŚ zleca dodatkową ekspertyzę (jako koreferat chyba ?) ale raczej nie jest często stosowany (z mojego doświadczenia: już musi być niezła zadyma, żeby RDOŚ zlecił coś takiego).

    Ale wrócę jeszcze do problemu poruszanego przez Przemka - jeśli ktoś choć trochę jest w temacie applied ecology zna pewnego profesora z Gdańska, który robi masowo nierzetelne ekspertyzy wiatrakowe. Może gość się powinien spotkać z większym "chłodem" ze strony swoich kolegów jeśli firmuje taki syf??

    OdpowiedzUsuń
  14. Michale, Przemku - proponuję wydzielić osobny temat pod taką dyskusję (nierzetelność w kontekście applied ecology). Temat jest intrygujący, a przy tym - tak podejrzewam - słabo znany szerszemu gronu. Z wielką chęcią poczytałbym komentarze osób, które 'siedzą w temacie' i mając wiedzę 'od środka' mogą nieco przybliżyć, co też się dzieje w naszym kraju na podwórku applied ecology.

    OdpowiedzUsuń
    Odpowiedzi
    1. zrobione - przenosimy się do nowego posta!

      Usuń