niedziela, 20 listopada 2011

Ciekawy artykul

Pewnie znów się niedługo dowiemy, że wszystko co robimy to jeden wielki kant a proces peer review to coś, co nie ma sensu, ale mimo to można poczytać ten artykuł w ramach niedzielnej rozrywki:

http://ciekawe.onet.pl/spoleczenstwo/kanciarze-z-tytulami,1,4910431,artykul.html

michal wojciechowski

13 komentarzy:

  1. Słyszałem o tym w radiu jakiś czas temu, faktycznie daje do myślenia... Myślę że to właśnie główna motywacja np. Evolution by wymagać dostarczenia z pracą kompletnej bazy z danymi do analiz - choć, jak głosi brutalna prawda, dla chcącego nic trudnego. Niestety, w naszej działce badania też często trudno nazwać replikowalnymi gdy opierają się na szczególnym systemie lub po prostu wymagają 15 lat zbiórki danych do animal model ;)

    OdpowiedzUsuń
  2. Pomysl z dostarczaniem surowych danych podczas submisji pracy jest moim zdaniem bardzo dobry. Z tego co znam statystykę to opracowano specjalne testy pozwalajace na ocene wiarygodnosci danych, - tzn ocenę czy są prawdziwe, czy zmyslone - na podstawie czestosci pojawiania sie w danych pewnych (ciągów) liczb lub fraz. Zeby bylo smiesznie to ponoc są szeroko stosowane własnie w psychologii :).
    Pozdrawiam
    PS

    OdpowiedzUsuń
  3. Piotrze, rzeczywiście - dosyć łatwo zbudować taki test, oparty choćby o naiwne klasyfikatory Bayesowskie. Dość popularna konstrukcja matematyczna - szerokie pole zastosowania w życiu codziennym - choćby filtry antyspamowe są konstruowane w oparciu właśnie o tego typu klasyfikatory.
    Pytanie jednak, co w momencie, gdy nasze dane rzeczywiście składają się z pewnych ciągów powtarzalnych znaków (liczb, liter, słów, etc.) i dzieje się tak nie dlatego, że dane sfabrykowaliśmy, ale dlatego, że taka jest natura zjawiska? ;)

    Pozdr,
    Kuba

    OdpowiedzUsuń
  4. Ahoj,
    Wiadomo, ze takie testy niczego nie rozstrzygają, ale jeśli mamy dostępne dane tego samego autora z kilku niezależnych prac, i we wszystkich tych pracach przykładowo, i upraszczając, istotnie częściej pojawiają się niektóre cyfry/liczby/znaki to może to sugerować, że coś może być nie tak z danymi.
    Mnie ten pomysl z zamieszczaniem surowych danych bardzo się podoba, bo pomijając problem nieuczciwosci, pozwala to potem na dostep do takich danych w celu wykonania np metaanaliz, testowania nowych metod itp.
    Pozdrawiam
    PS

    OdpowiedzUsuń
  5. Co do powtarzalności - nie tylko są to poszczególne cyfry ale przedziały ich. Ludzie mają skłonności albo do wpisywania cyfr z dolnego przedziału, albo górnego. Koło się trochę zamyka bo o takiej tendencyjności mówi psychologia społeczna:)
    Biorąc do analizy wiele arkuszy z różnych badań, faktycznie można uchwycić czy dane są zmyślone.

    Mnie ciekawi co sie stanie z podręcznikami psychologii, w końcu na podstawie badań Stapela było wiele ciekawych akapitów, rozdziałów...

    Lendi

    OdpowiedzUsuń
  6. Myślę, że dorzucanie danych do artykułów nic nie da. Po pierwsze, jak bym chciał oszukać, to raczej nie wymyślam danych od zera - takich kozaków, co tworzą pusty arkusz i wypełniają go cyframi to chyba nie ma :o)) Zakładam, że podrasowanie polega na tym, że kilka pomiarów niepasujących usuwam, albo dodaję do nich jakąś wartość, żeby pasowały. Taka drobna zmiana w bazie danych moim zdaniem jest niewykrywalna niestety...
    michał żmihorski

    OdpowiedzUsuń
  7. A mnie sie to jakos w glowie wszystko nie miesci. Jakos trudno mi wyobrazic sobie, ze ktos spedzil czly ten czas uczac sie narzedzi i ich wykorzystania tylko po to by potem siedziec i fabykowac dane. Albo krasc czyjes pomysly. Zaskakuje mnie to, ze komus warto marnowac sily i czas na fabrykowanie danych.
    Pamietam kilkanascie lat temu promotor ostzregala mnie przed rozmowa z jakims metnym typem, bo to niby on romawia z ludzmi i podkrada pomysly... Pamietam tez (swoja droga jeszcze zywe) emabargo na rozmowe z niektorymi osobami w moim instytucie. Bo to niby ktos komus podkradal pomysly. I mnostwo innych tego typu bzdur. Cos mi sie wtedy nie chcialo w to wierzyc, ale jednak sie okazuje, ze takie smrody wychodza rowniez w tym "wielkim swiecie."
    Smuitne to...
    michal

    OdpowiedzUsuń
  8. Michał, jak w grę wchodzi naprawdę duża kasa, pozycja na świetnych uczelniach, granty i cholera wie co jeszcze, to ludziom tak właśnie odbija...

    OdpowiedzUsuń
  9. Michale, szczerze mówiąc mam wrażenie niekiedy, że tego typu praktyki jak odrzucanie wartości niepasujących akurat do reszty zbioru, są częstsze niż nam się wydaje. Inna sprawa - czy dołączanie bazy danych do publikacji rzeczywiście coś zmieni? Tzn owszem - super opcja do meta-analiz itd., ale czy komukolwiek będzie chciało się brać czyjąś bazę i testować ją na różne sposoby, czy aby nie wychodzą tam jakieś buble? Jakoś trudno mi w to uwierzyć.

    Osobiście też nie rozumiem - za przeproszeniem - po jaką cholerę takie numery robić. Zawsze wydawało mi się, że w nauce chodzi o to, żeby dążyć do poznania prawdy (lub przybliżaniu się do niej). Że sens tego wszystkiego nie polega na podbudowywaniu własnego ego poprzez udowadnianie światu, że to właśnie ja mam rację. Że tutaj chodzi o coś zupełnie innego, o coś więcej. Ale ja to świeżak w sumie jestem, więc może i poglądy mam zbyt wyidealizowane ;)

    Pozdr,
    Kuba

    OdpowiedzUsuń
  10. "Zawsze wydawało mi się, że w nauce chodzi o to, żeby dążyć do poznania prawdy (lub przybliżaniu się do niej)."

    W nauce tak, ale w życiu nie koniecznie. Kończysz czterdziestkę i zadajesz sobie pytanie, po co mi to wszystko skoro nie stać mnie nawet na własne cztery konty. Życie nie jest wcale takie bezkompromisowe jak nauka a podejmując wybory nie kierujemy się tylko prawdą - nie zapominajcie że jesteśmy tylko ludźmi, nie aż.

    OdpowiedzUsuń
  11. Anonimowy, to czy nie lepiej za te same pieniądze zająć się jakimś mniej wymagającym zawodem, np. oprowadzać wycieczki, pisać opowiadania, itp. Spójrz przez pryzmat jakiegokolwiek innego zawodu. Idziesz do sklepu to chcesz, zeby ekpedient(ka) sprawnie Cie obsłużył - nie zastanawiasz sie, ze on tez zarabia 1500zl, i prawdopodobnie kontrola jego pracy jest znacznie bardziej dogłębna niż Twojej. Tak samo jest z zawodem naukowca, jesli nie odpowiadają Ci warunki finansowe, to możesz zawsze poszukać innej pracy, która pozwoli Ci na zarobienie na cztery kąty. Niska pensja i frustracja na pewno nie jest usprawiedliwieniem nieuczciwosci. Poza tym trudno mi sobie wyobrazic, zeby ten profesor psychologii mial problemy z zarobieniem na cztery kąty.

    Problem leży chyba zupełnie gdzies indziej - nauka obecnie chyba nie jest taka wolnolotna jak kilkadziesiąt lat temu. Wielu naukowców obecnie nie pozwola sobie na rozpoczynanie wielkich, długoterminowych badań, ani takich, który wynik jest obarczony dużą dozą ryzyka. Nie oszukujmy sie ;) - obecny sposob oceny pracy naukowca, nastawienie na wydajnosc oraz dominacja impakt-faktorow przy okreslaniu koncowego sukcesu mogą powodować tego typu patologie. Zeby byo jasne - mnie ten system się podoba, ale trzeba mieć swiadomosc jego wad i generalnie panujący wyscig szczurów w niektorych dziedzinach nauki moze doprawadzac do sytuacji takich, jak w przypadku profesora oszusta.

    OdpowiedzUsuń
  12. Jesteś strasznym idealistą. Naukowcy to tacy sami oportuniści jak wszyscy inni. Większość zostaje naukowcami nie dlatego, że pała jakąś szaleńczą potrzebą zdobywania wiedzy, ale dlatego, że po studiach nie wiedzieli co z sobą zrobić i doktorat okazał się być jakąś tam furtką. Może ta praca nie daje wielkiej kasy, ale jestem pewien że większość zrezygnowała by z tej pracy gdyby mogli gdzieś zarobić więcej. A tak krząta się po korytarzach od kawy do kawy od ploty do ploty. Skrzętnie korzysta z każdej nadarzającej się fuchy a jak ma trochę oleju w głowie to fabrykuje/poprawia dane - ciekawsze wyniki można lepiej opublikować i łatwiej później o granty. Dlaczego nie zajmie się czymś innym? a po co, po co ryzykować. Prowadzenie biznesu to zarwane noce i ciągły stres - prowadziłeś kiedyś własną działalność?
    Niska pensja nie jest usprawiedliwieniem nieuczciwości - nic nie jest jej usprawiedliwieniem, ale problem nie w tym jak być powinno ale jak jest.

    Jaki z tego wniosek? Uczciwym się albo jest albo nie. Tak jak policjant bierze w łapę, urzędnik, lekarz itp. tak kombinują też naukowcy - kiedyś brali za załatwienie miejsca na studiach i zdawanie egzaminów (dzisiaj już chyba to rzadkość), dzisiaj fabrykują dane.

    OdpowiedzUsuń
  13. A ja tylko dodam, że poza (prawie nie)wykrywalnymi zmianami typu wyrzucenie/modyfikacja jest jeszcze inna strategia: bardzo prosto można używając wymyślonego modelu liniowego i kilku tricków z algebry macierzy wygenerować cały zestaw spójnych danych pozbawionych jakiegokolwiek podejrzanego wzorca. Dyskutowałem o tym kiedyś z pewnym gościem z Uniwersytetu w Uppsali - pokazał mi jak w 15 minut wygenerować kompletny zestaw danych do animal model o kilkunastu tysiącach obserwacji... Także zgadzam się ze wysyłanie danych do dżurnali nie naprawi całego problemu per se - ale być może zadrży sumienie komuś kto mając w perspektywie upublicznienie spreparowanego datasetu zrezygnuje z jakichś machlojek i "ulepszeń"...

    OdpowiedzUsuń