czwartek, 16 września 2010

Nie taki Akaike prosty, jak go malują

Kryterium informacyjne Akaike’go (AIC) jest obecnie uniwersalnym kryterium wyboru optymalnego modelu spośród wielu konkurujących ze sobą modeli objaśniających interesującą nas zmienną zależną. AIC pozwala porównywać – dla tych samych danych – zarówno modele zagnieżdżone (co umożliwia również LRT), jak i nie zagnieżdżone. Powszechnie przyjmuje się, że modele różniące się o nie więcej niż 2 jednostki AIC są porównywalnie dobrymi modelami. W szczególności, modele gorsze od zidentyfikowanego modelu optymalnego (posiadającego minimalne AIC) o mniej niż 2 jednostki AIC są tradycyjnie uznawane za równie dobre, alternatywne modele objaśniające zmienną zależną.

 

W jednym z ostatnich J Wildl Management, Todd Arnold zwraca uwagę, że dodając do optymalnego modelu (minimalne AIC) kompletnie nonsensowny predyktor (np. losowa liczba z określonego przedziału) można uzyskać model różniący się od optymalnego o mniej niż 2 jednostki AIC. I odwrotnie, eliminując predyktory z przeparametryzowanego modelu, w poszukiwaniu minimalnego AIC, możemy uzyskać – obok optymalnego, porównywalnie dobry model (różnica AIC<2) zawierający totalnie nieinformatywną zmienną jako predyktor.  Przy powszechnie panującym podejściu, taki model bywa traktowany jako świadectwo, że ten dodatkowy predyktor jednak ma jakieś znaczenie dla objaśniania zmienności w naszej zmiennej zależnej. No i to jest błąd, bo z powodów opisanych w artykule – przy bezkrytycznym stosowaniu wyłącznie kryterium różnicy AIC – możemy poważnie traktować modele zawierające zmienne nie mające najmniejszej mocy predykcyjnej dla analizowanej zmiennej.

 

Podstawowym powodem takiej sytuacji jest sposób definiowania AIC, które w swoim wzorze zawiera składnik [2 * liczba predyktorów]. Sytuacja nie jest jednak beznadziejna (far from it…) – Arnold pokazuje, jak nie dać się wpuścić w ten kanał. Co śmieszniejsze, na problem ten zwracali uwagę również Ken Burnham i David Anderson - goście, którzy wypromowali AIC swoją książką o selekcji modeli, ale wszyscy olali ten fragment ich książeczki w drugim wydaniu… Teraz mają szansę naprawić swój błąd, czytając artykuł:  Arnold TW. 2010. Uninformative Parameters and Model Selection Using Akaike’s Information Criterion. Journal of Wildlife Management 74(6):1175–1178.

 

Przemek Ch.

11 komentarzy:

  1. zarzuty mocne...

    podstawowe pytanie: masz pdfa? bo ja nad odrą a do tego dostępu online nie mamy :o(

    pzdr
    żmihor

    OdpowiedzUsuń
  2. Bardzo dobrze Przemku, ze poruszyles temat kryterium Akaike'a. Wielu badaczy zalozylo sobie klapki na oczy i jak cos nie jest robione przy pomocy Akaike'a to jest fu i be. A tymczasem wsrod profesjonalnych statystykow kryterium Akaike'a jest calkiem mocno krytykowane (wystarczy sobie wejsc na jakies zagraniczne fora statystyczne). Przykladowo, mozna powątpiewać o jego "performance" w przypadku uogolnionych modeli liniowych mieszanych gdzie parametry funkcji szacowane sa metodą REML. Tylko, kto to przetlumaczy to tym debilnym recenzentom, ktorzy na sile zmuszaja robic Akaike'a przy kazdym wielowymiarowym modelu. Co ciekawe, statystycy matematyczni podsmiewaja sie z ksiazki Burhama i Andersona i z ich "rekomendacji". Ostatecznie konczy sie to tak, ze w publikacjach autorzy podaja "najlepszy" model i zaznaczaja ktore czynniki osiągnely poziom istotnosci 0.05. Zapewne sami autorzy publikacji, a na pewno czytelnicy mocno zastanawiaja sie co takie wyniki oznaczaja... ale co tam, wazne zeby statystyka byla w miare "sophisticated" i zeby recenzeci byli usatysfakcjonowani.

    Pozdrawiam

    PSkorka (doswiadczony przez i w - kryterium Akaike'a)

    OdpowiedzUsuń
  3. jakby ktos chcial poczytac to nieoficjalnie pdf jest tu:
    http://www.miiz.waw.pl/pliki/pracownicy/zmihorski/Arnold_AIC_JWildManage2010.pdf

    OdpowiedzUsuń
  4. Piotrek, właśnie czytałem taka publikacje o jakiej piszesz: "ożywaliśmy AIC ale ponieważ wiele osób nadal testuje hipotezy równolegle zrobiliśmy też metodą tradycyjną..." i to w Biol Conserv.

    myślę że ważne jest by robić też zawsze AIC dla modelu tylko ze stałą, żeby dać dowód, że nasze modele to coś więcej niż szum...

    żmihor

    OdpowiedzUsuń
  5. ok, ja myślę, że AIC to ogromny krok naprzód w porównaniu z urojoną granicą P=0.05. i jeszcze większy, gdy iśc dalej - model averaging, support for individual variables itd. i nie ma szczególnego kwasu czy to jest AIC, czy BIC, bo z wiekszej perspektywy to kosmetyczne różnice.
    jak wszędzie, główny problem to uzywanie bez udziału mózgu - czy to jest AIC, P czy prezerwatywa. kilka lat temu na konfie widziałem wyniki, gdzie - tradycyjnie - wykazywano "istotną" korelację ułamka z jego mianownikiem. w dyskusji po prezentacji zakwestionowałem to. koleś odpowiedział, że wszystko jest ok, bo używali AIC.... odleciałem (w realu odpowiedziałem, że does not matter). wyjaśniliśmy sobie to potem prz piwie. ale są z tego 2 publikacje (jedna w Am Nat). i tyle, szczególnie jak angielski jest twoim nativem:-)

    OdpowiedzUsuń
  6. jest tez druga rzecz, o ktorej trabi sie od dluzszego czasu - to stosowanie REMLa w modelach typu generalized dla rozkladow niegaussowskich (glownie poisson i 0-inflated poisson, multinomial) - estymatory oparte na REML sa mocno obciazone, bo funkcja wiarygodnosci w takich rozkladach jest tylko estymowana a nie liczona analitycznie - i tak naprawde trzebaby tu stosowac metody Bayesowskie, np MCMC, ktore przy ostroznej i rozwaznej implementacji daja najlepsze wyniki (na jednych warsztatach testowalismy REML i MCMC na symulowanych danych; REML zwracal nawet 3-4krotnie wyzsze oszacowania wariancji w stosunku do wartosci 'prawdziwej' na podst ktorej wygenerowano dane) - i w takich sytuacjach AIC daje zupelnie niewiarygodne wyniki; ogolnie warto do testowania modeli z rozkladem nienormalnym stosowac raczej DIC; niestety - jeszcze dlugo niporozumienia beda, bo wiekszosc biologw nie wie jak na podstawowym poziomie dzialaja GLMMy (np. ciekawy problem zagniezdzen - otoz sie okazuje, ze w ogole nie powinno sie ich stosowac w przypadku REML)

    OdpowiedzUsuń
  7. Szymek, jakbyś znał jakieś prace dokumentujące to co piszesz to podrzuć namiary, chętnie poczytamy

    OdpowiedzUsuń
  8. Szymek, no to niezla zalamke mi na zaserwowales ... jak sie naucze MCMC to przelicze swoje stare i publkowane dane gdzie glmm byl liczony metoda reml. Macie moze porownanie czy modele koncowe z liczone reml i mcmc wygladaja podobnie?

    OdpowiedzUsuń
  9. Niestety - klopot polega na tym, ze problem jest na razie nie malo rozpoznany, bo jak w kazdej dziedzinie - sa autorytety, ktore twierdza ze jednak reml jest ok; jest bardzo dobry podrecznik omawiajacy te problemy (Sorensen i Gianola 'Likelihood, Bayesian and MCMC methods in Quantitative Genetics') ale musze ostrzec ze jest troche hermetyczny statystycznie. Czesc problemow - ale po lebkach - omawia pracka Hadfielda i Kruuk 'MCMC methods for multi-response generalised linear mixed models: The MCMCglmm R package' Journal of Statistical Software. Piotrek - jesli miales modele o rozkladzie dwumianowym albo normalnym to ryzyko jest mniejsze ;) najbardziej czule sa modele z rozkladem typu multinomial, Poissona (szczegolnie gdy jest duzo zer w zmiennej zaleznej i gdy mamy doczynienia z overdispertion <- nie znam chyba polskiego odpowiednika tego slowa). Jak wroce z wyjazdu to moze wrzuca cos z mojej 'biblioteczki' ;) A dla wielbicieli rewizji uprzednio istotnych wynikow polecam Hadfield et al. The Misuse of BLUP in Ecology and Evolution. Am. Nat. ;)

    OdpowiedzUsuń
  10. Oczywiscie chodzilo mi o overdispersion ;) A Sorensena i Gianole mam w PDFie wiec jakby ktos chcial, uzycze chetnie (ale to po powrocie czyli w pazdzierniku)

    OdpowiedzUsuń
  11. the misuse... jest dostepne w sieci:

    http://www.rug.nl/biologie/onderzoek/onderzoekgroepen/theoreticalbiology/pdf/litClub/ha_eaAmNat10.pdf

    OdpowiedzUsuń