czwartek, 11 listopada 2010

Kryterium Akaike'a a problem "multicollinearity" w modelach regresyjnych

Witam,
Jak wiadomo problem "multicollinearity" jest powszechny w badaniach. Wlasnie siedze nad danymi ktore obarczone sa tym problemem i zastanawiam sie co zrobic. Wolalbym nie stosowac brutalnie PCA, bo konkluzje z wynikow powinny miec stricte aplikacyjny charakter, wiec zalezy mi na konkretach, a nie na dosc abstrakcyjnym, dla zwyklego czowieka, pisaniu, ze skladowa glowna miala wplyw itp. Spotkalem sie z opinia, ze rozwiazaniem problemu jest selekcja "najlepszego" modelu metodą Akaike'a i ze to omija problem wspolzmiennosci. Macie moze rozeznanie, albo publikacje wskazujace wprost, ze tak jest rzeczywiscie ?
Pozdrawiam
PSkorka

4 komentarze:

  1. Nie jestem pewny ale tutaj idę na "chłopski rozum" - biorąc pod uwagę na sposób liczenia AIC kolinearność raczej nie ma na to większego wpływu i ostrożnie bym postępował z selekcją modeli jako narzędziem do jej pozbycia się. W wyrażeniu na AIC pojawia się wiarygodność (czyli likelihood) i w prostej regresji jest to (w pewnym uproszczeniu) resztkowa suma kwadratów odchyleń (residual sum of squares) podzielona przez ilość pomiarów. Jeśli z modelu usuniemy zmienną z np. dwóch kolinearnych - nie będzie to miało dużego wpływu na RSS ale wpłynie na AIC z tego prostego powodu że zmniejszy się liczba parametrów modelu. Poleca się raczej, żeby nie używać AIC do selekcji modelu "absolutnego" ale do porównywania 2-różnych modeli i wybierania tego lepszego (co nie oznacza tego samego bo tutaj arbitralnie podejmujemy decyzję o kolejności usuwanych zmiennych). Ale jeśli tylko ktoś ma przed oczami jakiś dobry papier - sam chętnie poczytam. osobiście byłbym ostrożny...

    OdpowiedzUsuń
  2. btw - pod wpływem poprzedniego posta sobie grzebię i to może Ci się przydać:

    http://www.springerlink.com/content/w011789826252m62/

    OdpowiedzUsuń
  3. dokładnie tak - artykuł Freckletona w BES, w pakiecie który wczoraj polecałem.
    pch

    OdpowiedzUsuń