Uczenie maszynowe - 15 godzinny kurs video z Hastie & Tibshirani!

Info z R-bloggers:
In January 2014, Stanford University professors Trevor Hastie and Rob Tibshirani (authors of the legendary Elements of Statistical Learning textbook) taught an online course based on their newest textbook, An Introduction to Statistical Learning with Applications in R 

książkę mam, jest bardzo fajna, a kurs - z tego co sprawdzałem kilka lekcji - śmiga bez problemu na YT, choć miejscami sporo w nim matematyki
 
więcej tu:
http://www.r-bloggers.com/in-depth-introduction-to-machine-learning-in-15-hours-of-expert-videos/


michał żmihorski

Trzeci zwycięzca wyborów w USA...

Ciekawy tekst na Wyborczej:
"Analityk i bloger Nate Silver ze stuprocentową dokładnością trafił w wyniki we wszystkich stanach USA. To triumf matematyki i koniec tradycyjnych metod przewidywania wyniku wyborów?"

na Wyborczej można o nim poczytać tu:
http://wyborcza.pl/1,75477,12814090,Trzeci_zwyciezca_wyborow_w_USA__Przewidzial_wyniki.html

link do jego bloga:
http://fivethirtyeight.blogs.nytimes.com/

a tutaj mamy opis metodyki:
http://fivethirtyeight.blogs.nytimes.com/methodology/

i na koniec jego najnowsza książka:
http://www.amazon.co.uk/Signal-Noise-Art-Science-Prediction/dp/1846147522/ref=sr_1_1?s=books&ie=UTF8&qid=1352323004&sr=1-1

Nie wiem jakie są te "tradycyjne" metody (z wosku, fusów??) o których piszą dziennikarze Wyborczej, ale warto rzucić okiem na działalność tego pana. Niezależnie od kontekstu (polityka, USA) to jest coś wartościowego, bo ciągle tak mało twardych faktów i naukowego podejścia w mediach do wszystkich komentowanych zdarzeń. Na przykład ostatni tekst z TVNu: " 45. prezydent Stanów Zjednoczonych z ogromnym znakiem zapytania. Chyba łatwiej dziś trafić szóstkę w totka, niż wytypować zwycięzcę wyborów". Ręce opadają, szczególnie w zestawieniu z tym gościem od przewidywania i jego skutecznością.

michał żmihorski

P.Biecek

Analiza danych z programem R

Modele liniowe z efektami stałymi, losowymi i mieszanymi

ukaże się "w pierwszej połowie października 2011", więc zaraz! Mam nadzieję, że to będzie coś fajnego. Więcej o książce TU
michał żmihorski

Methods of phylogenetically informed comparative analyses

Institute of Environmental Sciences, Jagiellonian University

invites for the special course on

Methods of phylogenetically informed comparative analyses

by

Professor Theodore Garland, Jr.

University of California, Riverside

SCHEDULE

October 11, Tuesday: Lectures (room 1.0.4):

• 9:00 - 10:45 - lecture 1
• coffee break
• 11:15 -13:00 - lecture 2
• lunch break
• 15:00 - 16:30 - lecture 3

October 12, Wednesday: Practical training (room 1.1.3):

• 9:00 - 10:45 - class 1
• coffee break
• 11:15 -13:00 - class 2
• afternoon - individual work on example datasets

October 13, Thursday: Practical training (room 1.0.4):

• 9:00 - 10:45 - class 3
• coffee break
• 11:15 -13:00 - time for individual consultations

Additional information:

• The course is addresses primarily to beginners in the field and requires only basic experience of statistical methods (such as typically required at MSc level in biology).
• Lectures are opened, but participation in practical training requires registration (deadline: October 3, Monday).
• Practical training will be performed on personal notebooks.
• Please contact Pawel Koteja (pawel.koteja@uj.edu.pl) for registration and specific information about software to be installed on the notebooks used for practical classes.
• The organizers do not provide accommodation or food.

Kurs współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego

Kurs "zastosowanie metod numerycznych w ekologii"

Ciekawy kurs, byłem dwa lata temu i rzeczywiście można się sporo nauczyć. Poniżej info i printscreen tematyki:

Kurs odbedzie sie w dniach 5 – 10 wrzesnia 2011 roku w Instytucie Ekologii i Ochrony
Srodowiska, UMK w Toruniu.
Karty Zgłoszenia należy przesłać do 31 czerwca 2011 na adres: ankawoj@umk.pl

Wszelkich informacji udzielają:
dr Anna Wojciechowska, ankawoj@umk.pl tel. (56) 611 2517
dr Agnieszka Piernik, piernik@umk.pl tel. (56) 611 2537

Opłata za udział w kursie wynosi 1 500 zł.

 

michał żmihorski

Książka o statystyce...

Anglojęzyczne książki są najczęściej kosmicznie drogie, ale znalazłem ostatnio podręcznik dotyczący podstawowego materiału w dość niezłej cenie 55 zł. Właśnie dziś do mnie przyszedł i stwierdzam, że za te pieniądze naprawdę warto go kupić. Prawie 500 stron, dość duży format, kredowy papier, sporo rysunków, część zagadnień tłumaczona na outputach z SPSSa.
Można go kupić na Allegro tu:
http://allegro.pl/statistics-for-the-behavioral-and-social-sciences-i1421006727.html#gallery

a tutaj trochę więcej przeczytać o zakresie książki, co prawda nowsze wydanie ale na pierwszy rzut oka to samo:
http://www.pearsonhighered.com/educator/product/Statistics-for-The-Behavioral-and-Social-Sciences/9780205797257.page

michał żmihorski

Takie rzeczy tylko w eRze...

Chciałem się podzielić refleksją dotyczącą programu R... Ostatnio bardzo dużo czasu spędzam ucząc się tego programu. Po zniechęcającym początku i trudnościach w obróbce danych, udało mi się kilku rzeczy nauczyć i obecnie już sporą część analiz robię w tym programie. Wbrew plotom, które krążą, R wcale nie jest taki trudny, a jak już trochę umiemy podstawy to nauka kolejnych analiz, czy tworzenia rysunków, jest naprawdę szybka - często wystarczy podstawić swoje nazwy kolumn do skryptów, które są w sieci i działa!

Rzućcie okiem na poniższe wykresy (może poza zającem): wizualizacje drzew regresyjnych czy odds ratio z regresji logistycznej jak dla mnie kapitalne...

A jak wam idzie nauka Ra? 

Michał Żmihorski

P.S. Około 35000 przykładowych wykresów (w tym te poniższe) wraz ze skryptami na stronie R Graphical Manual

 

Pytania statystyczne CD

Święta świętami, ale mam problem z obliczeniami i liczę na Waszą pomoc: 

Parametry modelu regresji logistycznej: exp(B) czyli Odds Ratio (OR). Pytanie: Jak standaryzować OR dla predyktorów typu covariate i typu fixed factor??? Chciałbym porównać realny efekt poszczególnych predyktorów z modelu i nie bardzo mam na to pomysł, bo czym innym jest OR=2 dla predyktora kategorycznego, który ma dwie kategorie, a czym innym dla predyktora ciągłego, który się zmienia w zakresie np. od 1 do 1000... Czy te wszystkie świetne programy nie generują takiego standaryzowanego ORa? Bo rozumiem, że na piechotę mogę to liczyć wg. wzoru: exp(B*zakres zmiennej)

dzieki, pozdrawiam

michał żmihorski

Ktokolwiek widział, ktokolwiek ma....

opasły pdf z opisem metod w Canoco 4.5 ? Wiem ze niektorzy ponoc maja, ze tez jest ponoc gdzies dostepny na sieci.Ale nie znalazlem... Bylbym niezwykle wdzieczny za wskazanie osoby, ktora to dzielo posiada i u ktorej moznaby z tego skorzystac.
Pozdrawiam
PSkorka

Kryterium Akaike'a a problem "multicollinearity" w modelach regresyjnych

Witam,
Jak wiadomo problem "multicollinearity" jest powszechny w badaniach. Wlasnie siedze nad danymi ktore obarczone sa tym problemem i zastanawiam sie co zrobic. Wolalbym nie stosowac brutalnie PCA, bo konkluzje z wynikow powinny miec stricte aplikacyjny charakter, wiec zalezy mi na konkretach, a nie na dosc abstrakcyjnym, dla zwyklego czowieka, pisaniu, ze skladowa glowna miala wplyw itp. Spotkalem sie z opinia, ze rozwiazaniem problemu jest selekcja "najlepszego" modelu metodą Akaike'a i ze to omija problem wspolzmiennosci. Macie moze rozeznanie, albo publikacje wskazujace wprost, ze tak jest rzeczywiscie ?
Pozdrawiam
PSkorka

Nowa książka o statystyce

Witam,


Dobrze jest zacząć miło dzień w pracy, szczególnie jak tego samego dnia pocztą przychodzi autorski egzemplarz nowej książki. Mam tutaj na myśli "Zrozumieć statystykę" autorstwa dr Piotra Jadwiszczaka z Instytutu Biologii Uniwersytetu w Białymstoku.
Książka wydana została w tym roku we wrześniu. Można ją dostać w internecie w wersji tradycyjnej (27 zł) lub jako pdf (20 zł). Tutaj link: http://www.mybook.pl/6/0/bid/234.

Myślę, że pozycja warta lektury, zarówno jako podstawy ale i rozszerzenie wiedzy ze statystyki. Jest z pewnością alternatywą dla książki Łomnickiego. Zawiera sporo informacji dotyczących metod losowych w analizie danych (resampling, bootstrap, jackknife, monte carlo). Autor jest twórcą pakietu statystycznego Rundom Pro (http://pjadw.tripod.com/), który jest już cytowany w dobrych papierach (http://pjadw.tripod.com/citations.htm).

Wielce się ucieszyłem, kiedy dowiedziałem się od Piotra o jego inicjatywie, tym bardziej, że będąc na studiach to właśnie na jego zajęciach uczyłem się metod statystycznych.

Polecam :)

Michał Skierczyński

Kto pyta nie błądzi, czyli pytania statystyczne

Ponieważ blog ma służyć wymianie informacji proponuję temat dotyczący statystyki i jej praktycznego zastosowania, które nie jest sprawą prostą dla biologów. Jak ktoś może pomóc to piszcie:

Pytanie 1.  Mam zmienną niezależną, która jest rangą. Waha się od 1 do np. 100, i rozkład jest całkowicie równomierny (każdy przypadek ma inną rangę). Do tego kilka "explanatory variables". Pytanie: czy mając taką zmienną zależną mogę dopasować jakiegoś (jakiego?) GLMMa??? jaki rozkład i jak to ugryźć? jak nie GLMM to co alternatywnie?

dzieki
żmihor

książki o R

Książek o R jest sporo ale tych po Polsku raczej niewiele i nie wszystkie przyjazne czytelnikowi. Ukazały się natomiast dwie książki, które są warte polecenia. Mam je od niedawna ale naprawdę mi się przydają jako przewodnik i baza skryptów Ra. 

Pierwsza (większa) to metody ilościowe w R - sporo przydatnych dla ekologów technik (m.in. różne generalized linear models, np. dość rzadko opisywane Zero-Inflated Poisson i Zero-Inflated Negative Binomial). Druga to statystyka przestrzenna. Przyznam, że dla mnie miejscami trudna i jeszcze nie zrozumiałem wielu poruszanych tam problemów, ale na pewno warto przeczytać. W tej książce znajdziecie m.in. techniki szacowania przestrzennej autokorelacji (podstawa modelowania i często duży problem analityczny w ekologii - wystarczy spojrzeć na cytowania pracy Dorman et al. z Ecography w lewym dolnym rogu bloga) i opis rysowania map.
 

jakby ktoś nie widział to autorką jest Katarzyna Kopczewska (w pierwszym przypadku et al.), wydawnictwo CeDeWu

pzdr
michał żmihorski

analiza grantów c.d.

kilka kolejnych ciekawostek na próbie 2146 grantów z sekcji N303 i N304

numer grantu (dla każdego konkursu zaczynający sie od 1), prawdopodobnie obrazujący kolejność składania wniosków, istotnie koreluje z prawdopodobieństwem otrzymania projektu... jakieś pomysły na interpretacje (poza przypadkiem)???

granty genetyczne mają dłuższe tytuły, ale nie wiem czy tu nie ma ukrytego błędu logicznego...:

Inżynierowie radzą sobie zdecydowanie gorzej niż nie-inżynierowie, i różnice są całkiem spore:

i najfajniejsze: kobiety piszą bardziej rozwlekle niż mężczyźni. Tytuły grantów pań są średnio o ok. 6 znaków dłuższe niż panów. Uprzedzając pytania dodam, że płeć nie ma wpływu na P otrzymania grantu (liczone w GLMMie wiec z uwzględnieniem innych potencjalnych predyktorów):

Powyższe zależności wychodzą również w GLMie przy równoległym uwzględnianiu wszystkich potencjalnych predyktorów, więc raczej nie są to jakieś "rykoszety" statystyczne tylko prawdziwe zależności!

pozdr
żmihor

analiza grantów MNiSW

Jest niedziela, więc po całym tygodniu pracy trochę zabawy: ściągnąłem w wersji xls wyniki ostatnich 7 konkursów w sekcji N304 (ekologia...). Oto kilka ciekawszych wykresów.

Jak widać zwięzłego i precyzyjnego pisania uczymy się przez cały okres rozwoju naszej kariery naukowej :o)

Granty genetyczne są średnio o 50 tys. droższe ale ciężko wnioskować tu o przyczynowości...

no i prawdopodobieństwo otrzymania grantu (wg. regresji logistycznej w wersji GLMa): słowo "gentyka" w tytule ma tu pozytywny wpływ, podobnie jak typ grantu (łatwiej dostać promotorski niż własny). Co do stopnia to wychodzi ciekawie: doktor ma istotnie mniejsze szanse niż profesor, a magister jest gdiześ po środku:
 

c.d.n.
michał żmihorski

nowa wersja pakietu MCMCglmm dla R

Wyszła nowa wersja świetnego pakietu MCMCglmm dla R (autorem jest Jarrod Hadfield). Najnowsza wersja jest datowana na 10 sierpnia br. i usprawniono w niej obsługę informacji filogenetycznej (nowe formaty w jakich można pokrewieństwa filog. wkladac do analiz), pakiet już nie wiesza się tak w przypadku metaanaliz z predefinowanym wektorem błedów, szybciej też "mieli" dane i dopasowuje model do danych (wolne działanie w środowisku Windowsowym było zawsze jego słabą stroną). Poprawiono też dokumenty dołączone do pakietu (szczególnie "Course Notes"). Polecam pakiet wszystkim, którzy celują w złożone modele genetyki ilościowej i szukają alternatywy dla REMLa!

http://cran.r-project.org/web/packages/MCMCglmm/index.html

pozdrawiam

Szymek

--
Szymon Drobniak
Group of Population Ecology, Institute of Environmental Sciences
Jagiellonian University
ul. Gronostajowa 7, 30-387 Kraków, POLAND
tel.: +48 12 664 52 19 fax: +48 12 664 69 12

www.eko.uj.edu.pl/drobniak

Analiza mocy czy 95% CI dla effect size?

Colegrave N, Ruxton GD 2003 Confidence intervals are a more useful complement to nonsignificant tests than are power calculations BEHAVIORAL ECOLOGY

Już niezbyt świeża, ale jak dla mnie super praca. Autorzy pokazują jak z 95% przedziału ufności dla effect size przy nieistotnych wynikach (czyli 95% CI obejmuje 0) można wyprowadzać fajne wnioski, lepsze niż te z analizy mocy!

cały pdf tutaj
pozdr
michał żmihorski