Naključni gozdovi (Random Forests)

Ena najuspešnejsih metod združevanja enostavnih klasifikatorjev so naključni gozdovi (random forests). Ta algoritem, ki ga je l. 1999 razvil Leo Breiman in za enostavne klasifikatorje uporablja odločitvena drevesa, se lahko kosa z algoritmi kot sta boosting in SVM, ponuja pa tudi več vizualizacijskih tehnik. V prvem delu seminarja bom predstavil metodo naključnih gozdov in razloge zakaj tako dobro deluje. Pogledali si bomo nekaj možnosti, kako lahko s to metodo pridemo do dodatnih informacij o problemski domeni, npr. ocene kvalitete atributov, rojenje (clustering), tipičnih predstavnikov razredov in izstopajočih primerov ter nekaj vizualizacij. V drugem delu seminarja bom predstavil dve razviti izboljšavi. Prva temelji na povečanju različnosti osnovnih klasifikatorjev, ki jo dosežemo z uporabo različnih cenilk kvalitete atributov, druga pa na uteženem kombiniranju osnovnih klasifikatorjev, ki za uteži uporablja zanesljivost predikcije v lokalnih podprostorih.