Gradientforsterkning (engelsk: gradient boosting) er en maskinlæringsteknikk basert på forsterkning i et funksjonelt rom, hvor målet er pseudo-residualene i stedet for de typiske residualene som brukes i tradisjonell forsterkning. Det gir en prediksjonsmodell i form av et ensemble av svake prediksjonsmodeller, altså modeller som gjør svært få antagelser om dataene, og som typisk er enkle beslutningstrær. Når et beslutningstre er den svake lærende kalles den resulterende algoritmen gradientforsterkede trær, og utkonkurrerer vanligvis en tilfeldig skog.
En gradient-forsterket tremodell er bygget på en trinnvis måte i likhet med andre forsterknings-metoder, men den generaliserer de andre metodene ved å tillate optimering av en vilkårlig deriverbar tapsfunksjon.
Regularisering Å tilpasse treningssettet for tett kan føre til forringelse av modellens generaliseringsevne. Flere såkalte regulariseringsteknikker reduserer denne overtilpasningseffekten ved å begrense tilpasningsprosedyren.
En naturlig regulariseringsparameter er antall gradientforsterkende iterasjoner M (altså antall trær i modellen når basislæreren er et beslutningstre). Å øke M reduserer feilen på treningssettet, men å sette det for høyt kan føre til overtilpasning. En optimal verdi av M velges ofte ved å se på prediksjonsfeilen til et separat valideringsdatasett. I tillegg til å kontrollere M brukes flere andre regulariseringsteknikker.
En annen regulariseringsparameter er trærnes dybde. Jo høyere denne verdien er, desto mer sannsynlig vil modellen overtilpasse treningsdataene.
Bruk Gradientforsterkning kan brukes i feltet for lære å rangere. Søkemotorene YahooCossock, David and Zhang, Tong (2008). Statistical Analysis of Bayes Optimal Subset Ranking , page 14. og YandexYandex corporate blog entry about new ranking model "Snezhinsk" (in Russian) bruker varianter av gradientforsterkning i maskinlærte rangeringsmotorer. Gradientforsterkning brukes også til dataanalyse i høyenergifysikk. Ved Large Hadron Collider (LHC) har varianter av gradientforsterkende dype nevrale nett (DNN) lykkes med å reprodusere resultatene av ikke-maskinlæringsmetoder for analyser på datasettet som ble brukt til å oppdage higgs-bosonet. Gradientforsterkede beslutningstre har også blitt brukt i geologiske studier, for eksempel for kvalitetsevaluering av sandsteinsreservoar.
Ulemper Selv om forsterkning kan øke nøyaktigheten til en basislærende, for eksempel et beslutningstre eller lineær regresjon, ofrer det forståelighet og tolkbarhet. For eksempel er det trivielt og selvforklart å følge stien som et beslutningstre tar for sin beslutning, men det er mye vanskeligere å følge stiene til hundre eller tusenvis av trær. For å oppnå både ytelse og tolkbarhet fins det noen modellkomprimerings-teknikker som kan transformere en XGBoost til et enkelt "født-på-nytt"-beslutningstre som tilnærmer samme beslutningsfunksjon. Videre kan implementeringen være vanskeligere på grunn av at det krever mer beregning.
Se også
Tilfeldig skog XGBoost Beslutningstrelæring
Referanser
Kategori:Maskinlæring Kategori:Klassifisering Kategori:Algoritmer