Co je to overfitting?
K overfittingu dochází, když se model strojového učení příliš přizpůsobí datům, na kterých byl vycvičen, a ztrácí tak svou použitelnost na jakoukoli jinou sadu dat. Model je overfitted, když je natolik specifický pro původní data, že pokus o jeho použití na data shromážděná v budoucnu by vedl k problematickým nebo chybným výsledkům, a tedy k méně než optimálním rozhodnutím.
Tady je rozdíl mezi správně fitovaným a overfitted modelem:
Zdroj: Mgr: Quora
Přefitovaný model nebude užitečný, pokud ho nepoužijeme na přesně stejný soubor dat, protože žádná jiná data nebudou ležet přesně na přefitované linii.
Proč je přefitování důležité?
Přefitování způsobuje, že model zkresluje data, ze kterých se učil. Přefitovaný model bude na nových, podobných datech méně přesný než model, který je vybaven obecněji, ale při použití na trénovací data se bude přefitovaný model jevit jako model s vyšší přesností. Bez ochrany proti overfittingu mohou vývojáři modelů trénovat a nasadit model, o kterém si myslí, že je velmi přesný, i když ve skutečnosti bude mít při nasazení na nová data nižší výkonnost.
Nasazení overfitted modelu může způsobit nejrůznější problémy. Pokud si například myslíte, že váš model předpovídá pravděpodobnost nesplácení úvěru s přesností 95 %, zatímco ve skutečnosti je overfitted a jeho přesnost je někde blíže 60 %, jeho použití při rozhodování o budoucích úvěrech povede ke ztrátě obchodů, které by jinak byly ziskové, a bude mít za následek více nespokojených zákazníků.
Overfitting + DataRobot
Automatická platforma pro strojové učení DataRobot chrání před overfittingem v každém kroku životního cyklu strojového učení pomocí technik, jako je trénování-ověřování-vyřazování (TVH), rozdělení dat, N-násobné křížové ověřování a stohované předpovědi pro předpovědi modelu ve vzorku z tréninkových dat. DataRobot zahrnuje odborné znalosti špičkových datových vědců a automatizuje proces fitování, takže se můžete soustředit na výběr nejvhodnějšího modelu pro váš obchodní problém, aniž byste pochybovali o jeho praktické přesnosti.