Maskinlæring er en gren af kunstig intelligens, som gør det muligt for maskiner at udføre dataanalyse og forudsigelser. Men hvis maskinlæringsmodellen ikke er nøjagtig, kan den lave forudsigelsesfejl, og disse forudsigelsesfejl er normalt kendt som Bias og Variance. I maskinlæring vil disse fejl altid være til stede, da der altid er en lille forskel mellem modelforudsigelserne og faktiske forudsigelser. Hovedformålet med ML/data science analytikere er at reducere disse fejl for at få mere præcise resultater. I dette emne skal vi diskutere bias og varians, bias-variance trade-off, underfitting og overfitting. Men før vi starter, lad os først forstå, hvad fejl i maskinlæring er?
Fejl i Machine Learning?
I maskinlæring er en fejl et mål for, hvor præcist en algoritme kan lave forudsigelser for det tidligere ukendte datasæt. På baggrund af disse fejl udvælges den maskinlæringsmodel, der kan klare sig bedst på det pågældende datasæt. Der er hovedsageligt to typer fejl i maskinlæring, som er:
uanset hvilken algoritme der er brugt. Årsagen til disse fejl er ukendte variabler, hvis værdi ikke kan reduceres.
Hvad er Bias?
Generelt analyserer en maskinlæringsmodel dataene, finder mønstre i dem og laver forudsigelser. Under træning lærer modellen disse mønstre i datasættet og anvender dem til at teste data til forudsigelse. Mens man laver forudsigelser, opstår der en forskel mellem forudsigelsesværdier lavet af modellen og faktiske værdier/forventede værdier , og denne forskel er kendt som bias-fejl eller fejl på grund af bias . Det kan defineres som en manglende evne til maskinlæringsalgoritmer såsom lineær regression til at fange det sande forhold mellem datapunkterne. Hver algoritme begynder med en vis mængde bias, fordi bias opstår fra antagelser i modellen, hvilket gør målfunktionen nem at lære. En model har enten:
hvordan man omdøber en mappe linux
Generelt har en lineær algoritme en høj bias, da den får dem til at lære hurtigt. Jo enklere algoritmen er, jo højere bias vil den sandsynligvis blive introduceret. Hvorimod en ikke-lineær algoritme ofte har lav bias.
Nogle eksempler på maskinlæringsalgoritmer med lav bias er beslutningstræer, k-nærmeste naboer og støttevektormaskiner . Samtidig er en algoritme med høj bias Lineær regression, lineær diskriminantanalyse og logistisk regression.
Måder at reducere høj bias:
Høj bias opstår hovedsageligt på grund af en meget simpel model. Nedenfor er nogle måder at reducere den høje bias på:
- Forøg inputfunktionerne, da modellen er undermonteret.
- Formindsk regulariseringsperioden.
- Brug mere komplekse modeller, såsom at inkludere nogle polynomiske træk.
Hvad er en variansfejl?
Variansen ville specificere mængden af variation i forudsigelsen, hvis de forskellige træningsdata blev brugt. Med enkle ord, varians fortæller, at hvor meget en tilfældig variabel er forskellig fra dens forventede værdi. Ideelt set bør en model ikke variere for meget fra et træningsdatasæt til et andet, hvilket betyder, at algoritmen skal være god til at forstå den skjulte kortlægning mellem input- og outputvariabler. Variansfejl er enten af lav varians eller høj varians.
Lav varians betyder, at der er en lille variation i forudsigelsen af målfunktionen med ændringer i træningsdatasættet. På samme tid, Høj varians viser en stor variation i forudsigelsen af målfunktionen med ændringer i træningsdatasættet.
En model, der viser høj varians, lærer meget og klarer sig godt med træningsdatasættet og generaliserer ikke godt med det usete datasæt. Som følge heraf giver en sådan model gode resultater med træningsdatasættet, men viser høje fejlprocenter på testdatasættet.
Da modellen med høj varians lærer for meget af datasættet, fører det til overtilpasning af modellen. En model med høj varians har følgende problemer:
- En model med høj varians fører til overpasning.
- Øg modellens kompleksitet.
Normalt har ikke-lineære algoritmer en masse fleksibilitet til at passe til modellen, har høj varians.
3d i autocad
Nogle eksempler på maskinlæringsalgoritmer med lav varians er, Lineær regression, logistisk regression og lineær diskriminantanalyse . Samtidig er algoritmer med høj varians beslutningstræ, Support Vector Machine og K-nærmeste naboer.
Måder at reducere høj varians på:
- Reducer inputfunktionerne eller antallet af parametre, da en model er overmonteret.
- Brug ikke en meget kompleks model.
- Øg træningsdataene.
- Forøg Reguleringsperioden.
Forskellige kombinationer af bias-variance
Der er fire mulige kombinationer af bias og varianser, som er repræsenteret af nedenstående diagram:
Kombinationen af lav bias og lav varians viser en ideel model for machine learning. Det er dog ikke praktisk muligt.
Med høj bias og høj varians er forudsigelser inkonsistente og også unøjagtige i gennemsnit.
Hvordan identificerer man høj varians eller høj bias?
Høj varians kan identificeres, hvis modellen har:
applet applet
- Lav træningsfejl og høj testfejl.
High Bias kan identificeres, hvis modellen har:
- Høj træningsfejl og testfejlen ligner næsten træningsfejl.
Bias-Variance Trade-Off
Mens man bygger maskinlæringsmodellen, er det virkelig vigtigt at tage sig af bias og varians for at undgå overfitting og underfitting i modellen. Hvis modellen er meget enkel med færre parametre, kan den have lav varians og høj bias. Hvorimod, hvis modellen har et stort antal parametre, vil den have høj varians og lav bias. Så det er påkrævet at lave en balance mellem bias- og variansfejl, og denne balance mellem bias-fejlen og variansfejlen er kendt som afvejningen Bias-Variance.
For en nøjagtig forudsigelse af modellen har algoritmer brug for en lav varians og lav bias. Men dette er ikke muligt, fordi bias og varians er relateret til hinanden:
- Hvis vi mindsker variansen, vil det øge biasen.
- Hvis vi mindsker bias, vil det øge variansen.
Bias-Variance trade-off er et centralt emne i superviseret læring. Ideelt set har vi brug for en model, der nøjagtigt fanger regelmæssighederne i træningsdata og samtidig generaliserer godt med det usete datasæt. Desværre er det ikke muligt at gøre dette samtidigt. Fordi en algoritme med høj varians kan fungere godt med træningsdata, men den kan føre til overtilpasning til støjende data. Hvorimod høj bias-algoritme genererer en meget simpel model, der måske ikke engang fanger vigtige regelmæssigheder i dataene. Så vi er nødt til at finde et sweet spot mellem bias og varians for at lave en optimal model.
Derfor er Bias-Variance trade-off handler om at finde det søde punkt for at skabe en balance mellem bias og variansfejl.