Lineáris gépek2014. márc. 20.
Gépi tanulási módszerek
eddig
•Bayes döntéselmélet
–Parméteres osztályozók
–Nem paraméteres osztályozók
•Fogalom tanulás
–Döntési fák
2
Döntési felületek
•Most a döntési függvények/felületekalakjára teszünk feltevéseket, abbólindulunk ki
•Nem optimális megoldások, dekönnyen kezelhető eljárások
•Lineáris osztályozókat (gépeket)adnak eredményül
Normális eloszláshoz tartozó döntési felület(i = esete)
A döntési fa döntési felületei
5
Lineáris diszkriminanciafüggvények és döntési felületek
•két-kategóriás osztályozó:
Válasszuk 1–et, ha g(x) > 0, 2–t, ha g(x) < 0
Válasszuk 1 –et, ha wtx > -w0 és 2 –t különben
Ha g(x) = 0 bármelyik osztályhoz rendelhetjük x –et
•Lineáris diszkriminancia függvény:
g(x) = wtx + w0
w súlyvektor
w0 konstans (eltolás, bias)
6
–A g(x) = 0 definiálja azt a döntésifelületet, amely elválasztja azokat apontokat, amelyekhez 1-etrendelünk, azoktól, amelyekhez 2-t
–Ha g(x) lineáris függvény, akkor adöntési felület egy hipersík
Gyakran fontos, hogy az x távolságát ahipersíktól meghatározzuk
7
8
H távolsága az origótól:
A döntési felület irányát a w normál vektorahatározza meg, míg a helyét a konstans
9
c darab lineáris diszkriminancia függvénytdefiniálunk
és az x mintát a i osztályhoz rendeljük, hagi(x) > gj(x) j i;
ha a legnagyobb értéknél egyenlőség van,határozatlan
Ha több, mint 2 osztályunk van
10
Ri döntési tartomány: az a térrész ahol gi(x)értéke a legnagyobb
A folytonos Ri és Rj döntési tartományokat aHij hipersík egy része választja el
a hipersík definíciója:
gi(x) = gj(x)
(wi – wj)tx + (wi0 – wj0) = 0
wi – wj merőleges (normál vektor) Hij -re és
Ha több, mint 2 osztályunk van
12
Könnyű megmutatni, hogy a lineárisgéppel definiált döntési tartományokkonvexek.
Ez rontja az osztályozó flexibilitásátés pontosságát…
Az osztályokat elválasztó döntésifelületek nem feltétlenül lineárisak, adöntési felület bonyolultsága gyakranmagasabb rendű (nem lineáris)felületek használatát indokolja
Konvexitás
Homogén koordináták
14
Lineáris gépek tanulása
15
Lineáris gépek tanulása
•Határozzuk meg a döntési felületparaméteres alakját
•Adott tanuló példák segítségével adjuk mega „legjobb” felületet
•Ezt általában valamilyen kritériumfüggvényminimalizálásával tesszük meg
–Pl. tanulási hiba
16
Két osztály,lineárisan elválasztható eset
(normalizált változat(normalizált változat
Normalizáció: ha yi ω2-beli, helyettesítsük yi-t -yi -alNormalizáció: ha yi ω2-beli, helyettesítsük yi-t -yi -al
Olyan a-t keresünk, hogy atyi>0Olyan a-t keresünk, hogy atyi>0
Nem egyértelmű a megoldás!Nem egyértelmű a megoldás!
17
Iteratív optimalizálás
• Definiáljunk egy J(a) kritériumfüggvényt,amely minimális, ha a megoldásvektor.
•Minimalizáljuk J(a) –t iteratív módon
a(k)a(k)
a(k+1)a(k+1)
Keresési irányKeresési irány
Tanulási arányTanulási arány
18
Gradiens módszer
Tanulási arány,
k-től függ,
pl. „hűtési stratégia”
19
Gradiens módszer
20
Tanulási arány?
Newton módszer
Valós függvények zérushelyeinek iteratív, közelítő meghatározása
22
Newton módszer
•Hogyan válasszuk a (k) tanulási arányt?
Taylor sorbaTaylor sorba
fejtésfejtés
Hess mátrixHess mátrix
23
Gradiens és Newtonösszehasonlítása
24
Perceptron szabály
25
Perceptron szabály
Y(a): a által rosszul osztályzott mintákhalmaza.
Ha Y(a) üres, Jp(a)=0; különben, Jp(a)>0
KritériumKritérium
Függvény:Függvény:
26
Perceptron szabály
–A Jp(a) gradiense:
–A perceptron szabály gradiens módszerbelialkalmazásával kapható:
27
Perceptron szabály
Az összes rosszulAz összes rosszul
osztályzott mintaosztályzott minta
Online osztályozó: tanító példákhozzáadásával frissül a modell
28
Perceptron szabály
Perceptron konvergencia tétel: Ha a mintánklineárisan szeparálható, akkor a fenti algoritmussúlyvektora véges számú lépésben megoldást ad.
η(k)=1η(k)=1
egyesévelegyesével
vegyük avegyük a
példákatpéldákat
29
Perceptron szabály
•Mozgassuk a hipersíkot úgy, hogyaz összes mintaelem a pozitívoldalán legyen.
a2a2
a2a2
a1a1
a1a1
30
Nem-szeparálható eset
–Alkalmazhatunk máskritériumfüggvényt:
a kritériumfüggvény mindenmintaelemet figyelembe vesz
–„jósági” mérték lehet például a döntésifelülettől mért előjeles távolság
SVM
32
Melyik megoldás jobb?
33
•Szegély: a döntési felület körüli üresterület, amelyet a legközelebbi pont(ok) (=támasztó vektor(ok)) segítségéveldefiniálunk
•Ezek a legnehezebben osztályozhatóminták.
34
35
SVM (support vector machine)
•támasztó vektorok módszere, szupport vektor gép
•A kritérium függvény legyen az osztályokközötti szegély maximalizálása!
•Ez jó általánosítást szokott biztosítani
•A tanítás ekvivalens egy lineárisfeltételekkel adott kvadratikus programozásifeladattal
SVM
lineárisan elválasztható eset
37
Lineáris SVM: azelválasztható eset
•Lineáris diszkriminancia
•Osztálycímkék
•Normalizált változat:
válasszuk ω1 ha g(x) > 0 egyébként ω2 válasszuk ω1 ha g(x) > 0 egyébként ω2
38
Lineáris SVM: azelválasztható eset
•Tfh a margó mérete b
•Az xk pontnak az elválasztó hipersíktólvaló távolságára teljesülnie kell:
•Az egyértelműség biztosítására:
b||w||=1
•Így az előző feltétel:
39
Lineáris SVM: azelválasztható eset
A szegély maximalizálása:A szegély maximalizálása:
40
Lineáris SVM: azelválasztható eset
Alkalmazzunk Lagrange optimalizálást:
minimalizálás w-ben, max λ-ban
Könnyebb a duális probléma megoldása:
zkzj=-1 ha különböző előjelűeka k. és j. tanítópéldákzkzj=-1 ha különböző előjelűeka k. és j. tanítópéldák
41
Lineáris SVM: azelválasztható eset
A megoldás a következő alakú:
Megmutatható, hogy ha xk nem támasztóvektor,akkor λk=0.
csak a támasztóvektorok csak a támasztóvektorok
járulnak a megoldáshoz!!járulnak a megoldáshoz!!
A döntési felület a tanítópéldák „súlyozott átlaga”A döntési felület a tanítópéldák „súlyozott átlaga”
SVM
lineárisan nem elválasztható eset
43
Lineáris SVM: a nem-elválasztható eset
•A ψk hibaváltozó bevezetésévelhibás osztályozást is megenged(„puha szegély”):
ψk=0 ha g(xk)=zk (azaz b margón kívül van),egyébként a margótól mért távolság
Szabályozhatjuk a téves osztályozásokszámát vs. margó méretétSzabályozhatjuk a téves osztályozásokszámát vs. margó méretét
45
Lineáris SVM: a nem-elválasztható eset
SVM
nem lineáris eset
47
Általánosított lineáris diszkriminanciafüggvények
•Kvadratikus döntési függvények:
•Általános lineáris döntési függvények:
ahol az yi: Rd → R tetszőleges függvények
x-ben nem lineáris, de yi-ben g(y) igen
(az y-térben g(x) hipersík)
Példa
51
A használt kvadratikus függvények akövetkező kvadratikus felülettel írhatók le:
g(x) = xTAx + xTb +c
ahol az A = (aij) mátrix,
a b = (b1, b2, …, bd)T vektor,
c konstans
Kvadratikus felület
52
Ha A pozitív definit (xTAx>0 minden nemzéró x-re),akkor a döntési függvény hiperellipszoid,amelynek tengelyei az A sajátvektorainakirányába mutatnak
(ha A = In (egységmátrix), akkor a döntési függvény az n-dimenziós hipergömb)
Ha A negatív definit (xTAx<0 minden nemzéró x-re),akkor a döntési függvény hiperhiperboloid
Lényeg: ebben az esetben az A mátrix határozzameg a döntési függvény alakját és jellemzőit
Kvadratikus felület
53
Nemlineáris SVM
Φ legyen (jóval) magasabbdimenzószámú térbe leképezés:
Bármilyen adathalmaz, megfelelően nagydimenzióba történő alkalmas leképezéssellineárisan elválasztható lesz az új térben!
54
Nemlineáris SVM
55
Nemlineáris SVM
Lineáris SVM a leképzett térben:
lineáris gép:
lineáris SVM-nél:
56
A magfüggvény trükkje
A belső szorzatokat egy magfüggvény(kernel) segítségével számoljuk!
A kernel használatának előnyei
–Nem kell ismerni Φ()-t !!
–A diszkriminancia a következő alakú:
57
Példa: polinomiális kernel
K(x,y)=(x y) pK(x,y)=(x y) p
d=256 (eredeti dimenziószám)
p=4
h=183 181 376 (új tér dimenziószáma)
a kernel ismert (és gyorsan számítható) aleképezés nem…
58
Egy kernel több leképezésnek ismegfelel
Ezek is megfelelőek:
59
Megfelelő magfüggvények
•K-nek eleget kell tenni a „Mercer” feltételeknek
•A projektált tér nem egyértelmű és nem adtámpontot magfgv tervezéshez…
60
Példa: XOR
61
Példa: XOR
62
Példa:XOR
63
Példa: XOR
64
Megjegyzések az SVM-hez
•Globális optimalizálás, nem lokális(pontos optimum, nem közelítés).
•Az SVM hatékonysáka a magfüggvényés paramétereinek választásától függ
•Egy adott problémához a legjobbmagfüggvény választása „művészet”
65
Megjegyzések az SVM-hez
•A komplexitása a támasztóvektorok számától, és nem atranszformált tér dimenziójától függ
•A gyakorlatban kis mintánál is jóáltalánosítási tulajdonságok
•Többosztályos SVM:
–one-vs-all (legnagyobb g())
–one-vs-one (legtöbb győzelem)
–direkt optimalizáció
Összefoglalás
•Lineáris gépek
•Gradiens és Newton módszer
•Perceptron
•SVM
–Szeparálható eset
–Nem szeparálható eset
–Nem lineáris eset (magfüggvény)