Kiss Attila, Németh Tamás
Budapesti Műszaki Főiskola
Konzulensek: Sergyán Szabolcs, Vámossy Zoltán
Mozgó objektumoksztereólátással támogatotttartalom alapú felismerése
2005.03.22. BMF-NIK OTDK 2005 2/20
A bemutató felépítése
Projekt ismertetés
Rendszerfelépítés
Használt technikák
Sztereólátás
Tartalom alapú felismerés
Elért eredmények
Összefoglalás, kitekintés
2005.03.22. BMF-NIK OTDK 2005 3/20
Projekt ismertetése
Célunk egy olyan kétkamerásmegfigyelőrendszer készítése, amely képes:
mozgó objektumokat észlelni
(Object Detecting)
térben modellezni
(Stereo Vision)
saját adatbázisában ahhoz hasonlókat keresni
(Content Based Image Retrival - CBIR)
2005.03.22. BMF-NIK OTDK 2005 4/20
Rendszerfelépítés
Kamerakezelő rendszer
Mozgásdetektálás
Modell előkészítés
Modellező rendszer
Modellkészítés
Megjelenítés
Tartalom-alapú képkinyerőrendszer (CBIR)
Tulajdonságkinyerés
Hasonlóságmérés
Visszacsatolás
2005.03.22. BMF-NIK OTDK 2005 5/20
Kamerakezelő rendszer
Objektum detektálás
Változások észlelése a háttérképhez képest
A megváltozott terület jelölése
Kapcsolat a CBIR-rel
Kamerakép
A differenciakép legkisebb határoló téglalapja
A differenciakép konvex burka által meghatározottképrészlet elküldése
Modell előkészítés (Jel alapú sztereo módszer)
Jellemző pontok keresése a Harris-féle sarokdetektálómódszerrel
C. Harris, M. Stephens – „A Combined Corner and Edge Detector”, FourthAlvey Vision Conference, pp. 147-151, 1988.
2005.03.22. BMF-NIK OTDK 2005 6/20
Modellező rendszer
Modellkészítő
Jellemző pontok megfeleltetése a bal és jobb oldalikameraképen intenzitás kereszt korrelációsegítségével
Mélységinformáció kinyerése a megfeleltetett pontokdiszparitásának számításával
Korreláció alapú sztereó módszer
Megjelenítés
Az elkészült modell megjelenítése OpenGLhasználatával
W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.
2005.03.22. BMF-NIK OTDK 2005 7/20
Tartalom alapú képkinyerés - 1
J. A. Lay, L. Guan – „Image Retrieval Based on Energy Histograms of the LowFrequency DCT Coefficients”, 2004.
2005.03.22. BMF-NIK OTDK 2005 8/20
Tartalom alapú képkinyerés - 2
Előfeldolgozás, zajszűrés
Medián szűrő
Gauss szűrő
Színnormalizáció (Finlayson módszere alapján)
Alacsonyszintű tulajdonságok
DCT együtthatók
Színhisztogramok 6 színtérben(RGB, HSV, YIQ, XYZ, L*u*v*, L*a*b*)
Textúrázottság (sarkosság), horizontális és vertikálismaszk
Diszparitás térkép
B. V. Funt, G. D. Finlayson – “Color Constant Color Indexing” IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995.
2005.03.22. BMF-NIK OTDK 2005 9/20
Tartalom alapú képkinyerés - 3
Hasonlóságmérés
Minkowski-féle távolságok
Hisztogram metszet (Histogram Intersection)
Hierarchikus keresés (könyvtárszerkezet mintájára)
Több dimenziós hasonlóság vizsgálat
Visszacsatolás, Yong Rui technikája
Y. Rui, T.S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool forInteractive Content-Based Image Retrieval” IEEE Transactions on Circuits and VideoTechnology, Vol. 8, No. 5, pp. 644-655, 1998.
2005.03.22. BMF-NIK OTDK 2005 10/20
Pontok megfeleltetése
Jellemző pontok keresése
Jellemző pontok megfeleltetése
2005.03.22. BMF-NIK OTDK 2005 11/20
Korreláció alapú sztereó
Pentagon műholdas sztereóképei és diszparitástérképe
Saját képek és diszparitástérképe
2005.03.22. BMF-NIK OTDK 2005 12/20
Saját adatbázis elemei
2005.03.22. BMF-NIK OTDK 2005 13/20
Demo
2005.03.22. BMF-NIK OTDK 2005 14/20
Teszt eredmények (CBIR)
Néhány eredmény csoport teszteléssel
2005.03.22. BMF-NIK OTDK 2005 15/20
Tesztelés az UW kollekcióval
Pontosság a University of
Washington kollekció alapján
H. Müller, W. Müller, S. Marchand-Maillet, T. Pun – “A Web-Based Evaluation System forCBIR”, 2004., http://woodworm.cs.uml.edu/~rprice/ep/mueller/
UW kollekció képei
Rendszer
Vissza-
csatolás
nélkül
Négy
vissza-
csatolással
Saját rendszer
30,83%
41,25%
GIFT rendszer
használatával
53,92%
91,07%
2005.03.22. BMF-NIK OTDK 2005 16/20
Összefoglalás – 1
Két kamerás sztereó rendszer
Mozgásészlelés
Modellezés
Diszparitás térkép továbbítása CBIR felé
Tartalom alapú képkinyerés
Indexelési technikákkal plugin-ezhető
Automatikusan elkészíti az indexeket
Szín alapú
Textúra alapú
Mélység alapú
2005.03.22. BMF-NIK OTDK 2005 17/20
Összefoglalás – 2
Szemantikus interpretáció
Szöveges leírás
Hierarchikus adatbázis kiépítés
Lekérdezések típusa
NN – legközelebbi szomszédok
Visszacsatolás
Automatikus tesztelés és kiértékelés
Tárolás
Összehasonlítás
2005.03.22. BMF-NIK OTDK 2005 18/20
Kitekintés
Új tulajdonságkinyerési technikákimplementálása
Alkalmazott modellező algoritmusokgyorsítása és javítása
OODB használata
2005.03.22. BMF-NIK OTDK 2005 19/20
Hivatkozások
M.J. Swain, B.H. Ballard - Color Indexing”
Int’l J. Computer Vision, Vol. 7, No. 1, pp. 11-32, 1991.
B. V. Funt, G. D. Finlayson - “Color Constant Color Indexing” IEEE Transactions onPattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995.
Y. Rui, T. S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Toolfor Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits andVideo Technology, Vol 8, No. 5, pp. 644-655, 1998.
J. Owens, A. Hunter, E. Fletcher - „A Fast Model-Free Morphology-Based ObjectTracking Algorithm”
C. Harris, M. Stephens – „A Combined Corner and Edge Detector” Fourth AlveyVision Conference, pp.147-151, 1988.
H. Müller, W. Müller, Stephane Marchand-Maillet, Thierry Pun – “A Web-BasedEvaluation System for CBIR”
W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.
2005.03.22. BMF-NIK OTDK 2005 20/20
Köszönöm a figyelmet!
Elérhetőségek:
Honlap: