Luận án nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- VŨ VĂN HIỆU NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG LUẬN ÁN TIẾN SỸ TOÁN HỌC HÀ NỘI – BỘ GIÁO DỤC VÀ ĐÀO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VŨ VĂN HIỆU NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG LUẬN ÁN TIẾN SỸ TOÁN HỌC Chuyên ngành: Cơ sở Toán học cho Tin học Mã số: 62 46 01 10 Người hướng dẫn khoa học: 1. Ngô Quốc Tạo 2. Nguyễn Hữu Quỳnh Hà Nội – LÌi cam doan Tôi xin cam doan lu™n án “Nghiên cfíu mÎt sË kˇ thu™t phân h§ng trong tra cfíu £nh d¸a vào nÎi dung” là công trình nghiên c˘u cıa riêng tôi. Các sË liªu, k∏t qu£ d˜Òc trình bày trong lu™n án là hoàn toàn trung th¸c và ch˜a t¯ng d˜Òc công bË trong bßt k˝ mÎt công trình nào khác.

□ Tôi dã trích d®n d¶y dı các tài liªu tham kh£o, công trình nghiên c˘u liên quan trong n˜Óc và quËc t∏. Ngo§i tr¯ các tài liªu tham kh£o này, lu™n án hoàn toàn là công viªc cıa riêng tôi. □ Trong các công trình khoa hÂc d˜Òc công bË trong lu™n án, tôi dã th∫ hiªn rõ ràng và chính xác dóng góp cıa các dÁng tác gi£ và nh˙ng gì do tôi dã dóng góp. □ Lu™n án d˜Òc hoàn thành trong thÌi gian tôi làm Nghiên c˘u sinh t§i Phòng Nh™n d§ng và Công nghª tri th˘c, Viªn Công nghª thông tin, Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam.

Tác gi£ : Hà NÎi : i LÌi c£m Ïn Lu™n án d˜Òc th¸c hiªn d˜Ói s¸ h˜Óng d®n khoa hÂc cıa PGS.TS Ngô QuËc T§o và PGS.TS Nguyπn H˙u Qu˝nh. Nghiên c˘u sinh xin bày t‰ lòng bi∏t Ïn sâu s≠ c d∏n hai Th¶y v∑ d‡nh h˜Óng khoa hÂc, nh˙ng bài hÂc, nh˙ng góp ˛ qu˛ báu trong nghiên c˘u. Các Th¶y dã t§o di∑u kiªn vô cùng thu™n lÒi trong suËt quá trình nghiên c˘u cıa Nghiên c˘u sinh. Tôi xin d˜Òc c£m Ïn các nhà khoa hÂc, tác gi£ cıa các công trình công bË dã d˜Òc trích d®n trong lu™n án, dây là nh˙ng t˜ liªu qu˛, ki∏n th˘c liên quan quan trÂng giúp Nghiên c˘u sinh hoàn thành lu™n án.

Xin c£m Ïn d∏n các nhà khoa hÂc dã ph£n biªn các công trình nghiên c˘u cıa Nghiên c˘u sinh. Tôi trân trÂng c£m Ïn Phòng Nh™n d§ng và Công nghª tri th˘c, Phòng qu£n l˛ dào t§o, Viªn Công nghª thông tin, HÂc viªn Khoa hÂc và Công nghª, Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam dã t§o di∑u kiªn thu™n lÒi cho tôi trong suËt quá trình nghiên c˘u th¸c hiªn lu™n án. Tôi cÙng xin c£m Ïn sâu s≠ c d∏n HÎi dÁng Khoa hÂc Viªn Công nghª thông tin, các Th¶y trong HÎi dÁng b£o vª cßp cÏ s dã góp ˛ giúp Nghiên c˘u sinh hoàn thiªn công trình lu™n án này. Tôi cÙng bày t‰ s¸ c£m Ïn sâu s≠ c d∏n Khoa Công nghª thông tin, Tr˜Ìng D§i hÂc Diªn L¸c, Hà NÎi dã t§o di∑u kiªn cho tôi d˜Òc hÂc t™p, trao dÍi và nghiên c˘u.

Tôi xin c£m Ïn Tr˜Ìng D§i hÂc H£i Phòng dã t§o di∑u kiªn v∑ thÌi gian và tài chính cho tôi th¸c hiªn lu™n án này. MÎt ph¶n cıa nghiên c˘u này d˜Òc th¸c hiªn trong khuôn khÍ d∑ tài nghiên c˘u mã sË CS’15.03 cıa Viªn Công nghª Thông tin, Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam và d∑ tài nghiên mã sË VAST01.07/15-16 cıa Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam. Xin c£m Ïn các trao dÍi và trÒ giúp cıa các thành viên d∑ tài. CuËi cùng, tôi xin bày t‰ lòng bi∏t Ïn vô h§n dËi vÓi cha mµ, vÒ con và toàn th∫ anh em trong gia dình dã luôn ıng hÎ, giúp dÔ tôi.

i Mˆc lˆc LÌi cam doan i LÌi c£m Ïn ii Tfi vi∏t t≠ t v K˛ hiªu toán hÂc vi Danh mˆc các hình v≥ vii Danh mˆc các b£ng bi∫u xi M d¶u 1 1 TÍng quan v∑ Tra cfíu £nh d¸a vào nÎi dung 8 1.1 MÎt sË d∞c tr˜ng £nh th˜Ìng s˚ dˆng trong tra c˘u £nh d¸a vào nÎi dung .2 TÍ hÒp d∞c tr˜ng trong tra c˘u £nh d¸a vào nÎi dung .3 Chu©n hoá trong CBIR .1 Mˆc dích cıa chu©n hoá .2 Chu©n hóa min-max .4 Kho£ng trËng ng˙ nghæa .5 Ph£n hÁi liên quan trong CBIR .6 Hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn trong CBIR s˚ dˆng ph£n hÁi liên quan.7 Tra c˘u £nh d¸a vào nÎi dung s˚ dˆng kˇ thu™t máy hÂc .1 Hußn luyªn và ki∫m tra.3 Xây d¸ng mô hình hÂc.8 MÎt sË ti∏p c™n d¸a theo ph˜Ïng pháp tËi ˜u Pareto.9 Ph˜Ïng pháp dánh giá hiªu n´ng trong CBIR.34 2 D∑ xußt chu©n hoá d∞c tr˜ng và hiªu chønh trÂng sË trong tÍ hÒp d∞c tr˜ng 37 2.1 Chu©n hoá d∞c tr˜ng d¸a vào phân cˆm mÌ FCM .2 Chu©n hoá kho£ng cách d¸a vào phân cˆm FCM .3 Hiªu chønh trÂng sË, d‡ch chuy∫n truy vßn .1 Hiªu chønh trÂng sË .2 D‡ch chuy∫n truy vßn .4 Th˚ nghiªm và dánh giá các k∏t qu£.1 CÏ s d˙ liªu £nh .2 Trích rút bÎ d∞c tr˜ng k∏t hÒp.3 Các k∏t qu£ th¸c nghiªm và lu™n gi£i .5 K∏t lu™n Ch˜Ïng 2 .68 3 D∑ xußt kˇ thu™t Pareto front da mfíc sâu nâng cao hiªu qu£ phân lÓp £nh 69 3.1 MÎt sË tính chßt hình th˘c d¸a trên kˇ thu™t Pareto front da m˘c sâu trong không gian tÍ hÒp d∞c tr˜ng.2 Nâng cao hiªu qu£ phân lÓp £nh.3 Th˚ nghiªm và dánh giá các k∏t qu£.1 CÏ s d˙ liªu £nh .3 Ph˜Ïng pháp dánh giá.4 Các k∏t qu£ th¸c nghiªm.4 K∏t lu™n Ch˜Ïng 3 .96 K∏t lu™n và h˜Óng phát tri∫n 97 Danh mˆc công trình dã công bË 99 A MÎt sË cÏ s d˙ liªu £nh sfi dˆng 111 A.114 B Ph¶n m∑m tra cfíu theo các d∑ xußt cıa lu™n án 120 i Tfi vi∏t t≠ t D§ng vi∏t t≠ t D§ng d¶y dı Diπn gi£i CBIR Content based image Tra c˘u £nh d¸a vào nÎi dung retrie- val FCM Fuzzy c-means Phân cˆm mÌ c-means HI Histogram Interrsection L˜Òc dÁ giao HSV hue, saturation, value màu s≠ c, dÎ bão hoà màu, dÎ sáng L2R Learning to Rank HÂc x∏p h§ng MARS Multimedia Analysis Các hª thËng phân tích and Retrieval da ph˜Ïng tiªn và tra c˘u Systems Pr Precision DÎ chính xác Re Recall DÎ hÁi t˜ng RF Relevance feedback Ph£n hÁi liên quan RGB red, green, blue d‰, xanh lá, xanh d˜Ïng SIFT Scale-Invariant Feature Transform SVM Support vector machine Máy vector hÈ trÒ v K˛ hiªu toán hÂc M DÎ dài cıa mÎt vector d∞c tr˜ng N Kích th˜Óc cıa cÏ s d˙ liªu £nh T SË bÎ d∞c tr˜ng t Chø sË bÎ d∞c tr˜ng Q, Ii Énh truy vßn và £nh th˘ i trong cÏ s d˙ liªu I˜i Vector d∞c tr˜ng chu©n hoá cıa £nh th˘ i ˜t Vector d∞c tr˜ng chu©n hoá bÎ t cıa £nh th˘ i Ii Q t , I t D∞c tr˜ng bÎ t t˜Ïng ˘ng cıa £nh truy vßn Q và £nh I bßt ky ˜t D∞c tr˜ng chu©n hoá bÎ t cıa £nh truy vßn Qi D t (Ii ), D t (Q, Ii ) Kho£ng cách theo bÎ d∞c tr˜ng t cıa £nh Ii so vÓi £nh truy Q vßn Q DQ (Ii ), D(Q, Ii ) Kho£ng cách £nh Ii so vÓi £nh truy vßn Q trên bÎ d∞c tr˜ng k∏t hÒp top — k T™p gÁm k £nh có th˘ h§ng t˜Ïng t¸ cao nhßt dËi vÓi £nh truy vßn NB T™p £nh có dÎ t˜Ïng t¸ cao nhßt theo d∞c tr˜ng toàn cˆc trong mÎt tra c˘u NB — T™p £nh d˜Òc xác nh™n không liên quan ph£n hÁi cıa ng˜Ìi dùng NB + T™p £nh d˜Òc xác nh™n liên quan ph£n hÁi cıa ng˜Ìi dùng NBt T™p £nh có dÎ t˜Ïng t¸ cao nhßt theo d∞c tr˜ng bÎ t trong mÎt tra c˘u v NB ⇠ T™p £nh có th˘ h§ng dÎ t˜Ïng t¸ cao và thuÎc t™p NB — trong mÎt tra c˘u v NB ⇤ T™p £nh ch˜a d˜Òc tra c˘u (D) t ,c V Tâm cˆm c t™p giá tr‡ kho£ng cách bÎ d∞c tr˜ng t theo FCM Vt (D) T™p tâm cˆm theo bÎ d∞c tr˜ng t Vt,c,j Tâm cˆm c cıa thành ph¶n d∞c tr˜ng j bÎ d∞c tr˜ng t theo phân cˆm mÌ FCM wt TrÂng sË kho£ng cách cıa bÎ d∞c tr˜ng t p t ,c, ⌘i Giá tr‡ dÎ thuÎc cıa ph¶n t˚ th˘ i bÎ d∞c tr˜ng t so vÓi cˆm c, p là hª sË FCM (l),NB σ ,kI k + DÎ lªch chu©n theo dÎ dài d∞c tr˜ng bÎ d∞c tr˜ng t trong l¶n l∞p th˘ t t l dËi vÓi các £nh trong t™p NB + (l),NB σ + DÎ lªch chu©n kho£ng cách bÎ d∞c tr˜ng t trong l¶n l∞p th˘ l dËi vÓi t ,D Qt các £nh trong t™p NB + σt,c,i DÎ lªch chu©n thành ph¶n j cıa bÎ d∞c tr˜ng t theo cˆm c (D) σ t ,c DÎ lªch chu©n kho£ng cách bÎ d∞c tr˜ng t theo cˆm c v Danh sách hình v≥ 0.1 Hª thËng tra c˘u £nh d¸a vào nÎi dung.1 Thành ph¶n th˘ nhßt cıa d∞c tr˜ng mô men màu.2 Phân bË d˙ liªu thành ph¶n 1 cıa d∞c tr˜ng mô men màu (gËc). (b) L˜Òc dÁ d∞c tr˜ng l˜Òc dÁ HSV chu©n hoá theo lu™t 3σ thành ph¶n th˘ 5, 97.4555% d˙ liªu “rÏi vào” [-1,1] 18 1.4 Énh truy vßn “mandolin image 0001.5 Hª thËng tra c˘u vÓi £nh truy vßn “mandolin image 0001.6 K∏t qu£ top — 20 các £nh t˜Ïng t¸ nhßt vÓi £nh truy vßn l¶n tra c˘u khi t§o.7 Hai £nh có ng˙ nghæa t˜Ïng dÁng.8 L˜Òc dÁ màu cıa £nh truy vßn và hai £nh trong k∏t qu£ top — 20 .9 Minh ho§ siêu phØng.1 Mô hình hª thËng d∑ xußt.2 Minh ho§ chu©n hóa 3σ — FCM.3 Minh ho§ tính chßt b£o toàn th˘ t¸ cıa chu©n hoá 3σ — FCM .4 Phân bË d˙ liªu gËc thành ph¶n th˘ n´m cıa các d∞c tr˜ng (a) L˜Òc dÁ màu HSV, (b) l˜Òc dÁ t¸ t˜Ïng quan màu, (c) mô men màu, (d) k∏t cßu Gabor, (e) mô men Wavelet, (f) GIST.11 So sánh chßt l˜Òng truy vßn. (a) Hiªu năng Precision/Recall. (b) Hiªu năng dÎ chính xác.12 Trung bình dÎ chính xác cıa kˇ thu™t d∑ xußt trên— top k k∏t qu£ theo năm vòng cıa ph£n hÁi liên quan .13 So sánh trung bình dÎ chính xác cıa kˇ thu™t d∑ xußt và PowerTool trên các top — k k∏t qu£.14 So sánh trung bình dÎ chính xác cıa kˇ thu™t d∑ xußt và PowerTool trên top — 20 k∏t qu£ theo m˜Ìi vòng cıa ph£n hÁi liên quan .15 Bi∫u dÁ Precision và Recall cıa kˇ thu™t d∑ xußt và PowerTool .2 Minh ho§ không gian tìm ki∏m EQ.3 MÎt miêu t£ Pareto front.4 Minh ho§ hai m˘c dÎ sâu là PF 1 và PF 2 cıa không gian EQ .