Luận án tiến sĩ: Cải tiến phương pháp tra cứu ảnh bằng đặc trưng thị giác - Nguyễn Hữu Quỳnh, Đại học Công nghệ

LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận án. Các kết quả nêu trong luận án là trung thực và chưa từng được ai công bố trong các công trình nào khác. Tác giả Nguyễn Hữu Quỳnh 1 Lời cảm ơn Thực hiện luận án tiến sĩ là một việc khó, nhưng là một nhiệm vụ đáng làm.

Tôi rất hạnh phúc khi thực hiện xong luận án tiến sĩ, và quan trọng hơn là những gì tôi đã học được trong suốt ba năm qua. Bên cạnh kiến thức tôi thu được, tôi đã học được phương pháp nghiên cứu một cách độc lập. Sự thành công này không đơn thuần bởi sự nỗ lực của cá nhân tôi, mà còn có sự hỗ trợ và giúp đỡ của thầy giáo hướng dẫn và nhiều đồng nghiệp khác. Nhân cơ hội này, tôi muốn bày tỏ lời cảm ơn của tôi đến họ.

Đầu tiên, tôi muốn cảm ơn đến hai thầy giáo hướng dẫn của tôi, PGS TS Ngô Quốc Tạo và PGS TS Đinh Mạnh Tường, vì sự hướng dẫn tận tình và khoa học. Đó là một cơ hội lớn cho tôi để được nghiên cứu dưới sự hướng dẫn của hai thầy. Cảm ơn rất nhiều tới hai thầy vì sự hướng dẫn tôi cách đặt ra các câu hỏi nghiên cứu, hiểu các vấn đề, và viết các bài báo khoa học. Tôi trân trọng cảm ơn Bộ môn Khoa học máy tính, Khoa Công nghệ thông tin, Phòng Đào tạo Sau Đại học - Nghiên cứu Khoa học, Ban giám hiệu trường Đại học Công nghệ đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình thực hiện luận án.

Tôi bày tỏ sự cảm ơn đến PGS TS Vũ Đức Thi, PGS TS Lương Chi Mai, PGS TS Nguyễn Thanh Thủy vì sự giúp đỡ của họ cho các đề xuất và các trao đổi trong nghiên cứu của tôi. Tôi cũng bày tỏ sự cảm ơn đến PGS TS Đàm Xuân Hiệp – Hiệu trưởng trường Đại học Điện lực, người đã động viên và tạo điều kiện về thời gian và tài chính cho tôi trong việc công bố các bài báo trên các hội nghị và tạp chí quốc tế. Tôi muốn cảm ơn đến các cán bộ, giảng viên trong khoa Công nghệ thông tin – Trường Đại học Điện lực đã cổ vũ động viên và sát cánh bên tôi trong quá trình nghiên cứu. 2 Tôi muốn cảm ơn những thành viên của đề tài nghiên cứu cơ bản NCCB200706 về sự tài trợ tài chính và các góp ý rất hữu ích về các bài báo được công bố trên các hội nghị và tạp chí quốc tế.

Tôi cảm ơn tất cả những người bạn của tôi. Những người luôn chia sẻ và cổ vũ tôi trong những lúc khó khăn và tôi luôn ghi nhớ điều đó. Cuối cùng, tôi xin bày tỏ lòng biết ơn vô hạn đối với cha mẹ và gia đình đã luôn ủng hộ, giúp đỡ tôi. 3 MỤC LỤC PHẦN MỞ ĐẦU.

Tính cấp thiết của luận án. Mục tiêu của luận án. Các đóng góp của luận án. Bố cục của luận án.

TỔNG QUAN VỀ TRÍCH RÚT ĐẶC TRƯNG VÀ TRA CỨU ẢNH DỰA VÀO ĐẶC TRƯNG .1 Các đặc trưng.1 Các đặc trưng toàn cục và cục bộ.2 Các đặc trưng thị giác trong tra cứu ảnh.2 Kiến trúc của một hệ thống tra cứu ảnh dựa vào đặc trưng thị giác.3 Trích rút đặc trưng .1 Đặc trưng màu .3 Biểu diễn màu.2 Lược đồ màu toàn cục GCH.3 Lược đồ màu cục bộ LCH .4 Véc tơ gắn kết màu .5 Tương quan màu .7 Mô men màu .4 Thông tin không gian.5 Đánh giá hiệu năng tra cứu.6 Các hệ thống VFBIR.7 Kết luận và định hướng nghiên cứu. PHƯƠNG PHÁP TRA CỨU DỰA VÀO LƯỢC ĐỒ MÀU KHỐI.1 Lược đồ màu khối.2 Phương pháp tra cứu dựa vào lược đồ màu khối.2 Phương pháp tra cứu đề xuất HG .1 Khái niệm về đồ thị hai phía. Phương pháp HG.3 Phương pháp cải tiến IHG.1 Khái niệm về sự tương tự lý tưởng giữa hai dải .2 Lý do đề xuất phương pháp IHG.3 Phương pháp IHG.1 Môi trường thực nghiệm .2 Các kết quả thực nghiệm.1 Kết quả thực nghiệm với phương pháp HG .2 Kết quả thực nghiệm với phương pháp IHG. PHƯƠNG PHÁP TRA CỨU DỰA VÀO VÙNG ẢNH .1 Biểu diễn ảnh sử dụng phương pháp cây tứ phân .2 Phương pháp tra cứu ảnh sử dụng đặc trưng của vùng ảnh .2 Trích rút đặc trưng.1 Trích rút màu và thông tin không gian.2 Trích rút các cụm màu thuần nhất.3 Độ tương tự giữa hai ảnh .1 Môi trường thực nghiệm .2 Kết quả thực nghiệm.

XÂY DỰNG ỨNG DỤNG TRA CỨU ẢNH DỰA VÀO NỘI DUNG98 4.1 Thiết kế hệ thống tổng quát LVFIR.2 Module tra cứu group1.3 Module tra cứu group2.4 Một số kết quả .1 So sánh kỹ thuật LCH, CCH với HG và IHG.2 So sánh kỹ thuật QT, CBC và CCV với CSI và CCS .117 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ .119 TÀI LIỆU THAM KHẢO .120 6 DANH MỤC CÁC CHỮ VIẾT TẮT Ký hiệu Diễn giải Black Màu đen CSDL Cơ sở dữ liệu CBC Color Based Cluster CCH Color/Cell Histogram (Lược đồ màu khối) CCS Cluster of Colors and Space (Cụm màu và không gian) CCV Color Coherence Vectors (Véc tơ gắn kết màu) CSI Color and Spatial Information (Màu và thông tin không gian) DistancebyColor Khoảng cách theo màu DRC Distance by Region Comparing EdgeDistance Khoảng cách theo cạnh EMD Earth Mover Distance (Khoảng cách Earth Mover) GCH Global Color Histogram (Lược đồ màu toàn cục) Gray Màu xám HG Histogram Graph (Đồ thị lược đồ) Hue Sắc màu IHG Improving Histogram Graph method (Phương pháp cải tiến đồ thị lược đồ) KLT Karhunen–Loeve transform (Biến đổi Karhunen–Loeve) LCH Local Color Histogram (Lược đồ màu cục bộ) LVFIR Local Visual Feature-based Image Retrieval (Tra cứu ảnh dựa vào đặc trưng thị giác cục bộ) MCM Minimum Cost Matching (Giá trị đối sánh cực tiểu) MTM Mathematical Transform to Munsell (Biến đổi toán học sang hệ thống màu Munsell) 7 Precision Chính xác Quantization Lượng hóa QT Quad Tree (Cây tứ phân) Recall Hồi tưởng RGB Red (Đỏ), Green (Xanh lục), Blue (xanh lơ) SR Spatial Relationship (Quan hệ không gian) Union Hợp VFBIR Visual Feature Based Image Retrieval (Tra cứu ảnh dựa vào đặc trưng thị giác) White Màu trắng 8 DANH MỤC CÁC HÌNH Hình 1. Kiến trúc hệ thống tra cứu ảnh dựa vào đặc trưng thị giác. Hai ảnh khác nhau nhưng có cùng lược đồ màu. Từ trái sang: ảnh gốc sử dụng 256 màu, được lượng hoá trong 8 dải, và được lượng hoá trong 64 dải sử dụng không gian màu RGB.

Ba ảnh I1, I2 và I3 và các lược đồ màu tương ứng của chúng. Tính khoảng cách giữa ảnh I1 và I2 sử dụng LCH, d LCH ( I 1 , I 2 ) = 1. Tính khoảng cách giữa các ảnh I1 và I3 sử dụng LCH, d LCH ( I 1 , I 3 ) = 0. Tính khoảng cách giữa các ảnh I2 và I3 sử dụng LCH d LCH ( I 2 , I 3 ) = 0.

Recall và Precision cho các kết quả truy vấn. Một ảnh được chia thành 9 khối ảnh và ba lược đồ màu khối của nó. Ảnh I và ảnh I’. Lược đồ màu khối theo màu black và white biểu diễn ảnh I.

Lược đồ màu khối theo màu black và white biểu diễn ảnh I’. Tính khoảng cách của ảnh I và I’ theo màu black. Tính khoảng cách của ảnh I và I’ theo màu white. Các khối ảnh của mỗi ảnh được đánh số từ trong ra và ngược chiều kim đồng hồ.

Lược đồ màu khối theo màu black của hai ảnh I1 và I2. Đồ thị hai phía biểu thị mối quan hệ của các dải của lược đồ màu khối của ảnh I1 và I2 theo màu black. Các ảnh mẫu của các truy vấn từ 1 đến 6. So sánh LCH, CCH với HG theo các truy vấn 1, 2, 3 và 4 dưới dạng Recall - Precision.

So sánh LCH, CCH với HG theo các truy vấn 5 và 6 dưới dạng Recall - Precision. Các ảnh mẫu của các truy vấn từ 1 đến 6. So sánh HG với IHG theo các truy vấn 1 và 2 dưới dạng Recall – Precision. So sánh HG với IHG và SR theo các truy vấn 3, 4, 5 và 6 dưới dạng Recall-Precision.

Biểu đồ so sánh tốc độ của phương pháp HG và IHG. Cây tứ phân biểu diễn ảnh cho trong Hình 3.3 Cây biểu diễn ảnh cho trong Hình 3. Ảnh I cỡ 10×10 điểm ảnh. Ảnh I sau khi được tách ra thành hai vùng BR1 và BR2.

Vùng BR2 sau khi được tách ra thành hai vùng BR2,1 và BR2,2. Ảnh gồm 6×10 điểm ảnh. Các ảnh mẫu của các truy vấn từ 1 đến 6. So sánh CSI với QT và CBC theo các truy vấn 1 và 2 dưới dạng Recall- Precision.

So sánh CSI với QT, CBC và SR theo các truy vấn 3, 4, 5 và 6 dưới dạng Recall – Precision. Các ảnh mẫu của các truy vấn từ 1 đến 6. So sánh Recall – Precision theo các truy vấn 1,2 và 3 của CCS với CCV và CSI. So sánh Recall-Precision theo các truy vấn 4, 5 và 6 của CCS với CCV, CSI và SR.

Kiến trúc của hệ thống LVFIR. Kiến trúc của Module tra cứu group1. Màn hình chính của module tra cứu group1. Giao diện tra cứu khi lựa chọn đặc điểm màu sử dụng LCH.

Giao diện tra cứu khi lựa chọn đặc điểm màu sử dụng CCH. Giao diện tra cứu khi lựa chọn đặc điểm màu sử dụng HG. Giao diện tra cứu khi lựa chọn đặc điểm màu sử dụng IHG. Kiến trúc của Module tra cứu group2.

Giao diện sử dụng kỹ thuật QT, CBC và CCV của module tra cứu group2. Giao diện sử dụng kỹ thuật CSI và CCS của module tra cứu group2. Giao diện tra cứu khi sử dụng phương pháp QT với ảnh truy vấn. Giao diện tra cứu khi sử dụng phương pháp CBC với ảnh truy vấn.

Giao diện tra cứu khi sử dụng phương pháp CCV với ảnh truy vấn. Giao diện tra cứu khi sử dụng phương pháp CSI với ảnh truy vấn. Giao diện tra cứu khi sử dụng phương pháp CCS với ảnh truy vấn. Kết quả thực hiện truy vấn 1.

Kết quả thực hiện truy vấn 2. Kết quả thực hiện truy vấn 3. Kết quả thực hiện truy vấn 1. Kết quả thực hiện truy vấn 2.

Kết quả thực hiện truy vấn 3.115 11 DANH MỤC CÁC BẢNG Bảng 2. Các loại của ảnh truy vấn và các ảnh liên quan. Các loại của ảnh truy vấn và các ảnh liên quan. Tính độ lệch DXselectedrow cho phân hoạch theo dòng của ảnh I.

Tính độ lệch DXselectedcol cho phân hoạch theo cột của ảnh I. Tính độ lệch DXselectedrow cho phân hoạch theo dòng của vùng BR2. Tính độ lệch DXselectedcol cho phân hoạch theo cột của vùng BR2 .