Luận án tiến sĩ: Nâng cao độ chính xác tra cứu ảnh dựa vào nội dung - Đào Thị Thúy Quỳnh (2019)

Tính cấp thiết của luận án Cơ sở dữ liệu ảnh ngày càng trở nên phổ biến trong các lĩnh vực ứng dụng khác nhau như viễn thám, thời trang, phòng chống tội phạm, xuất bản, y học, kiến trúc,… Sự tiến triển của các kỹ thuật thu, truyền và lưu trữ ảnh đã cho phép xây dựng các cơ sở dữ liệu ảnh rất lớn. Các nhân tố này đã thúc đẩy sự quan tâm nghiên cứu các phương pháp khai thác hiệu quả cơ sở dữ liệu ảnh rất lớn này. Tra cứu ảnh có thể được thực hiện dựa vào các mô tả ngắn của ảnh. Các ảnh có thể được mô tả bởi một tập các thuộc tính độc lập nội dung (tên file, khuôn dạng, loại, kích cỡ, tên tác giả, thiết bị thu nhận, ngày tạo và vị trí ổ đĩa) mà có thể được quản lý thông qua hệ quản trị cơ sở dữ liệu truyền thống.

Hạn chế chính của cách tiếp cận này đó là các truy vấn bị giới hạn vào các thuộc tính hiện có của tệp ảnh. Một cách tiếp cận thay thế là sử dụng các từ khóa hoặc các chú thích ảnh. Trong cách tiếp cận này, trước tiên các ảnh được chú thích thủ công bằng các từ khóa. Sau đó, các ảnh có thể được tra cứu bởi các chú thích tương ứng của chúng.

Cách tiếp cận này ít giới hạn hơn cách tiếp cận trước. Tuy nhiên, có ba khó khăn chính với cách tiếp cận này, đó là yêu cầu số lượng lớn các nhân công trong việc phát triển các chú thích, sự khác biệt trong giải thích nội dung ảnh, và sự không nhất quán của cách gán từ khóa giữa những người thực hiện chú thích khác nhau. Cách tiếp cận chú thích từ khóa này trở nên không khả thi khi cỡ của các tập ảnh gia tăng nhanh chóng. Để khắc phục các khó khăn của cách tiếp cận dựa vào chú thích, một cách tiếp cận thay thế là tra cứu ảnh dựa vào nội dung đã được đề xuất từ đầu những năm 1990.

Bên cạnh sử dụng các từ khóa được con người gán, các hệ thống tra cứu ảnh dựa vào nội dung sử dụng nội dung trực quan của các ảnh, như các đặc trưng mầu sắc, kết cấu, và hình dạng, làm chỉ số ảnh. Điều này làm giảm đáng kể những khó khăn của cách tiếp cận thuần túy dựa trên chú thích, bởi vì quá trình trích rút đặc trưng có thể được thực hiện tự động. Kể từ khi ra đời, tra cứu ảnh dựa vào nội dung đã thu hút sự quan tâm nghiên cứu rất lớn, phạm vi từ ix nghiên cứu tới thương mại. Cho đến nay, một số hệ thống nguyên mẫu thực nghiệm và các sản phẩm thương mại đã được đề xuất và xây dựng như QBIC [71], MARS [85].

Đến nay, đã có nhiều thuật toán phức tạp được thiết kế để mô tả các đặc trưng mầu, hình dạng và kết cấu, các thuật toán này không thể mô hình tương đương các ngữ nghĩa ảnh và có nhiều giới hạn khi giải quyết cơ sở dữ liệu ảnh nội dung rộng [61]. Các thực nghiệm trên các hệ thống CBIR chỉ ra rằng các nội dung mức thấp thường thất bại trong mô tả các khái niệm ngữ nghĩa mức cao của ảnh [111]. Do đó, hiệu năng của tra cứu ảnh dựa vào nội dung vẫn còn xa so với kỳ vọng của người dùng. Để khắc phục được hạn chế ở trên, những năm gần đây các hướng nghiên cứu tập trung đi tìm các phương pháp giảm khoảng cách ngữ nghĩa giữa đặc trưng mức thấp và khái niệm mức cao.

Giảm khoảng cách ngữ nghĩa thường được thực hiện thông qua phản hồi liên quan. Phản hồi liên quan (RF - Relevance Feedback) là một quá trình học trực tuyến mà cố gắng học mục đích của người dùng trong quá trình tương tác; RF là một công cụ mạnh được sử dụng trong các hệ thống tra cứu thông tin [74,78]. Mục đích của nó là mang người dùng vào lặp tra cứu để giảm khoảng cách ngữ nghĩa giữa những gì mà truy vấn biểu diễn và những gì người dùng nghĩ. Bằng việc tiếp tục học thông qua tương tác với người dùng, giảm khoảng cách thông qua phản hồi liên quan đã được chỉ ra là cải tiến độ chính xác đáng kể trong các hệ thống tra cứu ảnh dựa vào nội dung [58,59,64,80,90,118,119,126].

Tuy nhiên, hầu hết các phương pháp đề cập ở trên đều gặp phải các vấn đề như sau: (1) yêu cầu người dùng phải cung cấp đồng thời nhiều ảnh truy vấn đa dạng (các ảnh khác nhau nhưng cùng một chủ đề ), tức là, tăng gánh nặng cho người dùng. (2) chưa tận dụng được thông tin phản hồi của người dùng vào việc xác định độ quan trọng ngữ nghĩa của từng truy vấn và độ quan trọng của từng đặc trưng. (4) mỗi lần lặp phản hồi, phương pháp phải phân cụm lại từ đầu tất cả các ảnh. Bốn vấn đề này dẫn đến hiệu năng của hệ thống tra cứu thấp.

Do đó, việc đề xuất các giải pháp tra cứu ảnh để khắc phục các hạn chế ở trên là một nhu cầu cấp thiết. Đó cũng là lý do mà luận án chọn đề tài ―Nâng cao độ chính xác tra cứu ảnh dựa vào nội dung sử dụng kỹ thuật điều chỉnh trọng số hàm khoảng cách‖. Các phương pháp tra cứu ảnh trong luận án được giới hạn trong phạm vi tìm các ảnh đa dạng cùng chủ đề với ảnh truy vấn, chẳng hạn: tìm tất cả các ảnh thuộc chủ đề hoa hồng bao gồm cả ảnh hoa hồng đỏ, hoa hồng trắng và hoa hồng vàng. Mục tiêu của luận án Mục tiêu chung của luận án: Đề xuất được phương pháp tra cứu ảnh nhằm nâng cao độ chính xác tra cứu.

Mục tiêu cụ thể của luận án: - Đề xuất được phương pháp tra cứu các ảnh liên quan ngữ nghĩa nằm rải rác trong không gian đặc trưng để nâng cao độ chính xác mà không tăng thời gian thực hiện tra cứu. - Tận dụng thông tin phản hồi của người dùng để xác định độ quan trọng ngữ nghĩa của mỗi truy vấn, độ quan trọng của mỗi đặc trưng nhằm đề xuất phương pháp tra cứu ảnh hiệu quả. - Đề xuất phương pháp khai thác mức độ phản hồi của người dùng, tính chất địa phương của mỗi vùng chứa điểm truy vấn điều chỉnh để nâng cao độ chính xác tra cứu. Các đóng góp của luận án Trong luận án này, tác giả nghiên cứu đề xuất các phương pháp tra cứu ảnh liên quan ngữ nghĩa gồm: phương pháp SRIR (Semantic–Related Image xi Retrieval method) [CT5], phương pháp AWEIGHT (An efficient image retrieval method using adaptive weights) [CT6]: - Phương pháp SRIR giải quyết được các hạn chế: (1) Chỉ sử dụng một truy vấn để tạo ra kết quả tra cứu khởi tạo gồm các ảnh nằm trong các vùng khác nhau; (2) Không thực hiện phân cụm lại tập ảnh phản hồi; (3) xác định được độ quan trọng ngữ nghĩa của từng truy vấn và (4) xác định độ quan trọng theo từng đặc trưng.

Những đóng góp này làm cho độ chính xác được cải tiến đáng kể. - Phương pháp AWEIGHT khai thác mức độ phản hồi để xác định các điểm truy vấn tối ưu. Bên cạnh đó, phương pháp đề xuất cũng khai thác đầy đủ tính chất địa phương của mỗi điểm truy vấn tối ưu. Ngoài ra, phương pháp trong chương này tận dụng được nhiều phản hồi từ phía người dùng mà không tăng tốc độ tính toán.

Bố cục của luận án Luận án này được bố cục thành ba chương: Chương 1 giới thiệu tổng quan về tra cứu ảnh dựa vào nội dung. Chương 2 trình bày phương pháp tra cứu ảnh liên quan ngữ nghĩa được tác giả để xuất, có tên là SRIR. Chương 3 trình bày phương pháp tra cứu ảnh sử dụng trọng số thích nghi được tác giả đề xuất, có tên là AWEIGHT. Cuối cùng, luận án đưa ra một số kết luận và định hướng nghiên cứu trong tương lai.

xii CHƢƠNG 1 TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG Chương này trình bày tổng quan về tra cứu ảnh dựa vào nội dung bao gồm các đặc trưng mức thấp của ảnh, cấu trúc hệ thống tra cứu ảnh dựa vào đặc trưng mức thấp và phân tích một số phương pháp tra cứu ảnh dựa vào đặc trưng mức thấp. Bên cạnh đó, chương này trình bày một số nghiên cứu giảm khoảng cách ngữ nghĩa theo cách tiếp cận phản hồi liên quan. Ngoài ra, chương này cũng phân tích một số kỹ thuật tra cứu ảnh với ngữ nghĩa mức cao. Cuối cùng, chương này đưa ra một số kết luận và định hướng cho nghiên cứu.

Giới thiệu Các dạng nguồn đa phương tiện khác nhau (văn bản, tiếng nói, ảnh, video) đang tăng lên nhanh chóng, chẳng hạn dữ liệu được trực quan trong các điện thoại thông minh, các ứng dụng 2D/3D, nội dung web,. Thế giới đang chứng kiến một sự tiến hóa về lượng, sự sẵn có, độ phức tạp, sự đa dạng và sự quan trọng của các ảnh trong tất cả các lĩnh vực. Do đó, nhu cầu về các dịch vụ ảnh trở nên quan trọng hơn bao giờ hết. Các ảnh đóng một vai trò quan trọng trong một phạm vi rộng các ứng dụng và các lĩnh vực như giáo dục, chăm sóc y tế, dự báo thời tiết, nghiên cứu về tội phạm, quảng cáo, thiết kế nghệ thuật, web, phương tiện xã hội và giải trí.

Tuy nhiên, phương tiện trực quan yêu cầu một lượng xử lý và lưu trữ đáng kể, cần có các phương pháp hiệu quả cao để đánh chỉ số, lưu trữ, phân tích và tra cứu thông tin trực quan từ các cơ sở dữ liệu ảnh. Do đó, tra cứu các ảnh nhanh, chính xác và hiệu quả cho tất cả các loại tập ảnh trở thành một trong những nhiệm vụ thách thức nhất. Tra cứu dựa vào văn bản Cách tiếp cận ban đầu cho tra cứu ảnh là dựa vào văn bản, trong đó các ảnh được đánh chỉ số bằng các từ khóa, chủ đề hoặc mã phân loại. Các từ khóa, chủ đề hoặc mã phân loại này được sử dụng trong quá trình tra cứu [41].

Tuy nhiên, với cơ sở dữ liệu ảnh lớn và tăng lên nhanh chóng, các khó khăn phải đối mặt của cách tiếp cận tra cứu dựa vào văn bản ngày càng trở nên nghiêm trọng hơn. Bên cạnh đó, quá trình này tốn nhiều nhân lực và thời gian, từ khóa lại mang tính chủ quan và không duy nhất, những người khác nhau có các nhận thức khác nhau về cùng một ảnh. Để khắc phục các vấn đề này, các nội dung của ảnh (gồm mầu, kết cấu và hình dạng) được trích rút tự động từ bản thân các ảnh đã được sử dụng cho tra cứu ảnh. Phương pháp này được gọi là tra cứu ảnh dựa vào nội dung (CBIR - content-based image retrieval) [69].