Luận án nghiên cứu phát triển một số thuật toán phát hiện và phân loại phương ti

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ NGUYỄN VĂN CĂN NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ THUẬT TOÁN PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN TỪ DỮ LIỆU VIDEO GIAO THÔNG LUẬN ÁN TIẾN SĨ TOÁN HỌC HÀ NỘI, NĂM 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ NGUYỄN VĂN CĂN NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ THUẬT TOÁN PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN TỪ DỮ LIỆU VIDEO GIAO THÔNG Chuyên ngành: CƠ SỞ TOÁN HỌC CHO TIN HỌC Mã số: 62 46 01 10 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC 1. NGUYỄN ĐỨC HIẾU Học viện Kỹ thuật Quân sự 2. PHẠM VIỆT TRUNG Cục Công nghệ thông tin – Bộ Quốc phòng HÀ NỘI, NĂM 2015 LỜI CAM Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Những nội dung, số liệu và kết quả trình bày trong luận án là hoàn toàn trung thực và chưa có tác giả nào công bố trong bất cứ một công trình nào khác.

Tác giả luận án Nguyễn Văn Căn LỜI CẢM Trước hết tôi xin bày tỏ lòng biết ơn chân thành của tôi với tập thể giáo viên hướng dẫn của tôi, PGS. TS Nguyễn Đức Hiếu, Giám đốc Trung tâm Công nghệ thông tin, Học viện Kỹ thuật Quân sự Việt Nam; TS. Phạm Việt Trung, Phó cục trưởng Cục Công nghệ thông tin - Bộ Quốc phòng trực tiếp hướng dẫn cho tôi thông qua sự tiến bộ nghiên cứu. Tôi muốn cảm ơn tất cả các giảng viên mà tôi đã có vinh dự được cùng làm việc hoặc tham gia các khóa học trong quá trình làm nghiên cứu sinh.

Cảm ơn các thầy giáo, cô giáo Viện Công nghệ thông tin, phòng Quản lý đào tạo sau đại học thuộc Viện Khoa học và Công nghệ quân sự - Bộ quốc phòng. Tôi muốn đặc biệt cảm ơn PGS. TS Ngô Quốc Tạo, TS. Nguyễn Đức Dũng, phòng Nhận dạng và Xử lý tri thức, thuộc Viện Công nghệ thông tin, Viện hàn lâm Khoa học Việt Nam; cảm ơn các đồng nghiệp công tác tại Trường Đại học Kỹ thuật – Hậu cần Công an nhân dân đã có những bàn luận, thảo luận hữu ích, cài đặt thử nghiệm trong công việc nghiên cứu của tôi.

Cuối cùng, tôi dành luận án này cho gia đình tôi và bạn bè của tôi. Nếu không có sự hỗ trợ của họ đầy đủ, tôi sẽ không có can đảm để đi qua tất cả những khó khăn trong việc nghiên cứu. i MỤC LỤC DANH MỤC CÁC KÝ HIỆU.iii DANH MỤC CHỮ VIẾT TẮT. iv DANH MỤC CÁC BẢNG.v DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ.vi MỞ ĐẦU.

TỔNG QUAN VỀ PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO. Cơ sở lý thuyết và những khái niệm cơ bản. Dữ liệu video số. Mô-men bất biến.

Hình dạng và Khối đối tượng chuyển động. Đường viền đối tượng. Nền và đối tượng chuyển động. Entropy của khối.

Biểu diễn hình dạng đối tượng theo vector khoảng cách. Một số phương pháp và công trình nghiên cứu liên quan. Hệ thống điều khiển giao thông và giám sát an ninh. Hệ thống phát hiện và phân loại xe dựa trên video.

Hệ thống giám sát giao thông dựa trên độ dài. Hệ thống giám sát tích hợp phát hiện, theo dõi, phân loại. Phát hiện đối tượng. Phân loại đối tượng.

Hướng tiếp cận của luận án. Sơ đồ khái quát hướng tiếp cận xử lý bài toán. Xác định vùng quan tâm và nhiệm vụ của luận án. Kết luận chương 1.

PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG TỪ VIDEO DỰA TRÊN MÔ HÌNH GAUSS HỖN HỢP THÍCH NGHI VỚI THAY ĐỔI ÁNH SÁNG. Một số thuật toán phát hiện chuyển động. Thuật toán trừ nền cơ bản. Thuật toán trừ nền trung bình.

Thuật toán Σ-Δ cải tiến. Thuật toán thống kê khác biệt cơ bản. Mô hình Gauss hỗn hợp. Đánh giá các thuật toán trừ nền thông qua một số phép đo.

Mô hình và thuật toán đề nghị. Mô hình GMM đề nghị. Thuật toán trích chọn khối chuyển động (EMB). Phương pháp đếm phương tiện giao thông áp dụng mô hình GMM thích nghi thay đổi ánh sáng kết hợp luồng quang học.

Sơ đồ khối tổng quát. Thuật toán phát hiện và gán nhãn cho khối (SLBBI). Thuật toán trích chọn luồng quang học (EBOF). Kết quả thực nghiệm.

Kết luận chương 2. PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO DỰA TRÊN ĐẶC TRƯNG HÌNH DẠNG. Phân đoạn khối phương tiện dựa trên kích thước. Phân tích kích thước phương tiện.

Thuật toán phân loại theo kích thước. Phân loại phương tiện bằng kết hợp kích thước ảnh và hình chiếu hình dạng khối phương tiện. Ý tưởng phương pháp. Giai đoạn chuẩn bị CSDL.

Thuật toán phân loại dựa trên độ dài và hình chiếu đối tượng. Phân loại phương tiện dựa trên đường viền biểu diễn bằng số phức. Xấp xỉ độ dài đường viền và thuật toán Douglas Peucker. Thuật toán CCAVC.

Kết quả thực nghiệm. Kết luận chương 3.114 PHẦN KẾT LUẬN. 1 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ.118 TÀI LIỆU THAM KHẢO. 119 ii DANH MỤC CÁC KÝ HIỆU Ký hiệu Ý nghĩa  Giá trị ngưỡng cho trước trong trừ nền B(x,y) Giá trị nền cố định tại điểm ảnh (x,y) It(x,y) Giá trị điểm ảnh tại điểm ảnh (x,y) Dt(x,y) Mặt nạ nhị phân của đối tượng tiền cảnh α,,, Hằng số tỷ lệ học cho trước t(x,y) Giá trị tuyệt đối của hiệu giá trị điểm ảnh trừ giá trị nền của điểm ảnh (x,y) tại thời điểm t Vt(x,y) Giá trị điểm ảnh (x,y) của khung hình đang xét thời gian t xy Giá trị trung bình của các điểm ảnh tương ứng của tập hợp điểm ảnh (x,y) theo các khung hình đang xét xy Trung bình độ lệch chuẩn của điểm ảnh (x,y) 𝑡 Mô hình nền thích nghi biến đổi cosin rời rạc 𝑡 Khoảng cách Ơclit giữa các mô hình nền thích nghi P(Xt) Xác suất quan sát của điểm ảnh tại thời điểm t (Xt, , ) Hàm mật độ xác suất tại thời điểm t i,t Ma trận hiệp phương sai của phân bố Gauss thứ i tại thời gian t i,t Giá trị trung bình của các điểm ảnh tại thời điểm t Biến nhận giá trị 1/0 thể hiện sự phù hợp mô hình của điểm ảnh mới k,t Hệ số cập nhật nền K mô hình tại thời điểm t t Hệ số biểu thị mức độ ánh sáng thay đổi Et Giá trị thông tin Entropy của điểm ảnh tại thời điểm t D(t,t-1) Hàm biểu diễn cường độ sáng i Hệ số lựa chọn sự thay đổi ánh sáng IL(x,y) Ảnh điểm ảnh (x,y) biểu diễn mức L trong mô hình kim tự tháp 𝑡 Tập biểu diễn kết quả phát hiện đối tượng tại thời điểm t i Tính chất thứ i của mô-men bất biến  Hằng số xấp xỉ diện tích hai hình đa giác Lrounded Khoảng cách giữa các điểm cơ bản trên biên D(si,c) Khoảng cách giữa điểm mẫu và trọng tâm đa giác SIM(D1,D2) Độ đo tương tự giữa 2 đa giác D1 và D2.

i u Chiều dài đối tượng tính xấp xỉ v Chiều rộng đối tượng tính xấp xỉ  Đường viền Vector  Vector cơ sở đường viền  Tích vô hướng giữa 2 đường viền (m) Hàm tương quan giữa 2 đường viền m đỉnh sgn(𝘢) 1 if 𝘢 > 0 sgn(𝘢) = { 0 if 𝘢 = 0 −1 if 𝘢 < 0 v DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt Ý nghĩa ACF Hàm tự tương quan (Auto Correlation Function) BMC Thách thức mô hình trừ nền (Background Models Challenge) BSM Trừ nền (Background Subtraction Method) BGS Thư viện trừ nền (Background Subtraction Library) CA Phân tích đường viền (Contour Analys) CSDL Cơ sở dữ liệu (Database) EV Vector cơ sở (Elementary Vector) FG Tiền cảnh (Foreground) GMM Mô hình hỗn hợp Gauss (Gauss Mixture Model) ICF Hàm tương quan (Intercorrelation Function) NSP Tích vô hướng chuẩn hóa (Normalized Scalar Product) ROI Vùng quan tâm (Region of Interest) TVH Tích vô hướng VC đường viền vector (Vector Contour) VVDC Phát hiện và phân loại phương tiện dựa trên video (Video-based Vehicle Detection and Classification) v DANH MỤC CÁC BẢNG Bảng 1. Phân loại các phương pháp mô hình nền. Kết quả sử dụng độ dài đường biên hình chiếu. Ưu điểm và nhược điểm các thuật toán BSM đã trình bày.

Hệ số đánh giá toàn cục các thuật toán BS trong tập dữ liệu BMC [36]. Dữ liệu thực nghiệm. Phản ứng với mật độ xe trên các cung đường. So sánh thời gian xử lý của thuật toán với mỗi khung hình.

Kết quả thực nghiệm thuật toán CVIL. Bảng kết quả thực nghiệm thuật toán VCALOS.103 v DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1. Cấu trúc phân đoạn của video. Các biến đổi hình dáng đối tượng trong không gian 2D.

Biểu diễn đường viền bằng vector số phức. NSP trên đường viền vector. Biểu diễn đường viền và lược đồ xám. Mô tả hình dạng hình tròn.

Đa giác xấp xỉ đối tượng có n cạnh. Điểm mẫu căng đều trên mỗi cạnh biên. Kiến trúc tổng thể hệ thống CadProTMS. Trạm nghiệp vụ xử lý phạt nguội vượt đèn đỏ ngã tư.

Cấu trúc hệ thống phát hiện và phân loại xe dựa trên video. Sơ đồ của hệ thống giám sát giao thông tự động. Cấu trúc hệ thống tích hợp phát hiện, phân loại, theo dõi đối tượng 36 Hình 1. Cấu trúc hệ thống phát hiện đối tượng chuyển động.

Lược đồ khái quát phân loại đối tượng dựa trên hình chiếu. Cấu trúc khái quát hệ thống nhận dạng đối tượng chuyển động. Sơ đồ xác định vùng nghiên cứu. Hướng tiếp cận xử lý bài toán.

Lược đồ khái quát thuật toán CCA-GMMOF. Minh họa thuật toán gán nhãn cho khối. Dữ liệu video quay trên đường quốc lộ 5, hướng Hải phòng - Hà Nội. Một số hình ảnh từ camera đưa vào thực nghiệm.

Giao diện kết quả thực nghiệm của hệ thống. Phân tích kích thước khối xe ô tô con. Sơ đồ tổng quát phân giải theo độ dài. Sơ đồ tổng quát phân loại theo hình dạng.

Sơ đồ khối tổng quát phân loại theo đường viền.5 Đơn giản hóa đường công theo thuật toán Douglas Peucker. Xấp xỉ hóa đường viền. Giao diện hệ thống thực nghiệm thuật toán CCAVC. Giao diện hệ thống thực nghiệm thuật toán CCAVC.

Ví dụ về tập mẫu để so sánh. Ví dụ kết quả nhận dạng xe ô tô và xe máy.114 1 MỞ ĐẦU Phần này giới thiệu bài toán phát hiện và phân loại phương tiện giao thông, những vấn đề đặt ra cho bài toán để giải quyết vấn đề tăng độ chính xác với điều kiện giao thông đông đúc và đa dạng ở Việt Nam. Tiếp theo, trình bày mục tiêu, phạm vi, nội dung và phạm vi nghiên cứu của luận án. Cuối cùng là giới thiệu cấu trúc của luận án.

Tính cấp thiết của vấn đề nghiên cứu Giám sát và quản lý giao thông đã và đang được các nhà khoa học thế giới và Việt Nam quan tâm nghiên cứu phát triển.