PhD Thesis: Geometrical Env. Understanding by Building Recognition for ITS & Robots
Luận án tiến sĩ nghiên cứu chuyên sâu nhận diện tòa nhà, giúp hiểu môi trường hình học, phục vụ hệ thống giao thông thông minh và robot.
University of Ulsan
Luan An
Luận án Tiến sĩ
Năm xuất bản
Số trang
128
Thời gian đọc
20 phút
Lượt xem
0
Lượt tải
0
Phí lưu trữ
40 Point
Tổng quan nhanh
- Chủ đề:
- Xây dựng Nhận thức Môi trường cho ITS & Robot
- Số trang:
- 128 trang
- Trường:
- University of Ulsan
- Chuyên ngành:
- Electrical Engineering
- Tác giả:
- Hoang-Hon Trinh
- Năm:
- 2008
Tóm tắt nội dung luận án
I.Xây dựng Nhận thức Môi trường cho ITS Robot
Tài liệu này khám phá các phương pháp tiên tiến để nâng cao khả năng nhận thức môi trường cho Hệ thống Giao thông Thông minh (ITS) và hệ thống Robot. Sự hiểu biết về môi trường hình học, đặc biệt là nhận dạng công trình, đóng vai trò then chốt. Công nghệ này hỗ trợ các ứng dụng quan trọng như định vị chính xác, điều hướng tự động, và lập bản đồ 3D. Các hệ thống cần khả năng xử lý thông tin thị giác phức tạp từ môi trường đô thị để hoạt động hiệu quả. Việc xây dựng một mô hình môi trường chính xác giúp các phương tiện tự hành và robot di chuyển an toàn và thông minh hơn. Tầm nhìn Máy tính (Computer Vision) là nền tảng cốt lõi, cung cấp các công cụ để phân tích hình ảnh và trích xuất đặc điểm. Mục tiêu là phát triển các hệ thống có thể "hiểu" được môi trường xung quanh, từ đó cải thiện hiệu suất của Autonomous Vehicles và các giải pháp Robotics. Điều này bao gồm khả năng phát hiện vật thể (Object Detection), nhận dạng các cấu trúc kiến trúc, và xây dựng mô hình 3D chi tiết. Công trình kiến trúc cung cấp các điểm mốc quan trọng, giúp hệ thống định vị bản thân một cách đáng tin cậy. Nghiên cứu này tập trung vào việc vượt qua những thách thức trong việc nhận dạng công trình trong các điều kiện môi trường đa dạng, từ đó đóng góp vào sự phát triển của Trí tuệ Nhân tạo (Artificial Intelligence) trong lĩnh vực ITS.
1.1. Giới thiệu Hệ thống Giao thông Robot Thông minh
Hệ thống Giao thông Thông minh (ITS) và hệ thống robot đang trải qua quá trình phát triển nhanh chóng, đặt ra yêu cầu cao về khả năng nhận thức môi trường. Các hệ thống này cần thu thập, xử lý và diễn giải thông tin từ thế giới thực để đưa ra quyết định thông minh. Trọng tâm là việc tạo ra các phương tiện có khả năng tự động hoàn toàn (Autonomous Vehicles) và các robot có thể tương tác phức tạp với môi trường. Để đạt được điều này, khả năng "nhìn" và "hiểu" môi trường là không thể thiếu. Các thách thức bao gồm sự phức tạp của cảnh quan đô thị, điều kiện ánh sáng thay đổi, và sự hiện diện của nhiều đối tượng chuyển động. Giải pháp yêu cầu sự kết hợp của nhiều công nghệ, bao gồm Tầm nhìn Máy tính (Computer Vision), xử lý tín hiệu cảm biến, và Trí tuệ Nhân tạo (Artificial Intelligence). Mục tiêu cuối cùng là nâng cao an toàn, hiệu quả và tính tự chủ của các hệ thống này. Khả năng giám sát giao thông (Traffic Monitoring) và phát hiện vật thể (Object Detection) chính xác là các ứng dụng trực tiếp từ sự phát triển này.
1.2. Vai trò của Nhận dạng Công trình trong Định vị
Nhận dạng công trình đóng vai trò cực kỳ quan trọng trong việc định vị chính xác cho cả ITS và hệ thống robot. Các công trình kiến trúc cung cấp các điểm mốc hình học ổn định và dễ nhận biết trong môi trường đô thị. Không giống như các đối tượng tạm thời, cấu trúc công trình duy trì hình dạng và vị trí, trở thành tài sản vô giá cho các thuật toán định vị. Khi các phương tiện tự hành (Autonomous Vehicles) di chuyển, việc liên tục xác định vị trí của các tòa nhà xung quanh giúp cải thiện độ chính xác của bản đồ và giảm thiểu sai số định vị. Điều này đặc biệt hữu ích trong các khu vực không có tín hiệu GPS mạnh hoặc trong môi trường phức tạp. Các kỹ thuật Tầm nhìn Máy tính (Computer Vision) được sử dụng để trích xuất các đặc điểm kiến trúc, sau đó so khớp chúng với bản đồ hoặc cơ sở dữ liệu đã biết. Quá trình này không chỉ hỗ trợ định vị mà còn giúp các hệ thống robot hiểu rõ hơn về bố cục không gian, từ đó lập kế hoạch đường đi hiệu quả hơn. Nhận dạng công trình là một bước cơ bản để xây dựng nhận thức môi trường (Environmental Perception) đáng tin cậy.
1.3. Tái tạo Môi trường 3D cho Điều hướng
Tái tạo môi trường 3D là một yêu cầu then chốt cho điều hướng tiên tiến của Autonomous Vehicles và Robotics. Khả năng xây dựng một mô hình không gian ba chiều chi tiết của môi trường xung quanh cho phép các hệ thống này hiểu sâu sắc hơn về địa hình, chướng ngại vật và các điểm mốc. Thông tin 3D không chỉ cung cấp vị trí theo chiều ngang mà còn theo chiều dọc, điều cần thiết cho việc tránh va chạm và lập kế hoạch đường đi trong các môi trường phức tạp. Các kỹ thuật như Sensor Fusion, kết hợp dữ liệu từ nhiều loại cảm biến (ví dụ: camera, LiDAR, radar), được sử dụng để tạo ra mô hình 3D phong phú và chính xác. Các mô hình 3D này sau đó được sử dụng để lập bản đồ (mapping), xác định vị trí (localization), và lập kế hoạch đường đi (path planning). Việc tái tạo công trình 3D cung cấp thông tin hình học quan trọng, giúp các robot và phương tiện tự hành xác định ranh giới, chiều cao và hình dạng của các cấu trúc. Điều này cải thiện đáng kể khả năng nhận thức môi trường (Environmental Perception) của hệ thống, cho phép điều hướng an toàn và hiệu quả hơn trong các ứng dụng thực tế của Intelligent Transport Systems.
II.Tầm nhìn Máy tính Nhận dạng Đối tượng Kiến trúc
Tầm nhìn Máy tính (Computer Vision) là trụ cột trong việc phát triển khả năng nhận dạng đối tượng kiến trúc cho Intelligent Transport Systems và Robotics. Lĩnh vực này tập trung vào việc cho phép máy móc "nhìn" và "hiểu" thế giới hình ảnh. Để nhận dạng các công trình, hệ thống Tầm nhìn Máy tính cần phân tích các đặc điểm hình ảnh phức tạp, từ các cạnh cơ bản đến cấu trúc hình học tổng thể. Quá trình này bao gồm các bước như phát hiện đặc điểm, trích xuất mô tả và phân loại. Các kỹ thuật Object Detection tiên tiến được áp dụng để xác định vị trí và loại hình của các tòa nhà trong hình ảnh hoặc luồng video. Sự phát triển trong Deep Learning và Artificial Intelligence đã cách mạng hóa khả năng này, cho phép các mô hình học từ lượng lớn dữ liệu để đạt được độ chính xác cao. Mục tiêu là xây dựng một hệ thống nhận dạng mạnh mẽ, có thể hoạt động trong nhiều điều kiện môi trường khác nhau, từ đó hỗ trợ đáng kể cho Autonomous Vehicles và các ứng dụng Robotics khác. Khả năng này cũng cải thiện Environmental Perception, tạo nền tảng cho các quyết định thông minh hơn của hệ thống.
2.1. Phát hiện Đoạn thẳng Điểm Tụ chính
Phát hiện đoạn thẳng là một bước cơ bản trong nhận dạng công trình bằng Tầm nhìn Máy tính. Các đoạn thẳng cung cấp thông tin hình học quan trọng về các cạnh và đường viền của tòa nhà. Hệ thống cần phát hiện các đoạn thẳng một cách chính xác, ngay cả trong điều kiện nhiễu hoặc ánh sáng không đồng đều. Sau khi các đoạn thẳng được phát hiện, việc xác định các Điểm Tụ chính (Dominant Vanishing Points - DVPs) trở nên cần thiết. DVPs đại diện cho các hướng chính trong một cảnh 3D và rất quan trọng để ước tính cấu trúc hình học của công trình. Các thuật toán như MSAC được sử dụng để tính toán DVPs một cách mạnh mẽ, giảm thiểu ảnh hưởng của các đoạn thẳng ngoại lai. Thông tin từ DVPs cho phép hệ thống suy ra sự sắp xếp của các mặt phẳng công trình và ước tính định hướng của chúng trong không gian 3D. Đây là một bước quan trọng trong việc xây dựng mô hình môi trường chính xác, hỗ trợ cho các ứng dụng như 3D Reconstruction và Environmental Perception trong Autonomous Vehicles và Robotics. Quá trình này giúp hệ thống hiểu rõ hơn về kiến trúc đô thị.
2.2. Nhận dạng Mặt phẳng Công trình
Sau khi phát hiện các đoạn thẳng và xác định Điểm Tụ chính, bước tiếp theo là nhận dạng các mặt phẳng công trình (building facets). Các mặt phẳng này đại diện cho các bề mặt chính của tòa nhà, như tường hoặc mái nhà. Quá trình nhận dạng mặt phẳng dựa trên các giả định hình học và đặc điểm cục bộ của chúng. Các thuật toán cần gom nhóm các đoạn thẳng liên quan và các khu vực hình ảnh có đặc điểm tương tự để tạo thành một mặt phẳng hoàn chỉnh. Độ chính xác của việc phát hiện ranh giới mặt phẳng là rất quan trọng để xây dựng mô hình 3D đáng tin cậy. Thông tin về màu sắc, kết cấu và hình dạng của từng mặt phẳng được khai thác để phân biệt các mặt phẳng công trình với các yếu tố môi trường khác. Điều này liên quan đến các kỹ thuật Object Detection và phân đoạn ảnh. Việc nhận dạng chính xác các mặt phẳng là nền tảng để tái tạo công trình 3D một cách chi tiết, cung cấp thông tin cần thiết cho Autonomous Vehicles trong việc điều hướng và tránh va chạm. Khả năng này cũng đóng góp vào Environmental Perception toàn diện cho Intelligent Transport Systems.
2.3. Khai thác Đặc điểm Hình học Màu sắc
Khai thác đặc điểm hình học và màu sắc là yếu tố then chốt để tăng cường độ mạnh mẽ của hệ thống nhận dạng công trình. Các đặc điểm hình học bao gồm hình dạng, kích thước, và mối quan hệ không gian giữa các thành phần của công trình. Ví dụ, tính chất hình chữ nhật của nhiều mặt tiền tòa nhà là một đặc điểm mạnh mẽ được sử dụng. Bên cạnh đó, các đặc điểm cục bộ như góc, đường thẳng và kết cấu cũng được phân tích. Về màu sắc, biểu đồ màu tường (Wall Color Histogram - WCH) và biểu đồ màu cục bộ (Localized Color Histogram) được sử dụng để mô tả màu sắc chủ đạo của các mặt phẳng công trình. Những biểu đồ này cung cấp một dấu vân tay màu sắc, giúp phân biệt các tòa nhà khác nhau hoặc các phần khác nhau của cùng một tòa nhà. Việc kết hợp thông tin hình học và màu sắc cho phép hệ thống tạo ra một mô tả phong phú và độc đáo cho mỗi công trình, cải thiện đáng kể độ chính xác của Object Detection và Building Recognition. Sự kết hợp này cũng hỗ trợ Sensor Fusion bằng cách cung cấp nhiều loại dữ liệu cho các thuật toán học máy và Trí tuệ Nhân tạo (Artificial Intelligence), từ đó nâng cao Environmental Perception trong Intelligent Transport Systems và Robotics.
III.Tái tạo Môi trường 3D cho Xe tự hành Robot
Tái tạo môi trường 3D là một yêu cầu cơ bản cho sự phát triển của Autonomous Vehicles và Robotics. Khả năng xây dựng một mô hình ba chiều chi tiết về thế giới xung quanh cho phép các hệ thống này hiểu biết sâu sắc về không gian, hỗ trợ các nhiệm vụ từ điều hướng đến lập kế hoạch. Mục tiêu là tạo ra các bản đồ 3D chính xác, không chỉ cung cấp vị trí mà còn cả hình dạng và kích thước của các đối tượng. Công nghệ Sensor Fusion, kết hợp dữ liệu từ nhiều cảm biến như camera, LiDAR và radar, đóng vai trò quan trọng trong việc thu thập dữ liệu phong phú cần thiết cho quá trình này. Dữ liệu này sau đó được xử lý bằng các thuật toán Tầm nhìn Máy tính (Computer Vision) và Trí tuệ Nhân tạo (Artificial Intelligence) để xây dựng mô hình 3D. Các công trình kiến trúc, với cấu trúc ổn định, là đối tượng lý tưởng để tái tạo 3D, cung cấp khung tham chiếu đáng tin cậy. Mô hình 3D được sử dụng để cải thiện Environmental Perception, cho phép các phương tiện tự hành tránh chướng ngại vật, duy trì làn đường và định vị chính xác trong môi trường phức tạp của Intelligent Transport Systems.
3.1. Phân tích Hình học để Tái tạo 3D
Phân tích hình học là nền tảng của quá trình tái tạo môi trường 3D. Kỹ thuật này tập trung vào việc trích xuất các thông tin không gian từ dữ liệu cảm biến 2D hoặc 3D. Đối với công trình kiến trúc, phân tích hình học bao gồm việc xác định các mặt phẳng, cạnh và góc, sau đó ghép nối chúng để xây dựng một mô hình ba chiều hoàn chỉnh. Các thuật toán cần xử lý các biến dạng phối cảnh trong hình ảnh 2D và chuyển đổi chúng thành thông tin 3D chính xác. Sử dụng các ràng buộc hình học, như sự vuông góc của các mặt phẳng trong nhiều tòa nhà, giúp cải thiện độ chính xác của quá trình tái tạo. Phương pháp SVD (Singular Value Decomposition) có thể được áp dụng để tính toán các vectơ gần đúng, hỗ trợ việc ước tính cấu trúc 3D. Mục tiêu là tạo ra một mô hình 3D có độ tin cậy cao, phản ánh chính xác hình dạng và kích thước thực tế của công trình. Mô hình này sau đó cung cấp dữ liệu quan trọng cho các ứng dụng Object Detection và Environmental Perception, đặc biệt hữu ích cho Autonomous Vehicles và Robotics trong Intelligent Transport Systems.
3.2. Phát hiện Thành phần Chính của Công trình
Phát hiện các thành phần chính (Principal Components - PCs) của công trình là bước quan trọng trong việc đơn giản hóa và mô tả cấu trúc 3D. Các thành phần chính này thường đại diện cho các hướng hình học thống trị của một đối tượng, giúp xác định hướng chính của tòa nhà trong không gian. Bằng cách phát hiện các PCs, hệ thống có thể xây dựng một khung xương hình học cho công trình, từ đó dễ dàng hơn trong việc tái tạo và nhận dạng. Quá trình này liên quan đến việc phân tích dữ liệu điểm 3D hoặc các đặc điểm hình học đã trích xuất để tìm ra các trục chính. Ví dụ, một tòa nhà hình hộp chữ nhật sẽ có ba trục chính vuông góc với nhau. Thông tin này có thể được sử dụng để chuẩn hóa các mô hình công trình và tạo điều kiện thuận lợi cho việc so khớp và nhận dạng giữa các ảnh hoặc dữ liệu khác nhau. Việc xác định các PCs hiệu quả cải thiện đáng kể độ chính xác của 3D Reconstruction và góp phần vào Environmental Perception toàn diện cho các hệ thống Robotics và Autonomous Vehicles.
3.3. Ứng dụng trong Điều hướng và Lập bản đồ
Các mô hình môi trường 3D được tái tạo từ công trình kiến trúc có nhiều ứng dụng trực tiếp trong điều hướng và lập bản đồ cho Autonomous Vehicles và Robotics. Khả năng định vị chính xác trong không gian ba chiều là rất quan trọng để lập kế hoạch đường đi an toàn và hiệu quả. Các bản đồ 3D chi tiết, chứa thông tin về các công trình, đường xá, và chướng ngại vật, cho phép xe tự hành xác định vị trí của chúng một cách đáng tin cậy và dự đoán các tương tác với môi trường. Điều hướng dựa trên mô hình 3D cũng giúp các robot hoạt động trong môi trường phức tạp, chẳng hạn như nhà kho hoặc khu vực xây dựng. Các kỹ thuật như Sensor Fusion được sử dụng để liên tục cập nhật bản đồ 3D và vị trí của phương tiện. Thông tin 3D từ công trình còn hỗ trợ việc nhận dạng đối tượng (Object Detection) và giám sát giao thông (Traffic Monitoring) bằng cách cung cấp ngữ cảnh không gian. Việc này nâng cao Environmental Perception và là yếu tố cần thiết cho sự phát triển của Intelligent Transport Systems.
IV.Kỹ thuật Phát hiện Đặc điểm Xử lý Thị giác
Nghiên cứu này phát triển các kỹ thuật tiên tiến để phát hiện đặc điểm và xử lý thị giác, nền tảng cho việc xây dựng nhận thức môi trường cho Intelligent Transport Systems và Robotics. Các phương pháp tập trung vào việc trích xuất thông tin hình học từ hình ảnh, đặc biệt là các đoạn thẳng và mặt phẳng công trình. Mục tiêu là tạo ra một quy trình mạnh mẽ, có thể xử lý các điều kiện hình ảnh đa dạng và cung cấp dữ liệu chính xác cho các ứng dụng tiếp theo như 3D Reconstruction và Object Detection. Tầm nhìn Máy tính (Computer Vision) đóng vai trò trung tâm, cung cấp các công cụ và thuật toán để phân tích hình ảnh một cách hiệu quả. Việc xác định và xác minh các đặc điểm quan trọng là cần thiết để xây dựng một mô hình môi trường đáng tin cậy, từ đó hỗ trợ Autonomous Vehicles và các hệ thống robot hoạt động tự chủ hơn. Các kỹ thuật này góp phần trực tiếp vào Environmental Perception toàn diện.
4.1. Phát hiện Đoạn thẳng và Xử lý Hàng Cột
Phát hiện đoạn thẳng là một bước khởi đầu quan trọng trong quá trình xử lý thị giác. Các đoạn thẳng được trích xuất từ hình ảnh bằng các thuật toán như phát hiện cạnh, sau đó được xấp xỉ thành các mô hình đoạn thẳng (MLS - Model of Line Segment). Để cải thiện độ chính xác và độ mạnh mẽ, các đoạn thẳng được phân loại thành đoạn thẳng đứng (Vertical Line Segment Processing) và đoạn thẳng ngang (Horizontal Line Segment Processing). Việc xử lý riêng biệt này cho phép áp dụng các ràng buộc hình học cụ thể cho từng loại, ví dụ, các đường thẳng đứng thường song song với trục Z trong môi trường 3D. Điều này giúp hệ thống xác định hướng và cấu trúc của các mặt phẳng công trình một cách hiệu quả hơn. Các đoạn thẳng đứng và ngang đóng vai trò quan trọng trong việc xác định Điểm Tụ chính (Dominant Vanishing Points), từ đó hỗ trợ ước tính phối cảnh và hình học 3D của cảnh. Quá trình này là nền tảng cho Object Detection và 3D Reconstruction của công trình trong các ứng dụng Intelligent Transport Systems và Robotics.
4.2. Xác minh Đoạn thẳng và Mật độ Phân bố
Sau khi phát hiện các đoạn thẳng, quá trình xác minh là cần thiết để loại bỏ các đoạn thẳng không đáng tin cậy hoặc nhiễu. Việc này đảm bảo rằng chỉ các đặc điểm hình học có ý nghĩa mới được sử dụng trong các bước tiếp theo. Các phương pháp xác minh bao gồm kiểm tra mật độ phân bố (Density of Distribution) của các điểm ảnh tạo nên đoạn thẳng. Một đoạn thẳng đáng tin cậy thường có mật độ điểm ảnh cao dọc theo chiều dài của nó. Ngoài ra, sự cùng tồn tại của các đoạn thẳng (Co-existing of Line Segments) cũng được sử dụng làm tiêu chí xác minh. Các đoạn thẳng thuộc cùng một đối tượng hoặc mặt phẳng thường có mối quan hệ hình học nhất định với nhau. Ví dụ, các đoạn thẳng song song hoặc vuông góc sẽ được ưu tiên. Quá trình xác minh này giúp tăng cường độ mạnh mẽ của hệ thống Tầm nhìn Máy tính (Computer Vision), giảm thiểu sai số trong Object Detection và 3D Reconstruction. Điều này đặc biệt quan trọng để xây dựng Environmental Perception chính xác cho Autonomous Vehicles và Robotics, đảm bảo dữ liệu đầu vào cho Trí tuệ Nhân tạo (Artificial Intelligence) là đáng tin cậy.
4.3. Các Giả định Thực nghiệm và Định nghĩa Mặt phẳng
Để phát hiện mặt phẳng công trình một cách hiệu quả, nghiên cứu này dựa trên các giả định thực nghiệm và định nghĩa rõ ràng về mặt phẳng. Các giả định này thường bao gồm tính chất hình học cơ bản của các tòa nhà trong môi trường đô thị, ví dụ, nhiều mặt phẳng công trình có xu hướng là hình chữ nhật hoặc có các cạnh song song/vuông góc. Những giả định này giúp thu hẹp không gian tìm kiếm và cải thiện độ chính xác của các thuật toán. Định nghĩa về "mặt phẳng công trình" được xây dựng dựa trên sự kết hợp của các đoạn thẳng được xác minh, các vùng màu sắc đồng nhất (Wall Color Histogram) và các đặc điểm cục bộ. Quá trình phát hiện thô (Rough Detection) ban đầu xác định các ứng cử viên mặt phẳng, sau đó độ chính xác của các ranh giới mặt phẳng được tinh chỉnh. Kỹ thuật này sử dụng thông tin từ các đặc điểm cục bộ và hình dạng chữ nhật để xác minh tính hợp lệ của mặt phẳng. Sự kết hợp giữa các giả định hình học và phân tích đặc điểm hình ảnh là rất quan trọng để đạt được Object Detection chính xác và Environmental Perception toàn diện cho Intelligent Transport Systems và Robotics.
V.Ứng dụng AI Sensor Fusion trong Giao thông Thông minh
Trí tuệ Nhân tạo (Artificial Intelligence - AI) và Sensor Fusion là những công nghệ cốt lõi, thúc đẩy sự phát triển của Intelligent Transport Systems (ITS) hiện đại. AI cung cấp khả năng học hỏi, suy luận và ra quyết định, cho phép các hệ thống xử lý dữ liệu phức tạp từ môi trường giao thông. Trong khi đó, Sensor Fusion tích hợp dữ liệu từ nhiều loại cảm biến khác nhau, chẳng hạn như camera, radar và LiDAR, để tạo ra một cái nhìn toàn diện và đáng tin cậy hơn về môi trường. Sự kết hợp này giúp vượt qua những hạn chế của từng cảm biến riêng lẻ, cải thiện đáng kể độ chính xác của Environmental Perception và Object Detection. Các ứng dụng bao gồm từ việc quản lý luồng giao thông hiệu quả đến việc phát triển các phương tiện tự hành (Autonomous Vehicles) hoàn toàn. Mục tiêu là xây dựng các hệ thống giao thông an toàn hơn, hiệu quả hơn và thông minh hơn, có khả năng phản ứng linh hoạt với các tình huống thay đổi. Công nghệ Deep Learning, một nhánh của AI, đang đóng góp đáng kể vào việc xử lý dữ liệu cảm biến và nhận dạng mẫu phức tạp.
5.1. Tối ưu hóa Nhận dạng bằng Học sâu và AI
Học sâu (Deep Learning), một lĩnh vực con của Trí tuệ Nhân tạo (Artificial Intelligence), đã cách mạng hóa khả năng nhận dạng đối tượng (Object Detection) và phân tích cảnh trong Intelligent Transport Systems. Các mô hình mạng nơ-ron sâu có khả năng học các đặc điểm phức tạp từ một lượng lớn dữ liệu hình ảnh, vượt trội hơn các phương pháp Tầm nhìn Máy tính (Computer Vision) truyền thống. Trong nhận dạng công trình, Deep Learning có thể được sử dụng để tự động trích xuất các đặc điểm kiến trúc, phân loại các loại tòa nhà và phát hiện ranh giới của chúng một cách chính xác. Các mô hình này có thể thích ứng với các điều kiện ánh sáng, thời tiết và góc nhìn khác nhau, cải thiện đáng kể độ mạnh mẽ của hệ thống. Bằng cách đào tạo trên các bộ dữ liệu đa dạng như ZuBuD, UlBuD01 và UlBuD02, các thuật toán AI có thể đạt được hiệu suất nhận dạng cao trong các môi trường thực tế. Việc tối ưu hóa nhận dạng thông qua Deep Learning là rất quan trọng để nâng cao Environmental Perception cho Autonomous Vehicles và Robotics, giúp chúng đưa ra các quyết định thông minh hơn và an toàn hơn.
5.2. Tích hợp Dữ liệu Cảm biến cho Nhận thức Toàn diện
Tích hợp dữ liệu cảm biến (Sensor Fusion) là một kỹ thuật thiết yếu để đạt được nhận thức môi trường toàn diện trong Intelligent Transport Systems và Robotics. Thay vì chỉ dựa vào một loại cảm biến, Sensor Fusion kết hợp thông tin từ nhiều nguồn khác nhau, ví dụ như camera (cung cấp dữ liệu màu sắc và kết cấu), LiDAR (cung cấp dữ liệu chiều sâu 3D chính xác), và radar (phát hiện khoảng cách và vận tốc trong mọi điều kiện thời tiết). Bằng cách kết hợp các ưu điểm và bù đắp các hạn chế của từng cảm biến, hệ thống có thể xây dựng một mô hình môi trường chi tiết và đáng tin cậy hơn. Điều này giúp cải thiện độ chính xác của Object Detection, đặc biệt là nhận dạng công trình, và tăng cường khả năng 3D Reconstruction. Một mô hình nhận thức toàn diện là rất quan trọng cho các Autonomous Vehicles để điều hướng an toàn, tránh chướng ngại vật và lập kế hoạch đường đi tối ưu. Quá trình này cũng nâng cao Environmental Perception, cho phép hệ thống vận hành hiệu quả hơn trong các điều kiện phức tạp của thế giới thực.
5.3. Giám sát Giao thông và Phát hiện Vật thể
Giám sát giao thông (Traffic Monitoring) và phát hiện vật thể (Object Detection) là những ứng dụng trực tiếp của Trí tuệ Nhân tạo (Artificial Intelligence) và Tầm nhìn Máy tính (Computer Vision) trong Intelligent Transport Systems. Các hệ thống này sử dụng camera và các cảm biến khác để theo dõi luồng giao thông, phát hiện các phương tiện, người đi bộ và các đối tượng khác trên đường. Khả năng phát hiện vật thể chính xác là rất quan trọng để quản lý giao thông hiệu quả, cảnh báo va chạm và tối ưu hóa tín hiệu đèn giao thông. Trong bối cảnh công trình kiến trúc, việc nhận dạng các tòa nhà có thể cung cấp ngữ cảnh không gian cho việc giám sát giao thông, giúp hệ thống hiểu rõ hơn về bố cục đường phố và các điểm tắc nghẽn tiềm năng. Các thuật toán Deep Learning đã đạt được những tiến bộ đáng kể trong việc phát hiện vật thể theo thời gian thực, ngay cả trong môi trường đông đúc và phức tạp. Thông tin này rất cần thiết cho việc phát triển Autonomous Vehicles, giúp chúng "nhìn" và phản ứng với môi trường xung quanh một cách an toàn và thông minh.
VI.Đánh giá Hệ thống Nhận dạng Môi trường Thực tế
Đánh giá hệ thống nhận dạng môi trường thực tế là một giai đoạn quan trọng để xác nhận hiệu suất và độ tin cậy của các phương pháp được đề xuất cho Intelligent Transport Systems và Robotics. Quá trình này bao gồm việc thử nghiệm các thuật toán trên các bộ dữ liệu đa dạng và trong các điều kiện môi trường khác nhau. Mục tiêu là định lượng độ chính xác của Object Detection và Building Recognition, cũng như khả năng của hệ thống trong 3D Reconstruction. Các thử nghiệm cần phản ánh các thách thức của thế giới thực, bao gồm sự thay đổi về ánh sáng, phối cảnh, và sự phức tạp của cảnh quan đô thị. Bằng cách đánh giá kỹ lưỡng, nghiên cứu có thể xác định được điểm mạnh và điểm yếu của phương pháp, từ đó cung cấp cơ sở để cải tiến và phát triển tiếp theo. Kết quả đánh giá là minh chứng cho tiềm năng của các hệ thống Tầm nhìn Máy tính (Computer Vision) và Trí tuệ Nhân tạo (Artificial Intelligence) trong việc nâng cao Environmental Perception cho Autonomous Vehicles.
6.1. Thử nghiệm Phát hiện Công trình
Các thử nghiệm phát hiện công trình được tiến hành để đánh giá khả năng của hệ thống trong việc xác định sự hiện diện và vị trí của các tòa nhà trong hình ảnh. Quá trình này bao gồm việc áp dụng các thuật toán phát hiện đoạn thẳng, nhận dạng mặt phẳng công trình và khai thác đặc điểm (ví dụ: Wall Color Histogram, Local Features) lên các bộ dữ liệu hình ảnh. Các thông số như tỷ lệ phát hiện đúng (precision) và tỷ lệ thu hồi (recall) được sử dụng để định lượng hiệu suất. Các điều kiện thử nghiệm khác nhau được xem xét, bao gồm sự đa dạng của kiến trúc, góc nhìn, và điều kiện ánh sáng để đảm bảo tính mạnh mẽ của hệ thống. Dữ liệu thử nghiệm có thể bao gồm các bộ dữ liệu cụ thể như ZuBuD, UlBuD01 và UlBuD02, mỗi bộ dữ liệu đại diện cho một loại môi trường hoặc thách thức khác nhau. Kết quả của các thử nghiệm này cung cấp cái nhìn sâu sắc về hiệu quả của các kỹ thuật Tầm nhìn Máy tính (Computer Vision) trong Object Detection và Environmental Perception cho Intelligent Transport Systems và Robotics.
6.2. Thử nghiệm Nhận dạng Công trình với Bộ Dữ liệu
Thử nghiệm nhận dạng công trình được thực hiện bằng cách sử dụng các bộ dữ liệu thực tế để đánh giá khả năng của hệ thống trong việc xác định từng tòa nhà cụ thể. Các bộ dữ liệu như ZuBuD, UlBuD01 và UlBuD02 được sử dụng làm cơ sở để so sánh kết quả nhận dạng của hệ thống với thông tin thực tế. ZuBuD cung cấp một tập hợp hình ảnh lớn với nhiều góc nhìn khác nhau của các tòa nhà. UlBuD01 và UlBuD02 có thể đại diện cho các môi trường cụ thể hơn, giúp đánh giá khả năng thích ứng của hệ thống. Các tiêu chí đánh giá bao gồm độ chính xác của việc gán nhãn công trình và khả năng phân biệt giữa các tòa nhà tương tự. Điều này đòi hỏi các thuật toán Tầm nhìn Máy tính (Computer Vision) và Trí tuệ Nhân tạo (Artificial Intelligence) có khả năng học các đặc điểm phân biệt và so khớp chúng với cơ sở dữ liệu đã lưu trữ. Thử nghiệm này chứng minh tiềm năng của phương pháp trong các ứng dụng thực tế của Autonomous Vehicles và các giải pháp Robotics yêu cầu Building Recognition chính xác.
6.3. Đánh giá Hiệu suất và So sánh Cơ sở Dữ liệu
Đánh giá hiệu suất toàn diện bao gồm việc phân tích các kết quả thử nghiệm và so sánh chúng với các phương pháp hiện có hoặc các tiêu chuẩn đã biết. Các số liệu như độ chính xác, tốc độ xử lý và khả năng chống nhiễu được xem xét. Nghiên cứu cũng tập trung vào việc so sánh hiệu quả của việc sử dụng các cơ sở dữ liệu có kích thước khác nhau cho quá trình huấn luyện và nhận dạng. Ví dụ, việc sử dụng các cơ sở dữ liệu lớn và đa dạng có thể dẫn đến hiệu suất tốt hơn nhưng cũng yêu cầu tài nguyên tính toán lớn hơn. Phân tích này giúp xác định sự cân bằng tối ưu giữa độ phức tạp của mô hình và hiệu suất đạt được. Việc so sánh này không chỉ định lượng hiệu quả của phương pháp được đề xuất trong lĩnh vực Object Detection và Building Recognition mà còn cung cấp cái nhìn sâu sắc về những cải tiến có thể áp dụng cho Environmental Perception trong Intelligent Transport Systems. Kết quả đóng góp vào việc phát triển các giải pháp Autonomous Vehicles và Robotics đáng tin cậy hơn, dựa trên Tầm nhìn Máy tính (Computer Vision) và Trí tuệ Nhân tạo (Artificial Intelligence).
Mục lục chi tiết luận án
Tải xuống file đầy đủ để xem toàn bộ nội dung
Tải đầy đủ (128 trang)Nội dung chính
Tổng quan về luận án
Nghiên cứu của Hoang-Hon Trinh (2008) tại Đại học Ulsan (Hàn Quốc) dưới sự hướng dẫn của Giáo sư Kang-Hyun Jo mang tựa đề "Geometrical Environment Understanding by Building Recognition for the Intelligent Transportation and Robot Systems" (Hiểu môi trường hình học thông qua nhận dạng tòa nhà cho hệ thống giao thông thông minh và robot - ITRS) đã thiết lập một bước tiến mang tính nền tảng trong lĩnh vực thị giác máy tính ứng dụng cho robot di động tự hành ngoài trời. Trong bối cảnh hạ tầng đô thị phức tạp, tín hiệu định vị toàn cầu (GPS) thường xuyên rơi vào trạng thái mất tín hiệu cục bộ (GPS outage) hoặc bị sai lệch nghiêm trọng do hiện tượng đa đường (multipath effect) gây ra bởi các hẻm vực đô thị (urban canyons), việc định vị và dẫn đường dựa trên cảm biến thị giác đóng vai trò sống còn.
Khoảng trống nghiên cứu (research gap) trọng tâm mà luận án chỉ ra xuất phát từ sự thiếu hụt các mô hình tích hợp phân cấp có khả năng dung hòa giữa việc phát hiện vật thể cấu trúc nhân tạo (manmade objects), định danh đối tượng bất biến dưới sự biến thiên lớn của góc nhìn (viewpoint variations) và khôi phục hình học 3D phục vụ dẫn đường. Các nghiên cứu trước đó của Shao et al. (2003) trên tập dữ liệu ZuBuD hay Rother (2002) hầu hết ngầm định giả định đơn giản hóa rằng mỗi khung hình chỉ chứa duy nhất một tòa nhà với cấu trúc hình hộp chữ nhật trực giao hoàn hảo (Manhattan world assumption). Thực tế vận hành của ITRS trong môi trường đô thị đòi hỏi phải xử lý đồng thời nhiều tòa nhà trong một ảnh, bề mặt cong phi phẳng, sự phản chiếu của kính, và nhiễu quang học từ cây cối, xe cộ và bầu trời.
Luận án đặt ra và giải quyết 3 câu hỏi nghiên cứu cốt lõi:
- RQ1: Làm thế nào để phân loại và tách biệt chính xác các diện tòa nhà (building facets) khỏi nền tự nhiên hỗn tạp trong ảnh đơn và ảnh phức hợp chứa nhiều tòa nhà?
- RQ2: Cơ chế nào cho phép nhận dạng chính xác tòa nhà và cập nhật cơ sở dữ liệu học động (dynamic database updating) nhằm giảm thiểu nhiễu và dung lượng lưu trữ của các bộ mô tả cục bộ (local descriptors)?
- RQ3: Làm thế nào để ước lượng và trích xuất các thành phần cấu trúc chính (principal components) phục vụ tái tạo hình học 3D của môi trường từ các diện tòa nhà đã được chỉnh hình?
Khung lý thuyết của nghiên cứu kết hợp giữa lý thuyết hình học xạ ảnh đa góc nhìn (Multiple View Geometry), lý thuyết ước lượng biên vững (Robust Estimation Theory) và nguyên lý bất biến hình học xạ ảnh (Projective Invariants). Đóng góp đột phá của luận án được lượng hóa thông qua việc loại bỏ đến 75% đoạn thẳng nhiễu từ môi trường tự nhiên, giảm 60-80% kích thước cơ sở dữ liệu thông qua cơ chế nén SVD, và nâng tỷ lệ nhận dạng chính xác lên mức tuyệt đối trên các tập dữ liệu chuẩn mực quốc tế như ZuBuD (201 tòa nhà, 1005 ảnh huấn luyện, 115 ảnh thử nghiệm) và hai tập dữ liệu tự xây dựng UlBuD01 (680 ảnh tòa nhà, 200 ảnh phi tòa nhà) và UlBuD02 (1050 ảnh tòa nhà thuộc 50 công trình phức tạp tại Ulsan).
Literature Review và Positioning
Phân tích tổng quan y văn cho thấy các nghiên cứu về hiểu môi trường đô thị cho robot di động và xe tự hành trước năm 2008 được chia thành ba nhánh tiếp cận chính:
TIẾP CẬN Y VĂN TRƯỚC NĂM 2008
│
┌──────────────────────────────┼──────────────────────────────┐
│ │ │
▼ ▼ ▼
DỰA TRÊN HÌNH HỌC DỰA TRÊN DIỆN MẠO DỰA TRÊN ĐẶC TRƯNG CỤC BỘ
(Geometry-based) (Appearance-based) (Local Feature-based)
───────────────── ────────────────── ─────────────────────────
• Garcin et al. (2001) • Ulrich & Nourbakhsh (2000) • Lowe (1999, 2004) - SIFT
• Iqbal & Aggarwal (2002) • Robertson & Cipolla (2004) • Mikolajczyk & Schmid (2005)
• Rother (2002) • Lập biểu đồ histogram • RANSAC / Hough Transform
• Hạn chế: Dễ nhầm giữa các • Hạn chế: Nhạy cảm với che • Hạn chế: Cơ sở dữ liệu phình
tòa nhà cùng kết cấu khuất, đổi góc nhìn, nắng to, tích tụ điểm khớp sai
Nhánh thứ nhất tập trung vào phương pháp dựa trên hình học (geometry-based methods). Garcin et al. (2001) sử dụng quá trình điểm Markov (Markov object process) để phát hiện mái nhà từ ảnh hàng không. Iqbal & Aggarwal (2002) áp dụng mật độ phân bố của các nút giao cấu trúc (L-junctions, U-junctions) và các nhóm đoạn thẳng song song để phân biệt ảnh tòa nhà với ảnh phong cảnh tự nhiên. Tuy nhiên, các kỹ thuật này chỉ dừng lại ở bài toán phân loại nhị phân (classification) mà bất lực trong việc định danh (identification) giữa các tòa nhà khác nhau có cùng đặc điểm hình học cấu thành (cửa sổ, tường, cột).
Nhánh thứ hai dựa trên diện mạo tổng thể (appearance-based methods). Ulrich & Nourbakhsh (2000) hay Robertson & Cipolla (2004) biểu diễn hình ảnh thông qua biểu đồ màu (color histogram) hoặc kết cấu tổng thể. Nhược điểm chí mạng của trường phái này là tính nhạy cảm cực cao trước sự thay đổi điều kiện chiếu sáng, bóng đổ của mặt trời và hiện tượng che khuất cục bộ (occlusion).
Nhánh thứ ba khai thác các điểm đặc trưng cục bộ bất biến (local feature-based methods), nổi bật là thuật toán Scale Invariant Feature Transform (SIFT) của Lowe (1999, 2004). Mặc dù SIFT đem lại khả năng thích ứng vượt trội trước các phép biến đổi tỷ lệ, xoay và thay đổi góc nhìn affine, việc lưu trữ trực tiếp hàng nghìn vector đặc trưng 128 chiều cho mỗi tư thế quan sát khiến cơ sở dữ liệu phình to nhanh chóng, gia tăng thời gian khớp mẫu (matching time) và tích lũy điểm khớp sai (mismatches).
Cuộc tranh luận học thuật sâu sắc tồn tại giữa hai quan điểm đối nghịch: Một bên ủng hộ mô hình giả định khối hộp trực giao toàn cục 3 hướng triệt tiêu (Manhattan assumption) của Rother (2002) và Werner & Zisserman (2002) nhằm đơn giản hóa việc ước lượng điểm triệt tiêu (vanishing points); bên kia chỉ ra rằng môi trường đô thị thực tế thường xuyên phá vỡ tính trực giao hoàn hảo do địa hình, góc chụp xiên và sự hiện diện đồng thời của nhiều cấu trúc kiến trúc phi tuyến.
Nghiên cứu của Hoang-Hon Trinh đã định vị chính xác khoảng trống học thuật này bằng cách thiết lập khung tích hợp phân cấp: kết hợp phân loại diện mạo thô (Wall Color Histogram) để thu hẹp tập ứng viên, sau đó sử dụng hình học xạ ảnh chỉnh hình diện tòa nhà về dạng chữ nhật phẳng trước khi trích xuất SIFT, và cuối cùng áp dụng tỷ số kép (cross-ratio) để thẩm tra điểm tương ứng. Vị thế của nghiên cứu được kiểm chứng vượt trội khi đặt cạnh hai công trình quốc tế tiêu biểu: vượt qua mô hình nhận dạng của Shao et al. (2003) trên tập ZuBuD về độ chính xác và khả năng xử lý đa vật thể, đồng thời khắc phục triệt để sự phụ thuộc vào hệ thống đa camera tốn kém của Cornelis et al. (2008) bằng cách chỉ sử dụng camera đơn (monocular vision).
Đóng góp lý thuyết và khung phân tích
Đóng góp cho lý thuyết
Luận án mở rộng và định hình lại các lý thuyết hình học thị giác máy tính kinh điển:
- Mở rộng lý thuyết ước lượng điểm triệt tiêu (Vanishing Point Estimation Theory): Bổ cứu cho mô hình RANSAC chuẩn của Fischler & Bolles (1981) và MSAC của Torr & Zisserman (2000). Luận án phát hiện rằng việc sử dụng khoảng cách Euclid trực giao thông thường từ điểm triệt tiêu đến đường thẳng sẽ gây sai số tích lũy nghiêm trọng khi điểm triệt tiêu nằm ở vô cực hoặc quá xa khung hình. Tác giả đề xuất hàm mất mát dựa trên góc tạo bởi đoạn thẳng và tia nối trung điểm đoạn thẳng tới điểm triệt tiêu, giải quyết triệt để sự mất ổn định số học trong phép chiếu phối cảnh.
- Thiết lập mô hình đoạn thẳng Model of Line Segment (MLS): Mở rộng lý thuyết trích xuất biên cấu trúc bằng cách mô hình hóa tương quan không gian màu RGB cục bộ của hai vùng lân cận song song ($\Omega_1, \Omega_2$). MLS đóng vai trò như một bộ lọc tiên nghiệm hình học - quang phổ, loại bỏ nhiễu tự nhiên dựa trên sự biến thiên cường độ $(\Delta I)$ và phương sai màu tối thiểu $(\sigma_m)$.
- Phát triển nguyên lý bất biến tỷ số kép trong không gian chiếu (Cross-Ratio Invariance): Thay vì dựa vào ma trận Homography thông qua Canonical RANSAC (vốn dễ rơi vào nghiệm cục bộ khi bề mặt có các mẫu hoa văn lặp lại như cửa sổ), luận án ứng dụng tính chất bảo toàn tỷ số kép của chùm 4 đường thẳng đồng quy và 4 điểm thẳng hàng để thiết lập cơ chế xác minh tương ứng hình ảnh tuyệt đối chính xác.
MÔ HÌNH KHÁC BIỆT CỦA CÁC ĐOẠN THẲNG LÂN CẬN (MLS)
┌───────────────────────────────┐ ▲
│ Vùng lân cận Ω1 │ │ dmax = 4 px
└───────────────────────────────┘ ▼ dmin = 3 px
═════════════════════════════════ ◄ Đoạn thẳng biên (Segment)
┌───────────────────────────────┐ ▲ dmin = 3 px
│ Vùng lân cận Ω2 │ │
└───────────────────────────────┘ ▼ dmax = 4 px
ΔI = (1/3) * Σ |I_c^(Ω1) - I_c^(Ω2)| và σm = min(σ_R, σ_G, σ_B)
Khung phân tích độc đáo
Khung phân tích của luận án tích hợp nhuần nhuyễn 3 trụ cột lý thuyết: (1) Lý thuyết hình học xạ ảnh 2D-3D đa góc nhìn của Hartley & Zisserman (2000); (2) Lý thuyết thống kê ước lượng tham số vững MSAC; và (3) Lý thuyết không gian đặc trưng cục bộ SIFT kết hợp phân rã giá trị suy biến (Singular Value Decomposition - SVD).
graph TD
A[Ảnh đầu vào monocular] --> B[Canny Edge & Lọc độ dài T1, T2]
B --> C[Mô hình MLS: Lọc nhiễu tự nhiên bằng ΔI và σm]
C --> D[Ước lượng DVP bằng MSAC: 1 Đứng, Tối đa 5 Ngang]
D --> E[Xác minh phân bố mật độ & Đồng tồn tại song song/nối tiếp]
E --> F[Nhận diện diện tòa nhà Facet: Tứ giác lồi]
F --> G[Tách vùng tường & Trích xuất Wall Color Histogram - WCH]
F --> H[Chỉnh hình Facet về dạng chữ nhật & Trích xuất SIFT]
G --> I[Khớp thô: Lọc tập ứng viên Sub-candidates bằng WCH + Area]
H --> J[Khớp tinh: Xác minh điểm tương ứng bằng Tỷ số kép Cross-Ratio]
I --> J
J --> K[Cập nhật Database động qua phân rã SVD]
K --> L[Tái tạo 3D & Ước lượng thông số Principal Components]
Cách tiếp cận mới này thiết lập các điều kiện biên (boundary conditions) chặt chẽ:
- Độ phân giải hình ảnh chuẩn hóa: $640 \times 480$ hoặc $480 \times 640$ pixel.
- Ngưỡng độ dài đoạn thẳng tối thiểu: $L \geq T_1 = 10\text{ pixel}$; độ lệch cực đại $D \leq T_2 = \sqrt{2}\text{ pixel}$.
- Khoảng cách trích mẫu lân cận: $d_{\min} = 3\text{ pixel}, d_{\max} = 4\text{ pixel}$.
- Không gian tìm kiếm điểm triệt tiêu ngang: mở rộng tối đa 5 DVP độc lập thay vì 2 nhằm bao quát hoàn toàn các mặt cắt kiến trúc phi trực giao trong cùng một cảnh quay đô thị.
Phương pháp nghiên cứu tiên tiến
Thiết kế nghiên cứu
Nghiên cứu theo đuổi trường phái nhận thức luận thực chứng (positivism) kết hợp mô hình kiểm định thực nghiệm định lượng cao độ (rigorous quantitative experimental design). Thiết kế nghiên cứu mang tính đa tầng (multi-level hierarchical architecture) được cấu trúc thành 3 module vận hành tuần tự nhưng tương hỗ:
TẦNG 1: LANDMARK DETECTION
│ Phân loại đối tượng nhân tạo/tự nhiên; Tách biên diện tòa nhà (Facets)
▼
TẦNG 2: BUILDING RECOGNITION & TOPOLOGICAL LOCALIZATION
│ Khớp mẫu 2 pha (WCH thô -> SIFT tinh); Xác minh tỷ số kép; Cập nhật mẫu chung qua SVD
▼
TẦNG 3: GEOMETRICAL 3D RECONSTRUCTION
Phát hiện Principal Components (cửa sổ, cửa đi); Ước lượng kích thước thực và hướng mặt phẳng
Quy trình nghiên cứu rigorous
Quy trình thu thập và xử lý dữ liệu được thiết kế với độ chuẩn xác toán học nghiêm ngặt:
1. Quy trình xử lý đoạn thẳng đứng và ngang
- Đoạn thẳng đứng được định nghĩa là các đoạn tạo góc nhọn $\leq 20^\circ$ so với trục $y$. Các đoạn bị đứt gãy do toán tử rời rạc của Canny được nối ghép bằng hồi quy bình phương bé nhất trực giao (orthogonal least squares regression).
- Hai đường thẳng đứng được coi là trùng lặp nếu khoảng cách giữa các giao điểm của chúng với biên ngang ảnh $< 1\text{ pixel}$.
- Ước lượng DVP bằng thuật toán MSAC lặp lại có trọng số (Iteratively Reweighted Least Squares) với số vòng lặp tối đa là 10, tham số ngắt $\tau = 1$. Trọng số của từng đoạn thẳng $k$ tuân theo phân phối chuẩn:
$$w_k = \frac{1}{\sigma \sqrt{2\pi}} \exp\left(-\frac{e_k^2}{2\sigma^2}\right)$$
2. Thẩm tra sự đồng tồn tại của đoạn thẳng (Co-existing Verification)
Đoạn thẳng được kiểm tra thông qua hai tiêu chí hình học:
- Đồng tồn tại song song (Paralleled co-existence): Hai đoạn thẳng $A$ và $B$ thỏa mãn sai số tỷ lệ:
$$\Delta L = \frac{IM}{E_1E_2} \leq \Delta L_0$$
- Đồng tồn tại nối tiếp (Succeeded co-existence): Khoảng cách từ các điểm mút của đoạn này đến tia nối trung điểm đoạn kia tới DVP đứng phải nhỏ hơn $\sqrt{2}\text{ pixel}$.
ĐỒNG TỒN TẠI SONG SONG ĐỒNG TỒN TẠI NỐI TIẾP
Segment A Segment A
┌───────────────┐ ┌───────────────┐
│ M │ │ M │
└───────┬───────┘ └───────┬───────┘
│ │ Khoảng cách ≤ √2 px
│ (Tia nối tới DVP) ▼
│ ┌───────────────┐
┌───────┴───────┐ │ Segment C │
│ I │ └───────────────┘
└───────────────┘
Segment B
3. Tiêu chuẩn nhận diện diện tòa nhà (Building Facet Detection)
Một đường thẳng đứng $i$ được công nhận là đường ứng viên (candidate line) khi số giao điểm của nó với các nhóm đoạn thẳng ngang vượt qua các ngưỡng $N_1, N_2$ và chiều cao ước lượng $h_i \geq h_0 = 40\text{ pixel}$:
| Thứ tự nhóm DVP ngang | Ngưỡng $N_1$ | Ngưỡng $N_2$ ($h_i \geq h_0$) |
|---|---|---|
| Nhóm 1 ($H_1$), Nhóm 2 ($H_2$) | 3 | 2 |
| Nhóm 3 ($H_3$) | 4 | 3 |
| Nhóm 4 ($H_4$), Nhóm 5 ($H_5$) | 5 | 4 |
Diện tòa nhà hoàn chỉnh được xác định là một cụm các đường ứng viên liên tục có bề rộng $d_1 \geq d_0 = 30\text{ pixel}$ và diện tích tứ giác lồi bao quanh $A \geq A_0 = 10.000\text{ pixel}^2$.
Data và phân tích
Nghiên cứu kiểm chứng mô hình trên hệ thống dữ liệu thực nghiệm đồ sộ với 3 tập dữ liệu độc lập:
TỔNG HỢP CÁC TẬP DỮ LIỆU THỰC NGHIỆM
│
┌───────────────────────────────────┼───────────────────────────────────┐
│ │ │
▼ ▼ ▼
ZuBuD UlBuD01 UlBuD02
──────────────── ──────────────── ────────────────
• 201 tòa nhà tại Zurich • 100 tòa nhà tại Ulsan • 50 tòa nhà phức tạp
• 1005 ảnh huấn luyện (5 ảnh/nhà) • 500 ảnh huấn luyện (5 ảnh/nhà) • 1050 ảnh (21 ảnh/tòa nhà)
• 115 ảnh thử nghiệm • 80 ảnh thử nghiệm góc nhìn rộng • Phục vụ kiểm thử cập nhật
• Chuẩn hóa: 640x480 pixel • 100 ảnh nhiễu sáng/kính phản chiếu SVD và nén bộ nhớ
• 200 ảnh phi tòa nhà
- Bộ công cụ và môi trường phân tích: Toàn bộ thuật toán được phát triển và tối ưu hóa bằng C/C++ tích hợp các thư viện đại số tuyến tính chuyên sâu; ma trận chuyển đổi và giải tích suy biến SVD được tính toán theo thời gian thực phục vụ chu trình khép kín của robot.
- Phân tích Robustness: Các kiểm tra tính vững được thực hiện xuyên suốt các điều kiện thời tiết (nắng gắt, u ám), các mùa trong năm, các góc xoay camera từ $0^\circ$ đến $90^\circ$ và tỷ lệ co giãn kích thước lên tới hơn $200%$.
Phát hiện đột phá và implications
Những phát hiện then chốt
- Hiệu năng vượt trội của bộ lọc Model of Line Segment (MLS): Khi thiết lập thực nghiệm với $\Delta I_0 = 20$ và $\sigma_0 = 20$, mô hình MLS đã loại bỏ thành công 75% số lượng đoạn thẳng nhiễu trong các ảnh phong cảnh thiên nhiên thuần túy (cây cối, bầu trời, đồi núi) và 50% đoạn thẳng gây nhiễu trong các ảnh nhân tạo hỗn tạp (hàng rào, vạch kẻ đường, bậc đá). Tỷ lệ loại bỏ nhầm đoạn thẳng thuộc về cấu trúc tòa nhà thực tế chỉ ở mức 8,7%, đảm bảo giữ trọn vẹn khung hình học cốt lõi.
- Khả năng phân tách đa diện tòa nhà phi trực giao: Việc mở rộng không gian tìm kiếm lên đến 5 DVP ngang cho phép hệ thống phân rã chính xác các khung cảnh phức tạp chứa từ 2 đến 4 tòa nhà đan xen trong cùng một khung hình—điều mà các thuật toán dựa trên Manhattan frame truyền thống hoàn toàn thất bại.
- Sự ưu việt của xác minh Tỷ số kép (Cross-Ratio) so với Canonical RANSAC và Biến đổi Hough: Trong các cấu trúc kiến trúc có tính chu kỳ lặp cao (hàng trăm ô cửa sổ giống hệt nhau), Canonical RANSAC thường xuyên bị hội tụ sai lệch vào các ma trận Homography cục bộ do tỷ lệ nội suy giả tạo (inliers) cao nhưng sai vị trí hình học toàn cục. Tương tự, biến đổi Hough 4D tích lũy sai số lớn do sự lượng tử hóa không gian tham số (bin quantization). Phương pháp xác minh tỷ số kép của 4 đường đồng quy đạt độ chính xác tương ứng điểm đạt 100% mà không bị đánh lừa bởi các hoa văn lặp lại.
- Cơ chế nén và cập nhật dữ liệu tự động bằng SVD: Khi ITRS di chuyển và thu nhận liên tiếp các ảnh của cùng một diện tòa nhà dưới các góc nhìn khác nhau, thuật toán cập nhật tham số $\gamma$ thông qua SVD đã triệt tiêu các vector đặc trưng biến thiên bất thường do phản chiếu ánh sáng, đồng thời hội tụ các vector đặc trưng bền vững về một mô hình diện chung (common model). Dung lượng cơ sở dữ liệu cho mỗi tòa nhà giảm từ 60% đến 80% so với việc lưu trữ toàn bộ các điểm SIFT thô của từng góc nhìn, trong khi tốc độ truy vấn tăng gấp 3,5 lần.
SO SÁNH HIỆU QUẢ CÁC PHƯƠNG PHÁP XÁC MINH ĐIỂM KHỚP (CORRESPONDENCE VERIFICATION)
100% ┌─────────────────────────────────────────────────────────────┐ Tỷ số kép (Cross-Ratio)
│ │ • Không phụ thuộc số điểm lặp
80% │ ┌────────────────────────────┘ • Miễn nhiễm lượng tử hóa
│ │
60% │ ┌─────────────────────────────┘ Canonical RANSAC
│ │ • Dễ sập bẫy hoa văn lặp lại (cửa sổ)
40% │ │ ┌─────────────────────────── Biến đổi Hough 4D
│ │ │ • Sai số lượng tử hóa bin lớn
0% └──┴──┴────────────────────────────────────────────────────────
Implications đa chiều
Đóng góp học thuật (Theoretical Advances)
Nghiên cứu chứng minh rằng việc kết hợp chặt chẽ giữa hình học xạ ảnh cấp thấp (low-level projective geometry) với các đặc trưng cục bộ bất biến cấp cao (high-level local descriptors) tạo ra một cơ chế bù trừ hoàn hảo: hình học cung cấp cấu trúc ràng buộc không gian toàn cục, trong khi đặc trưng cục bộ đảm bảo tính bất biến trước các biến dạng quang học cục bộ.
Đổi mới phương pháp luận (Methodological Innovations)
Quy trình nắn chỉnh diện tứ giác lồi về dạng chữ nhật trực chuẩn trước khi trích xuất SIFT đã vô hiệu hóa triệt để biến dạng phối cảnh (perspective distortion), mở ra hướng đi mới cho bài toán trích xuất đặc trưng trên các bề mặt nghiêng góc lớn (wide-baseline matching).
Ứng dụng thực tiễn cho ITRS (Practical Applications)
Thuật toán cho phép các robot phục vụ giao thông thông minh, robot tuần tra đô thị và xe tự hành có thể tự định vị vị trí tô-pô (topological localization) và lập bản đồ dẫn đường chính xác trong môi trường thành phố mà không phụ thuộc vào cảm biến tầm xa đắt tiền như LIDAR hay sóng vệ tinh GPS.
Khuyến nghị chính sách và hạ tầng (Policy Recommendations)
Cung cấp cơ sở khoa học để các nhà quy hoạch đô thị và cơ quan giao thông xây dựng hệ thống cơ sở dữ liệu số hóa các mốc kiến trúc đô thị (digital landmark maps), tạo nền tảng cho việc triển khai xe tự hành cấp độ cao (SAE Level 4/5) tại các siêu đô thị.
Limitations và Future Research
Mặc dù đạt được những kết quả đột phá, luận án thẳng thắn thừa nhận 4 giới hạn nghiên cứu mang tính bản chất:
- Sự phụ thuộc vào cấu trúc nhân tạo có gờ chỉ sắc nét: Thuật toán phát hiện diện tòa nhà phụ thuộc cốt lõi vào sự tồn tại của các đoạn thẳng biên. Đối với các công trình kiến trúc hiện đại có bề mặt cong trơn hoàn toàn (smooth non-planar surfaces) hoặc các tòa nhà bọc kính toàn phần không có khung chia ô, số lượng đoạn thẳng trích xuất bị suy giảm nghiêm trọng, dẫn đến việc bỏ sót diện tòa nhà.
- Hiện tượng phản chiếu gương phức tạp: Bề mặt kính phản chiếu hình ảnh của các tòa nhà đối diện hoặc bầu trời thay đổi theo góc di chuyển của robot, tạo ra các đoạn thẳng "ảo" không hội tụ về điểm triệt tiêu thực của công trình.
- Điều kiện chiếu sáng ban đêm cực đoan: Hệ thống được thiết kế và kiểm nghiệm tối ưu dưới điều kiện ánh sáng ban ngày. Khi vận hành ban đêm dưới ánh đèn đường cục bộ có độ tương phản quá cao hoặc quá mờ nhạt, thuật toán trích xuất biên Canny và mô hình màu WCH bị suy giảm độ tin cậy.
- Tài nguyên tính toán của hệ thống nhúng năm 2008: Dù đã tối ưu hóa, chu trình tính toán đa tầng từ MSAC đến lọc SVD đòi hỏi cấu hình xử lý tương đối mạnh tại thời điểm năm 2008, tạo ra độ trễ nhất định khi robot di chuyển ở vận tốc cao.
Chương trình nghiên cứu tương lai (Future Research Agenda)
- Tích hợp kỹ thuật học sâu (Deep Learning) và mạng nơ-ron tích chập (CNN) để phân đoạn ngữ nghĩa (semantic segmentation) các bề mặt cong phi tuyến và phân tách kính phản chiếu.
- Mở rộng thuật toán cho camera chuyển động liên tục (visual odometry / visual SLAM) kết hợp bộ lọc Kalman mở rộng (EKF) để định vị mượt mà theo thời gian thực.
- Xây dựng mô hình dung hợp cảm biến (sensor fusion) kết hợp camera ảnh nhiệt hồng ngoại (thermal imaging) nhằm khắc phục bài toán nhận dạng trong điều kiện ban đêm và thời tiết sương mù dày đặc.
Tác động và ảnh hưởng
- Tác động học thuật sâu rộng: Luận án đã đặt nền móng cho hàng loạt nghiên cứu tiếp nối tại Hàn Quốc và quốc tế trong giai đoạn 2009–2020 về lĩnh vực thị giác robot ngoài trời. Phương pháp chuẩn hóa diện tòa nhà và lọc tương ứng bằng tỷ số kép trở thành tài liệu tham khảo chuẩn mực trong các giáo trình thị giác máy tính nâng cao.
- Chuyển đổi công nghệ công nghiệp: Các thuật toán đề xuất trong luận án đã được chuyển giao và thử nghiệm trực tiếp trong khuôn khổ dự án Quốc gia Hàn Quốc (NARC và Post BK21) tại Thành phố Đô thị Ulsan, đóng góp trực tiếp vào các nguyên mẫu robot dẫn đường và hệ thống cảnh báo giao thông thông minh ITRS.
- Lợi ích xã hội và kinh tế: Giảm thiểu chi phí chế tạo robot tự hành nhờ thay thế các hệ thống cảm biến quét laser 3D (LADAR/LIDAR) đắt đỏ thời kỳ đó bằng hệ thống camera thị giác đơn sắc/màu giá thành thấp, đẩy nhanh tiến trình thương mại hóa robot dịch vụ đô thị.
Đối tượng hưởng lợi
ĐỐI TƯỢNG HƯỞNG LỢI
│
┌──────────────────┬──────────────────┼──────────────────┬──────────────────┐
│ │ │ │ │
▼ ▼ ▼ ▼ ▼
Nghiên cứu sinh Giáo sư & Chuyên Kỹ sư R&D Xe tự Nhà quy hoạch Cơ quan quản lý
Tiến sĩ (PhD) gia Học thuật hành/Robot Đô thị thông minh Giao thông
──────────────── ──────────────── ──────────────── ──────────────── ────────────────
• Tiếp cận khung • Kế thừa phương • Ứng dụng thuật • Quy chuẩn hóa • Ứng dụng bản đồ
toán học chuẩn pháp MSAC cải toán nén SVD thiết kế mốc mốc thị giác
về hình học xạ tiến & xác minh vào hệ thống nhúng kiến trúc nhận hỗ trợ phân luồng
ảnh đa góc nhìn tỷ số kép định vị thời gian dạng cho xe tự và cứu hộ đô thị
thực hành
- Nghiên cứu sinh và học giả chuyên sâu: Nắm bắt được phương pháp luận kết hợp chặt chẽ giữa hình học giải tích xạ ảnh và trí tuệ nhân tạo nhận dạng mẫu; sở hữu bộ dữ liệu thực nghiệm mẫu UlBuD01 và UlBuD02 với các điều kiện thử thách cao.
- Đội ngũ R&D công nghiệp xe tự hành và robotics: Sở hữu giải pháp nén cơ sở dữ liệu địa mạo đô thị giảm từ 60-80% dung lượng bộ nhớ, giải quyết bài toán nghẽn băng thông lưu trữ trên các thiết bị nhúng tự hành.
- Cơ quan quản lý và quy hoạch đô thị: Có cơ sở khoa học để xây dựng cơ sở hạ tầng thị giác số (Visual Digital Infrastructure), hỗ trợ các phương tiện giao thông tự hành định vị an toàn ngay cả khi tê liệt hạ tầng viễn thông/GPS.
Câu hỏi chuyên sâu
1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?
Đóng góp lý thuyết độc đáo nhất là việc tích hợp nguyên lý bảo toàn Tỷ số kép (Cross-Ratio) trong không gian chiếu phối cảnh 2D để giải quyết bài toán thẩm định điểm tương ứng (correspondence verification) của các bộ mô tả cục bộ trên các bề mặt kiến trúc lặp. Công trình đã mở rộng trực tiếp Lý thuyết hình học xạ ảnh đa góc nhìn (Multiple View Geometry) của Hartley & Zisserman (2000), chứng minh rằng tỷ số kép của 4 đường đồng quy xuất phát từ chùm tia điểm triệt tiêu là một bất biến xạ ảnh tuyệt đối, không bị suy thoái bởi sự biến dạng góc nhìn hay sự trùng lặp tuần hoàn của các cấu trúc nhân tạo.
2. Sự đổi mới trong phương pháp luận thể hiện như thế nào khi so sánh với ít nhất 2 nghiên cứu quốc tế tiền nhiệm?
So với nghiên cứu của Shao et al. (2003) (sử dụng đối sánh SIFT trực tiếp trên toàn bộ khung ảnh của tập ZuBuD) và Rother (2002) (dựa trên cấu trúc trực giao 3 hướng cố định của mô hình hộp Manhattan), phương pháp luận của Trinh (2008) tạo ra hai đột phá mang tính cấu trúc:
- Thứ nhất, phân rã ảnh thành các diện tứ giác lồi độc lập và nắn chỉnh hình học về dạng chữ nhật phẳng trước khi trích xuất đặc trưng, loại bỏ hoàn toàn biến dạng affine góc nhìn lớn mà thuật toán của Shao et al. không xử lý được.
- Thứ hai, mở rộng không gian tìm kiếm lên đến 5 điểm triệt tiêu ngang độc lập, phá vỡ giới hạn trực giao cứng nhắc của Rother, cho phép nhận dạng đồng thời nhiều tòa nhà bất đối xứng trong cùng một khung cảnh đô thị phức tạp.
3. Phát hiện nào trong dữ liệu thực nghiệm mang tính bất ngờ nhất và lời giải thích lý thuyết là gì?
Phát hiện bất ngờ nhất là việc Canonical RANSAC đạt tỷ lệ lỗi cao hơn hẳn so với thuật toán đề xuất khi đối sánh các tòa nhà có nhiều tầng và nhiều cửa sổ đồng dạng, mặc dù số lượng điểm khớp (inliers) tìm được rất lớn.
Giải thích lý thuyết: RANSAC thuần túy dựa trên số lượng điểm đồng thuận để tối ưu ma trận Homography. Khi một tòa nhà có hàng trăm cửa sổ giống hệt nhau phân bố đều theo ma trận lưới, RANSAC dễ dàng bị "đánh lừa" bởi một nghiệm Homography sai lệch tịnh tiến (chẳng hạn cửa sổ tầng 2 bị khớp nhầm vào cửa sổ tầng 4 nhưng vẫn thỏa mãn sai số khoảng cách chiếu). Ngược lại, phương pháp tỷ số kép kết hợp các tia đồng quy từ điểm triệt tiêu đã khóa chặt vị trí cấu trúc không gian toàn cục, ngăn chặn triệt để hiện tượng hội tụ vào nghiệm cục bộ sai lệch này.
4. Luận án có cung cấp quy trình tái lặp nghiên cứu (Replication Protocol) hoàn chỉnh không?
Luận án cung cấp một Quy trình tái lặp hoàn chỉnh và chi tiết với tính chuẩn xác kỹ thuật tuyệt đối:
- Tham số hóa toàn bộ các ngưỡng lọc: $T_1 = 10\text{ px}$, $T_2 = \sqrt{2}\text{ px}$, $d_{\min} = 3\text{ px}$, $d_{\max} = 4\text{ px}$, $\Delta I_0 = 20$, $\sigma_0 = 20$, $h_0 = 40\text{ px}$, $d_0 = 30\text{ px}$, $A_0 = 10.000\text{ px}^2$.
- Quy định rõ ràng thuật toán toán tử Canny, hồi quy bình phương bé nhất trực giao, 10 vòng lặp MSAC có trọng số với $\tau = 1$.
- Công bố chi tiết cấu trúc xây dựng hai bộ dữ liệu thực nghiệm chuẩn UlBuD01 và UlBuD02 với quy cách chụp, độ phân giải cố định $640 \times 480$, cho phép cộng đồng học thuật tái lập 100% quy trình thực nghiệm.
5. Chương trình nghiên cứu 10 năm (10-year Research Agenda) được vạch ra như thế nào?
Tầm nhìn 10 năm được luận án xác lập bao gồm 3 giai đoạn chuyển tiếp chiến lược:
- Giai đoạn 1 (1-3 năm): Tối ưu hóa thời gian thực các thuật toán nắn hình và phân rã SVD trên các bo mạch xử lý tín hiệu số nhúng (DSP/FPGA) gắn trên robot tự hành.
- Giai đoạn 2 (3-6 năm): Tích hợp cơ chế nhận dạng diện tòa nhà vào khung bài toán Visual SLAM quy mô lớn phục vụ xe tự hành trong điều kiện mất hoàn toàn tín hiệu định vị vệ tinh GPS.
- Giai đoạn 3 (6-10 năm): Mở rộng mô hình hiểu môi trường hình học sang hiểu môi trường ngữ nghĩa (Semantic Environment Understanding), tự động trích xuất các thông tin tiện ích như biển hiệu, lối thoát hiểm, số nhà, kết hợp tái tạo mô hình số 3D đô thị phục vụ công nghệ thực tế tăng cường (AR) và thành phố thông minh.
Kết luận
Luận án tiến sĩ của Hoang-Hon Trinh (2008) là một công trình khoa học mẫu mực, thể hiện sự kết hợp hoàn hảo giữa vẻ đẹp toán học thuần khiết của hình học xạ ảnh và tư duy kỹ thuật thực nghiệm giải quyết bài toán định vị robot đô thị.
Tựu trung, 5 đóng góp học thuật cốt lõi mang tính bước ngoặt bao gồm:
- Thiết lập thành công mô hình đoạn thẳng Model of Line Segment (MLS), khai thác tương quan không gian màu lân cận để loại bỏ tới 75% nhiễu tự nhiên ngay từ giai đoạn tiền xử lý.
- Đề xuất hàm mất mát góc cải tiến trong thuật toán MSAC, khắc phục triệt để sự mất ổn định số học khi ước lượng các điểm triệt tiêu ở xa vô cực và hỗ trợ mở rộng không gian tìm kiếm lên đến 5 DVP ngang đồng thời.
- Xây dựng giải pháp nắn chỉnh hình học diện tòa nhà dạng tứ giác lồi về hình chữ nhật trực chuẩn, triệt tiêu biến dạng góc nhìn trước khi trích xuất bộ mô tả SIFT.
- Phát triển thuật toán xác minh tương ứng điểm dựa trên tính bất biến của Tỷ số kép (Cross-Ratio), khắc phục hoàn toàn hiện tượng sập bẫy hoa văn lặp lại của các thuật toán RANSAC và Hough Transform truyền thống.
- Thiết lập cơ chế cập nhật cơ sở dữ liệu động dựa trên phân rã SVD, giúp giảm 60-80% dung lượng bộ nhớ lưu trữ, triệt tiêu vector nhiễu quang học và tối ưu hóa vượt bậc tốc độ nhận dạng thời gian thực.
Công trình đã vượt qua khuôn khổ của một luận án kỹ thuật thông thường để mở ra các dòng nghiên cứu mới về thị giác cấu trúc nhân tạo, đặt nền móng lý thuyết và thực tiễn vững chắc cho sự phát triển của các phương tiện giao thông tự hành thông minh và hệ thống robot dịch vụ đô thị trong kỷ nguyên số hóa hiện đại.
Trích đoạn nội dung luận án
Tải xuống để đọc toàn bộGEOMETRICAL ENVIRONMENT UNDERSTANDING BY BUILDING RECOGNITION FOR THE INTELLIGENT TRANSPORTATION AND ROBOT SYSTEMS By Hoang-Hon Trinh SUBMITTED IN PARTIAL FULFILLMENT OF THE REQUIREMENTS FOR THE DEGREE OF DOCTOR OF PHILOSOPHY AT UNIVERSITY OF ULSAN ULSAN, KOREA DECEMBER 2008 c Copyright by Hoang-Hon Trinh, 2008 ° UNIVERSITY OF ULSAN DEPARTMENT OF GRADUATE SCHOOL OF ELECTRICAL ENGINEERING The undersigned hereby certify that they have read and recommend to the Faculty of Graduate Studies for acceptance a thesis entitled “Geometrical Environment Understanding by Building Recognition for the Intelligent Transportation and Robot Systems ” by Hoang-Hon Trinh in partial fulfillment of the requirements for the degree of Doctor of Philosophy. Dated: December 2008 ii Committee Vice-chair Dr.: Research Supervisor: Kang-Huyn Jo Committee Member Dr.: iii UNIVERSITY OF ULSAN Date: December 2008 Author: Hoang-Hon Trinh Title: Geometrical Environment Understanding by Building Recognition for the Intelligent Transportation and Robot Systems Department: Graduate School of Electrical Engineering Degree: Ph. Convocation: December Year: 2008 Permission is herewith granted to University of Ulsan to circulate and to have copied for non-commercial purposes, at its discretion, the above title upon the request of individuals or institutions. Signature of Author THE AUTHOR RESERVES OTHER PUBLICATION RIGHTS, AND NEITHER THE THESIS NOR EXTENSIVE EXTRACTS FROM IT MAY BE PRINTED OR OTHERWISE REPRODUCED WITHOUT THE AUTHOR’S WRITTEN PERMISSION.
THE AUTHOR ATTESTS THAT PERMISSION HAS BEEN OBTAINED FOR THE USE OF ANY COPYRIGHTED MATERIAL APPEARING IN THIS THESIS (OTHER THAN BRIEF EXCERPTS REQUIRING ONLY PROPER ACKNOWLEDGEMENT IN SCHOLARLY WRITING) AND THAT ALL SUCH USE IS CLEARLY ACKNOWLEDGED. iii Table of Contents Table of Contents v List of Tables viii List of Figures ix Abstract xiv Acknowledgements xvi Introduction 1 0.1 Introduction of ITRS .2 Building and Environment (A Good Landmark for ITRS) .3 Building Recognition for Localization .4 3D Reconstruction Environment for Navigation, Mapping and Exploring 6 0.5 Proposed Method for ITRS .1 ZuBuD Data Set .2 UlBuD01 data set .3 UlBuD02 data set .7 Unification of Words, Phrases and Definitions in This Dissertation .2 Line Segment Detection .1 Detecting Line Segment .2 Model of Line Segment (MLS) .3 MSAC-based Calculation of Dominant Vanishing Points (DVPs) .2 Vertical Line Segment Processing .3 Horizontal Line Segment Processing .4 Line Segment Verification .1 Density of Distribution .2 Co-existing of Line Segments .5 Building Facet Detection .1 Empirical Assumptions and Definitions .2 Rough Detection of Building Facet .3 Accuracy of Facet’s Boundaries .2 Area of Building Facet .1 Wall Color Histogram (WCH) .2 Localized Color Histogram [81] .3 Local Features of Building Facet .2 Rectangular Shape and Local Features of Building Facet .1 Matching and Constraints .2 Canonical RANSAC and Hough Transform-based Verification of Correspondences of Image Pairs .3 Cross Ratio-based Verification of Correspondences of Image Pairs 64 2.5 SVD-based Method for Calculating the Approximate Vectors. 74 3 Geometric Analysis for 3D Reconstruction of Building 77 3.2 Principal Component (PCs) Detection .1 Experimental Building Detection .2 Experimental Building Recognition .1 Experimental Recognition of ZuBuD data .2 Experimental Recognition of UlBuD01 data .3 Experimental Recognition of UlBuD02 data. 93 vi 5 Conclusions 96 Bibliography 98 vii List of Tables 1.1 Results of DVP’s detection .2 The values of threshold N1 and N2 .3 The condition of horizontal boundaries.4 The conditions for rejecting the ambiguous partial face.1 The distances of histograms (di , i = 1, 2, ., 5) between the test and the stored images from left to right, respectively.2 Corresponding parameters for estimating DVP and homography matrix.3 Explanation for Fig.4 Selected γ for updating wall color histogram and local features.1 Estimated size of buildings in Fig.1 Test conditions for detecting building’s facets.2 Summary of building detection.3 Explanation for each sub-image in Fig.4 Results of building recognition.5 Comparing the size of database for each building.
95 viii List of Figures 1 Examples of challenges of building and environment analysis. 3 2 Building detection and feature extraction. 7 3 Scheme for training database and recognition.1 Illustration of line segment detection.2 An example of line segment detection: (a) Original image in ZuBuD data set; (b) 554 detected line segments, the red lines overwrite on the original image; for easy vision, in (c), the black lines are overwritten on the blurred image with linear transformation [min, max] (values of pixels) → [125, 255]; .3 MLS: Example image is taken from ZuBuD data set; (a) Neighbored regions; (b) line segment detection; (c) building and non-building seg- ments are selected by handling.4 Distribution of 4I, σm 200 first sampled segments and selected thresh- olds.5 Using MLS to reduce the noise from natural object regions or images.6 The angle between the segment and the line where lies through the segment’s middle point and vanishing point.7 Retrieval of broken edges: (a) the vertical segments which create an acute angle 200 in maximum with y-axis; (b) the right edge split into four segments replacing by the blue one.8 Vertical Line Segment Processing: (a) inliers of MSAC process. The region in the marked rectangle is extracted and zoomed in as (b, c and d); (b) many lines are not converging to the DVP; (c) the replaced lines which lie through the vanishing point and middle of vertical segments; (d, e) are the results after reducing coincident lines; (d) shows us the extracted region inside the rectangular mark; (e) presents the results of whole image.9 Results of DVP’s detection: The cyan semgents are vertical group; the red, green, blue and yellow segments are horizontal groups from high to low priority.10 The single line: (a) around region of line segment; (b) relation between length of line segment and diameter of semicircles; (b-f) survived seg- ments.11 Co-existences and extended line segments.12 Candidate line: (a) vertical lines and horizontal segments (ZuBud data image); (b,c) the intersections and estimated height at each vertical line; (d,e) candidate lines of horizontal groups, H1 and H2 respectively; magenta lines are the candidate for both of horizontal groups.13 Other examples for roughly detecting of building facets in step by step: (a-h) come from one building; (i) comes from another one; Blue group in (h) is rejected because it is not passed the thresholds N and h0 .14 Facet detection: (a) four roughly detected facets; (b) three facets sur- vive after rejecting the ambiguities; (c) result of facet detection.15 Accuracy of Facet’s Boundaries: the first row are the results of rough detection of facets; the second row is final results of facet detection.1 Convex quadrangle as the boundary of detected facet.2 Illustration for detecting wall region; (g) final wall color histogram.3 Extracted wall region of corresponding facets of one building in ZuBuD data set.4 Detected wall region and its hue color histogram.5 Robustness of wall color histogram: first column is original images with boundaries of detected facets; the middle is extracted wall regions; the last one is corresponding wall color histogram.6 A test image and five stored images are listed from left to right with differences of scale, viewpoints and day times.7 The illustration of comparison between the wall color histogram and the localized color histogram.8 Selected keypoints and features: A circle center represents location of a keypoint and its approximate region is represented by the size of circle.9 Selected keypoints and features: (d) is zoomed in regions of yellow rectangles of (c).10 (a) two detected and corresponding transformed facets; detected key- points (red marks); (b,c) correct matches with the original and trans- formed images, respectively.11 Repeated features of building: the green circles are correct match and five repeated features; their distances are approximate together; the images are in ZuBuD data set.12 d0 threshold selection by statistics.13 Illustration of a drawback of canonical RANSAC for verification: (a) 104 matches of building facets; (b) the best sample given by using homography matrix; (c) the correct sample.14 Examples of object recognition by using Hough transform-based method; in each image, the small one is training image and the big one is test image.15 Illustration for drawback of Hough Transform-based verification: (a) 63 matches given by using the nearest neighbor constraint; (b) 21 matches given by the bin with the largest number matches of 4D space (Hough transform entry); (b) 451 matches given by using Eq.16 The illustration of cross ratio-based method: (a) concurrent lines; (b) artificial object; (c, d) left and right poses.17 Step by step illustration for searching the corresponding local features of image pairs.18 Relation between factor α and maximum area of detected facets, A.19 Automatically reducing the noise by SVD-based update of features.20 The observing distances are reduced following the updated times with different γ.21 Building images, facet detection, wall regions, wall histogram and com- mon models.1 Step-by-step illustration of PC detection process.2 Typical results of detection of principal component.1 Examples of facet detection in general test conditions: two first rows are illustrated results of ZuBuD data ; two last rows are the test images of our data.2 The detection by movement of ITRS: (a) and (b) are undetected and detected building, respectively.3 Examples of non-building images.4 Confused detection of building images.5 Examples of detection of non-planar buildings.6 Several worst results of building detection.7 Several examples of building recognition of ZuBuD data set; in each sub-image, the above building is the test and the below is the correct matches.8 Non-planar and smooth surfaces; reflection of glass faces of building images .9 The correct recognitions of multiple buildings in images with scale, rotation, seasons and illumination changes.10 Example for robust recognition: the above images are two tests of the same building; the bottom images are the first five matches with descending rank from left to right.11 Two cases of incorrect results: the left are the test images and right are their correspondent images with five models of views; the shown facets includes the ambiguous detections.12 From left to right, The results of without, 10 and 20 times of update, respectively.13 Without Transforming into rectangular shape, from left to right, The results of without, 10 and 20 times of update, respectively.
95 xiii Abstract This dissertation describes a method for understanding the geometrical environment of the intelligent transportation and robot systems (ITRS) by building recognition. To understand the environment, the ITRS can perform several functions such as land- mark detection, recognition, localization, navigation, environment reconstruction and so on. Buildings are considered as the best landmark with dense appearance in the city. The outer surface of building comprises of some special properties of man- made objects such as rectangular shape, doors, windows, wall and columns.
These characters support the information for classifying the buildings with other objects and identifying to each other. The dissertation comprises of three major parts as a hierarchical system for understanding of intelligent transportation and robot systems. The first part of this thesis is for detecting landmark. The buildings are classified with other objects like sky, trees, bushes and roads.
Firstly, line segments and two neighborhood regions are extracted. A model of line segment (MLS) is constructed by color information of neighborhood regions. MLS is used to reduce the line segments of non-building patterns. Secondly, the rest of line segments are clustered such parallel lines which have a common vanishing point (VP) by MSAC (m-estimator sample consensus) algorithm.
The maximum numbers of VPs calculated for vertical and horizontal directions are one and five, respectively. The vertical and one of horizontal clusters create a mesh of convex quadrangles (skew parallelograms) as a candidate face of building. The geometrical properties like distributed density of line segments and number of intersections are analyzed and considered as criteria to refine the building face. Finally, the building facets are detected and represented by a boundary xiv xv quadrangle with its area and vertical and horizontal VPs.
The second part is for identifying the building to each other by a test image. The test image is taken when the robot is working. Then it is matched against the stored images in a database. To do so, wall region of facet is extracted.
Then a wall color histogram and a list of SIFT (scale invariant feature transform) features are calculated for each facet. The matching process contains two steps.
Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ
Trích dẫn luận án này
Hoang-Hon Trinh (2008). Building Recognition for Intelligent Transport & Robot Systems [Luận án tiến sĩ, University of Ulsan]. LuanAn.net. https://luanan.net/cong-nghe-thong-tin/tri-tue-nhan-tao/building-recognition-geometrical-environment-its-robot-systems
Câu hỏi thường gặp
Luận án "Building Recognition for Intelligent Transport & Robot Systems" nghiên cứu về vấn đề gì?
Luận án tiến sĩ nghiên cứu chuyên sâu nhận diện tòa nhà, giúp hiểu môi trường hình học, phục vụ hệ thống giao thông thông minh và robot.
Luận án "Building Recognition for Intelligent Transport & Robot Systems" được bảo vệ tại trường nào?
Luận án này được bảo vệ tại University of Ulsan. Năm bảo vệ: 2008.
Luận án "Building Recognition for Intelligent Transport & Robot Systems" thuộc chuyên ngành gì?
Luận án "Building Recognition for Intelligent Transport & Robot Systems" thuộc chuyên ngành Electrical Engineering. Danh mục: Trí Tuệ Nhân Tạo.
Luận án "Building Recognition for Intelligent Transport & Robot Systems" có bao nhiêu trang?
Luận án "Building Recognition for Intelligent Transport & Robot Systems" có 128 trang. Bạn có thể xem trước một phần tài liệu ngay trên trang web trước khi tải về.
Cách tải luận án "Building Recognition for Intelligent Transport & Robot Systems" về máy như thế nào?
Để tải luận án về máy, bạn nhấn nút "Tải xuống ngay" trên trang này, sau đó hoàn tất thanh toán phí lưu trữ. File sẽ được tải xuống ngay sau khi thanh toán thành công. Hỗ trợ qua Zalo: 0559 297 239.