PhD Thesis: Geometrical Env. Understanding by Building Recognition for ITS & Robots

Hệ thống Giao thông Thông minh (ITS) và hệ thống robot đang trải qua quá trình phát triển nhanh chóng, đặt ra yêu cầu cao về khả năng nhận thức môi trường. Các hệ thống này cần thu thập, xử lý và diễn giải thông tin từ thế giới thực để đưa ra quyết định thông minh. Trọng tâm là việc tạo ra các phương tiện có khả năng tự động hoàn toàn (Autonomous Vehicles) và các robot có thể tương tác phức tạp với môi trường. Để đạt được điều này, khả năng "nhìn" và "hiểu" môi trường là không thể thiếu. Các thách thức bao gồm sự phức tạp của cảnh quan đô thị, điều kiện ánh sáng thay đổi, và sự hiện diện của nhiều đối tượng chuyển động. Giải pháp yêu cầu sự kết hợp của nhiều công nghệ, bao gồm Tầm nhìn Máy tính (Computer Vision), xử lý tín hiệu cảm biến, và Trí tuệ Nhân tạo (Artificial Intelligence). Mục tiêu cuối cùng là nâng cao an toàn, hiệu quả và tính tự chủ của các hệ thống này. Khả năng giám sát giao thông (Traffic Monitoring) và phát hiện vật thể (Object Detection) chính xác là các ứng dụng trực tiếp từ sự phát triển này.

Nhận dạng công trình đóng vai trò cực kỳ quan trọng trong việc định vị chính xác cho cả ITS và hệ thống robot. Các công trình kiến trúc cung cấp các điểm mốc hình học ổn định và dễ nhận biết trong môi trường đô thị. Không giống như các đối tượng tạm thời, cấu trúc công trình duy trì hình dạng và vị trí, trở thành tài sản vô giá cho các thuật toán định vị. Khi các phương tiện tự hành (Autonomous Vehicles) di chuyển, việc liên tục xác định vị trí của các tòa nhà xung quanh giúp cải thiện độ chính xác của bản đồ và giảm thiểu sai số định vị. Điều này đặc biệt hữu ích trong các khu vực không có tín hiệu GPS mạnh hoặc trong môi trường phức tạp. Các kỹ thuật Tầm nhìn Máy tính (Computer Vision) được sử dụng để trích xuất các đặc điểm kiến trúc, sau đó so khớp chúng với bản đồ hoặc cơ sở dữ liệu đã biết. Quá trình này không chỉ hỗ trợ định vị mà còn giúp các hệ thống robot hiểu rõ hơn về bố cục không gian, từ đó lập kế hoạch đường đi hiệu quả hơn. Nhận dạng công trình là một bước cơ bản để xây dựng nhận thức môi trường (Environmental Perception) đáng tin cậy.

Tái tạo môi trường 3D là một yêu cầu then chốt cho điều hướng tiên tiến của Autonomous Vehicles và Robotics. Khả năng xây dựng một mô hình không gian ba chiều chi tiết của môi trường xung quanh cho phép các hệ thống này hiểu sâu sắc hơn về địa hình, chướng ngại vật và các điểm mốc. Thông tin 3D không chỉ cung cấp vị trí theo chiều ngang mà còn theo chiều dọc, điều cần thiết cho việc tránh va chạm và lập kế hoạch đường đi trong các môi trường phức tạp. Các kỹ thuật như Sensor Fusion, kết hợp dữ liệu từ nhiều loại cảm biến (ví dụ: camera, LiDAR, radar), được sử dụng để tạo ra mô hình 3D phong phú và chính xác. Các mô hình 3D này sau đó được sử dụng để lập bản đồ (mapping), xác định vị trí (localization), và lập kế hoạch đường đi (path planning). Việc tái tạo công trình 3D cung cấp thông tin hình học quan trọng, giúp các robot và phương tiện tự hành xác định ranh giới, chiều cao và hình dạng của các cấu trúc. Điều này cải thiện đáng kể khả năng nhận thức môi trường (Environmental Perception) của hệ thống, cho phép điều hướng an toàn và hiệu quả hơn trong các ứng dụng thực tế của Intelligent Transport Systems.

Phát hiện đoạn thẳng là một bước cơ bản trong nhận dạng công trình bằng Tầm nhìn Máy tính. Các đoạn thẳng cung cấp thông tin hình học quan trọng về các cạnh và đường viền của tòa nhà. Hệ thống cần phát hiện các đoạn thẳng một cách chính xác, ngay cả trong điều kiện nhiễu hoặc ánh sáng không đồng đều. Sau khi các đoạn thẳng được phát hiện, việc xác định các Điểm Tụ chính (Dominant Vanishing Points - DVPs) trở nên cần thiết. DVPs đại diện cho các hướng chính trong một cảnh 3D và rất quan trọng để ước tính cấu trúc hình học của công trình. Các thuật toán như MSAC được sử dụng để tính toán DVPs một cách mạnh mẽ, giảm thiểu ảnh hưởng của các đoạn thẳng ngoại lai. Thông tin từ DVPs cho phép hệ thống suy ra sự sắp xếp của các mặt phẳng công trình và ước tính định hướng của chúng trong không gian 3D. Đây là một bước quan trọng trong việc xây dựng mô hình môi trường chính xác, hỗ trợ cho các ứng dụng như 3D Reconstruction và Environmental Perception trong Autonomous Vehicles và Robotics. Quá trình này giúp hệ thống hiểu rõ hơn về kiến trúc đô thị.

Sau khi phát hiện các đoạn thẳng và xác định Điểm Tụ chính, bước tiếp theo là nhận dạng các mặt phẳng công trình (building facets). Các mặt phẳng này đại diện cho các bề mặt chính của tòa nhà, như tường hoặc mái nhà. Quá trình nhận dạng mặt phẳng dựa trên các giả định hình học và đặc điểm cục bộ của chúng. Các thuật toán cần gom nhóm các đoạn thẳng liên quan và các khu vực hình ảnh có đặc điểm tương tự để tạo thành một mặt phẳng hoàn chỉnh. Độ chính xác của việc phát hiện ranh giới mặt phẳng là rất quan trọng để xây dựng mô hình 3D đáng tin cậy. Thông tin về màu sắc, kết cấu và hình dạng của từng mặt phẳng được khai thác để phân biệt các mặt phẳng công trình với các yếu tố môi trường khác. Điều này liên quan đến các kỹ thuật Object Detection và phân đoạn ảnh. Việc nhận dạng chính xác các mặt phẳng là nền tảng để tái tạo công trình 3D một cách chi tiết, cung cấp thông tin cần thiết cho Autonomous Vehicles trong việc điều hướng và tránh va chạm. Khả năng này cũng đóng góp vào Environmental Perception toàn diện cho Intelligent Transport Systems.

Khai thác đặc điểm hình học và màu sắc là yếu tố then chốt để tăng cường độ mạnh mẽ của hệ thống nhận dạng công trình. Các đặc điểm hình học bao gồm hình dạng, kích thước, và mối quan hệ không gian giữa các thành phần của công trình. Ví dụ, tính chất hình chữ nhật của nhiều mặt tiền tòa nhà là một đặc điểm mạnh mẽ được sử dụng. Bên cạnh đó, các đặc điểm cục bộ như góc, đường thẳng và kết cấu cũng được phân tích. Về màu sắc, biểu đồ màu tường (Wall Color Histogram - WCH) và biểu đồ màu cục bộ (Localized Color Histogram) được sử dụng để mô tả màu sắc chủ đạo của các mặt phẳng công trình. Những biểu đồ này cung cấp một dấu vân tay màu sắc, giúp phân biệt các tòa nhà khác nhau hoặc các phần khác nhau của cùng một tòa nhà. Việc kết hợp thông tin hình học và màu sắc cho phép hệ thống tạo ra một mô tả phong phú và độc đáo cho mỗi công trình, cải thiện đáng kể độ chính xác của Object Detection và Building Recognition. Sự kết hợp này cũng hỗ trợ Sensor Fusion bằng cách cung cấp nhiều loại dữ liệu cho các thuật toán học máy và Trí tuệ Nhân tạo (Artificial Intelligence), từ đó nâng cao Environmental Perception trong Intelligent Transport Systems và Robotics.

Phân tích hình học là nền tảng của quá trình tái tạo môi trường 3D. Kỹ thuật này tập trung vào việc trích xuất các thông tin không gian từ dữ liệu cảm biến 2D hoặc 3D. Đối với công trình kiến trúc, phân tích hình học bao gồm việc xác định các mặt phẳng, cạnh và góc, sau đó ghép nối chúng để xây dựng một mô hình ba chiều hoàn chỉnh. Các thuật toán cần xử lý các biến dạng phối cảnh trong hình ảnh 2D và chuyển đổi chúng thành thông tin 3D chính xác. Sử dụng các ràng buộc hình học, như sự vuông góc của các mặt phẳng trong nhiều tòa nhà, giúp cải thiện độ chính xác của quá trình tái tạo. Phương pháp SVD (Singular Value Decomposition) có thể được áp dụng để tính toán các vectơ gần đúng, hỗ trợ việc ước tính cấu trúc 3D. Mục tiêu là tạo ra một mô hình 3D có độ tin cậy cao, phản ánh chính xác hình dạng và kích thước thực tế của công trình. Mô hình này sau đó cung cấp dữ liệu quan trọng cho các ứng dụng Object Detection và Environmental Perception, đặc biệt hữu ích cho Autonomous Vehicles và Robotics trong Intelligent Transport Systems.

Phát hiện các thành phần chính (Principal Components - PCs) của công trình là bước quan trọng trong việc đơn giản hóa và mô tả cấu trúc 3D. Các thành phần chính này thường đại diện cho các hướng hình học thống trị của một đối tượng, giúp xác định hướng chính của tòa nhà trong không gian. Bằng cách phát hiện các PCs, hệ thống có thể xây dựng một khung xương hình học cho công trình, từ đó dễ dàng hơn trong việc tái tạo và nhận dạng. Quá trình này liên quan đến việc phân tích dữ liệu điểm 3D hoặc các đặc điểm hình học đã trích xuất để tìm ra các trục chính. Ví dụ, một tòa nhà hình hộp chữ nhật sẽ có ba trục chính vuông góc với nhau. Thông tin này có thể được sử dụng để chuẩn hóa các mô hình công trình và tạo điều kiện thuận lợi cho việc so khớp và nhận dạng giữa các ảnh hoặc dữ liệu khác nhau. Việc xác định các PCs hiệu quả cải thiện đáng kể độ chính xác của 3D Reconstruction và góp phần vào Environmental Perception toàn diện cho các hệ thống Robotics và Autonomous Vehicles.

Các mô hình môi trường 3D được tái tạo từ công trình kiến trúc có nhiều ứng dụng trực tiếp trong điều hướng và lập bản đồ cho Autonomous Vehicles và Robotics. Khả năng định vị chính xác trong không gian ba chiều là rất quan trọng để lập kế hoạch đường đi an toàn và hiệu quả. Các bản đồ 3D chi tiết, chứa thông tin về các công trình, đường xá, và chướng ngại vật, cho phép xe tự hành xác định vị trí của chúng một cách đáng tin cậy và dự đoán các tương tác với môi trường. Điều hướng dựa trên mô hình 3D cũng giúp các robot hoạt động trong môi trường phức tạp, chẳng hạn như nhà kho hoặc khu vực xây dựng. Các kỹ thuật như Sensor Fusion được sử dụng để liên tục cập nhật bản đồ 3D và vị trí của phương tiện. Thông tin 3D từ công trình còn hỗ trợ việc nhận dạng đối tượng (Object Detection) và giám sát giao thông (Traffic Monitoring) bằng cách cung cấp ngữ cảnh không gian. Việc này nâng cao Environmental Perception và là yếu tố cần thiết cho sự phát triển của Intelligent Transport Systems.

Phát hiện đoạn thẳng là một bước khởi đầu quan trọng trong quá trình xử lý thị giác. Các đoạn thẳng được trích xuất từ hình ảnh bằng các thuật toán như phát hiện cạnh, sau đó được xấp xỉ thành các mô hình đoạn thẳng (MLS - Model of Line Segment). Để cải thiện độ chính xác và độ mạnh mẽ, các đoạn thẳng được phân loại thành đoạn thẳng đứng (Vertical Line Segment Processing) và đoạn thẳng ngang (Horizontal Line Segment Processing). Việc xử lý riêng biệt này cho phép áp dụng các ràng buộc hình học cụ thể cho từng loại, ví dụ, các đường thẳng đứng thường song song với trục Z trong môi trường 3D. Điều này giúp hệ thống xác định hướng và cấu trúc của các mặt phẳng công trình một cách hiệu quả hơn. Các đoạn thẳng đứng và ngang đóng vai trò quan trọng trong việc xác định Điểm Tụ chính (Dominant Vanishing Points), từ đó hỗ trợ ước tính phối cảnh và hình học 3D của cảnh. Quá trình này là nền tảng cho Object Detection và 3D Reconstruction của công trình trong các ứng dụng Intelligent Transport Systems và Robotics.

Sau khi phát hiện các đoạn thẳng, quá trình xác minh là cần thiết để loại bỏ các đoạn thẳng không đáng tin cậy hoặc nhiễu. Việc này đảm bảo rằng chỉ các đặc điểm hình học có ý nghĩa mới được sử dụng trong các bước tiếp theo. Các phương pháp xác minh bao gồm kiểm tra mật độ phân bố (Density of Distribution) của các điểm ảnh tạo nên đoạn thẳng. Một đoạn thẳng đáng tin cậy thường có mật độ điểm ảnh cao dọc theo chiều dài của nó. Ngoài ra, sự cùng tồn tại của các đoạn thẳng (Co-existing of Line Segments) cũng được sử dụng làm tiêu chí xác minh. Các đoạn thẳng thuộc cùng một đối tượng hoặc mặt phẳng thường có mối quan hệ hình học nhất định với nhau. Ví dụ, các đoạn thẳng song song hoặc vuông góc sẽ được ưu tiên. Quá trình xác minh này giúp tăng cường độ mạnh mẽ của hệ thống Tầm nhìn Máy tính (Computer Vision), giảm thiểu sai số trong Object Detection và 3D Reconstruction. Điều này đặc biệt quan trọng để xây dựng Environmental Perception chính xác cho Autonomous Vehicles và Robotics, đảm bảo dữ liệu đầu vào cho Trí tuệ Nhân tạo (Artificial Intelligence) là đáng tin cậy.

Để phát hiện mặt phẳng công trình một cách hiệu quả, nghiên cứu này dựa trên các giả định thực nghiệm và định nghĩa rõ ràng về mặt phẳng. Các giả định này thường bao gồm tính chất hình học cơ bản của các tòa nhà trong môi trường đô thị, ví dụ, nhiều mặt phẳng công trình có xu hướng là hình chữ nhật hoặc có các cạnh song song/vuông góc. Những giả định này giúp thu hẹp không gian tìm kiếm và cải thiện độ chính xác của các thuật toán. Định nghĩa về "mặt phẳng công trình" được xây dựng dựa trên sự kết hợp của các đoạn thẳng được xác minh, các vùng màu sắc đồng nhất (Wall Color Histogram) và các đặc điểm cục bộ. Quá trình phát hiện thô (Rough Detection) ban đầu xác định các ứng cử viên mặt phẳng, sau đó độ chính xác của các ranh giới mặt phẳng được tinh chỉnh. Kỹ thuật này sử dụng thông tin từ các đặc điểm cục bộ và hình dạng chữ nhật để xác minh tính hợp lệ của mặt phẳng. Sự kết hợp giữa các giả định hình học và phân tích đặc điểm hình ảnh là rất quan trọng để đạt được Object Detection chính xác và Environmental Perception toàn diện cho Intelligent Transport Systems và Robotics.

Học sâu (Deep Learning), một lĩnh vực con của Trí tuệ Nhân tạo (Artificial Intelligence), đã cách mạng hóa khả năng nhận dạng đối tượng (Object Detection) và phân tích cảnh trong Intelligent Transport Systems. Các mô hình mạng nơ-ron sâu có khả năng học các đặc điểm phức tạp từ một lượng lớn dữ liệu hình ảnh, vượt trội hơn các phương pháp Tầm nhìn Máy tính (Computer Vision) truyền thống. Trong nhận dạng công trình, Deep Learning có thể được sử dụng để tự động trích xuất các đặc điểm kiến trúc, phân loại các loại tòa nhà và phát hiện ranh giới của chúng một cách chính xác. Các mô hình này có thể thích ứng với các điều kiện ánh sáng, thời tiết và góc nhìn khác nhau, cải thiện đáng kể độ mạnh mẽ của hệ thống. Bằng cách đào tạo trên các bộ dữ liệu đa dạng như ZuBuD, UlBuD01 và UlBuD02, các thuật toán AI có thể đạt được hiệu suất nhận dạng cao trong các môi trường thực tế. Việc tối ưu hóa nhận dạng thông qua Deep Learning là rất quan trọng để nâng cao Environmental Perception cho Autonomous Vehicles và Robotics, giúp chúng đưa ra các quyết định thông minh hơn và an toàn hơn.

Tích hợp dữ liệu cảm biến (Sensor Fusion) là một kỹ thuật thiết yếu để đạt được nhận thức môi trường toàn diện trong Intelligent Transport Systems và Robotics. Thay vì chỉ dựa vào một loại cảm biến, Sensor Fusion kết hợp thông tin từ nhiều nguồn khác nhau, ví dụ như camera (cung cấp dữ liệu màu sắc và kết cấu), LiDAR (cung cấp dữ liệu chiều sâu 3D chính xác), và radar (phát hiện khoảng cách và vận tốc trong mọi điều kiện thời tiết). Bằng cách kết hợp các ưu điểm và bù đắp các hạn chế của từng cảm biến, hệ thống có thể xây dựng một mô hình môi trường chi tiết và đáng tin cậy hơn. Điều này giúp cải thiện độ chính xác của Object Detection, đặc biệt là nhận dạng công trình, và tăng cường khả năng 3D Reconstruction. Một mô hình nhận thức toàn diện là rất quan trọng cho các Autonomous Vehicles để điều hướng an toàn, tránh chướng ngại vật và lập kế hoạch đường đi tối ưu. Quá trình này cũng nâng cao Environmental Perception, cho phép hệ thống vận hành hiệu quả hơn trong các điều kiện phức tạp của thế giới thực.

Giám sát giao thông (Traffic Monitoring) và phát hiện vật thể (Object Detection) là những ứng dụng trực tiếp của Trí tuệ Nhân tạo (Artificial Intelligence) và Tầm nhìn Máy tính (Computer Vision) trong Intelligent Transport Systems. Các hệ thống này sử dụng camera và các cảm biến khác để theo dõi luồng giao thông, phát hiện các phương tiện, người đi bộ và các đối tượng khác trên đường. Khả năng phát hiện vật thể chính xác là rất quan trọng để quản lý giao thông hiệu quả, cảnh báo va chạm và tối ưu hóa tín hiệu đèn giao thông. Trong bối cảnh công trình kiến trúc, việc nhận dạng các tòa nhà có thể cung cấp ngữ cảnh không gian cho việc giám sát giao thông, giúp hệ thống hiểu rõ hơn về bố cục đường phố và các điểm tắc nghẽn tiềm năng. Các thuật toán Deep Learning đã đạt được những tiến bộ đáng kể trong việc phát hiện vật thể theo thời gian thực, ngay cả trong môi trường đông đúc và phức tạp. Thông tin này rất cần thiết cho việc phát triển Autonomous Vehicles, giúp chúng "nhìn" và phản ứng với môi trường xung quanh một cách an toàn và thông minh.

Các thử nghiệm phát hiện công trình được tiến hành để đánh giá khả năng của hệ thống trong việc xác định sự hiện diện và vị trí của các tòa nhà trong hình ảnh. Quá trình này bao gồm việc áp dụng các thuật toán phát hiện đoạn thẳng, nhận dạng mặt phẳng công trình và khai thác đặc điểm (ví dụ: Wall Color Histogram, Local Features) lên các bộ dữ liệu hình ảnh. Các thông số như tỷ lệ phát hiện đúng (precision) và tỷ lệ thu hồi (recall) được sử dụng để định lượng hiệu suất. Các điều kiện thử nghiệm khác nhau được xem xét, bao gồm sự đa dạng của kiến trúc, góc nhìn, và điều kiện ánh sáng để đảm bảo tính mạnh mẽ của hệ thống. Dữ liệu thử nghiệm có thể bao gồm các bộ dữ liệu cụ thể như ZuBuD, UlBuD01 và UlBuD02, mỗi bộ dữ liệu đại diện cho một loại môi trường hoặc thách thức khác nhau. Kết quả của các thử nghiệm này cung cấp cái nhìn sâu sắc về hiệu quả của các kỹ thuật Tầm nhìn Máy tính (Computer Vision) trong Object Detection và Environmental Perception cho Intelligent Transport Systems và Robotics.

Thử nghiệm nhận dạng công trình được thực hiện bằng cách sử dụng các bộ dữ liệu thực tế để đánh giá khả năng của hệ thống trong việc xác định từng tòa nhà cụ thể. Các bộ dữ liệu như ZuBuD, UlBuD01 và UlBuD02 được sử dụng làm cơ sở để so sánh kết quả nhận dạng của hệ thống với thông tin thực tế. ZuBuD cung cấp một tập hợp hình ảnh lớn với nhiều góc nhìn khác nhau của các tòa nhà. UlBuD01 và UlBuD02 có thể đại diện cho các môi trường cụ thể hơn, giúp đánh giá khả năng thích ứng của hệ thống. Các tiêu chí đánh giá bao gồm độ chính xác của việc gán nhãn công trình và khả năng phân biệt giữa các tòa nhà tương tự. Điều này đòi hỏi các thuật toán Tầm nhìn Máy tính (Computer Vision) và Trí tuệ Nhân tạo (Artificial Intelligence) có khả năng học các đặc điểm phân biệt và so khớp chúng với cơ sở dữ liệu đã lưu trữ. Thử nghiệm này chứng minh tiềm năng của phương pháp trong các ứng dụng thực tế của Autonomous Vehicles và các giải pháp Robotics yêu cầu Building Recognition chính xác.

Đánh giá hiệu suất toàn diện bao gồm việc phân tích các kết quả thử nghiệm và so sánh chúng với các phương pháp hiện có hoặc các tiêu chuẩn đã biết. Các số liệu như độ chính xác, tốc độ xử lý và khả năng chống nhiễu được xem xét. Nghiên cứu cũng tập trung vào việc so sánh hiệu quả của việc sử dụng các cơ sở dữ liệu có kích thước khác nhau cho quá trình huấn luyện và nhận dạng. Ví dụ, việc sử dụng các cơ sở dữ liệu lớn và đa dạng có thể dẫn đến hiệu suất tốt hơn nhưng cũng yêu cầu tài nguyên tính toán lớn hơn. Phân tích này giúp xác định sự cân bằng tối ưu giữa độ phức tạp của mô hình và hiệu suất đạt được. Việc so sánh này không chỉ định lượng hiệu quả của phương pháp được đề xuất trong lĩnh vực Object Detection và Building Recognition mà còn cung cấp cái nhìn sâu sắc về những cải tiến có thể áp dụng cho Environmental Perception trong Intelligent Transport Systems. Kết quả đóng góp vào việc phát triển các giải pháp Autonomous Vehicles và Robotics đáng tin cậy hơn, dựa trên Tầm nhìn Máy tính (Computer Vision) và Trí tuệ Nhân tạo (Artificial Intelligence).