Tổng quan nghiên cứu

Nghiên cứu về thị giác egocentric, hay tầm nhìn người thứ nhất, đang nổi lên như một lĩnh vực đầy tiềm năng trong thị giác máy tính, đặc biệt trong việc phân tích các hoạt động của con người từ góc độ chủ quan. Trong bối cảnh này, việc phát hiện, phân đoạn và theo dõi cử động của bàn tay là yếu tố cốt lõi để định nghĩa và nhận biết các hành động phức tạp. Luận văn này tập trung giải quyết thách thức phát triển một thuật toán tự động cho việc theo dõi bằng phát hiện (tracking by detection) nhằm trích xuất vị trí và nhận diện bàn tay liên tục qua các khung hình trong video giám sát egocentric. Hệ thống đề xuất tích hợp các bộ phát hiện tiên tiến từ họ mô hình RCNN và YOLO, kết hợp với các thuật toán theo dõi như SORT và DeepSORT.

Mục tiêu chính của luận văn bao gồm việc đề xuất một khung làm việc toàn diện cho phát hiện, phân đoạn và theo dõi tay từ tầm nhìn egocentric. Tiếp theo, luận văn thực hiện đánh giá so sánh chi tiết về hiệu suất giữa các kết hợp bộ phát hiện và bộ theo dõi khác nhau, từ đó đưa ra khuyến nghị lựa chọn phương pháp phù hợp cho các ứng dụng thực tế. Một đóng góp quan trọng khác là việc xây dựng và công bố bộ dữ liệu theo dõi tay egocentric mới, mang tên Micand32, cùng với các công cụ hỗ trợ ghi nhãn. Bộ dữ liệu Micand32 bao gồm 32 chuỗi video độ phân giải cao 1920x1440, tổng cộng 11.019 khung hình, cung cấp nguồn tài nguyên thực tế cho nghiên cứu.

Nghiên cứu được thực hiện và hoàn thành vào tháng 10 năm 2020 tại Trường Công nghệ Thông tin và Truyền thông, Đại học Bách khoa Hà Nội, dưới sự giám sát của PGS. Trần Thị Thanh Hải. Các kết quả ban đầu của luận văn đã được công bố một phần trong kỷ yếu của Hội nghị Quốc tế về Phân tích Đa phương tiện và Nhận dạng Mẫu lần thứ 3. Ý nghĩa thực tiễn của nghiên cứu rất lớn, đặc biệt trong lĩnh vực chăm sóc sức khỏe, nơi việc tự động phân tích và nhận dạng hoạt động từ video egocentric có thể giúp các bác sĩ định lượng và theo dõi tiến trình hồi phục của bệnh nhân. Điều này góp phần giảm số lần chuyển đổi danh tính đối tượng, từ đó tăng hiệu suất tổng thể của hệ thống theo dõi, vốn là một chỉ số quan trọng trong các hệ thống giám sát tự động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu này dựa trên một số khung lý thuyết và mô hình quan trọng trong lĩnh vực thị giác máy tính và học sâu. Đầu tiên là phương pháp "theo dõi bằng phát hiện" (tracking by detection), một quy trình hai giai đoạn trong đó các đối tượng được phát hiện trong một khung hình và sau đó được liên kết với các đối tượng đã được theo dõi trong các khung hình trước đó. Phương pháp này cho phép tối ưu hóa riêng biệt các thành phần phát hiện và theo dõi, mang lại hiệu quả cao.

Thứ hai, các mạng nơ-ron tích chập (Convolutional Neural Networks – CNNs) đóng vai trò xương sống cho các thuật toán phát hiện và phân đoạn đối tượng. Các mô hình CNN như RCNN, Fast R-CNN, Faster R-CNN, Mask R-CNN và các phiên bản YOLO (YOLOv3, YOLOv4) được sử dụng để trích xuất các đặc trưng hình ảnh mạnh mẽ và dự đoán vị trí, kích thước, cũng như danh mục của đối tượng. Các mô hình này đã chứng minh khả năng vượt trội trong việc học các mẫu phức tạp từ đầu vào thị giác.

Thứ ba, các thuật toán theo dõi như SORT (Simple Online and Realtime Tracking) và DeepSORT được áp dụng. SORT sử dụng bộ lọc Kalman để ước tính vị trí đối tượng trong tương lai và phương pháp Hungarian để tương quan khung hình-khung hình. DeepSORT là một cải tiến của SORT, tích hợp thông tin đặc điểm hình ảnh thông qua một bộ mô tả hình ảnh sâu, được đào tạo bằng học sâu metric (Deep Metric Learning), để giảm thiểu lỗi chuyển đổi danh tính. Các khái niệm chính được sử dụng bao gồm:

  1. Thị giác Egocentric (First-Person Vision): Thu nhận và phân tích hình ảnh/video từ góc nhìn của người đeo camera, cung cấp một cái nhìn độc đáo về các hoạt động tương tác.
  2. Phát hiện đối tượng (Object Detection): Xác định vị trí và phân loại các đối tượng trong ảnh, thường biểu diễn bằng hộp giới hạn.
  3. Phân đoạn đối tượng (Object Segmentation): Phân loại từng pixel thuộc về một thể hiện đối tượng cụ thể, cung cấp thông tin chi tiết hơn so với hộp giới hạn.
  4. Theo dõi đa đối tượng (Multiple Object Tracking – MOT): Gán các danh tính duy nhất và nhất quán cho nhiều đối tượng trong suốt một chuỗi video.
  5. Bộ mô tả hình ảnh (Appearance Descriptor): Các đặc trưng thị giác được trích xuất từ hình ảnh đối tượng, dùng để phân biệt và liên kết các thể hiện đối tượng qua thời gian.

Phương pháp nghiên cứu

Luận văn đã sử dụng một bộ dữ liệu đa dạng và phong phú. Các nguồn dữ liệu chính bao gồm bộ dữ liệu GTEA family (GTEA, GTEA Gaze, GTEA Gaze+, EGTEA Gaze+) với khoảng 29 giờ video sự kiện nấu ăn từ 86 phiên làm việc của 32 chủ thể. Đặc biệt, EGTEA Gaze+ cung cấp 15.176 mặt nạ tay trên 13.847 khung hình. Bộ dữ liệu EgoHands chứa khoảng 130.000 khung hình video, trong đó có 4.800 khung hình được gán nhãn pixel-level cho 15.053 bàn tay.

Đặc biệt, luận văn đã tự xây dựng bộ dữ liệu Micand32 mới, là một tập con của dự án lớn hơn do NAFOSTED tài trợ. Micand32 gồm 32 chuỗi video egocentric, tập trung vào 4 loại hành động liên quan đến tay, được thực hiện bởi 10 tình nguyện viên (5 nam, 5 nữ, độ tuổi 20-60) tại Bệnh viện Y học Hà Nội. Bộ dữ liệu này có tổng cộng 11.019 khung hình độ phân giải 1920x1440, tốc độ 30 khung hình/giây. Micand32Standard có 26 chuỗi (100-300 khung hình/chuỗi) cho theo dõi ngắn hạn, và Micand32Enhanced có 6 chuỗi (500-1700 khung hình/chuỗi) cho theo dõi dài hạn, thường có nhiều hơn hai bàn tay xuất hiện. Việc gán nhãn được thực hiện bởi 8 sinh viên sử dụng công cụ VIA và công cụ bán tự động EHTA do luận văn phát triển, giúp giảm thời gian ghi nhãn từ khoảng 5 giây xuống còn 1 giây cho mỗi hình ảnh.

Để phân tích và đánh giá, nghiên cứu áp dụng các phương pháp:

  • Đánh giá phát hiện và phân đoạn: Sử dụng giao thức đánh giá COCO standard, bao gồm các chỉ số Average Precision (AP) và Average Recall (AR), để đo lường độ chính xác.
  • Đánh giá theo dõi: Sử dụng giao thức đánh giá MOT16 Challenge, với các chỉ số như MOTA (Multiple Object Tracking Accuracy) và IDF1 (ID F1-Score), nhằm đánh giá hiệu suất theo dõi đa đối tượng.
  • So sánh thực nghiệm: Thực hiện đánh giá so sánh trên 11 cách tiếp cận khác nhau, kết hợp các bộ phát hiện (Faster RCNN, Mask RCNN, YOLOv3, YOLOv4) với các bộ theo dõi (SORT, DeepSORT).
  • Tối ưu hóa bộ mô tả hình ảnh: Một mạng CNN tùy chỉnh đã được đào tạo trên bộ dữ liệu Micand32S để tạo ra bộ mô tả đặc điểm hình ảnh phù hợp cho ngữ cảnh tay egocentric, thay vì sử dụng các mô tả chung chung.

Lý do lựa chọn phương pháp phân tích "theo dõi bằng phát hiện" là vì nó cho phép khai thác ưu điểm của các bộ phát hiện hiện đại dựa trên CNN, vốn đã đạt độ chính xác cao, đồng thời cho phép tích hợp các thuật toán theo dõi chuyên biệt để giải quyết các thách thức như chuyển đổi danh tính. SORT và DeepSORT được chọn vì khả năng xử lý theo thời gian thực (SORT) và khả năng tích hợp thông tin đặc điểm hình ảnh (DeepSORT), điều này rất quan trọng trong việc theo dõi tay bị che khuất hoặc thay đổi hình dạng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đưa ra một số phát hiện quan trọng, củng cố sự hiểu biết về theo dõi tay trong tầm nhìn egocentric:

  1. Hiệu suất bộ phát hiện tác động mạnh mẽ đến hệ thống theo dõi: Các kết quả cho thấy năng lực của thuật toán phát hiện đối tượng có mối tương quan chặt chẽ với hiệu suất tổng thể của hệ thống theo dõi bằng phát hiện. Cụ thể, các bộ phát hiện có độ chính xác cao hơn như các mô hình trong họ RCNN (ví dụ: Faster RCNN) thường dẫn đến kết quả theo dõi tốt hơn. Khi đánh giá bằng chuẩn COCO, các mô hình như Mask RCNN thường đạt chỉ số Average Precision (AP) cao hơn đáng kể, khoảng 35-40% cho các tác vụ phát hiện và phân đoạn, so với các phiên bản YOLO cũ hơn, dù phải trả giá bằng tốc độ xử lý.
  2. Ưu việt của DeepSORT với bộ mô tả hình ảnh: Luận văn chứng minh rằng việc sử dụng các bộ mô tả hình ảnh trong giai đoạn theo dõi có thể giảm đáng kể số lần chuyển đổi danh tính (identity switches) và do đó tăng hiệu suất của toàn bộ hệ thống. Cụ thể, DeepSORT, bằng cách tích hợp thông tin đặc điểm hình ảnh thông qua một mạng CNN tùy chỉnh được đào tạo trên bộ dữ liệu Micand32S, đã đạt được chỉ số MOTA (Multiple Object Tracking Accuracy) cao hơn khoảng 5-10% và IDF1 (ID F1-Score) cao hơn 8-12% so với SORT trên bộ dữ liệu Micand32E. Các kết quả này thường được trình bày qua các biểu đồ so sánh trên trục thời gian hoặc bảng tổng hợp các chỉ số.
  3. Sự đánh đổi giữa độ chính xác và tốc độ: Nghiên cứu đã làm rõ sự đánh đổi vốn có giữa độ chính xác và tốc độ trong các thuật toán phát hiện đối tượng. Trong khi các bộ phát hiện hai giai đoạn (như Faster RCNN) cung cấp độ chính xác cao hơn, chúng thường chậm hơn. Ngược lại, các bộ phát hiện một giai đoạn (như YOLOv3 và YOLOv4) nhanh hơn đáng kể, với YOLOv4 đạt tốc độ xử lý nhanh nhất cho các hệ thống sản xuất. Ví dụ, thời gian suy luận trung bình của YOLOv4 có thể nhanh hơn khoảng 2-3 lần so với Faster RCNN trên cùng một cấu hình phần cứng.
  4. Đóng góp của bộ dữ liệu Micand32 và công cụ EHTA: Luận văn đã xây dựng bộ dữ liệu theo dõi tay egocentric Micand32 mới, với 11.019 khung hình và 18.000 thể hiện đối tượng, cùng với công cụ ghi nhãn bán tự động EHTA. Công cụ EHTA đã giúp giảm thời gian ghi nhãn cho mỗi hình ảnh từ khoảng 5 giây xuống còn 1 giây, nâng cao hiệu quả và tính nhất quán trong việc tạo ra dữ liệu mặt đất chất lượng cao. Các thống kê về phân bố kích thước và vị trí của tay trong Micand32 cũng được phân tích và minh họa bằng biểu đồ tương quan (correlogram).

Thảo luận kết quả

Các phát hiện này có thể được giải thích dựa trên các nguyên lý cơ bản của thị giác máy tính và học sâu. Sự phụ thuộc của hiệu suất theo dõi vào bộ phát hiện là điều dễ hiểu, vì chất lượng của các hộp giới hạn ban đầu quyết định khả năng liên kết đối tượng một cách chính xác qua các khung hình. Nếu bộ phát hiện tạo ra nhiều sai sót hoặc bỏ lỡ đối tượng, thuật toán theo dõi sẽ gặp khó khăn trong việc duy trì danh tính.

Ưu thế của DeepSORT so với SORT chủ yếu đến từ khả năng tích hợp thông tin đặc điểm hình ảnh. Trong khi SORT chỉ dựa vào thông tin vị trí và chuyển động (sử dụng bộ lọc Kalman và khoảng cách Mahalanobis), DeepSORT bổ sung thêm khoảng cách cosine giữa các bộ mô tả hình ảnh sâu. Điều này cho phép DeepSORT phân biệt các đối tượng có cùng vị trí hoặc quỹ đạo chuyển động tương tự, đồng thời giúp theo dõi lại các đối tượng bị che khuất trong một số khung hình (lên đến khoảng 30 khung hình theo thiết lập). Ví dụ, trong các tình huống tay bệnh nhân bị che khuất bởi vật thể hoặc tay của người hướng dẫn (minh họa qua Hình 4-2), DeepSORT vẫn có thể duy trì danh tính tốt hơn. Các biểu đồ minh họa hiện tượng mờ do chuyển động nhanh (Hình 4-3) hoặc thay đổi hình dạng của tay (Hình 4-4) cũng cho thấy đây là những thách thức mà các mô tả hình ảnh sâu có thể giúp giải quyết.

Khi so sánh với các nghiên cứu khác, luận văn đã tham chiếu đến các thách thức phổ biến như DAVIS (Densely Annotated Video Segmentation) và MOT (Multiple Object Tracking), nơi các phương pháp theo dõi thường tập trung vào các đối tượng chung như người đi bộ. Các phương pháp trước đây về nhận dạng cử chỉ tay egocentric thường ít chú trọng đến việc theo dõi vị trí và danh tính tay một cách rõ ràng. Nghiên cứu này đi sâu vào khía cạnh này, cung cấp một giải pháp chuyên biệt và bộ dữ liệu phù hợp.

Ý nghĩa của các phát hiện rất lớn. Khuyến nghị lựa chọn phương pháp (ví dụ: DeepSORT với các bộ phát hiện mạnh mẽ như Faster RCNN hoặc YOLOv4 tùy theo yêu cầu tốc độ) sẽ hướng dẫn các nhà phát triển ứng dụng trong nhiều lĩnh vực. Trong y tế, các hệ thống tự động dựa trên luận văn có thể giúp các nhà vật lý trị liệu đánh giá chính xác sự tiến bộ của bệnh nhân thông qua việc định lượng các động tác tay, vốn là một điểm yếu của việc quan sát bằng mắt thường. Trong thể thao, nó có thể hỗ trợ phân tích kỹ thuật của vận động viên, ví dụ như phân tích động tác cầm gậy golf hoặc ném bóng rổ. Việc xây dựng Micand32 và EHTA cũng lấp đầy một khoảng trống trong cộng đồng nghiên cứu, cung cấp một tiêu chuẩn mới cho việc đánh giá các thuật toán theo dõi tay egocentric, khi mà theo một báo cáo, không có bộ dữ liệu egocentric nào hiện tại có tiêu chuẩn chi tiết về theo dõi tay.

Đề xuất và khuyến nghị

Dựa trên những kết quả và thảo luận của luận văn, chúng tôi xin đưa ra một số đề xuất và khuyến nghị cụ thể nhằm phát triển hơn nữa lĩnh vực phát hiện, phân đoạn và theo dõi tay từ tầm nhìn egocentric:

  1. Tiếp tục nghiên cứu và tối ưu hóa các bộ phát hiện cho ngữ cảnh egocentric phức tạp: Cần tập trung tối ưu hóa kiến trúc mạng CNN và hàm mất mát để nâng cao độ chính xác của các bộ phát hiện (ví dụ: Faster RCNN, Mask RCNN, YOLOv4) khi đối mặt với các thách thức đặc trưng của tầm nhìn egocentric như che khuất liên tục, mờ do chuyển động nhanh, và thay đổi hình dạng tay đột ngột. Mục tiêu là tăng Average Precision (AP) và Average Recall (AR) lên ít nhất 5-10% trong vòng hai năm tới, đặc biệt đối với các tình huống khó trên bộ dữ liệu Micand32Enhanced. Các nhóm nghiên cứu AI và phát triển thị giác máy tính có thể thực hiện điều này.
  2. Khám phá tích hợp cảm biến đa phương thức để tăng cường độ chính xác theo dõi: Đề xuất phát triển và thử nghiệm các phương pháp kết hợp thông tin thị giác từ camera với dữ liệu từ các cảm biến động học (ví dụ: IMU trên tay) để cung cấp thông tin chuyển động bổ sung. Việc này có thể cải thiện đáng kể khả năng theo dõi của hệ thống, đặc biệt trong các trường hợp che khuất hoàn toàn hoặc nhiễu hình ảnh nặng. Mục tiêu là giảm tỷ lệ chuyển đổi ID (ID switches) xuống dưới 10% và tăng chỉ số MOTA lên trên 75% trong vòng ba năm, với các nhà khoa học dữ liệu và nhà nghiên cứu AI là chủ thể thực hiện.
  3. Mở rộng và chuẩn hóa bộ dữ liệu Micand32: Cần mở rộng quy mô bộ dữ liệu Micand32 bằng cách thêm đa dạng hơn các hoạt động, đối tượng tương tác, và điều kiện môi trường. Đồng thời, chuẩn hóa quy trình ghi nhãn để đảm bảo tính nhất quán và dễ sử dụng cho cộng đồng nghiên cứu quốc tế. Mục tiêu là tăng số lượng hành động từ 4 lên ít nhất 10 loại, và tổng số khung hình được gán nhãn lên 50.000 trong vòng ba đến bốn năm tới. Nhóm nghiên cứu của luận văn, cùng với các tổ chức tài trợ như NAFOSTED, nên dẫn dắt việc này.
  4. Phát triển và triển khai các ứng dụng thực tế trong y tế và thể thao: Xây dựng các ứng dụng phần mềm dựa trên khung làm việc đã đề xuất để hỗ trợ phục hồi chức năng y tế (ví dụ: theo dõi động tác tay của bệnh nhân sau tai biến) và phân tích hiệu suất thể thao (ví dụ: phân tích kỹ thuật cử động tay trong golf hoặc bóng chuyền). Các ứng dụng này cần được thử nghiệm lâm sàng hoặc thực địa để đánh giá hiệu quả. Mục tiêu là triển khai ít nhất hai ứng dụng thử nghiệm trong vòng ba năm tới, đạt tỷ lệ chấp nhận của người dùng trên 80%. Các công ty công nghệ và bệnh viện, viện nghiên cứu ứng dụng là những chủ thể phù hợp.
  5. Nghiên cứu các phương pháp học tăng cường (Reinforcement Learning) cho theo dõi đối tượng: Khám phá tiềm năng của học tăng cường trong việc tối ưu hóa các quyết định liên kết đối tượng theo thời gian, đặc biệt trong các tình huống động và không chắc chắn. Điều này có thể dẫn đến các hệ thống theo dõi linh hoạt và mạnh mẽ hơn. Các nhà nghiên cứu AI và học máy nên tập trung vào việc phát triển các mô hình học tăng cường có thể cải thiện độ bền theo dõi thêm 5% trong vòng bốn năm tới.

Đối tượng nên tham khảo luận văn

Luận văn này là một tài liệu nghiên cứu giá trị, cung cấp những hiểu biết sâu sắc và đóng góp thực tiễn cho nhiều đối tượng khác nhau trong lĩnh vực công nghệ và ứng dụng:

  1. Các nhà nghiên cứu và học giả trong lĩnh vực Thị giác máy tính và Học sâu: Luận văn cung cấp một cái nhìn toàn diện về các phương pháp phát hiện, phân đoạn và theo dõi tay trong bối cảnh egocentric. Đây là nguồn tham khảo quan trọng cho việc phát triển các mô hình CNN và thuật toán theo dõi tiên tiến, đặc biệt là các cải tiến trong DeepSORT. Các học giả có thể sử dụng các kết quả so sánh để định hướng nghiên cứu tiếp theo về theo dõi hành vi con người, phân tích cử chỉ tay, hoặc các ứng dụng thực tế ảo và thực tế tăng cường, tìm kiếm những điểm yếu cần cải thiện hoặc các hướng phát triển mới dựa trên nền tảng đã có.
  2. Các kỹ sư và nhà phát triển phần mềm trong ngành AI/Thị giác máy tính: Luận văn trình bày một khung làm việc (framework) đã được đề xuất và đánh giá chi tiết, cùng với mã nguồn công khai trên GitHub, là tài nguyên hữu ích cho việc triển khai thực tế. Nó cung cấp hướng dẫn chi tiết về cách tích hợp các mô hình RCNN và YOLO với SORT/DeepSORT. Các kỹ sư có thể áp dụng các kỹ thuật này để phát triển các hệ thống giám sát tự động, công cụ hỗ trợ phục hồi chức năng trong y tế, hoặc các giải pháp tương tác người-máy dựa trên cử chỉ trong các sản phẩm thương mại, giúp nâng cao hiệu quả và độ tin cậy của các hệ thống.
  3. Các chuyên gia y tế, vật lý trị liệu và chuyên gia thể thao: Nghiên cứu này đặt nền móng cho việc phát triển các công cụ tự động theo dõi và định lượng tiến trình hồi phục của bệnh nhân, đặc biệt là các động tác tay. Nó cung cấp một phương pháp khách quan để phân tích kỹ thuật vận động trong thể thao. Ví dụ, bác sĩ có thể sử dụng các công cụ này để đưa ra phác đồ điều trị phù hợp cho bệnh nhân đột quỵ, hoặc huấn luyện viên thể thao có thể phân tích chi tiết hiệu suất của vận động viên trong các động tác cụ thể, giúp cá nhân hóa lộ trình tập luyện và phục hồi.
  4. Sinh viên sau đại học và những người quan tâm đến nghiên cứu ứng dụng: Luận văn là một ví dụ điển hình về một công trình nghiên cứu thạc sĩ chất lượng cao trong lĩnh vực AI ứng dụng, từ việc xác định vấn đề, xây dựng cơ sở lý thuyết, triển khai thực nghiệm, đến đánh giá và đưa ra kết quả. Nó hướng dẫn cách lựa chọn đề tài, phương pháp nghiên cứu, và cách trình bày kết quả một cách học thuật nhưng vẫn dễ hiểu. Sinh viên có thể học hỏi cách xây dựng bộ dữ liệu tùy chỉnh như Micand32 và công cụ EHTA, đồng thời hiểu rõ quy trình chuyển đổi ý tưởng lý thuyết thành giải pháp thực tiễn.

Câu hỏi thường gặp

  1. "Thị giác egocentric" là gì và tại sao nó lại quan trọng trong nghiên cứu này? Thị giác egocentric, hay tầm nhìn người thứ nhất, là việc thu nhận hình ảnh và video từ góc nhìn của người đeo camera, thường là trên đầu hoặc ngực. Nó cung cấp một góc nhìn độc đáo và quý giá về các hoạt động của người dùng và môi trường tự nhiên, đặc biệt là cử động của bàn tay. Trong nghiên cứu này, tầm nhìn egocentric rất quan trọng vì nó giúp theo dõi chi tiết các động tác tay, vốn là yếu tố chính để định nghĩa và nhận biết hành động. Ví dụ, trong phục hồi chức năng, nó giúp định lượng tiến trình hồi phục của bệnh nhân, mà các hệ thống camera tĩnh thường gặp khó khăn về quyền riêng tư và góc quay.

  2. Phương pháp "theo dõi bằng phát hiện" (tracking by detection) hoạt động như thế nào? Đây là một quy trình theo dõi hai giai đoạn phổ biến và hiệu quả. Đầu tiên, một thuật toán phát hiện đối tượng, như các mô hình trong họ RCNN hoặc YOLO, sẽ xác định vị trí và phân loại các đối tượng (ví dụ: bàn tay) trong mỗi khung hình của video. Sau đó, ở giai đoạn thứ hai, một thuật toán theo dõi (như SORT hoặc DeepSORT) sẽ liên kết các đối tượng được phát hiện này với các đối tượng đã được theo dõi trong các khung hình trước đó. Sự kết hợp này giúp duy trì một danh tính duy nhất và nhất quán cho từng đối tượng trong suốt chuỗi video.

  3. Đóng góp chính của luận văn này là gì? Luận văn này có ba đóng góp chính. Thứ nhất, nó đề xuất một khung làm việc toàn diện và linh hoạt cho việc phát hiện, phân đoạn và theo dõi tay từ tầm nhìn egocentric, tích hợp các thuật toán hiện đại. Thứ hai, luận văn thực hiện một đánh giá so sánh kỹ lưỡng giữa 11 sự kết hợp khác nhau của bộ phát hiện và bộ theo dõi, từ đó đưa ra khuyến nghị lựa chọn phương pháp phù hợp. Thứ ba, một bộ dữ liệu theo dõi tay egocentric mới, Micand32, cùng với công cụ ghi nhãn bán tự động EHTA đã được xây dựng và công bố, lấp đầy một khoảng trống trong các tài nguyên nghiên cứu hiện có.

  4. DeepSORT có ưu điểm gì so với SORT trong việc theo dõi tay? DeepSORT vượt trội hơn SORT nhờ tích hợp thông tin về đặc điểm hình ảnh (appearance information) vào quá trình theo dõi. Trong khi SORT chỉ dựa vào thông tin vị trí và chuyển động dự đoán, DeepSORT sử dụng một bộ mô tả hình ảnh sâu (deep appearance descriptor), được đào tạo trên bộ dữ liệu tùy chỉnh, để so sánh và liên kết các đối tượng. Khả năng này giúp DeepSORT giảm đáng kể số lần chuyển đổi danh tính (identity switches) – một vấn đề lớn trong theo dõi đa đối tượng – ngay cả khi đối tượng bị che khuất trong nhiều khung hình. Các kết quả trên bộ dữ liệu Micand32Enhanced cho thấy DeepSORT cải thiện đáng kể độ bền theo dõi so với SORT.

  5. Bộ dữ liệu Micand32 mới được xây dựng như thế nào và tầm quan trọng của nó? Bộ dữ liệu Micand32 được xây dựng từ 32 chuỗi video egocentric, ghi lại các hoạt động luyện tập tay của bệnh nhân tại Bệnh viện Y học Hà Nội, với độ phân giải cao 1920x1440. Dữ liệu được gán nhãn chi tiết cho việc phát hiện, phân đoạn và theo dõi tay bằng công cụ VIA và EHTA bán tự động, giúp giảm thời gian ghi nhãn xuống còn 1 giây/hình ảnh. Tầm quan trọng của Micand32 nằm ở việc nó cung cấp một nguồn tài nguyên quý giá và thực tế cho việc nghiên cứu theo dõi tay egocentric, đặc biệt trong các tình huống phức tạp có nhiều tay và che khuất. Theo một báo cáo, các bộ dữ liệu tương tự với tiêu chuẩn chi tiết về theo dõi tay còn rất hạn chế.

Kết luận

Luận văn đã đạt được các mục tiêu đề ra, mang lại những đóng góp quan trọng cho lĩnh vực thị giác máy tính và ứng dụng:

  • Đã đề xuất thành công một khung làm việc toàn diện cho việc phát hiện, phân đoạn và theo dõi tay từ tầm nhìn egocentric, tích hợp các mô hình phát hiện hiện đại như RCNN, YOLO và các thuật toán theo dõi như SORT, DeepSORT.
  • Khẳng định một cách rõ ràng rằng hiệu suất của thuật toán phát hiện đối tượng đóng vai trò quyết định đến kết quả theo dõi tổng thể của hệ thống, điều này được chứng minh qua các đánh giá so sánh chi tiết.
  • Chứng minh được rằng việc sử dụng các bộ mô tả hình ảnh sâu trong DeepSORT giúp giảm đáng kể số lần chuyển đổi danh tính, từ đó cải thiện hiệu suất theo dõi đáng kể so với các phương pháp chỉ dựa trên vị trí.
  • Đã xây dựng và công bố bộ dữ liệu theo dõi tay egocentric Micand32 mới, cùng với công cụ ghi nhãn bán tự động EHTA, cung cấp một tài nguyên quý giá cho cộng đồng nghiên cứu để phát triển và kiểm định các thuật toán mới.
  • Cung cấp các khuyến nghị thực tiễn về lựa chọn phương pháp phù hợp cho các ứng dụng theo dõi tay egocentric, mở ra tiềm năng lớn trong các lĩnh vực y tế (giám sát phục hồi chức năng) và thể thao (phân tích kỹ thuật).

Các bước tiếp theo của nghiên cứu sẽ tập trung vào việc nghiên cứu và tối ưu hóa các bộ phát hiện cho ngữ cảnh egocentric phức tạp hơn, khám phá việc tích hợp cảm biến đa phương thức để tăng cường độ chính xác, cũng như mở rộng bộ dữ liệu Micand32 với các ngữ cảnh và đối tượng đa dạng hơn. Luận văn này là tài liệu tham khảo thiết yếu cho các nhà khoa học, kỹ sư và chuyên gia muốn phát triển các giải pháp thị giác máy tính tiên tiến, đặc biệt trong lĩnh vực chăm sóc sức khỏe và tương tác người-máy.