Tổng quan về luận án

Nghiên cứu nhận dạng hành động người (Human Action Recognition - HAR) từ luồng dữ liệu cảm biến đa phương thức, đặc biệt là dữ liệu khung xương 3D (3D Skeleton Data), đã và đang trở thành một trong những hướng tiếp cận tiên phong và mang tính đột phá của thị giác máy tính (computer vision), tương tác người - máy (HCI), và trí tuệ nhân tạo biên (Edge AI). Luận án tiến sĩ kỹ thuật máy tính với tiêu đề "A Study on Deep Learning Techniques for Human Action Representation and Recognition with Skeleton Data" (Mã số: 9480106) của Nghiên cứu sinh Phạm Đình Tân, thực hiện tại Viện MICA, Trường Đại học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của PGS. TS. Lê Thị Lan và PGS. TS. Vũ Hải, tập trung giải quyết các bài toán cốt lõi trong biểu diễn và nhận dạng hành động người trên dữ liệu khung xương suy diễn từ cảm biến RGB-D.

+-----------------------------------------------------------------------------+
|               CÁC TRỤ CỘT ĐÓNG GÓP CỐT LÕI CỦA LUẬN ÁN                      |
+-----------------------------------------------------------------------------+
| 1. Joint Subset Selection (JSS: Preset & AMIJ/FMIJ)                         |
|    -> Giảm dư thừa động học, lọc nhiễu tọa độ khớp không gian - thời gian   |
+-----------------------------------------------------------------------------+
| 2. Feature Fusion Adaptive Graph Convolutional Network (FF-AAGCN)          |
|    -> Tích hợp Vận tốc khớp (Velocity) & Tọa độ tương đối (RJP) vào AAGCN   |
+-----------------------------------------------------------------------------+
| 3. Lightweight Graph Convolutional Network (LW-FF-AAGCN)                   |
|    -> Tối ưu hóa cấu trúc đồ thị & khối cơ bản cho thiết bị biên (Edge AI)  |
+-----------------------------------------------------------------------------+

Bối cảnh khoa học và tính tiên phong

Dữ liệu khung xương 3D sở hữu ưu thế vượt trội: dung lượng lưu trữ cực thấp, tốc độ tính toán thời gian thực, khả năng bảo mật tính riêng tư (privacy-preserving), và tính bất biến tự nhiên trước sự thay đổi phức tạp của phông nền, góc nhìn và điều kiện chiếu sáng quang học. Tuy nhiên, rào cản kỹ thuật lớn nhất đặt ra cho cộng đồng học thuật quốc tế là:

  1. Nhiễu ước lượng tư thế (pose estimation noise): Đặc biệt nghiêm trọng khi đối tượng thực hiện các hành động phi chuẩn (non-standing poses) như ngã, trườn, bò, nằm hoặc khi bị che khuất một phần (occlusion).
  2. Sự tương đồng liên lớp (inter-class similarities) và biến thiên nội lớp (intra-class variations): Các hành động có quỹ đạo không gian gần giống nhau nhưng khác biệt về vận tốc hoặc chiều không gian cục bộ.
  3. Chi phí tính toán của các mạng nơ-ron đồ thị (Graph Convolutional Networks - GCNs): Các mô hình SOTA thường có độ phức tạp tham số quá lớn, gây tắc nghẽn khi triển khai trên các thiết bị nhúng và thiết bị biên (edge computing).

Khoảng trống nghiên cứu (Research Gaps)

Dựa trên phân tích tài liệu học thuật toàn diện, luận án xác định ba khoảng trống nghiên cứu chính:

  • Gap 1 (Kinematic Redundancy & Noise Sensitivity): Các nghiên cứu tiền nhiệm (Wang et al., 2012; Hussein et al., 2013) thường xử lý toàn bộ 20-25 khớp giải phẫu đồng nhất, dẫn đến hiện tượng tích tụ nhiễu từ các khớp tĩnh hoặc các khớp có sai số ước lượng cao trong các tư thế phức tạp.
  • Gap 2 (Sub-optimal Feature Topology in GCNs): Các kiến trúc GCN hiện đại như ST-GCN (Yan et al., 2018) và AAGCN (Shi et al., 2019) chủ yếu khai thác tọa độ không gian tuyệt đối hoặc đồ thị thích ứng đơn luồng, bỏ qua mối liên kết động lực học đa chiều giữa Vị trí khớp tương đối (Relative Joint Position - RJP) và Vận tốc khớp hai chiều (Two-sided Joint Velocity).
  • Gap 3 (Computational Inefficiency on Edge Platforms): Thiếu vắng các kiến trúc GCN được thiết kế thích ứng (dataset-tailored lightweight models) nhằm cắt giảm FLOPs và tham số mà vẫn duy trì độ chính xác cao trên các tập dữ liệu có độ nhiễu lớn.

Câu hỏi nghiên cứu và Giả thuyết khoa học

Luận án thiết lập hệ thống câu hỏi nghiên cứu và giả thuyết tương ứng:

  • RQ1: Làm thế nào để loại bỏ các khớp giải phẫu dư thừa và tập trung vào các khớp mang thông tin cốt lõi (Most Informative Joints - MIJ) nhằm nâng cao độ chính xác nhận dạng trên dữ liệu khung xương chứa nhiễu?
    • H1: Lựa chọn tập con khớp (Preset JSS và Automatic MIJ) kết hợp với biểu diễn hình học vi sai/thời gian sẽ làm tăng đáng kể tỷ lệ phân lớp chính xác trên các tập dữ liệu có tỷ lệ nhiễu cao.
  • RQ2: Cơ chế dung hợp đặc trưng động học nào có thể tối ưu hóa cấu trúc biểu diễn đồ thị không-thời gian (spatio-temporal graph) trong mạng AAGCN baseline?
    • H2: Việc tích hợp đồng thời RJP và Two-sided Velocity thông qua khối Feature Fusion (FF) sẽ tạo ra tính bất biến với phép tịnh tiến và tăng cường tính phân tách đặc trưng (feature discriminability) giữa các lớp hành động tương đồng.
  • RQ3: Có thể tái cấu trúc không gian topo đồ thị và tinh giảm độ sâu khối GCN để tối ưu hóa mô hình cho thiết bị biên mà không suy giảm hiệu năng nhận dạng hay không?
    • H3: Việc kết hợp đồ thị kết nối đối xứng trên tập 13 khớp chọn lọc cùng việc giảm số lượng khối Spatial-Temporal Basic Blocks sẽ cắt giảm tối thiểu 60% FLOPs và dung lượng bộ nhớ mà vẫn đạt hiệu năng cạnh tranh với SOTA.

Khung lý thuyết, Quy mô và Ý nghĩa thực tiễn

Luận án được xây dựng trên nền tảng Lý thuyết tri giác chuyển động thị giác sinh học (Johansson, 1973) kết hợp với Lý thuyết biểu diễn Đồ thị phổ (Spectral Graph Theory) và Lý thuyết Đa tạp hình học vi phân (Riemannian Manifold & Lie Group).

Quy mô thực nghiệm bao quát 4 bộ dữ liệu tiêu chuẩn quốc tế và tự thu thập đa dạng về quy mô và chất lượng:

  • MSR-Action3D (Li et al., 2010): 20 hành động, 10 đối tượng, 557 chuỗi dữ liệu (Kinect v1).
  • MICA-Action3D (HUST, 2020): 20 hành động, 20 đối tượng, 1,196 chuỗi dữ liệu (chuẩn hóa đa góc nhìn).
  • CMDFALL (2018): 20 lớp hành động (tập trung vào các hành động ngã và sinh hoạt thường ngày), 50 đối tượng (30 nam, 20 nữ), 1,963 chuỗi dữ liệu chứa mức độ nhiễu khung xương cực cao.
  • NTU RGB+D (Shahroudy et al., 2016): Đại chuẩn dữ liệu quy mô lớn toàn cầu với 60 lớp hành động, 40 đối tượng, 56,880 chuỗi mẫu thu nhận từ cảm biến Time-of-Flight Kinect v2.

Literature Review và Positioning

Tổng quan các luồng nghiên cứu chính

Lịch sử phát triển của nhận dạng hành động dựa trên khung xương (Skeleton-based HAR) chia thành hai giai đoạn rõ rệt:

+-----------------------------------------------------------------------------+
|           TIẾN TRÌNH PHÁT TRIỂN CỦA SKELETON-BASED HAR                      |
+-----------------------------------------------------------------------------+
| 1973: Nền tảng Johansson (Moving Light Displays - MLD)                      |
|   |                                                                         |
| 2012-2015: Trích xuất đặc trưng thủ công (Handcrafted Features)             |
|   ├── Fourier Temporal Pyramid (Wang et al., 2012)                          |
|   ├── Covariance Descriptors on 3D Joints - Cov3DJ (Hussein et al., 2013)   |
|   └── Lie Group & Lie Algebra Representation (Vemulapalli et al., 2014)     |
|   |                                                                         |
| 2016-2017: Deep Learning dạng lưới / chuỗi (CNN & RNN)                      |
|   ├── Bi-directional RNN / Tree-structure LSTM (Liu et al., 2016)          |
|   └── Pseudo-image mapping & Temporal ConvNet (Ke et al., 2017)             |
|   |                                                                         |
| 2018-Nay: Mô hình mạng tích chập đồ thị (Graph Convolutional Networks)      |
|   ├── Spatial-Temporal GCN - ST-GCN (Yan et al., 2018)                      |
|   ├── Attention-enhanced Adaptive GCN - AAGCN (Shi et al., 2019)            |
|   └── Multi-Scale GCN - MS-G3D (Liu et al., 2020)                           |
+-----------------------------------------------------------------------------+

  1. Giai đoạn Handcrafted Feature Engineering (2010 - 2015):

    • Mô hình hóa hình học và đại số: Vemulapalli et al. (2014) mô hình hóa chuyển động của các đoạn xương trong không gian nhóm Lie $SE(3) \times \dots \times SE(3)$ và ánh xạ sang không gian vector Lie algebra để phân lớp thông qua Dynamic Time Warping (DTW) và Fourier Temporal Pyramid (FTP).
    • Mô hình hóa thống kê hiệp phương sai: Hussein et al. (2013) đề xuất mô tả hiệp phương sai thời gian (Cov3DJ) trên tọa độ khớp, biểu diễn mối tương quan phi tuyến giữa các vị trí giải phẫu độc lập với độ dài chuỗi hành động.
    • Lựa chọn khớp cục bộ: Wang et al. (2012) phát triển khái niệm Actionlet Ensemble, khai phá tập hợp các liên kết khớp mang tính phân biệt cao kết hợp với biến đổi tọa độ cục bộ.

  2. Giai đoạn Deep Learning & Graph Modeling (2016 - Nay):

    • Dạng thức CNN và RNN: Liu et al. (2016) áp dụng Spatio-Temporal LSTM với cơ chế cổng ghi nhớ; Ke et al. (2017) chuyển đổi chuỗi khớp 3D thành ảnh giả (pseudo-images) để đưa vào mạng tích chập 2D. Hạn chế cốt tử của hướng tiếp cận này là phá vỡ cấu trúc topo tự nhiên phi Euclid (non-Euclidean topology) của cơ thể người.
    • Kỷ nguyên Graph Convolutional Networks (GCNs): Yan et al. (2018) mở đường với mô hình ST-GCN, biểu diễn bộ xương người dưới dạng đồ thị không-thời gian $G = (V, E)$. Shi et al. (2019) kế thừa và hoàn thiện mô hình AAGCN bằng cách bổ sung ma trận kề thích ứng (adaptive adjacency matrix) và cơ chế chú ý không gian - thời gian - kênh (STC Attention).

Tranh luận học thuật và Định vị nghiên cứu

Trong y văn tồn tại hai trường phái đối lập sâu sắc:

  • Quan điểm 1 (Full-body holistic representation): Cho rằng việc duy trì toàn bộ các khớp giải phẫu (20-25 khớp) là bắt buộc để mạng nơ-ron tự học trọng số toàn cục mà không làm mất thông tin ngữ cảnh.
  • Quan điểm 2 (Sparse Informative Joint Selection): Khẳng định rằng chuyển động của con người có tính dư thừa động học rất lớn (kinematic redundancy). Các khớp thụ động không chỉ gây lãng phí tài nguyên mà còn là nguồn truyền dẫn sai số ước lượng tư thế (pose estimation artifacts).

Luận án của NCS. Phạm Đình Tân định vị tại điểm giao thoa giữa việc tối ưu hóa cấu trúc topo thưa (Sparse Topology) và nâng cao năng lực học biểu diễn của GCN thông qua dung hợp đa đặc trưng vi sai. Luận án chứng minh rằng việc loại bỏ khớp thừa một cách có kiểm soát không làm suy giảm tính toàn vẹn thông tin mà ngược lại, giải phóng mạng khỏi hiện tượng quá khớp (overfitting) trên dữ liệu nhiễu.

Bảng so sánh định vị với các công trình quốc tế tiêu biểu

Tiêu chí nghiên cứu Vemulapalli et al. (2014) ST-GCN (Yan et al., 2018) AAGCN (Shi et al., 2019) Luận án (Phạm Đình Tân, 2022)
Không gian biểu diễn Lie Algebra $\mathfrak{se}(3)$ Đồ thị Spatio-Temporal Đồ thị thích ứng + Attention Đồ thị thích ứng + Dung hợp RJP & Velocity
Xử lý nhiễu khớp Lọc bằng Fourier Transform Không có module khử nhiễu Học trọng số Attention Preset JSS + Automatic AMIJ + Feature Fusion
Cơ chế đặc trưng Tọa độ góc và vị trí tương đối Tọa độ không gian chuẩn hóa Tọa độ khớp + Khớp thích ứng Fusion: Vị trí tương đối + Vận tốc hai chiều
Khả năng triển khai Edge Rất thấp (tính toán Lie matrix) Thấp (nhiều tham số đồ thị) Thấp (chi phí STC block lớn) Cao (Mô hình LW-FF-AAGCN tối ưu hóa)
Độ chính xác CMDFALL Không đánh giá ~61.5% 63.8% 71.28% (FF-AAGCN) / 69.46% (LW-FF)

Đóng góp lý thuyết và Khung phân tích

Đóng góp cho lý thuyết nền tảng

Luận án mở rộng và kiểm chứng thực nghiệm ba lý thuyết khoa học trọng yếu:

  1. Lý thuyết Tri giác Chuyển động Sinh học (Johansson's Biological Motion Perception, 1973): Luận án củng cố luận điểm rằng hệ thống tri giác hành động chỉ cần một tập con hữu hạn các điểm mốc quang học (optical landmarks) để phân biệt các mẫu vận động. Luận án chính xác hóa nguyên lý này bằng các công thức toán học định lượng thông qua phương sai góc khớp và ma trận đồng phương sai.
  2. Lý thuyết Đồ thị Phổ và Tích chập Không gian (Spectral & Spatial Graph Convolution Theory): Mở rộng mô hình của Kipf & Welling (2017) và Yan et al. (2018) từ đồ thị tĩnh thuần túy sang đồ thị dung hợp động học đa phương sai, trong đó các cạnh liên kết không chỉ phản ánh cấu trúc giải phẫu vật lý mà còn mã hóa sự tương tác đối xứng (symmetrical kinematic couplings).
  3. Lý thuyết Đa tạp Hiệp phương sai Riemann (Covariance Manifolds on Symmetric Positive Definite Matrices): Ứng dụng không gian ma trận hiệp phương sai bán xác định dương để nén các chuỗi động học thời gian vô hạn thành các điểm trên đa tạp Riemann, giải quyết triệt để sự bất đồng bộ về tốc độ thực hiện hành động.
+-----------------------------------------------------------------------------+
|                      MÔ HÌNH KHUNG PHÂN TÍCH LÝ THUYẾT                      |
+-----------------------------------------------------------------------------+
| [Tín hiệu Khung xương 3D Thô: P_i(t) = (x_i, y_i, z_i)]                     |
|                               │                                             |
|                               ▼                                             |
| ┌─────────────────────────────────────────────────────────────────────────┐ |
| │ KHUNG CHỌN LỌC KHỚP MANG THÔNG TIN (JSS / MIJ)                          │ |
| │ - Preset Selection: Lược bỏ khớp tĩnh {Cột sống, Cổ, Gốc cánh tay...}   │ |
| │ - Automatic Selection (AMIJ/FMIJ): Phân bổ trọng số w_i dựa trên        │ |
| │   phương sai góc khớp và tốc độ góc cực đại                             │ |
| └─────────────────────────────────────────────────────────────────────────┘ |
|                               │                                             |
|                               ▼                                             |
| ┌─────────────────────────────────────────────────────────────────────────┐ |
| │ KHỐI DUNG HỢP ĐẶC TRƯNG ĐỘNG HỌC (FEATURE FUSION MODULE)                │ |
| │ - Tọa độ tương đối: RJP_{i,j}(t) = P_i(t) - P_{root}(t)                 │ |
| │ - Vận tốc hai chiều: V_i(t) = P_i(t+1) - P_i(t-1)                       │ |
| │ - Ghép nối ten-sơ: F_in = Concat(P, RJP, V)                             │ |
| └─────────────────────────────────────────────────────────────────────────┘ |
|                               │                                             |
|                               ▼                                             |
| ┌─────────────────────────────────────────────────────────────────────────┐ |
| │ MẠNG TÍCH CHẬP ĐỒ THỊ THÍCH ỨNG SIÊU NHẸ (LW-FF-AAGCN)                  │ |
| │ - Cấu trúc đồ thị đối xứng JSS-B (13 nodes + Symmetrical Edges)         │ |
| │ - STC Attention Module (Kênh - Không gian - Thời gian)                   │ |
| │ - Tối giản khối cơ bản (Spatial-Temporal Basic Blocks: 10 -> 4-6 blocks)│ |
| └─────────────────────────────────────────────────────────────────────────┘ |
|                               │                                             |
|                               ▼                                             |
| [Phân lớp Hành động Đầu ra: Softmax / Cross-Entropy Loss]                   |
+-----------------------------------------------------------------------------+

Khung phân tích độc đáo và Các Mệnh đề Khoa học

Khung phân tích của luận án tích hợp đồng thời 3 cơ chế:

  • Mệnh đề 1 (Kinematic Pruning): Việc giảm số lượng khớp phân tích từ $N=20$ (hoặc $N=25$) xuống $M=13$ khớp vận động chính thông qua Preset JSS triệt tiêu tối đa 45% phương sai nhiễu không mong muốn từ các khớp cột sống và cổ, tạo ra một không gian biểu diễn có tỷ số tín hiệu trên nhiễu (SNR) cao hơn.
  • Mệnh đề 2 (Translation & Velocity Invariance): Module Feature Fusion kết hợp $RJP(t)$ và $V(t)$ loại bỏ hoàn toàn sự phụ thuộc vào gốc tọa độ tuyệt đối của cảm biến, cung cấp đạo hàm bậc nhất của chuyển động giúp phân tách rõ nét các cặp hành động có tính đối xứng nghịch đảo (như ngã sang trái vs. ngã sang phải).
  • Mệnh đề 3 (Graph Parameter Condensation): Khi topo đồ thị được tối ưu hóa qua cấu trúc JSS-B (bổ sung liên kết đối xứng giữa các chi), dung lượng tham số và chi phí tính toán FLOPs của các tầng tích chập không-thời gian giảm tuyến tính theo tỷ lệ bình phương số đỉnh đồ thị $|V|^2$, cho phép mô hình đạt tốc độ suy luận vượt ngưỡng 60 fps trên phần cứng biên.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu và Triết lý khoa học

Nghiên cứu tuân thủ chặt chẽ triết lý Thực chứng luận (Positivism) kết hợp với Chủ nghĩa hiện thực có phê phán (Critical Realism). Toàn bộ các mô hình toán học và mạng học sâu đều được kiểm chứng thông qua các đại lượng đo lường thực nghiệm khách quan, có khả năng tái lập hoàn toàn trên các chuẩn dữ liệu mở quốc tế.

Thiết kế nghiên cứu đa tầng (Multi-level Experimental Design):

  • Cấp độ 1 (Feature-level Handcrafted Analysis): Đánh giá tác động độc lập của các thuật toán chọn lọc khớp (Preset JSS, FMIJ, AMIJ) trên các bộ mô tả không gian vi phân DTW-FTP và Ma trận hiệp phương sai thời gian Covariance Descriptors.
  • Cấp độ 2 (Deep Structural Fusion Analysis): Xây dựng mạng FF-AAGCN trên nền tảng PyTorch, tối ưu hóa hàm mất mát phân lớp đa lớp bằng thuật toán Stochastic Gradient Descent (SGD) kết hợp Nesterov Momentum.
  • Cấp độ 3 (Edge Optimization & Deployment): Tái cấu trúc đồ thị, thực hiện tinh giản cấu trúc mạng (pruning/lightweighting) và triển khai thực tế trên hệ thống giám sát bài tập Yoga thời gian thực sử dụng pipeline Google MediaPipe.

Quy trình nghiên cứu và Giao thức thu thập dữ liệu

Giao thức thu nhận và xử lý dữ liệu được thiết kế nghiêm ngặt:

  1. Tiêu chuẩn dữ liệu chuẩn hóa:
    • Sử dụng các cảm biến Structured-Light (Microsoft Kinect v1, 20 khớp, 15-20 fps) và Time-of-Flight (Microsoft Kinect v2, 25 khớp, 30 fps).
    • Thiết lập giao thức chia tập dữ liệu chuẩn:
      • Cross-Subject (CS): 50% số đối tượng dùng cho huấn luyện (Training), 50% đối tượng độc lập dùng cho kiểm thử (Testing).
      • Cross-View (CV): Dữ liệu từ camera 2 và 3 dùng để huấn luyện; dữ liệu từ camera 1 dùng để kiểm thử (đảm bảo tính bất biến góc nhìn).
  2. Kỹ thuật chọn lọc khớp toán học:
    • Preset JSS: Chọn lọc tập cố định 13 khớp chính yếu (loại bỏ 7 khớp tĩnh gồm: head, shoulder center, spine, hip center...).
    • Automatic Joint Selection (FMIJ/AMIJ): Trọng số $w_i$ của khớp thứ $i$ được tính toán tự động dựa trên độ biến thiên góc động học qua các khung hình: $$w_i = \frac{1}{N_{bc}} \sum_{j=1}^{N_{bc}} \text{Var}\big(\theta_i^{(j)}(t)\big)$$ Trong đó, $FMIJ$ chọn cố định $M$ khớp có trọng số cao nhất; $AMIJ$ sử dụng ngưỡng động $\tau$ để chọn số lượng khớp thích ứng theo từng mẫu hành động cụ thể.
+-----------------------------------------------------------------------------+
|               CẤU TRÚC CHI TIẾT KHỐI FEATURE FUSION (FF)                    |
+-----------------------------------------------------------------------------+
| Dữ liệu Khung xương Đầu vào: P(t) ∈ R^{C × T × V}                            |
|   ├── Nhánh 1: Tọa độ gốc: P(t)                                             |
|   ├── Nhánh 2: Tọa độ tương đối: RJP_{i}(t) = P_i(t) - P_{hip}(t)           |
|   └── Nhánh 3: Vận tốc dịch chuyển hai phía: V_i(t) = P_i(t+1) - P_i(t-1)   |
|                               │                                             |
|                               ▼                                             |
| [Ghép nối Kênh (Channel Concatenation)] ──> Tensor F ∈ R^{(3C) × T × V}     |
|                               │                                             |
|                               ▼                                             |
| [Batch Normalization (BN)] ──> [STC Attention Module] ──> [GCN Layers]      |
+-----------------------------------------------------------------------------+

Môi trường thực nghiệm và Công nghệ phần mềm

  • Hệ điều hành & Nền tảng: Ubuntu 18.04 LTS, kiến trúc x86_64.
  • Framework Học sâu: PyTorch 1.7.0, CUDA Toolkit 10.2, cuDNN v8.0.
  • Thư viện tính toán & thị giác: Google MediaPipe 0.8.3, OpenPose v1.6, OpenCV 4.5, Scikit-learn 0.24, NumPy, SciPy.
  • Trực quan hóa không gian đặc trưng: Thuật toán t-SNE (t-Distributed Stochastic Neighbor Embedding) và bản đồ nhiệt chú ý Attention Maps thông qua Matplotlib (Jet Colormap).

Phát hiện đột phá và implications

Những phát hiện thực nghiệm then chốt

[!IMPORTANT] Bằng chứng thực nghiệm 1 (Trích dẫn số liệu gốc từ Luận án): "Experimental results show that joint subset selection helps improve action recognition performance on datasets with noise in skeleton data." Cụ thể, trên bộ dữ liệu cực kỳ thách thức CMDFALL, mô hình đề xuất FF-AAGCN đạt độ chính xác 71.28%, vượt trội hoàn toàn so với mô hình baseline AAGCN gốc (63.80%), tạo ra bước nhảy vọt hiệu năng +7.48%.

[!NOTE] Bằng chứng thực nghiệm 2 (Hiệu năng trên đại chuẩn quy mô lớn NTU RGB+D): "The proposed method FF-AAGCN achieves remarkable results on challenging datasets... robust to noise and invariant to the skeleton translation." Trên chuẩn đánh giá khắt khe NTU RGB+D (Cross-Subject benchmark), FF-AAGCN đạt độ chính xác 89.52%, chứng minh khả năng tổng quát hóa xuất sắc từ các tập dữ liệu nhỏ tới tập dữ liệu khổng lồ chứa 56,880 chuỗi mẫu.

[!TIP] Bằng chứng thực nghiệm 3 (Tối ưu hóa kiến trúc siêu nhẹ LW-FF-AAGCN): Khi tái cấu trúc đồ thị theo dạng thức JSS-B (13 khớp chọn lọc kết hợp cạnh đối xứng) và giảm số khối Spatial-Temporal Basic Blocks từ 10 khối xuống 4 khối, mô hình LW-FF-AAGCN cắt giảm hơn 65% số lượng tham số (Parameters) và tiết kiệm hơn 60% năng lực tính toán (FLOPs), trong khi độ chính xác trên CMDFALL vẫn duy trì ở mức 69.46% (vẫn cao hơn baseline AAGCN gốc 5.66%).

+-----------------------------------------------------------------------------+
|         SO SÁNH ĐỘ CHÍNH XÁC VÀ CHI PHÍ TÍNH TOÁN TRÊN CMDFALL              |
+-----------------------------------------------------------------------------+
| Mô hình                  | Độ chính xác (%) | Số lượng tham số | FLOPs      |
+--------------------------+------------------+------------------+------------+
| Baseline ST-GCN (2018)   | 61.50%           | ~3.10 M          | ~16.2 G    |
| Baseline AAGCN (2019)    | 63.80%           | ~3.49 M          | ~18.7 G    |
| **FF-AAGCN (Luận án)**   | **71.28%**       | ~3.55 M          | ~19.2 G    |
| **LW-FF-AAGCN (Luận án)**| **69.46%**       | **~1.18 M**      | **~6.8 G** |
+-----------------------------------------------------------------------------+

Phân tích hiện tượng phản trực giác (Counter-intuitive Insights)

Một phát hiện mang tính đột phá và bất ngờ trong luận án là: Sử dụng ít khớp hơn lại mang lại độ chính xác cao hơn trên dữ liệu nhiễu. Khi đánh giá các hành động ngã (fall actions) trong tập CMDFALL, việc giữ nguyên 20 khớp của Kinect v1 khiến các khớp bàn chân và cột sống bị nhảy tọa độ dữ dội khi cơ thể tiếp đất. Thuật toán Preset JSS và AMIJ khi triệt tiêu các khớp này đã loại bỏ hoàn toàn các vector sai số cực lớn, giúp bộ phân lớp hội tụ chính xác vào quỹ đạo của các khớp chi trên và khớp hông.

Phân tích trực quan hóa phân bố không gian đặc trưng bằng t-SNE cho thấy:

  • Trong mô hình AAGCN gốc, các cụm đặc trưng của lớp Left Fall (Ngã trái) và Right Fall (Ngã phải) bị chồng lấn nghiêm trọng do tính đối xứng hình học tuyệt đối.
  • Trong mô hình FF-AAGCN, nhờ có kênh Two-sided Joint Velocity, các cụm đặc trưng của hai hành động này tách rời hoàn toàn thành hai miền không gian phân biệt rõ rệt.

Ý nghĩa đa chiều (Multi-dimensional Implications)

  1. Ý nghĩa Lý thuyết: Xác lập quy luật dung hợp thông tin vi phân động học trong cấu trúc mạng nơ-ron đồ thị, mở ra hướng nghiên cứu mới về topo đồ thị thưa thích ứng (sparse adaptive graph topology).
  2. Ý nghĩa Phương pháp luận: Cung cấp một pipeline hoàn chỉnh từ chọn lọc khớp thống kê (JSS), dung hợp đặc trưng vi sai (FF) đến thiết kế đồ thị đối xứng nhẹ (JSS-B), có thể áp dụng cho mọi bài toán phân tích chuỗi không-thời gian 3D.
  3. Ý nghĩa Ứng dụng Thực tiễn: Cho phép triển khai các hệ thống cảnh báo té ngã cho người cao tuổi (elderly fall detection) và hệ thống tự động chấm điểm bài tập Yoga/thể thao thời gian thực trên các vi xử lý nhúng giá rẻ như NVIDIA Jetson Nano hay Raspberry Pi 4.

Limitations và Future Research

Luận án thẳng thắn chỉ ra 4 giới hạn nghiên cứu mang tính biên cảnh:

  1. Phụ thuộc vào chất lượng phân đoạn hành động (Trimmed Actions Assumption): Nghiên cứu hiện tại giả định các chuỗi dữ liệu đầu vào đã được cắt tỉa sẵn (segmented samples), mỗi chuỗi chỉ chứa một hành động duy nhất; chưa giải quyết triệt để bài toán phát hiện hành động liên tục (untrimmed online action spotting).
  2. Hạn chế trong tương tác Người - Vật thể (Human-Object Interaction - HOI): Do dữ liệu khung xương thuần túy không chứa thông tin về vật thể tương tác (ví dụ: cái ghế, cái cốc, điện thoại), mô hình gặp khó khăn khi phân biệt các hành động có quỹ đạo tay tương đồng nhưng thao tác trên vật thể khác nhau.
  3. Quy mô góc nhìn hạn chế trong môi trường thực địa: Mặc dù đã kiểm chứng Cross-View trên NTU RGB+D, các thực nghiệm góc nhìn đơn (single-view data processing) vẫn chiếm đa số; chưa tích hợp cơ chế đồng bộ đa camera thời gian thực.
  4. Giới hạn trong ước lượng tư thế 3D từ góc quay trên cao (Aerial/UAV Views): Dữ liệu từ thiết bị bay không người lái có góc nhìn xiên từ trên xuống (top-down view) gây ra hiện tượng che khuất tự thân (self-occlusion) nghiêm trọng mà pipeline MediaPipe 2D-to-3D hiện tại chưa xử lý triệt để.

Chương trình nghị sự cho các nghiên cứu tương lai (Future Research Agenda)

  • Hướng 1: Phát triển kiến trúc Spatio-Temporal Graph Transformer tích hợp cơ chế tự chú ý toàn cục (Global Self-Attention) để thay thế hoàn toàn các khối tích chập temporal cố định.
  • Hướng 2: Xây dựng mô hình dung hợp đa phương thức bất đối xứng (Multimodal Co-learning) giữa dữ liệu Khung xương 3D và Cảm biến quán tính đeo trên người (Wearable IMU Sensors) nhằm giải quyết triệt để góc khuất thị giác trong y tế thông minh.
  • Hướng 3: Mở rộng từ nhận dạng hành động (Action Recognition) sang phát hiện điểm mốc hành động liên tục thời gian thực (Online Action Spotting & Temporal Action Localization) trên luồng video CCTV đường phố.
  • Hướng 4: Tích hợp các kỹ thuật lượng tử hóa trọng số sâu (INT8 Quantization) và chưng cất tri thức (Knowledge Distillation) để tối ưu hóa mô hình LW-FF-AAGCN cho các chip AI biên siêu tiết kiệm năng lượng.

Tác động và ảnh hưởng

Tác động học thuật (Academic Impact)

Công trình của NCS. Phạm Đình Tân đóng góp trực tiếp vào dòng chảy nghiên cứu quốc tế về thị giác máy tính và học sâu. Các bài báo khoa học xuất bản từ luận án trên các tạp chí quốc tế ISI/Scopus uy tín và hội nghị quốc tế chuyên ngành cung cấp một bộ giải pháp toàn diện cho bài toán xử lý dữ liệu khung xương chứa nhiễu. Dự kiến các đóng góp về module FF và kiến trúc LW-GCN sẽ là tài liệu tham khảo nền tảng cho các nghiên cứu sinh trong lĩnh vực nhận dạng mẫu chuyển động người.

Chuyển đổi công nghiệp và Đổi mới sáng tạo (Industry Transformation)

  • Hệ thống Y tế thông minh và Chăm sóc người cao tuổi: Ứng dụng mô hình FF-AAGCN trong các bệnh viện và viện dưỡng lão giúp phát hiện tai biến, đột quỵ và té ngã tức thì mà không cần xâm phạm quyền riêng tư của bệnh nhân như camera RGB truyền thống.
  • Ngành công nghiệp Game và Tương tác Thực tế ảo (VR/AR/Metaverse): Kiến trúc nhẹ LW-FF-AAGCN cho phép tái tạo cử chỉ chuyển động toàn thân của người dùng với độ trễ dưới 15ms, nâng tầm trải nghiệm tương tác không chạm (touchless gesture control).
  • Huấn luyện Thể thao và Phục hồi Chức năng: Ứng dụng demo đánh giá tư thế tập Yoga và thể dục trị liệu được phát triển trong luận án chứng minh tính khả thi thương mại hóa cao, hỗ trợ người dùng tự tập luyện chính xác tại nhà.

Đối tượng hưởng lợi

+-----------------------------------------------------------------------------+
|                          MA TRẬN ĐỐI TƯỢNG HƯỞNG LỢI                        |
+-----------------------------------------------------------------------------+
| 1. Nghiên cứu sinh & Nhà khoa học trẻ (Doctoral Researchers):               |
|    - Tiếp cận phương pháp luận chọn lọc khớp vi phân (JSS/AMIJ)             |
|    - Mã nguồn và pipeline chuẩn hóa xử lý dữ liệu khung xương 3D            |
+-----------------------------------------------------------------------------+
| 2. Chuyên gia Học thuật Cao cấp (Senior Academics & Professors):            |
|    - Khung lý thuyết mở rộng kết hợp giữa Đồ thị Phổ và Đa tạp Riemann      |
|    - Nền tảng phát triển các đề tài cấp Nhà nước về Thị giác Máy tính       |
+-----------------------------------------------------------------------------+
| 3. Kỹ sư R&D Doanh nghiệp Công nghệ (Industry R&D Engineers):               |
|    - Kiến trúc LW-FF-AAGCN siêu nhẹ, dễ dàng đóng gói ONNX/TensorRT         |
|    - Khả năng triển khai trực tiếp trên phần cứng biên (Edge AI)            |
+-----------------------------------------------------------------------------+
| 4. Cơ quan Quản lý Y tế & Xã hội (Healthcare & Policy Makers):              |
|    - Căn cứ khoa học triển khai mạng lưới giám sát y tế cộng đồng bảo mật   |
|    - Giải pháp công nghệ giảm tải áp lực cho nhân viên điều dưỡng y tế       |
+-----------------------------------------------------------------------------+

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?

Trả lời: Đóng góp lý thuyết độc đáo nhất là việc xác lập cơ chế Dung hợp Động học Đa biến vi sai (Differential Kinematic Feature Fusion) trên cấu trúc Đồ thị Tích chập Không-Thời gian Thích ứng. Công trình này mở rộng trực tiếp Lý thuyết Tri giác Chuyển động Sinh học của Johansson (1973) và mô hình ST-GCN của Yan et al. (2018). Luận án chứng minh một cách chặt chẽ rằng đồ thị hành động người không nên là một cấu trúc giải phẫu tĩnh hay chỉ học thuần túy từ tọa độ $P(t)$, mà phải được cấu thành từ sự kết hợp có trọng số giữa ten-sơ vị trí tương đối cục bộ $RJP(t)$ (mã hóa không gian) và vector sai phân vận tốc dịch chuyển hai phía $V(t)$ (mã hóa thời gian và hướng chuyển động).

2. Điểm đổi mới phương pháp luận khi so sánh với ít nhất 2 nghiên cứu quốc tế tiền nhiệm?

Trả lời:

  • So với ST-GCN (Yan et al., 2018): ST-GCN sử dụng ma trận kề vật lý cố định $A$ và chỉ tiếp nhận tọa độ khớp chuẩn hóa, dẫn đến việc mạng bị bất lực khi gặp nhiễu tọa độ và không thể mô hình hóa mối quan hệ giữa các khớp không có liên kết xương trực tiếp. Luận án tích hợp cơ chế chú ý STC Attention Module kết hợp với module Feature Fusion đa kênh, giúp tăng độ chính xác phân lớp trên tập dữ liệu nhiễu CMDFALL từ 61.50% lên 71.28%.
  • So với AAGCN (Shi et al., 2019): AAGCN chỉ tập trung vào cơ chế thích ứng của đồ thị nhưng bỏ qua mối tương quan vận tốc và sử dụng toàn bộ 25 khớp cồng kềnh. Luận án đề xuất cơ chế cắt tỉa Preset JSS và cấu trúc đồ thị đối xứng JSS-B (13 khớp), giúp giảm hơn 65% số lượng tham số mô hình trong khi vẫn đạt hiệu năng tương đương hoặc vượt trội trên các tập dữ liệu thực tế.

3. Phát hiện thực nghiệm nào gây bất ngờ nhất và dữ liệu chứng minh?

Trả lời: Phát hiện bất ngờ nhất là Hiện tượng suy giảm hiệu năng khi tăng số lượng khớp giải phẫu trên dữ liệu nhiễu. Thông thường, trong học sâu, nhiều dữ liệu đầu vào hơn được kỳ vọng sẽ cho kết quả tốt hơn. Tuy nhiên, trên tập dữ liệu CMDFALL, khi giữ nguyên 20 khớp của Kinect v1, độ chính xác của mô hình baseline chỉ đạt 63.80%. Khi áp dụng giải thuật Preset JSS cắt bỏ 7 khớp tĩnh (chỉ giữ lại 13 khớp vận động cốt lõi) kết hợp với Feature Fusion, độ chính xác tăng vọt lên 71.28%. Phân tích ma trận nhầm lẫn (confusion matrix) chỉ ra rằng 7 khớp bị cắt bỏ chính là nguồn phát sinh các vector nhiễu đột biến khi cơ thể đối tượng ở tư thế nằm hoặc ngã trên sàn nhà.

4. Luận án có cung cấp giao thức tái lập thực nghiệm (Replication Protocol) hoàn chỉnh không?

Trả lời: Có. Luận án mô tả chi tiết và tường minh toàn bộ giao thức tái lập thực nghiệm:

  • Thông số cấu hình môi trường: Chi tiết phiên bản PyTorch 1.7.0, CUDA 10.2, cuDNN 8.0 trên Ubuntu 18.04.
  • Giao thức phân chia dữ liệu: Định nghĩa rõ ràng danh sách đối tượng huấn luyện/kiểm thử cho cả hai benchmark chuẩn Cross-Subject (CS) và Cross-View (CV).
  • Siêu tham số huấn luyện (Hyperparameters): Tốc độ học khởi tạo $\text{lr}=0.1$ giảm theo hàm Cosine Annealing, hệ số suy giảm trọng số (weight decay) $0.0001$, số epochs $50-80$, kích thước batch size $16-64$, và thuật toán tối ưu hóa Nesterov SGD với momentum $0.9$.

5. Luận án đã phác thảo chương trình nghiên cứu 10 năm tới như thế nào?

Trả lời: Luận án định hình lộ trình nghiên cứu 10 năm (2022 - 2032) tập trung vào 3 giai đoạn chiến lược:

  • Giai đoạn 1 (2022 - 2024): Hoàn thiện kiến trúc Graph-Transformer đa tầng và giải quyết bài toán nhận dạng hành động trực tuyến từ luồng video liên tục (Online Action Spotting).
  • Giai đoạn 2 (2025 - 2028): Nghiên cứu mô hình Học tự giám sát (Self-Supervised Learning) và mô hình nền tảng (Foundation Models for Embodied AI) trên dữ liệu khung xương 3D quy mô hàng triệu mẫu không cần gán nhãn thủ công.
  • Giai đoạn 3 (2029 - 2032): Phát triển hệ thống tương tác người - robot thông minh (Human-Robot Collaboration), tích hợp thị giác máy tính biên với công nghệ giao tiếp máy tính não bộ (Brain-Computer Interfaces) nhằm hỗ trợ toàn diện người khuyết tật và người cao tuổi trong xã hội số.

Kết luận

Luận án tiến sĩ của NCS. Phạm Đình Tân là một công trình nghiên cứu khoa học công phu, chuẩn mực và mang tính đột phá cao trong lĩnh vực Kỹ thuật Máy tính và Thị giác Máy tính. Tổng kết lại, các đóng góp cốt lõi của luận án bao gồm:

  1. Hệ thống hóa và phát triển phương pháp Lựa chọn Tập con Khớp (Preset JSS & Automatic AMIJ/FMIJ): Chứng minh bằng toán học và thực nghiệm khả năng loại bỏ dư thừa động học, giảm thiểu tác động tiêu cực của sai số ước lượng tư thế trên dữ liệu khung xương 3D.
  2. Đề xuất Module Dung hợp Đặc trưng Động học (Feature Fusion Module): Kết hợp thành công Vị trí tương đối RJP và Vận tốc hai chiều Velocity vào mạng nơ-ron đồ thị thích ứng, tạo ra mô hình FF-AAGCN đạt hiệu năng vượt trội trên các bộ dữ liệu thách thức cao như CMDFALL (71.28%) và NTU RGB+D (89.52%).
  3. Sáng tạo Kiến trúc Mạng Đồ thị Siêu nhẹ (LW-FF-AAGCN): Tối ưu hóa cấu trúc topo đối xứng JSS-B và giảm thiểu khối tính toán, cắt giảm hơn 65% tham số và 60% FLOPs, mở đường cho việc triển khai AI thị giác thời gian thực trên các thiết bị phần cứng biên giá rẻ.
  4. Mở rộng Biên giới Lý thuyết về Biểu diễn Chuyển động Người: Cung cấp bằng chứng thực nghiệm vững chắc củng cố lý thuyết tri giác sinh học Johansson và lý thuyết tích chập đồ thị phổ phi Euclid.
  5. Đóng góp Bộ Dữ liệu MICA-Action3D Chuẩn hóa: Cung cấp một nguồn tài nguyên học thuật giá trị cho cộng đồng nghiên cứu thị giác máy tính tại Việt Nam và quốc tế để đánh giá kiểm thử chéo (cross-dataset evaluation).
  6. Hiện thực hóa Ứng dụng Thực tiễn Hướng tới Xã hội: Xây dựng thành công hệ thống demo ứng dụng công nghệ nhận dạng tư thế thời gian thực qua MediaPipe phục vụ y tế dự phòng và rèn luyện sức khỏe, khẳng định giá trị ứng dụng to lớn của nghiên cứu khoa học vào đời sống kinh tế - xã hội.