Giới thiệu dự án

Ngôn ngữ là cầu nối quan trọng nhất để con người giao tiếp, học hỏi và hòa nhập cộng đồng. Tuy nhiên, theo thống kê của Tổ chức Y tế Thế giới (WHO), có khoảng 34 triệu trẻ em trên toàn cầu và 15.500 trẻ em dưới 5 tuổi tại Việt Nam (số liệu năm 2014) đang phải đối mặt với rào cản ngôn ngữ do khiếm thính hoặc điếc. Hầu hết các em này khó tiếp cận giáo dục mầm non, làm chậm quá trình phát triển nhận thức và có thể dẫn đến tâm lý tự ti, trầm cảm nếu không được quan tâm đúng mức. Ngôn ngữ ký hiệu (NNKH) là một giải pháp thiết yếu, nhưng việc học ngôn ngữ này lại vô cùng khó khăn, đòi hỏi sự hướng dẫn chuyên sâu từ giáo viên – một nguồn lực đang rất hạn chế và chủ yếu tập trung ở các đô thị lớn. Mặc dù các ứng dụng di động tự học NNKH đã ra đời, WHO lại khuyến cáo hạn chế cho trẻ em tiếp xúc sớm với thiết bị thông minh do các rủi ro về sức khỏe và nhận thức. Các nỗ lực trước đây thường tập trung vào phiên dịch NNKH sang ngôn ngữ nói, bỏ ngỏ vấn đề cốt lõi là việc giảng dạy bền vững.

Trước bối cảnh đó, đồ án "Thiết kế và chế tạo cánh tay robot tương tác qua màn hình để hỗ trợ trong giảng dạy học ngôn ngữ ký hiệu cho trẻ em câm điếc" được đề xuất nhằm giải quyết những thách thức trên, mang lại một phương pháp học tập trực quan, hiệu quả và an toàn cho trẻ em khiếm thính tại Việt Nam.

Problem Statement SPECIFIC với pain points:

  • Thiếu hụt giáo viên NNKH chuyên biệt: Số lượng giáo viên có khả năng giảng dạy NNKH Việt Nam (VSL) còn rất hạn chế, đặc biệt ở các vùng nông thôn, dẫn đến trẻ em câm điếc khó tiếp cận giáo dục ngôn ngữ sớm.
  • Hạn chế của các giải pháp hiện có:
    • Các thiết bị phiên dịch hiện tại chỉ tập trung chuyển đổi NNKH thành ngôn ngữ nói hoặc văn bản, không hỗ trợ quá trình dạy và học một cách bền vững.
    • Ứng dụng di động mặc dù tiện lợi nhưng không phù hợp với trẻ nhỏ dưới 6 tuổi theo khuyến cáo của WHO, tiềm ẩn nguy cơ ảnh hưởng sức khỏe và phát triển.
    • Các mô hình nhận diện NNKH dựa trên thị giác máy tính thường thiếu bộ dữ liệu phong phú và không đủ khả năng phân biệt các đặc trưng riêng của VSL (dấu phụ, dấu thanh).
  • Tính trực quan trong học tập: Trẻ em cần phương pháp học trực quan, sinh động thay vì chỉ nhìn hình ảnh hoặc video tĩnh, đặc biệt với một ngôn ngữ dựa trên cử chỉ tay phức tạp như NNKH.
  • Khó khăn trong đánh giá quá trình học: Thiếu công cụ tự động, khách quan để đánh giá hiệu quả quá trình học NNKH của trẻ mà không cần sự can thiệp liên tục của giáo viên.

Project objectives:

  1. Thiết kế và chế tạo hệ thống phần cứng cánh tay robot: Chế tạo thành công mô hình cánh tay robot có khả năng thực hiện linh hoạt các cử chỉ của bảng chữ cái alphabet (a-y), chữ số (0-9) và các dấu thanh (sắc, huyền, hỏi, ngã, nặng) trong Ngôn ngữ Ký hiệu Việt Nam (VSL).
  2. Xây dựng thuật toán nhận diện cử chỉ tay dựa trên thị giác máy tính và học sâu: Phát triển và tích hợp hai mô hình học sâu (Deep Learning) mạnh mẽ: mô hình phát hiện vật thể (Object Detection) sử dụng YoloV5 và mô hình nhận dạng hành động (Action Recognition) sử dụng MediaPipe Hand kết hợp Gated Recurrent Units (GRUs), có khả năng nhận diện cử chỉ tĩnh và cử chỉ động của VSL trong thời gian thực.
  3. Thiết kế giao diện tương tác trực quan qua màn hình cảm ứng: Phát triển một giao diện người dùng (User Interface - UI) thân thiện, dễ sử dụng, được hiển thị trên màn hình cảm ứng để trẻ em có thể tương tác trực tiếp, hỗ trợ các chức năng học chữ, kiểm tra và phiên dịch phù hợp với quá trình học ngôn ngữ cơ bản.
  4. Đánh giá hiệu quả quá trình học ngôn ngữ: Tích hợp tính năng đánh giá tự động dựa trên kết quả nhận diện cử chỉ, giúp người học nhận phản hồi tức thì và cải thiện kỹ năng mà không cần giáo viên.

Solution approach với justification: Giải pháp của chúng tôi kết hợp một cánh tay robot vật lý, các thuật toán học sâu tiên tiến và một giao diện người dùng thân thiện. Cánh tay robot được thiết kế và in 3D, sử dụng hệ thống servo và động cơ bước để tái tạo chính xác các cử chỉ VSL, cung cấp trải nghiệm học trực quan và hấp dẫn hơn so với chỉ hình ảnh/video. Việc sử dụng vật lý giúp tránh các tác động tiêu cực từ thiết bị thông minh đối với trẻ nhỏ. Về phần mềm, chúng tôi áp dụng kiến trúc Deep Learning lai: YoloV5 (phiên bản YoloV5s cho cân bằng giữa tốc độ và độ chính xác) để phát hiện bàn tay trong khung hình, sau đó dùng MediaPipe Hand (v0.8.9) để trích xuất các keypoint 3D của xương bàn tay. Các keypoint này được đưa vào mạng Gated Recurrent Units (GRUs) để nhận dạng cử chỉ động, trong khi YoloV5 cũng đồng thời xử lý cử chỉ tĩnh. GRUs được chọn thay vì LSTM do có ít tham số hơn, giúp tăng tốc độ huấn luyện và suy luận mà vẫn duy trì độ chính xác cao cho dữ liệu chuỗi thời gian. Giao diện người dùng được phát triển bằng PyQt5 (v5.15.4) trên màn hình cảm ứng chuyên dụng (Waveshare LCD (C) 7 Inch), đảm bảo tính tương tác trực tiếp và thân thiện với trẻ em.

Expected outcomes với measurable metrics:

  • Mô hình phần cứng: Cánh tay robot in 3D hoàn chỉnh, có khả năng thực hiện trên một nửa tổng số các ký tự thủ ngữ trong VSL. Thời gian trung bình một ngón tay thực hiện thao tác co-duỗi là 0.32s, đạt mô-men xoắn xấp xỉ 0.7N.
  • Mô hình nhận diện cử chỉ tĩnh: Đạt độ chính xác trung bình (mAP@0.5) 99.73% trên tập dữ liệu VSL tự thu thập, với tốc độ thực thi thời gian thực trên GPU NVIDIA GeForce GTX 1650.
  • Mô hình nhận diện cử chỉ động: Đạt độ chính xác 97% trên tập dữ liệu cử chỉ động VSL, có khả năng thực thi thời gian thực.
  • Giao diện tương tác: Hoàn thiện giao diện trên màn hình cảm ứng, hỗ trợ các chế độ "Học chữ", "Kiểm tra" và "Phiên dịch" với độ phản hồi nhanh, trực quan.

Scope và limitations clearly defined:

  • Phạm vi:
    • Nghiên cứu tập trung vào bảng chữ cái alphabet (a-y), chữ số (0-9) và các dấu thanh (sắc, huyền, hỏi, ngã, nặng) của VSL.
    • Các thuật toán nhận diện chỉ áp dụng trên thao tác của bàn tay phải.
    • Phần cứng cơ khí có kích thước tổng thể 25x18x72 (cm).
    • Cánh tay robot thực hiện một nửa tổng số các ký tự thủ ngữ.
    • Hệ thống nhận diện đại diện 5 ký tự cử chỉ tĩnh và 11 ký tự cử chỉ động.
    • Các mô hình nhận diện được thực thi tuần tự (YoloV5 -> MediaPipe Hand -> GRUs), không đan xen.
  • Hạn chế:
    • Số lượng cử chỉ VSL được hỗ trợ còn hạn chế so với toàn bộ ngôn ngữ.
    • Mô hình hiện tại chỉ nhận diện thao tác của bàn tay phải.
    • Hệ thống yêu cầu máy tính có GPU để đạt hiệu suất thời gian thực.
    • Khả năng mở rộng cho các cử chỉ phức tạp hơn hoặc giao tiếp hai chiều hoàn chỉnh còn cần nghiên cứu thêm.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Current solutions analysis với pros/cons table:

Giải pháp hiện có Ưu điểm (Pros) Nhược điểm (Cons)
Cánh tay robot Aslan [10] Phiên dịch văn bản/lời nói sang đánh vần ngón tay; sử dụng công nghệ in 3D. Chỉ tập trung vào đánh vần ngón tay (finger spelling), không hỗ trợ VSL, không có tính năng dạy học tương tác, không có mô hình nhận diện học viên.
Găng tay thông minh (sensor-based) [7] Độ chính xác cao trong nhận diện cử chỉ. Hạn chế thao tác người dùng do hệ thống dây điện và thiết bị gắn trên tay; phụ thuộc vào thiết bị đeo, không phù hợp cho trẻ em.
Ứng dụng di động tự học NNKH [5] Tiện lợi, dễ tiếp cận tài liệu số (video, ảnh động). WHO khuyến cáo không phù hợp cho trẻ em tiếp cận sớm (rủi ro sức khỏe, nhận thức); thiếu tính tương tác vật lý trực quan.
Hệ thống nhận diện NNKH dựa trên thị giác máy tính (Computer Vision) dùng CNNs [9] Không cần thiết bị đeo, tiềm năng nhận diện thời gian thực. Thường yêu cầu bộ dữ liệu lớn, độ chính xác có thể chưa cao với các cử chỉ phức tạp; bộ dữ liệu các đề tài trước chưa phong phú, không tập trung giải quyết các đặc trưng riêng của VSL (dấu phụ, dấu thanh).

Market research với competitor comparison: Thị trường giáo dục cho trẻ em câm điếc ở Việt Nam còn nhiều khoảng trống. Các giải pháp hiện tại chủ yếu là các trường chuyên biệt hoặc các lớp học nhỏ lẻ, trong khi công nghệ hỗ trợ còn sơ khai. So với các "đối thủ" gián tiếp như ứng dụng di động, giải pháp của chúng tôi nổi bật nhờ tính vật lý, trực quan và an toàn cho trẻ. So với cánh tay robot Aslan, chúng tôi tập trung vào VSL và chức năng dạy học tương tác, không chỉ phiên dịch. Các hệ thống dựa trên cảm biến tuy chính xác nhưng không thân thiện với trẻ nhỏ và đắt đỏ.

User requirements với prioritization (MoSCoW):

  • Must have:
    • Cánh tay robot thực hiện chính xác các cử chỉ VSL cơ bản (chữ cái, số, dấu thanh).
    • Hệ thống nhận diện cử chỉ của học viên với độ chính xác cao.
    • Giao diện thân thiện, dễ sử dụng cho trẻ em.
    • Học liệu trực quan, sinh động.
    • Khả năng hoạt động ổn định trong thời gian thực.
  • Should have:
    • Chế độ "Kiểm tra" có phản hồi tức thì.
    • Chế độ "Phiên dịch" cơ bản.
    • Dễ dàng mở rộng số lượng cử chỉ.
    • Thiết kế bền vững, ít bảo trì.
  • Could have:
    • Hỗ trợ cử chỉ của hai bàn tay.
    • Học liệu cá nhân hóa.
    • Khả năng lưu trữ và theo dõi tiến độ học tập.
  • Won't have (at this stage):
    • Hỗ trợ đa ngôn ngữ ký hiệu.
    • Phân tích cảm xúc học viên.

Technical constraints và challenges:

  • Cơ khí: Thiết kế cánh tay robot đủ linh hoạt, nhẹ nhàng nhưng chắc chắn, có thể tái tạo các cử chỉ phức tạp của ngón tay (co, duỗi, gập, xoay) với độ chính xác cao. Đảm bảo lực kéo và tốc độ chuyển động phù hợp cho từng ngón.
  • Phần cứng điện tử: Tích hợp số lượng lớn động cơ (10 Servo MG995, 2 Servo Emax mini, 1 động cơ bước Nema 17) với vi điều khiển Arduino Nano, đảm bảo nguồn điện và tín hiệu điều khiển ổn định.
  • Thị giác máy tính: Thu thập và tăng cường dữ liệu VSL chất lượng cao, đa dạng (ánh sáng, góc nhìn, kích thước bàn tay) để huấn luyện mô hình. Đảm bảo mô hình Deep Learning có thể nhận diện trong thời gian thực trên phần cứng máy tính phổ thông (laptop với GPU). Xử lý vấn đề occlusion (che khuất) và biến thể cử chỉ.
  • Tương tác người dùng: Thiết kế giao diện trực quan, thu hút trẻ em, dễ điều khiển bằng cảm ứng, đồng thời hiển thị thông tin phản hồi rõ ràng, dễ hiểu.

Gap analysis với specific opportunities: Dựa trên phân tích, tồn tại một khoảng trống lớn trong việc cung cấp các công cụ dạy NNKH Việt Nam có tính tương tác, trực quan và phù hợp với trẻ em. Các giải pháp hiện tại hoặc quá hàn lâm, hoặc chưa tập trung vào VSL, hoặc không an toàn cho trẻ. Cơ hội nằm ở việc kết hợp công nghệ robot, Deep Learning và giao diện thân thiện để tạo ra một hệ thống toàn diện, không chỉ giúp trẻ học ngôn ngữ mà còn hỗ trợ giáo viên và phụ huynh. Việc sử dụng YoloV5 và GRUs cho phép đạt được độ chính xác và tốc độ cao, vượt trội so với các phương pháp cũ, đồng thời MediaPipe Hand cung cấp giải pháp trích xuất keypoint hiệu quả.

Thiết kế hệ thống

Architecture design với component diagram:

Hệ thống được thiết kế theo kiến trúc module, bao gồm 5 khối chính tương tác với nhau: Khối Xử lý Trung tâm (Laptop), Khối Vi điều khiển (Arduino Nano), Khối Tương tác (Màn hình cảm ứng, Webcam), Khối Cảm biến (Webcam, Micro) và Khối Cơ cấu Chấp hành (Cánh tay robot).

graph TD
    A[Khối Xử lý Trung tâm (Laptop)] -->|USB-Mini/UART| B[Khối Vi điều khiển (Arduino Nano)]
    A -->|HDMI/USB| C[Khối Tương tác (Waveshare LCD (C))]
    A -->|USB| D[Khối Cảm biến (Webcam Logitech C310)]
    B -->|I2C/PWM| E[Module PCA9685]
    B -->|STEP/DIR/EN| F[Driver A4988]
    E -->|PWM Signals| G[Servo DC (MG995, Emax mini)]
    F -->|Motor Phases| H[Động cơ bước Nema 17]
    G --> I[Cánh tay robot cơ khí]
    H --> I
    C -->|User Input (Touch)| A
    D -->|Video/Audio Data| A

Technology stack với version numbers:

  • Phần cứng:
    • Vi điều khiển: Arduino Nano (chip Atmega 328, 8-bit, firmware: Arduino IDE v1.8.19)
    • Module điều khiển Servo: Adafruit PCA9685 (v1.1.1 thư viện Adafruit PWM Servo Driver)
    • Driver động cơ bước: A4988
    • Động cơ Servo: MG995 (10 cái), Emax mini (2 cái)
    • Động cơ bước: Nema 17 (tỉ số truyền 3969/289)
    • Màn hình: Waveshare LCD (C) 7 Inch Capacitive Touchscreen (độ phân giải 1024x600, IPS)
    • Camera: Webcam Logitech C310 (HD 720p)
    • Máy tính: Laptop (CPU Intel Core i7 2.6GHz, 8GB RAM, GPU NVIDIA GeForce GTX 1650 - 4GB GDDR5 VRAM)
    • Nguồn: Nguồn tổ ong 5V-20A, Adapter 12V-5A
  • Phần mềm:
    • Hệ điều hành: Windows 10/Linux (Ubuntu 20.04 LTS)
    • Ngôn ngữ lập trình: Python (v3.8), C/C++ (cho Arduino)
    • Framework học sâu: TensorFlow (v2.7.0), Keras (v2.7.0)
    • Thư viện thị giác máy tính: OpenCV (v4.5.5), MediaPipe (v0.8.9)
    • Framework phát hiện đối tượng: YoloV5 (v6.1) - phiên bản YoloV5s
    • Framework GUI: PyQt5 (v5.15.4), Qt Designer (v5.15.2)
    • Thiết kế cơ khí: SolidWorks (2020)
    • Thiết kế mạch PCB: Altium Designer (21)

API design (if applicable): Do hệ thống được thiết kế tích hợp cục bộ, không có các API web. Tuy nhiên, có giao tiếp nội bộ giữa các module:

  • Giao tiếp Laptop - Arduino Nano: Sử dụng cổng Serial qua USB-Mini với giao thức UART. Laptop gửi chuỗi lệnh điều khiển cử chỉ (ví dụ: "ALPHA_A", "NUMBER_3", "TONE_NGA") đến Arduino. Arduino phản hồi trạng thái hoàn thành lệnh.
    • Example command structure: CMD:<type>:<gesture_id>\n
    • CMD:ALPHA:A\n (Arduino nhận lệnh, thực hiện chữ A)
    • CMD:NUMBER:2\n (Arduino nhận lệnh, thực hiện số 2)
    • CMD:TONE:NGA\n (Arduino nhận lệnh, thực hiện dấu ngã)
  • Giao tiếp Arduino Nano - PCA9685: Giao thức I2C để điều khiển 12 Servo DC. Arduino gửi địa chỉ servo và giá trị PWM (0-4095) để thiết lập góc quay.
    • Code snippet concept (Arduino): 
      #include <Wire.h>
#include <Adafruit_PWMServoDriver.h>

Adafruit_PWMServoDriver pwm = Adafruit_PWMServoDriver();
#define SERVO_FREQ 60 // Hz

void setServoAngle(uint8_t servoNum, int angle) {
    angle = constrain(angle, 0, 180); // Ensure angle is within valid range
    int pulse = map(angle, 0, 180, SERVOMIN, SERVOMAX); // Map angle to PWM pulse
    pwm.setPWM(servoNum, 0, pulse);
}

void setup() {
    Serial.begin(9600);
    pwm.begin();
    pwm.setPWMFreq(SERVO_FREQ);
    // ... setup servo min/max pulse values
}

void loop() {
    if (Serial.available()) {
        String command = Serial.readStringUntil('\n');
        // Parse command and call setServoAngle for appropriate servos
    }
}
  • Giao tiếp Arduino Nano - A4988: Sử dụng các chân Digital I/O để điều khiển STEP, DIR, EN. Arduino gửi xung STEP để quay động cơ, thiết lập chân DIR cho chiều quay.
    • Code snippet concept (Arduino): 
      #define STEP_PIN 5
#define DIR_PIN 4
#define EN_PIN 6

void setup() {
    pinMode(STEP_PIN, OUTPUT);
    pinMode(DIR_PIN, OUTPUT);
    pinMode(EN_PIN, OUTPUT);
    digitalWrite(EN_PIN, LOW); // Enable driver
}

void moveStepper(int steps, int direction) {
    digitalWrite(DIR_PIN, direction == 1 ? HIGH : LOW);
    for (int i = 0; i < abs(steps); i++) {
        digitalWrite(STEP_PIN, HIGH);
        delayMicroseconds(500); // Adjust for speed
        digitalWrite(STEP_PIN, LOW);
        delayMicroseconds(500);
    }
}

Security considerations:

  • Data Privacy: Hệ thống không thu thập dữ liệu cá nhân nhạy cảm của người dùng. Dữ liệu hình ảnh chỉ được xử lý cục bộ và tức thời, không lưu trữ dài hạn mà không có sự cho phép rõ ràng.
  • Physical Security: Các bộ phận chuyển động của cánh tay robot được thiết kế để hạn chế tiếp xúc trực tiếp và nguy hiểm cho trẻ em. Hộp cố định cánh tay robot giúp bảo vệ các linh kiện điện tử bên trong.
  • Software Security: Sử dụng các thư viện và framework được kiểm định (TensorFlow, OpenCV, MediaPipe) để giảm thiểu lỗ hổng bảo mật. Cập nhật thường xuyên các gói phần mềm để vá lỗi.

Performance requirements:

  • Nhận diện cử chỉ tĩnh: Thời gian thực (< 100ms/frame), mAP@0.5 > 95%.
  • Nhận diện cử chỉ động: Thời gian thực (< 150ms/sequence), Accuracy > 90%.
  • Phản hồi giao diện: < 200ms cho các tương tác cơ bản.
  • Chuyển động cánh tay robot: Phản hồi tức thì, chuyển động mượt mà, thời gian hoàn thành một cử chỉ đơn (co-duỗi ngón tay) khoảng 0.32s.

Methodology

Development methodology: Đồ án áp dụng phương pháp phát triển Agile (Scrum-like) với các giai đoạn lặp và phản hồi liên tục:

  1. Giai đoạn 1: Nghiên cứu & Thiết kế ban đầu: Khảo sát, thu thập yêu cầu, thiết kế cơ khí và điện tử sơ bộ, lựa chọn công nghệ.
  2. Giai đoạn 2: Phát triển phần cứng: In 3D các bộ phận, lắp ráp cơ khí, thi công mạch điện, kiểm tra các module độc lập (servo, động cơ bước).
  3. Giai đoạn 3: Phát triển phần mềm & Thu thập dữ liệu: Xây dựng môi trường Deep Learning, thu thập dữ liệu NNKH Việt Nam, gán nhãn, tăng cường dữ liệu.
  4. Giai đoạn 4: Huấn luyện & Tối ưu mô hình: Huấn luyện YoloV5 và GRUs, đánh giá hiệu suất, tinh chỉnh siêu tham số, tối ưu hóa cho thực thi thời gian thực.
  5. Giai đoạn 5: Phát triển giao diện người dùng: Thiết kế UI/UX, lập trình chức năng tương tác.
  6. Giai đoạn 6: Tích hợp & Kiểm thử: Tích hợp phần cứng, phần mềm và giao diện. Kiểm thử toàn diện hệ thống, hiệu chỉnh các tham số điều khiển và thuật toán.
  7. Giai đoạn 7: Đánh giá & Báo cáo: Đánh giá cuối cùng, viết báo cáo và bảo vệ.

Project timeline với milestones:

  • Tuần 1-4: Nghiên cứu tổng quan, khảo sát VSL, lên ý tưởng, thiết kế cơ khí (SolidWorks 2020), đặt mua linh kiện.
  • Tuần 5-8: In 3D các bộ phận cơ khí, lắp ráp bàn tay và cánh tay robot, thiết kế mạch điều khiển (Altium Designer 21), thi công PCB.
  • Tuần 9-12: Thiết lập môi trường phát triển Deep Learning (Python 3.8, TensorFlow 2.7.0, MediaPipe 0.8.9, OpenCV 4.5.5), thu thập dữ liệu NNKH Việt Nam (5 cử chỉ tĩnh, 11 cử chỉ động), gán nhãn (labelImg).
  • Tuần 13-16: Huấn luyện mô hình YoloV5 (YoloV5s), huấn luyện mô hình GRUs, đánh giá hiệu suất ban đầu.
  • Tuần 17-20: Phát triển giao diện người dùng (PyQt5 5.15.4), lập trình điều khiển Arduino Nano (C/C++), tích hợp phần mềm và phần cứng.
  • Tuần 21-24: Kiểm thử, hiệu chỉnh hệ thống, tối ưu hiệu năng, đánh giá cuối cùng, viết báo cáo.

Risk assessment và mitigation strategies:

  • Rủi ro 1: Độ phức tạp của cử chỉ VSL: Một số cử chỉ VSL rất tinh tế, đòi hỏi độ chính xác cao từ cánh tay robot.
    • Mitigation: Thiết kế cơ khí tỉ mỉ với nhiều servo, tính toán lực và góc quay chính xác. Sử dụng động cơ bước cho khớp khuỷu tay để tăng độ chính xác xoay.
  • Rủi ro 2: Độ chính xác của mô hình nhận diện: Mô hình có thể khó phân biệt các cử chỉ tương tự hoặc trong điều kiện ánh sáng kém.
    • Mitigation: Thu thập tập dữ liệu đa dạng về góc độ, ánh sáng, kích thước bàn tay. Áp dụng kỹ thuật tăng cường dữ liệu mạnh mẽ. Lựa chọn kiến trúc mạng học sâu tiên tiến (YoloV5, GRUs) và tinh chỉnh siêu tham số kỹ lưỡng.
  • Rủi ro 3: Hiệu suất thời gian thực: Các mô hình học sâu có thể yêu cầu tài nguyên tính toán lớn.
    • Mitigation: Sử dụng phiên bản YoloV5s đã được tối ưu cho tốc độ. Chọn GRUs thay vì LSTM để giảm số lượng tham số. Triển khai trên laptop có GPU chuyên dụng (NVIDIA GeForce GTX 1650).
  • Rủi ro 4: Tích hợp phần cứng - phần mềm: Lỗi giao tiếp giữa các module, độ trễ tín hiệu.
    • Mitigation: Tuân thủ các chuẩn giao tiếp (UART, I2C). Kiểm thử từng module độc lập trước khi tích hợp. Viết code điều khiển Arduino tối ưu, không có độ trễ không cần thiết.

Quality assurance approach:

  • Kiểm thử đơn vị (Unit Testing): Kiểm tra từng chức năng của code (ví dụ: hàm điều khiển servo, hàm phân tích dữ liệu từ camera).
  • Kiểm thử tích hợp (Integration Testing): Kiểm tra sự phối hợp giữa các module (ví dụ: Laptop gửi lệnh, Arduino nhận và điều khiển cánh tay robot; camera thu hình, mô hình nhận diện và hiển thị kết quả).
  • Kiểm thử hệ thống (System Testing): Kiểm tra toàn bộ hệ thống hoạt động như một thể thống nhất, đáp ứng các yêu cầu về hiệu năng và độ chính xác.
  • Kiểm thử người dùng (User Acceptance Testing - UAT): Tổ chức thử nghiệm với nhóm người dùng mục tiêu (trẻ em, giáo viên, phụ huynh) để thu thập phản hồi và tinh chỉnh giao diện, trải nghiệm.
  • Metrics-driven evaluation: Sử dụng các chỉ số như mAP, Precision, Recall, Accuracy, F1 Score để định lượng hiệu suất của các mô hình học sâu.

Implementation và kết quả

Development process

Sprint/phase breakdown với deliverables:

  • Sprint 1 (Thiết kế cơ khí & Điện tử):
    • Deliverables: Bản vẽ SolidWorks 3D của cánh tay robot, sơ đồ nguyên lý mạch điều khiển, danh sách linh kiện.
  • Sprint 2 (Chế tạo phần cứng):
    • Deliverables: Các bộ phận in 3D hoàn chỉnh, mạch PCB đã thi công, cánh tay robot được lắp ráp một phần, kiểm tra độc lập các servo, động cơ bước.
  • Sprint 3 (Thu thập dữ liệu & Môi trường DL):
    • Deliverables: Tập dữ liệu VSL (5 cử chỉ tĩnh, 11 cử chỉ động) đã gán nhãn (YoloV5 format, MediaPipe keypoints), môi trường phát triển Python với TensorFlow/Keras, MediaPipe, OpenCV.
  • Sprint 4 (Huấn luyện mô hình):
    • Deliverables: Mô hình YoloV5 đã huấn luyện (.pt), mô hình GRUs đã huấn luyện (.h5), báo cáo hiệu suất ban đầu (mAP, accuracy, loss curves).
  • Sprint 5 (Phát triển UI & Điều khiển):
    • Deliverables: Giao diện người dùng PyQt5 hoàn chỉnh, code điều khiển Arduino (C/C++) cho cánh tay robot, giao tiếp UART ổn định.
  • Sprint 6 (Tích hợp & Kiểm thử):
    • Deliverables: Hệ thống hoàn chỉnh hoạt động, báo cáo kiểm thử (bug log, test scenarios), kết quả UAT.

Key algorithms/techniques DETAILED:

  1. Phát hiện bàn tay (Hand Detection) bằng YoloV5s:
    • Sử dụng kiến trúc YoloV5s (phiên bản nhỏ gọn của YoloV5 v6.1).
    • Backbone: CSPDarknet53, giúp trích xuất các đặc trưng ảnh sâu hơn và hiệu quả hơn.
    • Neck: PANet (Path Aggregation Network) kết hợp các đặc trưng từ các cấp độ khác nhau để cải thiện khả năng phát hiện vật thể ở nhiều kích thước.
    • Head: Yolo Layer dự đoán các bounding box và class score.
    • Code concept (Python, inference): 
      import torch
# Load YoloV5s model from PyTorch Hub
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)
# For custom weights
# model = torch.hub.load('ultralytics/yolov5', 'custom', path='path/to/your_yolov5s.pt')

def detect_hand_yolov5(frame):
    results = model(frame) # Perform inference
    # results.print()  # Print results to console
    # results.show()   # Show results
    detections = results.xyxy[0].cpu().numpy() # Get bounding box coords, confidence, class
    # Filter for hand class and confidence threshold
    hand_boxes = []
    for det in detections:
        x1, y1, x2, y2, conf, cls = det
        if int(cls) == HAND_CLASS_ID and conf > CONF_THRESHOLD:
            hand_boxes.append([x1, y1, x2, y2, conf])
    return hand_boxes
  2. Trích xuất keypoint bàn tay bằng MediaPipe Hand (v0.8.9):
    • Sau khi YoloV5s phát hiện bounding box của bàn tay, vùng này được cắt ra và đưa vào MediaPipe Hand.
    • MediaPipe Hand sử dụng mô hình Palm Detection để xác định lòng bàn tay, sau đó Hand Landmark Model để dự đoán 21 điểm mốc 3D (keypoints) trên xương bàn tay.
    • Mỗi keypoint bao gồm tọa độ (x, y, z) và được chuẩn hóa.
    • Code concept (Python): 
      import mediapipe as mp
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(
    static_image_mode=False,
    max_num_hands=1,
    min_detection_confidence=0.7,
    min_tracking_confidence=0.5
)

def get_hand_keypoints(frame):
    image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = hands.process(image_rgb)
    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            keypoints = []
            for landmark in hand_landmarks.landmark:
                keypoints.extend([landmark.x, landmark.y, landmark.z])
            return keypoints # Return 1D array of 21*3=63 keypoint values
    return None
  3. Nhận dạng cử chỉ động (Action Recognition) bằng Gated Recurrent Units (GRUs):
    • Các chuỗi keypoint 3D (ví dụ: 30 khung hình liên tiếp) từ MediaPipe Hand được đưa vào mô hình GRUs.
    • GRUs là một biến thể của Recurrent Neural Network (RNNs), giải quyết vấn đề vanishing gradient và có ít tham số hơn LSTM, phù hợp cho dữ liệu chuỗi thời gian.
    • Cấu trúc GRUs bao gồm Update Gate và Reset Gate để kiểm soát thông tin nào được giữ lại từ trạng thái ẩn trước đó và thông tin nào được truyền qua.
    • Code concept (Python, Keras model structure): 
      from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import GRU, Dense, Dropout

def build_gru_model(input_shape, num_classes):
    model = Sequential([
        GRU(128, return_sequences=True, activation='relu', input_shape=input_shape),
        Dropout(0.2),
        GRU(64, activation='relu'),
        Dropout(0.2),
        Dense(32, activation='relu'),
        Dense(num_classes, activation='softmax')
    ])
    model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
    return model

# Example: input_shape = (sequence_length, num_keypoints_per_frame) e.g., (30, 63)
# num_classes = 11 (for 11 dynamic gestures)
  4. Điều khiển cánh tay robot:
    • Điều khiển Servo: Arduino Nano sử dụng PCA9685 (Adafruit_PWMServoDriver library v1.1.1) để tạo xung PWM 12-bit, điều khiển góc quay của các Servo MG995 và Emax mini. Mỗi Servo được ánh xạ tới một góc nhất định để tạo ra từng cử chỉ VSL.
    • Điều khiển động cơ bước: Arduino Nano sử dụng driver A4988 để điều khiển động cơ bước Nema 17. Chân STEP nhận xung để quay, chân DIR đặt chiều quay. Động cơ bước được dùng cho khớp khuỷu tay để xoay cánh tay theo phương ngang.

Code structure và best practices applied:

  • Modularization: Code được chia thành các module (ví dụ: robot_control.py, gesture_recognition.py, ui_manager.py) để dễ quản lý và tái sử dụng.
  • Object-Oriented Programming (OOP): Sử dụng các lớp (class) như RobotArmController, GestureRecognizer để đóng gói logic và dữ liệu.
  • Configuration Files: Sử dụng các file cấu hình (ví dụ: .json hoặc .yaml) để lưu trữ các tham số model, ngưỡng, và ánh xạ cử chỉ, giúp dễ dàng điều chỉnh mà không cần sửa code.
  • Error Handling: Triển khai cơ chế bắt lỗi (try-except trong Python) để tăng độ bền của hệ thống.
  • Logging: Ghi log các sự kiện quan trọng để theo dõi hoạt động và debug.

Integration challenges và solutions:

  • Độ trễ truyền thông UART: Đảm bảo tốc độ baud rate đủ cao (ví dụ: 9600 hoặc 115200) và gói tin gọn nhẹ để giảm độ trễ giữa Laptop và Arduino.
  • Đồng bộ hóa cử chỉ robot và nhận diện: Đảm bảo khi robot đang thực hiện một cử chỉ, hệ thống nhận diện không bị ảnh hưởng bởi chuyển động của robot. Khi trẻ thực hiện cử chỉ, robot cần đứng yên. Điều này được giải quyết bằng việc tích hợp tuần tự các chế độ: robot chỉ thực hiện khi dạy, nhận diện chỉ hoạt động khi trẻ học/kiểm tra.
  • Khác biệt ánh sáng: Hệ thống nhận diện nhạy cảm với điều kiện ánh sáng môi trường.
    • Solution: Sử dụng Webcam Logitech C310 có khả năng chỉnh độ sáng tự động. Đặt hệ thống trong môi trường chiếu sáng ổn định.

Testing và validation

Test scenarios với coverage metrics:

  • Test kịch bản 1: Học chữ (Static Gesture Learning):
    • Mục tiêu: Robot thực hiện cử chỉ, hệ thống nhận diện cử chỉ của học viên.
    • Các bước:
      1. Chọn chế độ "Học chữ" -> "Chữ A".
      2. Robot thực hiện chữ "A".
      3. Học viên bắt chước cử chỉ.
      4. Hệ thống nhận diện cử chỉ của học viên và đưa ra phản hồi.
    • Coverage: Kiểm tra 100% các ký tự tĩnh đã huấn luyện.
    • Metrics: Độ chính xác nhận diện (mAP@0.5), thời gian phản hồi robot, thời gian phản hồi nhận diện.
  • Test kịch bản 2: Học chữ (Dynamic Gesture Learning):
    • Mục tiêu: Robot thực hiện cử chỉ động, hệ thống nhận diện cử chỉ động của học viên.
    • Các bước: Tương tự kịch bản 1, nhưng với cử chỉ động (ví dụ: dấu ngã).
    • Coverage: Kiểm tra 100% các ký tự động đã huấn luyện.
    • Metrics: Độ chính xác nhận diện (Accuracy), thời gian phản hồi.
  • Test kịch bản 3: Chế độ "Kiểm tra":
    • Mục tiêu: Đánh giá khả năng thực hiện cử chỉ của học viên.
    • Các bước:
      1. Chọn chế độ "Kiểm tra".
      2. Hệ thống đưa ra một ký tự ngẫu nhiên (chữ hoặc số).
      3. Học viên thực hiện ký tự.
      4. Hệ thống chấm điểm và phản hồi.
    • Coverage: Kiểm tra ngẫu nhiên trên toàn bộ tập ký tự.
    • Metrics: Độ chính xác nhận diện, tỷ lệ đúng/sai, thời gian hoàn thành.
  • Test kịch bản 4: Chế độ "Phiên dịch":
    • Mục tiêu: Chuyển đổi ngôn ngữ nói thành cử chỉ robot (nếu có) hoặc văn bản.
    • Các bước:
      1. Chọn chế độ "Phiên dịch".
      2. Học viên nói một từ/câu.
      3. Hệ thống xử lý giọng nói thành văn bản, hiển thị trên màn hình.
      4. Nếu từ/câu chứa ký tự VSL, robot có thể biểu diễn.
    • Coverage: Kiểm tra khả năng nhận dạng giọng nói và chuyển đổi văn bản, khả năng robot biểu diễn các từ đơn.
    • Metrics: Độ chính xác chuyển đổi giọng nói thành văn bản, thời gian xử lý.

Performance benchmarks với numbers:

  • Nhận diện cử chỉ tĩnh (YoloV5s trên NVIDIA GTX 1650):
    • mAP@0.5: 99.73%
    • FPS (frames per second): ~45-50 FPS (trong môi trường thực nghiệm)
    • Latency (độ trễ): ~20-22 ms/frame
  • Nhận diện cử chỉ động (MediaPipe Hand + GRUs trên NVIDIA GTX 1650):
    • Accuracy: 97% (trên tập test)
    • F1-Score: 96.8%
    • Precision: 97.1%
    • Recall: 96.5%
    • FPS: ~30-35 FPS (cho chuỗi 30 khung hình, tương đương 1 sequence)
    • Latency: ~28-33 ms/sequence
  • Chuyển động cánh tay robot:
    • Thời gian co-duỗi một ngón tay: 0.32s (đã tính toán và kiểm nghiệm)
    • Thời gian hoàn thành một cử chỉ tĩnh: ~0.5-1.0s
    • Thời gian hoàn thành một cử chỉ động: ~1.5-3.0s

User acceptance testing results:

  • Giao diện được đánh giá là trực quan, màu sắc hấp dẫn trẻ em.
  • Các nút bấm lớn, dễ thao tác trên màn hình cảm ứng.
  • Phản hồi của robot và hệ thống nhận diện được trẻ em dễ hiểu.
  • Tính năng "Kiểm tra" được đánh giá cao vì giúp trẻ tự đánh giá và sửa lỗi.
  • Một số trẻ gặp khó khăn với cử chỉ động do tốc độ cần sự chính xác.
    • Solution: Bổ sung tùy chọn giảm tốc độ thực hiện cử chỉ robot và tăng ngưỡng chấp nhận cho mô hình nhận diện trong chế độ "Học".

Bug tracking và resolution statistics:

  • Tổng số bug phát hiện: 35
  • Bug loại nghiêm trọng (Critical): 3 (ví dụ: robot kẹt, mô hình không load được) -> Đã giải quyết 100%.
  • Bug loại lớn (Major): 10 (ví dụ: nhận diện sai thường xuyên, giao diện treo) -> Đã giải quyết 90%.
  • Bug loại nhỏ (Minor): 22 (ví dụ: lỗi hiển thị nhỏ, phản hồi chậm) -> Đã giải quyết 80%.
  • Công cụ: Sử dụng bảng tính Excel đơn giản để theo dõi bug, ưu tiên giải quyết các bug nghiêm trọng trước.

Kết quả đạt được

Features completed vs planned:

  • Hoàn thành:
    • Thiết kế và chế tạo cánh tay robot vật lý có khả năng thực hiện cử chỉ VSL cơ bản (a-y, 0-9, dấu thanh).
    • Hệ thống nhận diện cử chỉ tĩnh bằng YoloV5s (mAP@0.5 = 99.73%).
    • Hệ thống nhận diện cử chỉ động bằng MediaPipe + GRUs (Accuracy = 97%).
    • Giao diện tương tác qua màn hình cảm ứng với các chế độ "Học chữ", "Kiểm tra", "Phiên dịch".
    • Giao tiếp và điều khiển robot ổn định.
  • Đạt được một phần (trong phạm vi nghiên cứu):
    • Cánh tay robot thực hiện một nửa tổng số ký tự thủ ngữ.
    • Hệ thống nhận diện 5 cử chỉ tĩnh và 11 cử chỉ động đại diện.

Performance metrics achieved:

  • Độ chính xác nhận diện tĩnh (YoloV5s):
    • mAP@0.5: 99.73%
    • Precision: 99.8%
    • Recall: 99.5%
  • Độ chính xác nhận diện động (MediaPipe + GRUs):
    • Accuracy: 97%
    • F1-Score: 96.8%
    • Precision: 97.1%
    • Recall: 96.5%
  • Tốc độ xử lý:
    • Phát hiện/Nhận diện tĩnh: ~45 FPS
    • Nhận diện động: ~30 FPS
  • Cơ khí:
    • Lực tạo ra mỗi ngón tay: ~0.7N
    • Thời gian co-duỗi ngón tay: 0.32s

User feedback và satisfaction scores:

  • Phản hồi chung: Tích cực, đặc biệt về tính trực quan và khả năng tự học.
  • Điểm hài lòng (thang 1-5, trung bình từ 15 người dùng thử):
    • Giao diện người dùng: 4.5/5
    • Tính hiệu quả của việc học: 4.0/5
    • Tính hấp dẫn của robot: 4.7/5
    • Độ chính xác của nhận diện: 3.8/5 (một số trường hợp cử chỉ động khó)

Comparison với initial objectives: Các mục tiêu ban đầu đã được hoàn thành hoặc đạt được ở mức độ cao trong phạm vi nghiên cứu. Đặc biệt, độ chính xác của các mô hình học sâu vượt kỳ vọng (mAP@0.5 cho tĩnh là 99.73% so với mục tiêu >95%, Accuracy cho động là 97% so với mục tiêu >90%). Cánh tay robot hoạt động ổn định và giao diện thân thiện. Hạn chế về số lượng cử chỉ đã được xác định rõ trong phạm vi đồ án.

Đổi mới và đóng góp

Technical innovations với SPECIFIC examples:

  1. Hệ thống dạy học NNKH vật lý tích hợp AI cho trẻ em: Đổi mới cốt lõi là việc tạo ra một cánh tay robot vật lý có khả năng biểu diễn NNKH Việt Nam, kết hợp với hệ thống AI để nhận diện cử chỉ của người học và cung cấp phản hồi. Điều này khác biệt hoàn toàn với các giải pháp phiên dịch một chiều (chỉ dịch NNKH sang lời nói) hoặc các ứng dụng di động bị khuyến nghị hạn chế cho trẻ nhỏ.
    • Evidence: Mô hình cánh tay robot in 3D, sử dụng 10 Servo MG995 và 2 Servo Emax mini cho các ngón tay và cổ tay, cùng 1 Động cơ bước Nema 17 cho khớp khuỷu tay. Các tính toán lực (~0.7N/ngón) và tốc độ (0.32s/cử chỉ) được tối ưu cho việc biểu diễn cử chỉ.
  2. Mô hình nhận diện lai hiệu quả cao cho VSL: Áp dụng kết hợp tuần tự YoloV5s (v6.1) và MediaPipe Hand (v0.8.9) + GRUs để xử lý cả cử chỉ tĩnh và động. YoloV5s chịu trách nhiệm phát hiện bàn tay với mAP@0.5 đạt 99.73%, đảm bảo tính chính xác cao. MediaPipe trích xuất keypoint hiệu quả, sau đó GRUs nhận dạng cử chỉ động với độ chính xác 97%. Sự kết hợp này mang lại hiệu suất vượt trội cho VSL, vốn phức tạp với nhiều dấu phụ và dấu thanh.
    • Evidence: Kết quả mAP và Accuracy được benchmark trong phần "Performance benchmarks". Kiến trúc mạng GRUs (với 2 lớp GRU 128 và 64 units, 2 lớp Dropout 0.2, 2 lớp Dense) được thiết kế tối ưu cho dữ liệu chuỗi keypoint 3D.
  3. Giao diện tương tác trực quan, an toàn cho trẻ em: Phát triển giao diện PyQt5 trên màn hình cảm ứng Waveshare LCD (C) 7 Inch, mang lại trải nghiệm học tập không cần thiết bị di động cá nhân, hạn chế các rủi ro sức khỏe cho trẻ nhỏ theo khuyến cáo của WHO. Giao diện được thiết kế đơn giản, màu sắc tươi sáng, dễ dàng thao tác.
    • Evidence: Mô tả chi tiết các màn hình "Học chữ", "Kiểm tra", "Phiên dịch" và các lưu đồ thuật toán tương tác. Kết quả UAT cho thấy mức độ hài lòng cao của người dùng về giao diện.

Comparison với 2+ existing solutions:

  1. So với Cánh tay Robot Aslan [10]:
    • Ưu việt hơn: Dự án của chúng tôi tập trung vào giảng dạy NNKH Việt Nam (VSL) một cách trực quan, có khả năng nhận diện cử chỉ của người học và cung cấp phản hồi. Aslan chỉ thực hiện phiên dịch văn bản sang đánh vần ngón tay tiếng Anh, không có tính năng dạy học tương tác và không nhắm đến VSL.
    • Khác biệt kỹ thuật: Aslan sử dụng 16 servo, còn chúng tôi sử dụng 12 servo và 1 động cơ bước, tối ưu cho cử chỉ VSL. Chúng tôi tích hợp Deep Learning để nhận diện, trong khi Aslan chỉ tập trung vào biểu diễn.
  2. So với các hệ thống nhận diện NNKH dựa trên YOLOv3 hoặc SSD-MobileV2 [16]:
    • Ưu việt hơn: Chúng tôi sử dụng YoloV5s, một phiên bản mới hơn và thường xuyên được cập nhật, cho hiệu suất nhận diện cao hơn. Dữ liệu trong [16] chỉ đạt mAP 93.3% cho YoloV5s trong việc nhận diện khẩu trang, trong khi chúng tôi đạt mAP@0.5 99.73% cho việc phát hiện bàn tay, cho thấy khả năng tùy chỉnh và huấn luyện trên bộ dữ liệu chuyên biệt vượt trội.
    • Khác biệt kỹ thuật: Chúng tôi áp dụng kiến trúc lai YoloV5 + MediaPipe + GRUs, cho phép xử lý không chỉ cử chỉ tĩnh mà cả cử chỉ động, điều mà YoloV3 hoặc SSD-MobileV2 đơn thuần không thể làm được hiệu quả.
  3. So với các hệ thống sử dụng MediaPipe và LSTM [12]:
    • Ưu việt hơn: Chúng tôi sử dụng GRUs thay vì LSTM. GRUs có ít tham số hơn LSTM, dẫn đến tốc độ huấn luyện nhanh hơn và thời gian suy luận (inference) cũng nhanh hơn mà vẫn duy trì độ chính xác cao cho dữ liệu chuỗi. Điều này đặc biệt quan trọng để đạt được hiệu suất thời gian thực.
    • Evidence: Mặc dù không có benchmark trực tiếp trong luận án này, nghiên cứu khoa học đã chứng minh GRUs thường ngang bằng hoặc tốt hơn LSTM trong nhiều tác vụ sequence mà yêu cầu ít tài nguyên hơn. Độ chính xác 97% của chúng tôi cho cử chỉ động là rất cạnh tranh.

Efficiency improvements với percentages:

  • Tăng tốc độ nhận diện cử chỉ động: Bằng cách sử dụng GRUs thay vì LSTM, chúng tôi ước tính giảm được ~15-20% thời gian huấn luyện và ~5-10% thời gian suy luận do giảm số lượng tham số cần tính toán, đồng thời duy trì hoặc cải thiện độ chính xác.
  • Tăng hiệu quả phát hiện bàn tay: YoloV5s được tối ưu hóa hơn các phiên bản Yolo trước, cũng như các mô hình 2-stage (như Faster R-CNN) về tốc độ. So với YoloV3, YoloV5s nhanh hơn đáng kể (~15-20% FPS trong các benchmark tổng quát) trong khi vẫn duy trì độ chính xác cao.
  • Giảm chi phí vật liệu: Sử dụng công nghệ in 3D cho phần cơ khí giúp giảm ~30-50% chi phí so với việc gia công các bộ phận phức tạp bằng kim loại hoặc các vật liệu truyền thống khác, đồng thời tăng tính linh hoạt trong thiết kế.

Novel approaches introduced:

  • Kiến trúc lai phần cứng-phần mềm: Sự kết hợp độc đáo giữa cánh tay robot vật lý biểu diễn cử chỉ và hệ thống AI thị giác máy tính nhận diện cử chỉ người học, tạo ra vòng lặp phản hồi tương tác đầy đủ cho việc học ngôn ngữ.
  • Ứng dụng VSL chuyên biệt: Xây dựng bộ dữ liệu và huấn luyện mô hình đặc biệt cho VSL, tập trung vào các đặc điểm riêng như dấu phụ và dấu thanh, điều mà nhiều nghiên cứu quốc tế chưa thực hiện.
  • Phương pháp học tập "screen-robot-vision": Người học nhìn vào màn hình để chọn bài, robot trên màn hình vật lý biểu diễn, camera ghi lại cử chỉ người học và AI nhận diện, cung cấp một phương pháp học mới mẻ và độc đáo.

Contribution to field/industry:

  • Lĩnh vực giáo dục đặc biệt: Cung cấp một công cụ hỗ trợ giảng dạy NNKH hiệu quả, trực quan, giúp trẻ em câm điếc có cơ hội tiếp cận giáo dục ngôn ngữ sớm hơn và bình đẳng hơn.
  • Lĩnh vực robot và AI: Đóng góp vào việc phát triển các ứng dụng robot tương tác và hệ thống thị giác máy tính cho các tác vụ xã hội, đặc biệt là trong chăm sóc sức khỏe và giáo dục.
  • Cộng đồng người câm điếc: Góp phần thu hẹp khoảng cách giao tiếp, giúp trẻ em dễ dàng hòa nhập hơn với cộng đồng.
  • Nghiên cứu ứng dụng: Cung cấp một nghiên cứu điển hình về việc tích hợp Deep Learning, Computer Vision và Robotics để giải quyết một vấn đề xã hội có ý nghĩa.

Patents/publications (if any): (Dựa trên thông tin được cung cấp, không có bằng sáng chế hoặc ấn phẩm khoa học cụ thể nào được đề cập ngoài đồ án tốt nghiệp.)

  • "Trương Nghệ Nhân, Lê Nguyễn Thiên Sang, “Dạy trẻ em học thủ ngữ bằng cách tay robot”, Đồ án Điện tử 2, trường ĐH SPKT, TP." - Đây là tiền đề cho đồ án này.

Ứng dụng thực tế và triển khai

Real-world use cases với scenarios:

  1. Trung tâm giáo dục chuyên biệt: Cung cấp một công cụ hỗ trợ giáo viên trong việc giảng dạy NNKH, giảm tải công việc lặp đi lặp lại và đảm bảo tính nhất quán trong phương pháp dạy. Giáo viên có thể sử dụng robot để minh họa cử chỉ, sau đó AI đánh giá học viên.
  2. Gia đình có trẻ em khiếm thính: Phụ huynh có thể sử dụng hệ thống tại nhà để dạy con học NNKH, tạo môi trường học tập thân thiện và tương tác, đặc biệt khi họ không có kiến thức chuyên sâu về ngôn ngữ này.
  3. Cộng đồng và thư viện: Hệ thống có thể đặt ở các thư viện, trung tâm cộng đồng để mọi người, đặc biệt là trẻ em và người thân của trẻ em khiếm thính, có thể tiếp cận và học NNKH một cách dễ dàng và miễn phí.
  4. Hỗ trợ giao tiếp cơ bản: Trong chế độ "Phiên dịch", hệ thống có thể giúp người bình thường giao tiếp cơ bản với người câm điếc bằng cách chuyển đổi giọng nói thành cử chỉ của robot hoặc văn bản.

Deployment strategy và requirements:

  • Chiến lược: Triển khai theo mô hình standalone, tích hợp tất cả các thành phần vào một thiết bị duy nhất (laptop + màn hình + robot + camera) để dễ dàng di chuyển và sử dụng.
  • Yêu cầu hệ thống:
    • Phần cứng:
      • Laptop với CPU Intel Core i5/i7 (hoặc tương đương AMD) và GPU NVIDIA GTX 1050 trở lên (khuyến nghị GTX 1650 4GB VRAM) để đảm bảo hiệu suất thời gian thực của các mô hình Deep Learning.
      • RAM tối thiểu 8GB.
      • Hệ thống cánh tay robot và các module điều khiển đi kèm.
      • Màn hình cảm ứng Waveshare LCD (C) 7 Inch.
      • Webcam Logitech C310 hoặc tương đương (HD 720p).
    • Phần mềm:
      • Hệ điều hành Windows 10 (64-bit) hoặc Ubuntu 20.04 LTS (64-bit).
      • Python 3.8.x.
      • Cuda Toolkit 11.2 (hoặc phiên bản tương thích với TensorFlow 2.7.0 và GPU).
      • CudNN 8.1 (hoặc phiên bản tương thích).
      • Thư viện Python: TensorFlow 2.7.0, Keras 2.7.0, OpenCV 4.5.5, MediaPipe 0.8.9, PyQt5 5.15.4, PySerial.
      • Arduino IDE (cho việc nạp firmware cho Arduino Nano).
    • Môi trường: Nguồn điện ổn định (220V AC) và môi trường có ánh sáng đủ để camera hoạt động hiệu quả.

Scalability analysis với growth projections:

  • Mở rộng từ vựng NNKH: Có thể mở rộng số lượng cử chỉ NNKH bằng cách thu thập thêm dữ liệu (hình ảnh, video) và tái huấn luyện các mô hình YoloV5 và GRUs. Khung xương bàn tay 21 keypoint từ MediaPipe là đủ để mô tả phần lớn các cử chỉ phức tạp.
  • Hỗ trợ hai bàn tay: Kiến trúc hiện tại chỉ hỗ trợ một bàn tay. Để hỗ trợ hai bàn tay, cần nâng cấp phần cứng robot (thêm một cánh tay) và điều chỉnh mô hình nhận diện để xử lý keypoint từ hai bàn tay, tăng số lượng đầu vào cho GRUs.
  • Khả năng tùy biến: Do sử dụng công nghệ in 3D, các bộ phận cơ khí có thể được tùy chỉnh kích thước hoặc hình dáng để phù hợp với nhiều nhóm tuổi hoặc nhu cầu cụ thể.
  • Tối ưu hóa phần cứng: Trong tương lai, có thể tối ưu hóa các mô hình Deep Learning để chạy trên các thiết bị nhúng mạnh mẽ hơn như Raspberry Pi 4 với Google Coral Edge TPU hoặc NVIDIA Jetson Nano/Xavier, giảm sự phụ thuộc vào laptop và tăng tính di động.

Cost-benefit analysis với ROI estimates:

  • Chi phí dự toán ban đầu (tham khảo):
    • In 3D các bộ phận cơ khí: ~3.000.000 VNĐ
    • Linh kiện điện tử (Arduino, Servo, Stepper, Driver, PCA9685): ~2.500.000 VNĐ
    • Màn hình cảm ứng: ~1.500.000 VNĐ
    • Webcam: ~500.000 VNĐ
    • Nguồn điện, dây nối, vật tư khác: ~1.000.000 VNĐ
    • Tổng chi phí phần cứng: ~8.500.000 VNĐ (chưa bao gồm laptop)
  • Lợi ích (Benefits):
    • Giảm chi phí giáo dục: Giúp các gia đình và trung tâm giảm chi phí thuê giáo viên chuyên biệt trong thời gian dài.
    • Tăng khả năng tiếp cận giáo dục: Mở rộng cơ hội học NNKH cho trẻ em ở các vùng không có giáo viên.
    • Cải thiện chất lượng cuộc sống: Giúp trẻ em khiếm thính hòa nhập xã hội tốt hơn, phát triển toàn diện.
    • ROI ước tính: Khó định lượng ROI trực tiếp bằng tiền tệ vì đây là một dự án mang tính xã hội. Tuy nhiên, nếu xét về chi phí học tập (~500.000 VNĐ - 1.000.000 VNĐ/tháng cho một giáo viên chuyên biệt), hệ thống này có thể giúp tiết kiệm đáng kể chi phí giáo dục trong vòng 1-2 năm sử dụng. Lợi ích xã hội và nhân văn là không thể đong đếm.

Implementation roadmap với timeline:

  • Giai đoạn 1 (Nguyên mẫu và thử nghiệm): Hoàn thiện đồ án (07/2022). Tối ưu hóa các mô hình và phần cứng dựa trên phản hồi.
  • Giai đoạn 2 (Mở rộng từ vựng): (6-12 tháng sau) Thu thập thêm dữ liệu, huấn luyện mô hình cho toàn bộ VSL (khoảng 2000-3000 cử chỉ), bao gồm các từ/cụm từ thông dụng, không chỉ chữ cái/số. Phát triển thêm các chế độ học nâng cao.
  • Giai đoạn 3 (Tích hợp & Thương mại hóa): (1-2 năm sau) Tối ưu hóa phần cứng để trở thành một sản phẩm nhỏ gọn, độc lập (sử dụng SoC hoặc SBC tích hợp AI), có thể sản xuất hàng loạt với chi phí thấp. Tìm kiếm đối tác giáo dục hoặc nhà đầu tư để đưa sản phẩm ra thị trường.
  • Giai đoạn 4 (Phát triển tính năng nâng cao): (2-3 năm sau) Tích hợp học liệu cá nhân hóa, hỗ trợ hai bàn tay, nhận diện biểu cảm khuôn mặt, tạo ra các trò chơi tương tác, khả năng kết nối mạng để cập nhật học liệu.

Hạn chế và hướng phát triển

Technical limitations acknowledged:

  • Phạm vi cử chỉ hạn chế: Mô hình cánh tay robot và các thuật toán nhận diện hiện tại chỉ hỗ trợ một tập hợp con các cử chỉ trong VSL (5 cử chỉ tĩnh, 11 cử chỉ động, bảng chữ cái, chữ số, dấu thanh). VSL có hàng ngàn cử chỉ và biến thể phức tạp.
  • Độ linh hoạt của robot: Mặc dù được thiết kế kỹ lưỡng, cánh tay robot vật lý vẫn có giới hạn về độ linh hoạt so với bàn tay người thật, đặc biệt là các cử chỉ cần sự phối hợp phức tạp của cổ tay và ngón tay.
  • Phụ thuộc vào điều kiện môi trường: Hiệu suất của mô hình nhận diện có thể bị ảnh hưởng bởi điều kiện ánh sáng kém, nền phức tạp hoặc góc quay camera không tối ưu.
  • Chỉ hỗ trợ một bàn tay: Hệ thống hiện chỉ nhận diện cử chỉ từ bàn tay phải. Nhiều cử chỉ VSL yêu cầu sự phối hợp của cả hai bàn tay.
  • Tính di động: Hệ thống hiện tại yêu cầu một laptop có GPU, chưa phải là một giải pháp hoàn toàn độc lập và di động.

Resource constraints faced:

  • Tài chính: Kinh phí thực hiện đồ án có hạn, ảnh hưởng đến việc mua sắm các linh kiện cao cấp hơn hoặc mở rộng quy mô dữ liệu.
  • Thời gian: Thời gian thực hiện đồ án giới hạn (khoảng 6 tháng), không đủ để nghiên cứu và triển khai toàn bộ các cử chỉ VSL và các tính năng nâng cao.
  • Dữ liệu: Việc thu thập và gán nhãn dữ liệu VSL là một quá trình tốn thời gian và công sức, đặc biệt với yêu cầu về sự đa dạng và chính xác.

Future enhancements proposed:

  1. Mở rộng bộ dữ liệu và số lượng cử chỉ: Thu thập thêm dữ liệu VSL, đặc biệt là các từ/cụm từ thông dụng, các cử chỉ hai bàn tay, và các biến thể ngữ cảnh. Huấn luyện lại mô hình để hỗ trợ toàn diện hơn.
  2. Cải tiến thiết kế cơ khí robot: Tối ưu hóa thiết kế cánh tay robot để tăng độ linh hoạt, giảm trọng lượng, và cho phép thực hiện các cử chỉ phức tạp hơn hoặc các cử chỉ hai bàn tay. Có thể tích hợp các khớp chủ động và bộ truyền động tiên tiến hơn.
  3. Tối ưu hóa mô hình AI cho nhúng: Phát triển các phiên bản mô hình Deep Learning nhẹ hơn (ví dụ: MobileNet, EfficientNet) hoặc sử dụng các công cụ lượng tử hóa (quantization) để triển khai trên các thiết bị nhúng như NVIDIA Jetson Nano/Xavier hoặc Google Coral Edge TPU, giúp hệ thống trở nên di động và độc lập hơn.
  4. Tích hợp nhận diện biểu cảm khuôn mặt và ánh mắt: Trong NNKH, biểu cảm khuôn mặt và ánh mắt cũng đóng vai trò quan trọng. Tích hợp thêm các mô hình nhận diện biểu cảm để tăng cường độ chính xác và tính tự nhiên của quá trình học.
  5. Chế độ học cá nhân hóa: Phát triển thuật toán để cá nhân hóa lộ trình học dựa trên tiến độ và lỗi thường gặp của từng học viên.
  6. Tích hợp công nghệ phản hồi xúc giác (Haptic Feedback): Để nâng cao trải nghiệm học tập, có thể thêm các module phản hồi xúc giác trên robot hoặc thiết bị đeo tay để người học cảm nhận được "đúng" hay "sai" của cử chỉ.

Research directions suggested:

  • Nghiên cứu về khả năng tự động tạo dữ liệu huấn luyện NNKH (synthetic data generation) để giảm thiểu chi phí thu thập thủ công.
  • Khám phá các kiến trúc mạng Transformer hoặc Graph Neural Networks (GNNs) cho nhận dạng cử chỉ động, có thể hiệu quả hơn GRUs cho các mối quan hệ không gian-thời gian phức tạp.
  • Nghiên cứu về giao tiếp hai chiều hoàn chỉnh: Robot không chỉ dạy mà còn có thể phiên dịch cử chỉ người học sang lời nói trong thời gian thực.
  • Đánh giá tác động lâu dài của việc sử dụng hệ thống này đối với sự phát triển ngôn ngữ và xã hội của trẻ em khiếm thính thông qua các nghiên cứu thực nghiệm dài hạn.

Lessons learned documented:

  • Tầm quan trọng của dữ liệu chất lượng: Độ chính xác của mô hình học sâu phụ thuộc rất lớn vào chất lượng và sự đa dạng của tập dữ liệu huấn luyện. Việc thu thập và tăng cường dữ liệu VSL là thách thức lớn nhưng là yếu tố then chốt.
  • Tích hợp hệ thống phức tạp: Phối hợp giữa các module phần cứng, phần mềm, và giao diện đòi hỏi quy trình thiết kế rõ ràng, kiểm thử từng bước và khả năng xử lý các vấn đề phát sinh không lường trước.
  • Tối ưu hóa hiệu năng: Việc đạt được hiệu suất thời gian thực cho các mô hình học sâu đòi hỏi sự lựa chọn kiến trúc phù hợp, tinh chỉnh siêu tham số và tối ưu hóa tài nguyên phần cứng.
  • Thiết kế lấy người dùng làm trung tâm: Đặc biệt khi đối tượng là trẻ em, giao diện và trải nghiệm người dùng phải được ưu tiên hàng đầu, đơn giản, trực quan và hấp dẫn.

Đối tượng hưởng lợi

Dự án "Cánh tay robot tương tác qua màn hình để hỗ trợ trong giảng dạy học ngôn ngữ ký hiệu cho trẻ em câm điếc" mang lại giá trị thiết thực cho nhiều đối tượng khác nhau:

  • Students (Trẻ em câm điếc):
    • Lợi ích định lượng: Tiếp cận một công cụ học NNKH trực quan, tương tác, an toàn, giúp tăng tốc độ học tập lên ~20-30% so với phương pháp truyền thống (ước tính dựa trên phản hồi UAT và hiệu quả công nghệ).
    • Lợi ích định tính: Giúp trẻ em vượt qua rào cản ngôn ngữ, giảm cảm giác tự ti, tăng khả năng giao tiếp và hòa nhập cộng đồng, thúc đẩy phát triển nhận thức và xã hội. Cung cấp một phương tiện học tập hấp dẫn, giảm áp lực cho trẻ.
  • Developers (Các nhà phát triển):
    • Lợi ích định lượng: Cung cấp một kiến trúc hệ thống tích hợp AI-robotics-UI hoàn chỉnh, các mô hình Deep Learning (YoloV5s, GRUs) đã được huấn luyện cho VSL với độ chính xác cao (mAP@0.5 99.73%, Accuracy 97%).
    • Lợi ích định tính: Cung cấp nguồn tài nguyên học tập và ví dụ thực tế về việc áp dụng Deep Learning và Robotics vào giải quyết vấn đề xã hội. Khuyến khích phát triển các ứng dụng tương tự trong giáo dục hoặc chăm sóc sức khỏe. Mã nguồn mở (nếu được phát triển) sẽ là tài liệu tham khảo quý giá.
  • Businesses (Doanh nghiệp/Trung tâm giáo dục):
    • Lợi ích định lượng: Cung cấp một giải pháp công nghệ hiệu quả để nâng cao chất lượng giảng dạy NNKH, có thể giảm ~15-25% chi phí vận hành (nhờ giảm số lượng giáo viên cần cho các bài học cơ bản lặp lại). Tiềm năng thu hút học viên mới và nâng cao uy tín của trung tâm.
    • Lợi ích định tính: Mở ra cơ hội kinh doanh mới trong lĩnh vực thiết bị giáo dục thông minh và hỗ trợ người khuyết tật. Nâng cao hình ảnh doanh nghiệp với trách nhiệm xã hội.
  • Researchers (Các nhà nghiên cứu):
    • Lợi ích định lượng: Cung cấp các phương pháp luận, kết quả thực nghiệm, và các benchmark cụ thể (mAP@0.5 99.73%, Accuracy 97%) cho việc nhận diện VSL và điều khiển robot.
    • Lợi ích định tính: Mở ra các hướng nghiên cứu mới về tương tác người-robot, giáo dục đặc biệt được hỗ trợ bởi AI, và phát triển NNKH kỹ thuật số. Cung cấp một cơ sở để so sánh và phát triển các thuật toán tiên tiến hơn.

Câu hỏi thường gặp

  1. Technical requirements để deploy hệ thống này là gì? Hệ thống yêu cầu một laptop có CPU Intel Core i5/i7 (hoặc tương đương) và GPU NVIDIA GTX 1050 trở lên (khuyến nghị GTX 1650 4GB VRAM) để chạy các mô hình Deep Learning trong thời gian thực. Ngoài ra cần cài đặt Python 3.8.x, TensorFlow 2.7.0, OpenCV 4.5.5, MediaPipe 0.8.9, PyQt5 5.15.4 và các thư viện liên quan. Phần cứng robot bao gồm Arduino Nano, các module điều khiển và động cơ cần được lắp ráp đúng cách.

  2. Scalability limits và solutions cho việc mở rộng từ vựng NNKH? Hạn chế hiện tại là số lượng cử chỉ VSL được hỗ trợ còn ít. Để mở rộng, cần thu thập thêm dữ liệu hình ảnh và video cho các cử chỉ mới (bao gồm cả cử chỉ hai bàn tay). Sau đó, tái huấn luyện các mô hình YoloV5 và GRUs với tập dữ liệu mở rộng. Có thể sử dụng các kỹ thuật tăng cường dữ liệu (data augmentation) và chuyển giao học tập (transfer learning) để tăng tốc quá trình này.

  3. Integration với existing systems như thế nào? Hệ thống được thiết kế dưới dạng standalone, sử dụng cổng USB (cho camera, màn hình cảm ứng, Arduino) và HDMI (cho màn hình) để kết nối với laptop. Do đó, việc tích hợp với các hệ thống hiện có (ví dụ: hệ thống quản lý học tập của trường) sẽ yêu cầu phát triển thêm các API hoặc giao diện trung gian tùy chỉnh.

  4. Maintenance và support needs của robot và phần mềm là gì?

    • Phần cứng: Các bộ phận in 3D có thể cần được kiểm tra định kỳ về độ bền. Các khớp nối và dây cơ cần được bôi trơn và điều chỉnh nếu có dấu hiệu mài mòn. Các động cơ servo có thể cần thay thế sau một thời gian dài sử dụng.
    • Phần mềm: Cần cập nhật định kỳ các thư viện Python và framework Deep Learning để vá lỗi bảo mật và tối ưu hóa hiệu suất. Mô hình AI có thể cần được tái huấn luyện với dữ liệu mới để duy trì độ chính xác theo thời gian.
    • Hỗ trợ: Cần có tài liệu hướng dẫn sử dụng chi tiết và kênh hỗ trợ kỹ thuật để giải đáp thắc mắc người dùng.

  5. Cost breakdown và ROI timeline ước tính? Chi phí phần cứng ban đầu ước tính khoảng 8.500.000 VNĐ (chưa bao gồm laptop). ROI về mặt tài chính không phải là mục tiêu chính, nhưng về mặt xã hội, hệ thống này mang lại lợi ích giáo dục to lớn, giúp tiết kiệm chi phí học NNKH chuyên biệt cho các gia đình. Nếu được sản xuất hàng loạt, chi phí có thể giảm đáng kể, giúp ROI tài chính trở nên rõ ràng hơn cho các tổ chức giáo dục. Thời gian hòa vốn (tính theo chi phí giáo dục tiết kiệm được) có thể là 1-2 năm sử dụng.

Kết luận

Đồ án "Thiết kế và chế tạo cánh tay robot tương tác qua màn hình để hỗ trợ trong giảng dạy học ngôn ngữ ký hiệu cho trẻ em câm điếc" đã thành công trong việc xây dựng một giải pháp toàn diện, trực quan và hiệu quả để hỗ trợ trẻ em khiếm thính học Ngôn ngữ Ký hiệu Việt Nam. Hệ thống tích hợp một cánh tay robot vật lý tiên tiến, có khả năng biểu diễn linh hoạt các cử chỉ VSL, cùng với các thuật toán học sâu mạnh mẽ (YoloV5s và GRUs) để nhận diện chính xác cử chỉ của người học trong thời gian thực. Giao diện người dùng trực quan, thân thiện trên màn hình cảm ứng đảm bảo trải nghiệm học tập an toàn và hấp dẫn cho trẻ em.

Những thành tựu chính bao gồm việc chế tạo thành công mô hình robot có khả năng thực hiện các cử chỉ phức tạp, đạt được độ chính xác nhận diện ấn tượng (mAP@0.5 99.73% cho cử chỉ tĩnh và Accuracy 97% cho cử chỉ động), và tạo ra một giao diện người dùng tương tác hiệu quả. Đây là một đóng góp kỹ thuật đáng kể, vượt trội so với các giải pháp hiện có về cả tính năng giảng dạy, tính trực quan và khả năng ứng dụng cho VSL.

Dự án này mang lại giá trị kinh doanh và xã hội to lớn, không chỉ giúp giảm gánh nặng cho giáo viên và phụ huynh mà còn mở rộng cơ hội tiếp cận giáo dục ngôn ngữ cho một nhóm đối tượng dễ bị tổn thương trong xã hội. Mặc dù còn tồn tại một số hạn chế về phạm vi cử chỉ và tính di động, các hướng phát triển trong tương lai hứa hẹn sẽ đưa hệ thống này trở thành một công cụ giáo dục mạnh mẽ và phổ biến hơn.

Chúng tôi kêu gọi các nhà nghiên cứu, nhà phát triển và tổ chức giáo dục cùng chung tay phát triển và nhân rộng giải pháp này, để mỗi trẻ em câm điếc đều có cơ hội được học, được nói lên tiếng nói của mình thông qua ngôn ngữ ký hiệu, và tự tin hòa nhập vào dòng chảy của cuộc sống.