Luận án: Cải tiến Mô hình CAPE cho Hệ thống Tính toán Đa lõi - TS. Đỗ Xuân Huyền

Mô hình CAPE ban đầu kết hợp trình biên dịch và môi trường thực thi phân tán. Hệ thống phân chia chương trình OpenMP thành các khối mã tuần tự và song song. Mỗi khối song song được ánh xạ thành các tiến trình độc lập. Các tiến trình này giao tiếp thông qua cơ chế truyền thông điệp ngầm định. Điểm mấu chốt của CAPE là kỹ thuật chụp ảnh tiến trình. Hệ thống tự động ghi lại trạng thái bộ nhớ của tiến trình chủ. Trạng thái này được phát tán đến các nút tính toán phụ trợ. Nút phụ trợ khôi phục không gian nhớ và tiếp tục thực thi. Khi hoàn thành, dữ liệu thay đổi được gửi ngược lại nút chủ. Quy trình này cho phép mã OpenMP chạy trên cụm máy tính không có bộ nhớ chia sẻ vật lý. Dù vậy, phương pháp chỉ chạy một luồng đơn trên mỗi nút mạng.

Sự phổ biến của bộ vi xử lý đa nhân tạo ra thách thức lớn cho CAPE đơn luồng. Máy chủ hiện đại thường có hàng chục hoặc hàng trăm lõi xử lý. Nếu chỉ khởi tạo một tiến trình đơn trên mỗi máy tính, phần lớn số lõi sẽ ở trạng thái rảnh rỗi. Hiệu suất phần cứng bị lãng phí nghiêm trọng. Việc tạo nhiều máy ảo trên cùng một nút vật lý là một giải pháp tình thế. Tuy nhiên, giải pháp này làm tăng chi phí quản lý của hệ điều hành. Xung đột bộ nhớ đệm (cache contention) giữa các máy ảo xảy ra thường xuyên. Dung lượng bộ nhớ RAM cũng bị phân mảnh nặng nề. Hơn nữa, đường truyền dữ liệu nội bộ không đạt tốc độ tối đa. Vì vậy, hệ thống tính toán đa lõi đòi hỏi một mô hình quản trị luồng trực tiếp và gọn nhẹ hơn.

OpenMP là chuẩn lập trình song song phổ biến nhất trên hệ thống bộ nhớ chia sẻ. Lập trình viên ưa chuộng OpenMP vì cú pháp đơn giản và dễ sử dụng. Người dùng chỉ cần thêm các chỉ thị tiền xử lý vào mã nguồn C hoặc Fortran. Tuy nhiên, chuẩn OpenMP không hỗ trợ môi trường cụm máy tính phân tán. Ngược lại, MPI phù hợp với cụm máy tính nhưng có độ phức tạp lập trình rất cao. Việc viết lại toàn bộ mã nguồn sang MPI tốn nhiều thời gian và chi phí. Do đó, việc tự động chuyển đổi OpenMP sang môi trường phân tán mang giá trị thực tiễn lớn. Mô hình CAPE đóng vai trò cầu nối hoàn hảo giữa hai mô hình lập trình này. Nó giúp lập trình viên giữ nguyên cú pháp OpenMP mà vẫn tận dụng được năng lực của cụm máy tính đa lõi.

Kiến trúc hai mức kết hợp giữa mô hình phân tán và mô hình đa luồng POSIX Threads. Nút chủ phân phối các tác vụ lớn đến các nút thợ thông qua mạng cục bộ. Khi nhận được công việc, mỗi nút thợ sẽ tự động kích hoạt nhóm luồng tính toán. Số lượng luồng thường tương ứng với số lõi CPU vật lý có sẵn. Các luồng này thực thi song song trên cùng không gian bộ nhớ của tiến trình con. Nhờ đó, việc trao đổi dữ liệu giữa các luồng diễn ra với tốc độ cực nhanh. Luồng tính toán truy cập trực tiếp vào thanh ghi và bộ nhớ RAM của máy chủ. Cấu trúc này triệt tiêu độ trễ mạng đối với các phép tính nội bộ. Hiệu năng tổng thể của toàn bộ cụm máy tính gia tăng rõ rệt.

Trình biên dịch CAPE được bổ sung các khuôn mẫu dịch mã mới cho cấu trúc omp parallel. Trình biên dịch tự động phân tích phạm vi biến và tái cấu trúc khối lệnh. Các lệnh phân chia công việc được chuyển đổi thành mã quản lý luồng tối ưu. Bộ lập lịch luồng song song hỗ trợ phân chia vòng lặp tĩnh và động. Lập lịch tĩnh giúp giảm thiểu chi phí quản lý đối với các khối lượng tính toán đồng đều. Lập lịch động đảm bảo cân bằng công việc khi các tác vụ có thời gian chạy biến thiên. Chiến lược lập lịch linh hoạt giúp giảm tối đa thời gian chờ đợi giữa các nhân CPU. Bộ điều phối thông minh còn tự động gán luồng vào lõi cụ thể để tối ưu vị trí dữ liệu.

Xung đột bộ nhớ đệm (cache contention) là nguyên nhân chính làm suy giảm tốc độ xử lý đa lõi. Khi nhiều luồng cùng tranh chấp một dòng cache, hiện tượng nghẽn xảy ra. Mô hình CAPE cải tiến áp dụng thuật toán căn chỉnh dữ liệu trên bộ nhớ. Kỹ thuật đệm lót được sử dụng để loại bỏ triệt để hiện tượng chia sẻ giả (false sharing). Thêm vào đó, kiến trúc tận dụng tối đa băng thông bộ nhớ đa kênh của CPU hiện đại. Dữ liệu mảng lớn được phân bổ trải đều trên các kênh RAM độc lập. Băng thông truyền dữ liệu nội bộ được mở rộng tối đa. Nhờ vậy, các nhân xử lý không bị thiếu hụt dữ liệu trong quá trình tính toán cường độ cao.

Kỹ thuật chụp ảnh gia tăng rời rạc phân chia quá trình ghi nhận thành từng khối độc lập. Hệ thống theo dõi chính xác các vùng nhớ bị ghi đè bởi từng luồng riêng biệt. Danh sách các trang nhớ bị sửa đổi được lưu trữ trong bảng băm tốc độ cao. Khi cần lưu trạng thái, bộ thu gom chỉ nén các khối nhớ thực sự biến đổi. Kích thước dữ liệu cần phát tán giữa các nút giảm đi nhiều lần so với chụp ảnh toàn phần. Thời gian đóng băng tiến trình giảm xuống mức không đáng kể. Quá trình tính toán của các luồng khác trên CPU hầu như không bị gián đoạn. Kỹ thuật này nâng cao khả năng mở rộng của hệ thống khi chạy trên các tập dữ liệu khổng lồ.

Cơ chế phát hiện thay đổi vùng nhớ dựa trên lời gọi hệ thống mprotect của Linux. Ban đầu, các trang nhớ dữ liệu chia sẻ được đặt ở chế độ chỉ đọc. Khi một luồng cố gắng ghi dữ liệu, hệ điều hành sẽ phát tín hiệu SIGSEGV. Bộ bắt tín hiệu của CAPE trong không gian người dùng sẽ nhận diện sự kiện này. Trình quản lý tiến trình đánh dấu trang nhớ bị sửa đổi vào danh sách theo dõi. Sau đó, quyền ghi được mở lại cho trang nhớ để luồng tiếp tục làm việc bình thường. Toàn bộ cơ chế diễn ra trong không gian người dùng (User mode). Điều này giúp hệ thống không cần can thiệp hay sửa đổi nhân hệ điều hành (Kernel mode). Tính tương thích của ứng dụng trên các môi trường phân tán được bảo đảm trọn vẹn.

Độ trễ truy xuất bộ nhớ ảnh hưởng trực tiếp đến hiệu năng của kỹ thuật chụp ảnh. Việc ghi nhật ký trang nhớ liên tục dễ dẫn đến suy giảm tốc độ đọc ghi. CAPE đa luồng sử dụng cơ chế đệm bất đồng bộ để khắc phục nhược điểm này. Quá trình sao lưu dữ liệu trang nhớ được giao cho luồng phụ trợ chạy ngầm. Luồng tính toán chính không cần chờ đợi việc hoàn tất lưu trữ trên đĩa hoặc gửi qua mạng. Ngoài ra, việc tổ chức cấu trúc dữ liệu theo ranh giới trang nhớ 4KB giúp tối ưu hóa bộ điều khiển bộ nhớ (memory controller). Các chu kỳ trễ truy xuất được hấp thụ gần như hoàn toàn. Hiệu suất thời gian thực của ứng dụng song song được nâng cấp rõ rệt.

Không gian bộ nhớ của CAPE đa luồng được phân lớp thành biến riêng và biến chia sẻ. Biến riêng của luồng được cấp phát trong ngăn xếp cục bộ của từng lõi xử lý. Biến chia sẻ toàn cục được ánh xạ trên vùng nhớ chung của tiến trình nút. Khi kết thúc vùng song song, nút phụ trợ phát hiện các vùng nhớ bị thay đổi qua ảnh chụp. Các gói dữ liệu vi sai (diff) được đóng gói và chuyển tiếp về nút chủ. Nút chủ áp dụng thuật toán trộn dữ liệu để tái lập không gian bộ nhớ nhất quán. Nhờ cách tiếp cận này, hành vi của chương trình phân tán hoàn toàn đồng nhất với chương trình OpenMP gốc. Người phát triển không cần can thiệp thủ công vào việc đồng bộ dữ liệu phức tạp.

Xung đột truy cập xảy ra khi nhiều luồng cùng cố gắng ghi vào một vùng nhớ chung. CAPE đa luồng sử dụng các chỉ thị atomic và critical để bảo vệ miền găng. Ở mức liên nút, hệ thống kiểm soát quyền sở hữu trang nhớ bằng thẻ kiểm tra thời gian. Bên cạnh đó, cơ chế cân bằng tải động đóng vai trò duy trì hiệu suất đồng đều. Khi một nút đa lõi hoàn thành sớm công việc, nó có thể nhận thêm các gói lặp còn lại. Thuật toán tự điều chỉnh khối lượng công việc dựa trên năng lực tức thời của từng nút mạng. Hiện tượng luồng nhàn rỗi chờ đợi nút chậm nhất bị triệt tiêu. Năng suất tính toán của toàn bộ cụm máy tính đạt mức tối ưu.

Các chỉ thị OpenMP như shared, private, firstprivate và reduction được tái định nghĩa trong CAPE. Trình phân tích cú pháp xác định chính xác phạm vi ảnh hưởng của từng biến. Đối với các biến reduction, hệ thống tạo bản sao cục bộ cho từng luồng trên nút đa lõi. Sau khi các luồng tính toán xong, giá trị được thu gom cục bộ trước khi gửi qua mạng. Việc thu gom hai cấp giúp giảm số lượng thông điệp phân tán đến mức tối thiểu. Băng thông mạng giữa các nút không còn bị nghẽn bởi các phép toán cộng dồn. Dữ liệu truyền thông được nén chặt và chuyển giao theo khối lớn. Hiệu năng tổng thể của các thuật toán lặp số học nhờ đó tăng lên vượt bậc.

Định luật Amdahl được sử dụng làm cơ sở để ước lượng hệ số tăng tốc cực đại của hệ thống. Nghiên cứu mở rộng công thức Amdahl cho kiến trúc tính toán phân tán phân cấp hai mức. Tỷ lệ phần mã tuần tự và chi phí truyền thông mạng được lượng hóa chính xác. Khi số lõi CPU trên mỗi nút tăng lên, hệ số tăng tốc của CAPE đa luồng bám rất sát giới hạn lý thuyết. Ngược lại, mô hình dựa trên máy ảo nhanh chóng chạm ngưỡng bão hòa do chi phí ảo hóa quá lớn. Mô hình CAPE đa luồng giảm thiểu thành phần tuần tự thông qua việc tối ưu hóa điểm đồng bộ. Kết quả phân tích khẳng định tính đúng đắn và hiệu quả vượt trội của cấu trúc đa luồng trực tiếp.

Thực nghiệm được triển khai trên tập ứng dụng kiểm chuẩn NAS Parallel Benchmarks (NPB). Các bài toán tiêu biểu bao gồm nhân ma trận, giải phương trình vi phân và tính toán biến đổi Fourier. Kết quả đo lường cho thấy CAPE đa luồng đạt hiệu năng vượt trội so với CAPE đơn luồng và mô hình máy ảo. Tốc độ xử lý tăng từ 2 đến 4 lần trên các hệ thống có 8 đến 16 lõi mỗi nút. Độ trễ trao đổi dữ liệu qua mạng giảm hơn 60% nhờ cơ chế thu gom dữ liệu vi sai. Mức tiêu thụ bộ nhớ RAM giảm đáng kể do không cần duy trì nhiều không gian ảo hóa. Hệ thống duy trì độ ổn định tuyệt đối và cho kết quả số học chính xác trên mọi kịch bản thử nghiệm.