Luận án tiến sĩ Toán học: Một số đóng góp trong bài toán phân tích chùm

DAI HỌC QUOC GIA TP. HO CHÍ MINH TRUGNG DAI HOC KHOA HOC TU NHIEN NGUYEN TRANG THAO MOT SO DONG GOP TRONG BAI TOÁN PHAN TICH CHUM LUAN AN TIEN Si TOAN HOC TP. H6 Chi Minh — Nam 2023 DAI HỌC QUOC GIA TP. HO CHÍ MINH TRUGNG DAI HOC KHOA HOC TU NHIEN NGUYEN TRANG THAO MOT SO DONG GOP TRONG BAI TOAN PHAN TICH CHUM Ngành: Lý thuyết xác suất và thong kê toán hoc Mã số ngành: 62460106 Phản biện 1: PGS.

Lê Si Đồng Phản biện 2: TS. Nguyễn Văn Huấn Phản biện 3: TS. Tạ Quốc Bảo Phản biện độc lập 1: TS. Trần Phước Lộc Phản biện độc lập 2: TS.

Lê Thị Thanh An Người hướng dẫn 1: PGS. Võ Văn Tài Người hướng dẫn 2: TS. Lê Thị Xuân Mai Tp. Hồ Chí Minh — Năm 2023 Lời cam đoan Tôi cam đoan luận án tiến sĩ ngành Lý thuyết xác suất và thống kê toán học, với đề tài Một số đóng góp trong bài toán phân tích chùm là công trình khoa học do tôi thực hiện dưới sự hướng dẫn của PGS.

Võ Văn Tài và TS. Lê Thị Xuân Mai. Những kết quả nghiên cứu của luận án hoàn toàn trung thực, chính xác và không trùng lắp với các công trình đã công bố trong và ngoài nước. Nghiên cứu sinh Nguyễn Trang Thảo Lời cam ơn Tôi vin kính gửi lời cảm ơn dau tiên va sâu sắc đến Giảng tiên hướng dan, Thay Võ Văn Tài.

Toi đã được gặp gỡ, quen biết va làm uiệc cùng Thay không chỉ trong thời gian thực hiện luận án, mà còn trong suốt mét khoảng thời gian hoc tập va nghiên cứu hơn 10 năm qua. Trong khoảng thời gian trên, Thay đã hướng dẫn va hỗ trợ học trò rat nhiều từ công uiệc chuyên môn đến những van đề nan giải của cuộc sống. Lam viée cùng Thay đã khiến cho hoc trò có nhiều động luc va đam mê đối uới công viéc nghiên cứu xác suất thống kê va khoa hoc dit liệu; đó là một điều may mắn đối với học trò. Học trò xin gửi đến Thay lời cam ơn chân thành nhất.

Tôi xin kính gửi lời cảm ơn chân thành đến Giảng uiên đồng hướng dan, Cô Lê Thị Xuân Mai, người đã truyền dat cho tôi những kiến thúc quy báu vé thống kê, cũng như đã hỗ trợ tôi hết mành trong quá trành học nghiên cứu sinh. Tôi xin gửi lời cam ơn đến Thay Nguyễn Bác Văn, Thay Đặng Đúc Trọng, Co Nguyễn Thị Mộng Ngọc, cùng tập thể cán bộ-giảng uiên bộ môn Xác suất Thông kê. Khoa Toán- Tin học, Trường Dai học Khoa học Tự Nhiên, Dai học Quốc gia TPHCM, ve những kiến thúc chuyên mon quý báu Quy Thay Cô đã truyền đạt. Tôi xin gửi lời cam ơn đến tập thể cán bộ Phòng Sau Dai học, Trường Pai học Khoa học Tự Nhiên, đặc biệt là Cô Trần Thị Phượng Giang, vé những hỗ trợ uề mặt hành chính của Quy Thay Cô trong suốt quá trinh học tập nghiên cứu sinh của minh.

Tôi zin gửi lời cam ơn đến Thay Nguyễn Thời Trung, Co Nguyễn Thi Kim Ngân, va tập thể đồng nghiệp Viện Khoa học Tính toán, Trường Đại học Tôn Đức Thắng đã tạo nhiều điều kiện thuận lợi vé mặt công tiệc, giúp đố tôi có thể hoàn thành quyén luận án nay. Tôi zin gửi lời cam ơn chân thành đến Thay Nguyén Thời Trung, Thay Nguyễn Dinh Phu, Thay Vasanth, Thay Thich Nhất Hạnh, Thay Thích Minh Niệm, Thay Thich Pháp Hòa, Thay Sayadaw U Jotika, Thay Ajahn Chah, Thay Ajahn Brahm, Ba Dolores Cannon, Thay Osho, Thay Jiddu Krishnamurti, Thay John Va. Nhitng tác phẩm, những bài giảng, cũng như những buổi trao đổi của các Thay đã lan tỏa rat nhiều năng lượng tích cực, giúp moi người có thể cân bằng cuộc sống, có khả năng sống va làm tiệc một cách an nhiên va đạo đúc. Con xin cam ơn công sinh thành, day bao của Cha Me.

Con xin cam on Me, 1 người đã vat va hy sinh suốt một đời vi con. Không có Mẹ thà sẽ chẳng thể có con. Xin cảm ơn gia đành nhỏ, Vo va các con tôi, những người luôn kề vai sát cánh, cùng tôi uượt qua moi vui buôn của cuộc sống. Đặc biệt, xin gửi lời cam ơn cùng tinh thương chân thành đến Vợ, người luôn là hậu phương uững chắc, đã hy sinh nhiều thời gian-công uiệc của ban thân để giúp tôi được tập trưng cho công tiệc nghiên cứu.

Xin cắm ơn bạn bè, đồng nghiệp, cùng muôn van điều không tên khác. 11 Mục lục Danh mục các từ viết tắt Danh sách bảng DA AN MMO DAU PHCLAN 0.5 Phuong pháp nghiên cứu|. Bố cục của luận án|.2 1 PHAN TÍCH CHUM CAC PHAN TỬ ROI RAC COœoũ 1.42hTệusậốtươonágpựâchùím tuđộng thứbậcdựarên an 3.ẶẶ QẶ QC 104 vì Danh mục các từ viết tat AC Phân tích chùm tự động ACIG Phân tích chùm tự động cho dữ liệu khoảng bằng giải thuật di truyền ADC Phân tích chùm động thích nghỉ ARI Chỉ số Rand điều chỉnh CDE Phân tích chùm cho các phần tử rời rạc CDF Phân tích chùm cho các hàm mật độ xác suất CID Phân tích chùm cho di liệu khoảng CNN Mạng nơ ron tích chập DBSCAN Phân tích chùm cho dữ liệu có chứa nhiễu dựa trên mật độ DVDT Don vị đào tạo EM Cực đại hóa kỳ vọng ERACI Phân tích chim tự động, vững cho dữ liệu khoảng có chứa nhiễu FCF Phân tích chùm mờ cho các hàm mật độ xác suất GA Giải thuật di truyền GDI Giai đoạn 1 GLCM Ma trận đồng hiện mức xám GN Nhiễu Gaussian NCF Phân tích chùm không thứ bậc cho các hàm mật độ xác suất NSCD Phân tích chùm không thứ bậc cho các phần tử rời rạc OLID Khoảng cách chồng lấp cho dữ liệu khoảng SCC Hệ số tương tự chùm cho các hàm mật độ xác suất SCD Hệ số tương tự chùm cho các phần tử rời rạc SI Chi số Silhouette SPN Nhiéu muối tiêu SSE Tổng của sai số bình phương SU Tự động cập nhật SUF Tự động cập nhật hàm mật độ xác xuất SUI Tự động cập nhật dữ liệu khoảng THPT Trung học Phổ thông Danh sách hình vẽ Đồ thị phân tán của 16 khoảng : So sánh quá trình hội tụ của hai thuật toán ERACI và ACIG-GD1 Danhsácbang PHAN MỞ ĐẦU 0.1 Tổng quan bài toán phân tích chùm và lý do chọn đề tài Ngày nay, trong xu thế toàn cầu hóa, chúng ta thường xuyên phải tiếp nhận và xử lí một lượng lớn những thông tin khác nhau. Theo thống kê của [14 [65], mỗi ngày có 2.5 x 10! bit dữ liệu được tạo ra, lượng dữ liệu được lưu trữ mỗi ngày của Facebook lên đến 50 terabytes, trong khi đó, Google xử lí 40 petabytes dữ liệu mỗi ngày và lưu giữ trực tuyến 2.6 petabytes dữ liệu mỗi giờ.

Cùng với sự gia tăng đột biến của dữ liệu, nhu cầu lưu trữ, phân loại, gom nhóm dữ liệu một cách tự động nhận được nhiều sự quan tâm hơn từ các nhà nghiên cứu thống kê trên thế giới. Có nhiều phương pháp để thực hiện phân loại và gom nhóm dữ liệu, trong đó, phân tích chùm là một trong những phương pháp chủ dao 5i. Theo [T7 81) 83), phân tích chùm là một phương pháp thống kê đa biến nhằm nhóm một tập các đối tượng lại thành các chùm theo những đặc điểm định trước. Chùm được coi như là một nhóm dữ liệu, trong đó những phần tử trong cùng một chùm thì có sự tương tự nhau theo một số đặc điểm nhất định.

Khi chùm được xây dựng, những phần tử trong cùng một chùm sẽ có sự tương tự nhiều hơn so với những phần tử của chùm khác. Dối tượng của bài toán phân tích chùm rất đa dạng, nhưng nhìn chung, có ba loại đối tượng chính gồm các phần tử rời rạc, các hàm mật độ xác suất, và các khoảng (interval data). Đối với mỗi loại đối tượng, ta lại có các phương pháp tiếp cận khác nhau, chẳng hạn như phương pháp phân tích không mờ nơi mỗi phần tử sẽ được gán vào một chùm duy nhất hoặc phương pháp phân tích chùm mờ, nơi mỗi phần tử có thể được gán vào nhiều chùm với các xác suất được xác định cụ thể. Phân tích chùm cho các phan tử rời rac (clustering for discrete element, CDE) đã được quan tâm nghiên cứu từ rất sớm.

Cho đến nay, số lượng nghiên cứu về phân tích chùm các phần tử rời rạc hoàn toàn chiếm ưu thế so với các phương pháp phân tích chùm đối với các loại đối tượng khác. Một số công trình tiêu biểu được nghiên cứu gần đây có thể được tham khảo trong [T7Ị (54) 64]. Mặc dù đã có những bước tiến đáng kể và có nhiều kết quả nghiên cứu có giá trị, bài toán phân tích chùm các phần tử rời rạc vẫn còn nhiều vấn đề có thể tiếp tục khai thác về mặt lý thuyết lan ứng dụng. Về mặt lý thuyết, hầu hết các thuật toán phân tích chùm đều cần người dùng phải xác định trước số chùm.

Điều này là không thuận lợi trong thực tế vì phụ thuộc nhiều vào kiến thức chuyên gia. Một phương pháp khác để xác định số chùm là đánh giá kết quả của bài toán phân tích chùm và xác định số chùm tối ưu thông qua các chỉ số đánh giá như chỉ số Xie-Beni [Ø6], chỉ số Dunn Hỗ], chỉ số Davies-Bouldin |§J,. Tuy nhiên, việc này đòi hỏi chi phí tính toán lớn và không kha thi khi áp dụng đối với các bài toán lớn mà cần thời gian tính toán nhanh. Tương tự, phần lớn các thuật toán phân tích chùm đều tạo ra các chùm có dạng hình cầu, điều này làm cho kết quả trở nên không phù hợp khi các chùm có hình dạng bất kỳ.

Do đó, phương pháp xác định số chùm và phương pháp phân tích chùm với dạng chùm bất kỳ là hai trong số nhiều vấn đề lớn mà các nhà nghiên cứu quan tâm. Về mặt ứng dụng, phần lớn các thuật toán phân tích chùm được ứng dụng trong các lĩnh vực kỹ thuật, kinh tế, xã hội đều là các thuật toán cơ bản. Các thuật toán này có ưu điểm là đơn giản và thường được tích hợp sẵn trong các phần mềm thống kê. Tuy nhiên, các kết quả có thể sẽ tốt hơn và đáng tin cậy hơn nếu như các nghiên cứu mới được ứng dụng.

Bài toán CDE được đặc biệt quan tâm do hướng tiếp cận này phù hợp với nhiều loại bài toán khác nhau, đơn giản và chi phí tính toán thấp. Tuy nhiên, trong xu thế của cách mạng công nghiệp 4.0 hiện nay, việc thu thập, lưu trữ, xử lý, phân tích dữ liệu lớn trở thành một bài toán vô cùng quan trọng. Dữ liệu lớn (big data) là dữ liệu có độ biến động cao, không chắc chắn và được thu thập từ nhiều nguồn khác nhau.