Luận án tiến sĩ Huỳnh Phước Hải - Mô hình xử lý hiệu quả dữ liệu biểu hiện gen

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ HUỲNH PHƯỚC HẢI MÔ HÌNH XỬ LÝ HIỆU QUẢ DỮ LIỆU BIỂU HIỆN GEN LUẬN ÁN TIẾN SĨ CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ NGÀNH 62480104 CẦN THƠ, 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ HUỲNH PHƯỚC HẢI MÔ HÌNH XỬ LÝ HIỆU QUẢ DỮ LIỆU BIỂU HIỆN GEN LUẬN ÁN TIẾN SĨ CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ NGÀNH 62480104 NGƯỜI HƯỚNG DẪN KHOA HỌC PGS. ĐỖ THANH NGHỊ TS. NGUYỄN VĂN HÒA CẦN THƠ, 2019 LỜI CẢM ƠN Để hoàn thành luận án này tôi đã nhận được sự hướng dẫn, quan tâm, giúp đỡ nhiệt tình từ quý Thầy Cô, bạn bè và người thân. Tôi xin gửi lời cảm ơn chân thành đến: Thầy PGS.

Đỗ Thanh Nghị và Thầy TS. Nguyễn Văn Hòa đã tận tình chỉ bảo, hướng dẫn, động viên và tạo mọi điều kiện tốt nhất cho tôi trong quá trình học tập và nghiên cứu. Thầy, Cô và các anh, chị của khoa Công nghệ thông tin và Truyền thông, trường Đại học Cần Thơ đã cung cấp thêm kiến thức, tạo mọi điều kiện cho tôi và quan tâm, hỗ trợ tôi trong quá trình học tập. Ban giám hiệu trường Đại học An Giang, Ban chủ nhiệm Khoa Công nghệ thông tin đã tạo điều kiện để tôi được tham gia học tập nâng cao trình độ chuyên môn, các bạn đồng nghiệp đã không ngừng động viên và giúp đỡ tôi trong suốt thời gian học tập.

Sau cùng tôi xin chân thành cảm ơn sâu sắc đến gia đình và người thân đã giúp đỡ, động viên tôi trong suốt quá trình học tập và tạo điều kiện tốt nhất để tôi hoàn thành luận án. NCS Huỳnh Phước Hải ii TÓM TẮT Trong những năm gần đây, ung thư là một trong những nguyên nhân hàng đầu gây tử vong trên toàn thế giới. Do đó, ngày càng có nhiều nghiên cứu được thực hiện để tìm giải pháp hiệu quả chẩn đoán và điều trị ung thư. Tuy nhiên, cho đến nay vẫn còn nhiều thách thức do nguyên nhân gây ung thư liên quan đến rối loạn di truyền hoặc sự thay đổi quá trình phát triển tự nhiên trong tế bào.

Phân tích biểu hiện gen bằng các mô hình học máy là công cụ mạnh mẽ để xác định các thay đổi của các tế bào trong các điều kiện môi trường khác nhau. Các mô hình học máy cung cấp thông tin hữu ích để chẩn đoán và điều trị ung thư. Tuy nhiên, mô hình học máy để phân lớp dữ liệu biểu hiện gen là dễ bị quá khớp do dữ liệu biểu hiện gen có số chiều rất lớn và số lượng mẫu nhỏ. Phân lớp dữ liệu có số chiều lớn là một trong 10 thách thức của học máy hiện đại.

Trong luận án, chúng tôi giải quyết các vấn đề này bằng các đóng góp sau đây. Thứ nhất, chúng tôi đề xuất mô hình rút trích đặc trưng mới để học các tính năng tiềm ẩn của dữ liệu biểu hiện gen bằng mạng nơ-ron tích chập sâu (DCNN). Các đặc trưng mới được rút trích bằng DCNN cải thiện độ chính xác phân lớp dữ liệu biểu hiện gen của các công nghệ DNA Microarray và RNA-Seq. Kết quả thực nghiệm cho thấy độ chính xác của các bộ phân loại được cải thiện khi dùng DCNN rút trích đặc trưng từ dữ liệu biểu hiện gen.

Bên cạnh đó, chúng tôi còn đề xuất phương pháp giải quyết cả hai thách thức của phân lớp dữ liệu biểu hiện gen bằng giải thuật tăng cường dữ liệu SMOTE từ đặc trưng mới được rút trích bằng mạng DCNN. Giải thuật SMOTE được dùng để sinh dữ liệu tổng hợp từ các đặc trưng mới được rút trích bằng mạng DCNN. Dữ liệu tổng hợp được sinh ra được tăng cường cho dữ liệu học và sử dụng các giải thuật phân lớp hiện đại để phân loại. Thứ hai, chúng tôi đề xuất mô hình tăng cường dữ liệu cho phân lớp biểu hiện gen bằng mạng đối kháng sinh mẫu (GAN).

Mạng GAN được xây dựng phù hợp với dữ liệu biểu hiện gen để sinh dữ liệu tổng hợp từ dữ liệu gốc. Mô hình được kết hợp với các giải thuật phân lớp để phân loại dữ liệu biểu hiện gen. Kết quả thực nghiệm cho thấy mô hình đề xuất cải thiện được độ chính iii xác của các giải thuật gồm k láng giềng, cây quyết định, máy học véc-tơ hỗ trợ và rừng ngẫu nhiên. Thứ ba, chúng tôi đề xuất mô hình tập hợp các cây xiên phân ngẫu nhiên đơn giản (RODS) dựa trên máy học véc-tơ hỗ trợ (SVM) để phân lớp hiệu quả dữ liệu biểu hiện gen.

Ý tưởng chính là kết hợp nhiều cây xiên phân ngẫu nhiên đơn giản theo hướng tiếp cận Bagging và Boosting. Chúng tôi xây dựng tập hợp các cây xiên phân ngẫu nhiên đơn giản dựa trên siêu phẳng tối ưu thu được từ huấn luyện SVM. Kết quả thực nghiệm trên cho thấy mô hình đề xuất hiệu quả hơn các giải thuật khác gồm k láng giềng, cây quyết định, máy học véc-tơ hỗ trợ, rừng ngẫu nhiên, bagging và adaboost khi phân lớp trực tiếp trên số chiều gốc. Ngoài ra, mô hình đề xuất cũng cải thiện được độ chính xác của mô hình phân lớp khi kết hợp với các kỹ thuật tăng cường dữ liệu bằng mạng GAN và rút trích đặc trưng bằng mạng DCNN.

Từ khóa: dữ liệu biểu hiện gen, mô hình phân lớp, mạng nơ-ron tích chập sâu, mạng đối kháng sinh mẫu, mô hình tập hợp các cây xiên phân ngẫu nhiên đơn giản, máy học véc-tơ hỗ trợ iv ABSTRACT In recent years, cancer is leading cause of death worldwide. Therefore, more and more studies have been conducted which aim to improve the ability to discover cancers earlier and to diagnose them more accurately than was the case only a few years ago. However, there are still many challenges in cancer treatment because the most common causes of cancer are genetic disorders and epigenetic alterations in the cells. Gene expression is an exceptionally powerful tool for identifying changes in cells between different environmental conditions or developmental stages.

It is able to provide benefit information that is used to explore and diagnose disease. Gene expression data classi- fication models play a key role to address the fundamental problems relat- ing to cancer. Nevertheless, these models can easy overfiting because of the very-high-dimensional and small-sample-size issues. Classifying gene expres- sion data is a challenge in the field of machine learning.

In this dissertation we are interested in tackling these issues with the following contributions. Firstly, we propose a new feature extraction model to learn latent fea- tures from gene expression data using deep convolutional neural network (DCNN). This model improves the classification accuracy of gene expression on both RNA-Seq and DNA-Microarray platforms. Experiment results show that DCNN is effective to extract features from gene expression data.

On the other hand, we also propose a combined enhancing and extraction method to address both challenges of classification models using gene expression data. In this approach, SMOTE algorithm generates new data from features extracted by DCNN. These models are used in conjunction with various classifiers that efficiently classify gene expression data. Secondly, we propose a new enhancing gene expression data model with generative adversarial network (GAN).GAN is implemented to generate syn- thetic data from original training datasets, which is used in conjunction with various classifiers to predict gene expression data.

Numerical test results show that our proposed model improve the classification accuracy of algorithms in- cluding support vector machines, k nearest neighbors and random forests. v Finally, we investigate random ensemble oblique decision stumps (RODS) based on linear support vector machine (SVM) that is suitable for classify- ing very-high-dimensional microarray gene expression data. Our classification algorithms (called Bag-RODS and Boost-RODS) learn multiple oblique de- cision stumps in the way of bagging and boosting to form an ensemble of classifiers more accurate than single model. Numerical test results show that our proposed algorithms are more accurate than the-state-of-the-art classifica- tion models, including k nearest neighbors, support vector machines, decision trees and ensembles of decision trees like random forests, bagging and ad- aboost.

In addition, these models also improve the classification accuracy by combined with enhancing data model using the GAN and feature extraction model using DCNN. Key words: gene expression data, classification, deep convolutional neural network, generative adversarial network, random ensemble oblique decision stumps, support vector machines vi MỤC LỤC LỜI CẢM ƠN. vii DANH MỤC CÁC HÌNH VẼ. xii DANH MỤC CÁC BẢNG BIỂU.

xiv CHƯƠNG 1.1 Tính cấp thiết của luận án .2 Mục tiêu, đối tượng, phạm vi và phương pháp nghiên cứu .3 Nhiệm vụ và hướng tiếp cận của luận án .1 Nghiên cứu xây dựng mô hình rút trích đặc trưng cho dữ liệu biểu hiện gen .2 Nghiên cứu xây dựng mô hình tăng cường dữ liệu cho dữ liệu biểu hiện gen .3 Nghiên cứu xây dựng mô hình phân lớp hiệu quả dữ liệu biểu hiện gen .4 Các đóng góp của luận án .5 Bố cục của luận án. CƠ SỞ LÝ THUYẾT VÀ CÁC CÔNG TRÌNH LIÊN QUAN 11 2.1 Dữ liệu biểu hiện gen .2 Mô hình phân lớp dữ liệu biểu hiện gen .1 Phát biểu bài toán .2 Đánh giá mô hình .3 Dữ liệu thực nghiệm .3 Các nghiên cứu liên quan .1 Mô hình k láng giềng .2 Mô hình cây quyết định .3 Máy học véc-tơ hỗ trợ .4 Phương pháp tập hợp mô hình .5 Mô hình mạng nơ-ron nhân tạo .6 Các mô hình học sâu .4 Thảo luận các nghiên cứu liên quan .5 Kết chương. MÔ HÌNH RÚT TRÍCH ĐẶC TRƯNG CHO DỮ LIỆU BIỂU HIỆN GEN 39 3.2 Mô hình mạng nơ-ron tích chập sâu rút trích đặc trưng dữ liệu biểu hiện gen .1 Kiến trúc mô hình mạng nơ-ron tích chập sâu rút trích đặc trưng cho dữ liệu biểu hiện gen .2 Quá trình rút trích đặc trưng .3 Các giải thuật phân lớp đặc trưng được rút trích .3 Kết quả thực nghiệm .1 Kết quả phân lớp dữ liệu biểu hiện gen DNA Microarray 51 3.2 Kết quả phân lớp dữ liệu biểu hiện gen RNA-Seq .3 Kết quả phân lớp tập dữ liệu biểu hiện gen RNA-Seq lớn 68 3.4 Kết chương. MÔ HÌNH TĂNG CƯỜNG MẪU ĐẶC TRƯNG RÚT TRÍCH BẰNG SMOTE 71 4.2 Tăng cường mẫu bằng SMOTE dựa vào đặc trưng rút trích của dữ liệu biểu hiện gen .3 Kết quả thực nghiệm .1 Dữ liệu thực nghiệm .2 Thiết lập tham số các mô hình .3 Kết quả phân lớp .4 Kết chương.

MÔ HÌNH TĂNG CƯỜNG DỮ LIỆU CHO DỮ LIỆU BIỂU HIỆN GEN 90 5.2 Mô hình tăng cường mẫu cho dữ liệu biểu hiện gen .3 Phân lớp biểu hiện gen sau khi tăng cường dữ liệu .4 Kết quả thực nghiệm .1 Dữ liệu thực nghiệm .2 Thiết lập tham số các mô hình .3 Kết quả phân lớp .5 Kết chương. MÔ HÌNH TẬP HỢP CÂY XIÊN PHÂN NGẪU NHIÊN ĐƠN GIẢN 106 6.2 Mô hình tập hợp cây xiên phân ngẫu nhiên đơn giản .1 Cây xiên phân ngẫu nhiên đơn giản .2 Mô hình Bagging cây xiên phân ngẫu nhiên đơn giản .3 Mô hình Boosting cây xiên phân ngẫu nhiên đơn giản .3 Kết quả thực nghiệm .