Dự đoán liên kết trong đồ thị tri thức sử dụng nhúng dịch chuyển và mạng tích chập - NCS. Lê Ngọc Thành

Tên đề tài luận án: Dự đoán liên kết trong đồ thị tri thức sử dụng nhúng dịch chuyển và mạng tích chập
Ngành: Khoa học máy tính
Mã số ngành: 9480101
Họ tên nghiên cứu sinh: Lê Ngọc Thành
Khóa đào tạo: 2020
Người hướng dẫn khoa học: GS.TS. Lê Hoài Bắc
Cơ sở đào tạo: Trường Đại học Khoa học Tự nhiên, ĐHQG.HCM
1. Tóm tắt nội dung luận án
Vào nửa đầu năm 2012, Google đã giới thiệu một loại dữ liệu mới mang tên Đồ thị Tri thức. Đây là một cấu trúc đặc biệt, được thiết kế để lưu trữ thông tin ngữ nghĩa trong các đồ thị đa quan hệ. Nó đóng vai trò quan trọng trong việc thực hiện nhiều nhiệm vụ như dự đoán liên kết, phân lớp các đỉnh và cạnh, cũng như phát hiện cộng đồng. Google khẳng định rằng với kiến trúc này, công cụ tìm kiếm của họ đã trở nên thông minh hơn 1000 lần. Tuy nhiên, đồ thị tri thức được xây dựng từ nhiều nguồn thông tin khác nhau, bao gồm cả dữ liệu mở, dẫn đến các vấn đề như thông tin không chính xác, nhiễu và mâu thuẫn. Đây là một đặc tính phổ biến của các tập dữ liệu đồ thị tri thức hiện nay. Chính vì thế, các nghiên cứu nhằm hoàn thiện đồ thị tri thức đang ngày càng được phát triển, trong đó có bài toán dự đoán liên kết. Bài toán này có nhiều ứng dụng thực tế, từ hệ thống gợi ý, truy vết đối tượng có nguy cơ lây nhiễm sinh học, dự đoán hành động của các hội nhóm, đến hệ thống trả lời câu hỏi.
Luận án đặt mục tiêu cải thiện độ chính xác trong dự đoán liên kết trên đồ thị tri thức. Qua quá trình nghiên cứu và khảo sát các phương pháp liên quan, luận án đã xác định được rằng các phương pháp dựa trên nhúng đồ thị cho thấy tiềm năng lớn. Trong ba hướng nhúng khác nhau phục vụ cho bài toán dự đoán liên kết, nhóm dịch chuyển và mạng nơ-ron nổi bật với nhiều ưu điểm trong việc thiết kế kiến trúc cải tiến. Nhóm dịch chuyển có tính trực quan và khả năng giải thích quá trình liên kết, trong khi nhóm mạng nơ-ron chứng minh khả năng mô hình hóa với kết quả tốt hơn so với các phương pháp khác. Từ những nhận định này, luận án đã đề xuất bốn giải pháp cải tiến: 1) Áp dụng mạng HyperNetwork trong mô hình dựa trên mạng nơ-ron để tạo các bộ lọc tốt cho quá trình khai thác tương tác giữa thực thể và quan hệ, đồng thời khởi tạo trọng số giúp mạng tìm kiếm nhanh hơn và tăng chiều sâu của mạng; 2) Thực hiện chiếu thực thể trên siêu phẳng để xác định quan hệ, kết hợp với phép xoay phức; 3) Khai thác không gian Quaternion và lý thuyết nhóm trong phép xoay kép và xoay đẳng hướng để xác định thực thể đuôi; 4) Kết hợp phép tích chập với phép xoay để tăng cường thông tin trong quá trình biến đổi. Mỗi đề xuất này đã được thử nghiệm trên các bộ dữ liệu chuẩn và đánh giá từ nhiều khía cạnh để chứng minh hiệu quả dự đoán của mô hình.
2. Những kết quả mới của luận án
Qua quá trình thực hiện, các đóng góp mới về mặt hiệu suất trong các mô hình đề xuất gồm:
- Mô hình ConvHyper: Đây là một cải tiến của mô hình ConvKB, áp dụng HyperNetwork để tạo ra các bộ lọc xác định quan hệ nhằm tăng khả năng nắm bắt tương tác giữa các thực thể. Mạng này còn được dùng để tạo bộ trọng số giúp giảm thời gian tìm kiếm trọng số và tăng độ sâu của mạng. Hiệu suất cải thiện từ 0.8% đến 5.5% trên các tập dữ liệu ở các độ đo chuẩn.
- Mô hình RotatPRH: Phương pháp biểu diễn thực thể và quan hệ trong không gian số phức cùng với phép xoay trên từng siêu phẳng xác định mối quan hệ đã giúp tăng khả năng biểu diễn, từ đó cải thiện hiệu suất của mô hình dự đoán. Bên cạnh đó, mô hình còn áp dụng các ràng buộc mềm để đảm bảo việc huấn luyện không làm sai các tính chất của không gian nhúng. Bằng phương pháp này, hiệu suất của mô hình tăng từ 1.4% đến 2% trên bộ dữ liệu không bị rò rĩ kiểm tra. Đặc biệt trên bộ kích thước lớn như YAGO3-10, mô hình cải thiện lên đến 15% trên độ đo Hits@1.
- Mô hình Rotate4D: Dựa trên thành công của khai thác không gian số phức, mô hình Rotate4D thực hiện nhúng thực thể và quan hệ vào không gian phức cao chiều hơn, cụ thể là không gian Quaternion và thực hiện phép xoay để dự đoán liên kết. Mô hình triển khai với hai phiên bản: xoay kép và xoay đẳng hướng trên hai mặt phẳng riêng biệt, cả hai đều bảo tồn tính chất của đồ thị và mô hình hóa hiệu quả các loại quan hệ. Phiên bản xoay kép nổi bật với tính tổng quát cao hơn. Lý thuyết nhóm, đặc biệt là các nhóm trực giao, được sử dụng để đảm bảo tính đúng đắn trong việc biểu diễn các phép xoay. Thêm vào đó, phép co giãn Quaternion sau xoay giúp xử lý quan hệ phân cấp. Kết quả cải thiện từ 1.53% đến 3.49% khi so với mô hình cơ sở. Nếu chỉ xét trên quan hệ phân cấp, mô hình cải thiện lên đến 12%.
- Mô hình ConvRot: Tích chập có khả năng khai thác tốt tương tác, trong khi đó phép xoay mô hình hóa phép biến đổi từ thực thể đầu đến thực thể đuôi thông qua quan hệ. Bằng cách kết hợp điểm mạnh của hai hướng này, mô hình đã đạt kết quả cao hơn so với các đề xuất trước đó, mở ra hướng nghiên cứu về cách thiết kế mô hình với sự tổng hợp thế mạnh của mỗi nhóm để tăng hiệu suất nhưng không ảnh hưởng quá nhiều đến thời gian huấn luyện hay thực thi. Mô hình ConvRot giúp cải thiện đến 7% so với kết quả của các công trình trước đây.
3. Các ứng dụng/ khả năng ứng dụng trong thực tiễn hay những vấn đề còn bỏ ngỏ cần tiếp tục nghiên cứu
Các mô hình được đề xuất trong luận án có tiềm năng trong ứng dụng thực tế, từ việc cải thiện dữ liệu trong đồ thị đến phát triển hệ thống gợi ý và phân tích tương tác giữa các phần tử trong hợp chất. Một số ứng dụng bước đầu đã triển khai nền tảng lý thuyết và kiến trúc của các mô hình này gồm hệ thống Chatbot tiếng Việt sử dụng truy vấn dựa trên bản nhúng đồ thị và hệ thống phát hiện thuốc trong đơn thuốc. Tuy nhiên, vẫn còn các thách thức cần giải quyết để ứng dụng khả thi hơn trong thực tế bao gồm việc triển khai mô hình trên các dạng đồ thị có yếu tố thời gian, khai thác tối đa các tính chất trong không gian đa tạp, cung cấp giải thích cho các mô hình và kết quả dự đoán trong mạng nơ-ron, cùng với việc tối ưu hóa hiệu suất để xử lý dữ liệu đồ thị lớn một cách hiệu quả.