Ứng dụng AI vào trò chơi điện tử hỗ trợ phục hồi chức năng tay

Nhận thấy hạn chế của các phương pháp phục hồi chức năng tay truyền thống, nhóm sinh viên Trường ĐH Bách Khoa ĐHQG-HCM đã tạo ra trò chơi điện tử ứng dụng trí tuệ nhân tạo (AI), giúp quá trình phục hồi chức năng tay của bệnh nhân trở nên thú vị hơn.

BK Hand Rehab là tên trò chơi, cũng là tên nhóm nghiên cứu, gồm Võ Ngọc Sang, Ho Trí Kháng, Trần Tiến Phát, Nguyễn Ngọc Thanh Xuân (Khoa Khoa học và Kỹ thuật Máy tính) và Lê Gia Phát (Khoa Quản lý Công nghiệp), đã xuất sắc đoạt giải Nhất cuộc thi Sáng kiến vì cộng đồng 2023, do Quỹ SonTa Foundation tổ chức.

Cách chơi thú vị nhưng đơn giản hơn

Ý tưởng thực hiện dự án BK Hand Rehab xuất phát từ đề tài luận văn tốt nghiệp của Võ Ngọc Sang, Ho Trí Kháng và Trần Tiến Phát vào giữa tháng 9/2022. Mục tiêu ban đầu của nhóm là tạo ra một trò chơi điện tử tương tác bằng tay, vì cả ba nam sinh đều chuyên về lĩnh vực trí tuệ nhân tạo và xử lý ảnh, lại có chung sở thích chơi game. 

Tuy nhiên, khi được các thầy cô trong khoa góp ý, nhóm nhận ra dự án này không thể cạnh tranh với các trò chơi điện tử trên thị trường vì cách chơi khó, đồng thời không mang lại giá trị cho xã hội. Vì vậy, nhóm đã nhanh chóng tìm hướng đi mới và vô tình bắt gặp một đoạn phim về trò chơi hỗ trợ phục hồi chức năng tay. 

Nhận thấy đây là một hướng nghiên cứu có tính ứng dụng cao, nhóm đã quyết định “đập đi xây lại” đề tài luận văn tốt nghiệp vào giữa tháng 12/2022. Ba nam sinh Khoa Khoa học và Kỹ thuật Máy tính còn mong muốn có thể ứng dụng sản phẩm vào thực tế, nên đã mời Thanh Xuân và Gia Phát tham gia nhóm nghiên cứu. Trong khi ba nam sinh đảm nhận phần nghiên cứu thì Xuân và Phát chịu trách nhiệm tìm kiếm các cuộc thi ý tưởng, cơ hội phát triển và thương mại hóa sản phẩm. 

Trần Tiến Phát cho biết: “Các trò chơi hỗ trợ phục hồi chức năng tay trên thị trường thường có cách chơi khá phức tạp. Vậy nên tụi mình muốn làm một sản phẩm có công dụng tương tự với cách chơi thú vị nhưng đơn giản hơn, phù hợp với mọi đối tượng”.

Với những tiêu chí trên, nhóm đã tham khảo tài liệu về các bài tập vật lý trị liệu của Harvard Medical School và lựa chọn 16 động tác tập vật lý trị liệu tay, từ đó, thiết kế 3 trò chơi liên quan các động tác trên. Đó là trò chơi “Sharps and colors” (chọn hình dáng, màu sắc), “Eggs and milk” (di chuyển túi để hứng trứng, sữa) và “Dino run” (điều khiển khủng long né vật cản). 

Sau khi có ý tưởng và cách hiện thực, nhóm bắt đầu xây dựng mô hình AI nhận diện cử chỉ tay của người dùng. Trong 4 tháng, các thành viên thiết lập bộ dữ liệu gồm các thao tác cử chỉ tay như đưa tay sang trái, sang phải… trên thiết bị cảm biến Leap Motion Controller. Tiếp đến, nhóm nhập bộ dữ liệu đã thiết lập vào mô hình AI, đồng thời gán từng dữ liệu với các hành động trong trò chơi. Ví dụ, dữ liệu “đưa tay sang trái” được gán với hành động di chuyển túi sang bên trái để hứng đồ vật. 

Trải qua vô số lần thử nghiệm, đánh giá và điều chỉnh, đến tháng 4/2023, nhóm đã hoàn thiện mô hình AI có khả năng “bắt” được cử chỉ tay nhanh và chính xác nhất, giúp quá trình chơi trò chơi mượt mà hơn. 

Để khảo sát tính hiệu quả cũng như có thêm góc nhìn thực tế về sản phẩm, nhóm đã nghiên cứu người dùng ở khu dân cư mà Lê Gia Phát sống, gồm 6 người cao tuổi gặp vấn đề về xương khớp, 3 người bị co cứng chi do từng đột quỵ và 1 người bị bệnh teo cơ tay. 

“Đa số ông bà chưa từng chơi game nhưng khi sử dụng sản phẩm của tụi mình, ông bà đều rất thích thú, thao tác dễ dàng. Tuy vậy, tụi mình cũng nhận được phản hồi là người chơi bị tê tay sau một thời gian sử dụng, nên đã thiết kế một giá đỡ tay bằng gỗ để người dùng không bị mỏi, tê tay khi chơi” - Lê Gia Phát hào hứng kể. 

Trưởng thành qua các cuộc thi

Trải qua 9 tháng nghiên cứu, đến tháng 6/2023, nhóm đã cơ bản hoàn thiện sản phẩm trò chơi điện tử hỗ trợ phục hồi chức năng tay. Để tập luyện, người dùng chỉ cần kết nối thiết bị cảm biến cử chỉ Leap Motion Controller với máy tính đã cài đặt phần mềm trò chơi, đặt tay lên giá đỡ và cử động tay theo hướng dẫn của mỗi trò chơi. 

Từng phải điều trị vật lý phục hồi chức năng tay do bị chấn thương khi thi đấu thể thao, Thanh Xuân tin tưởng dự án BK Hand Rehab sẽ là giải pháp hữu ích cho cộng đồng. 

Thanh Xuân chia sẻ: “Ngoài việc mang đến một phương pháp hỗ trợ phục hồi chức năng tay đơn giản và thú vị, BK Hand Rehab còn giúp người dùng tiết kiệm thời gian di chuyển, chi phí điều trị tại các trung tâm y tế. Trò chơi cũng được thiết kế để hỗ trợ người dùng tăng độ nhạy bén, khả năng tập trung và phản xạ, điều này rất có ý nghĩa đối với người cao tuổi”. 

Tuy vậy, nhóm nhận thấy dự án vẫn còn thiếu “sự chứng nhận” từ các đơn vị y tế, bởi suốt quá trình thực hiện, nhóm hoàn toàn tự tìm kiếm thông tin về lĩnh vực chấn thương chỉnh hình qua các bài báo khoa học. Để khắc phục hạn chế này, cũng như có thêm ý tưởng cải tiến sản phẩm, nhóm đã đem dự án BK Hand Rehab tham gia các cuộc thi, hội nghị trong và ngoài nước. 

Chỉ trong khoảng 5 tháng, nhóm đã “chinh chiến” tại 5 cuộc thi và để lại nhiều dấu ấn, như: giải Nhất cuộc thi Sáng kiến vì cộng đồng 2023, giải Nhì Hội nghị Khoa học và Công nghệ Sinh viên OISP lần thứ 12, giải Khuyến khích Giải thưởng Sinh viên nghiên cứu khoa học Euréka 2023, top 6 cuộc thi Microsoft AI for Accessibility Hackathon Vietnam 2023, top 5 cuộc thi Accessibility Design Competition (ADC). 

Nhóm cũng tham dự Ngày hội Tech Plan Demo Day 2023 tại TP.HCM và Hội nghị thường niên Hợp tác Khoa học, Công nghệ và Đổi mới sáng tạo Hoa Kỳ - ASEAN tại Indonesia để chia sẻ kết quả nghiên cứu, cũng như học hỏi từ các chuyên gia trong nước và quốc tế. 

“Điều tuyệt vời nhất mà nhóm nhận được khi đem dự án đi thi, tham gia hội nghị là những nhận xét, góp ý từ các chuyên gia, giúp tụi mình có thêm ý tưởng cải tiến dự án và trưởng thành hơn. Tụi mình cũng chủ động trao đổi và xin thông tin liên lạc của các chuyên gia y tế để có thể xin hỗ trợ trong quá trình cải tiến dự án sau này” - Xuân bày tỏ. 

Nữ sinh cũng cho hay, hiện nhóm đang tìm cách kết nối với các trung tâm y tế, bệnh viện để có thể hỗ trợ trong việc đánh giá mức độ hiệu quả của sản phẩm. Nhóm cũng hy vọng có thể phối hợp với các chuyên gia vật lý trị liệu để phát triển BK Hand Rehab thành một hệ thống hỗ trợ chăm sóc sức khỏe từ xa cho những người cần điều trị phục hồi chức năng tay. 

Cụ thể, qua điểm số và thao tác cử chỉ tay, trò chơi sẽ đưa ra báo cáo tiến độ phục hồi chức năng tay của người dùng. Khi đăng nhập trò chơi, các bác sĩ có thể dựa trên bản báo cáo này để góp ý phương pháp tập luyện tốt hơn cho người chơi, giúp quá trình phục hồi chức năng tay của bệnh nhân hiệu quả hơn.

THU TRANG