Sony thiết kế bộ điều khiển thực tế ảo theo dấu ngón tay

Một báo cáo của hai kỹ sư phần mềm Sony tại Nhật Bản mang tên “Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor” (Đánh giá các kỹ thuật học máy cho ước tính tư thế đặt tay trên thiết bị cầm tay sử dụng cảm biến tiệm cận) đăng trên kỷ yếu Hội thảo Tương tác người-máy CHI 2020 tiết lộ rằng công ty đang phát triển một hệ thống chuyển động thực tế ảo có tính nhập vai cao (immersive – một đặc tính của công nghệ thực tế ảo) có khả năng sẽ được sử dụng trong bộ điều khiển PlayStation thế hệ tiếp theo. Công nghệ này cho phép sao chép chính xác chuyển động của tay và ngón tay của người chơi.

Thông thường, các ứng dụng theo dõi ngón tay như Oculus Quest dựa vào camera để ghi lại chuyển động ngón tay. Tuy nhiên gần đây, các cảm biến lân cận điện dung có khả năng nhận dạng chuyển động chính xác hơn đang dần được chú ý trên thị trường. 

Hai kỹ sư nghiên cứu Kazuyuki Arimatsu và Hideki Mori của công ty Sony lưu ý, camera phát hiện chuyển động đang gặp trở ngại do bộ điều khiển vật lý hiện hữu, trong khi công nghệ cảm biến lân cận mới đang ở giai đoạn sơ khai và cần thêm nhiều cải tiến. Việc nắm bắt được chuyển động chính xác của tay vẫn là điều tương đối khó khăn.

Hai kỹ sư này đã cố gắng lấp đầy khoảng trống đó. Họ chế tạo một nguyên mẫu bộ điều khiển tay có 62 điện cực nhúng, ghi lại các tập dữ liệu huấn luyện bằng cách sử dụng một hệ thống giám sát quang học. Họ đã ghi được chuyển động tay của 12 đối tượng với kích cỡ tay khác nhau.

“Mục đích của chúng tôi là đạt tới khả năng truy dấu được ngón tay cho những tương tác mang tính trực giác cao hơn trong không gian ảo. Cách tiếp cận của chúng tôi không chỉ phát hiện điểm chạm của các ngón tay vào điện cực cụ thể, mà còn dự báo được cử động của toàn bộ ngón tay trong không gian 3D, tận dụng giá trị thu được trên tất cả các cảm biến. Để đạt được điều đó, chúng tôi đã đánh giá hai kết cấu mạng nơ-ron tích chập (Convolutional Neural Networks) thường dùng trong lĩnh vực thị giác máy tính để ước tính tư thế đặt tay và minh họa cấu ​​trúc phù hợp cho các cảm biến trên bộ điều khiển”, hai tác giả cho biết.

Để có được trải nghiệm 3D chân thực, các nhà nghiên cứu cho biết họ sử dụng biểu diễn đa chiều “để áp dụng các phương pháp mạng nơ-ron tích chập trên hình ảnh cảm ứng của một bề mặt cong, và hai loại kiến trúc mạng nơ-ron tích chập được đánh giá trên tập dữ liệu của mình. Từ nguyên mẫu này, chúng tôi đã triển khai các ứng dụng tương tác thời gian thực và minh họa được khả năng tương tác trực giác bằng ngón tay trên ứng dụng thực tại số”.

Video minh họa nguyên mẫu cho thấy bàn tay của người dùng và dạng biểu diễn số của nó thực hiện các cử chỉ khác nhau như mở và đóng bàn tay, đếm ngón tay, xoay ngón tay cái, xòe bàn tay ra, ra dấu hòa bình, làm dấu gọi điện,… Nó có thể nhận ra một bàn tay đang nắm chặt thiết bị điều khiển, hoặc đang nâng và ném một vật thể ra xa. 

Năm ngoái, Sony đã cấp phép công nghệ Haptics cho bộ điều khiển thực tại số. Chúng có thể mô phỏng cảm giác đẩy, kéo, nắm và đập. Bộ điều khiển thế hệ tiếp theo sẽ cho phép người chơi không chỉ nhìn thấy bàn tay mà còn có thể cảm nhận được vật thể khác nhau mà họ tương tác.

Nhóm nghiên cứu cũng cho biết công nghệ này có thể được áp dụng cho các lĩnh vực ngoài chơi game như các giao tiếp phi ngôn ngữ.□

Ngô Hà dịch
Theo https://techxplore.com/news/2020-05-sony-finger-tracking-vr.html