Thông thường, các ứng dụng theo dõi ngón tay như Oculus Quest dựa vào camera để ghi lại chuyển động ngón tay. Tuy nhiên gần đây, các cảm biến lân cận điện dung có khả năng nhận dạng chuyển động chính xác hơn đang dần được chú ý trên thị trường.
Hai kỹ sư nghiên cứu Kazuyuki Arimatsu và Hideki Mori của công ty Sony lưu ý, camera phát hiện chuyển động đang gặp trở ngại do bộ điều khiển vật lý hiện hữu, trong khi công nghệ cảm biến lân cận mới đang ở giai đoạn sơ khai và cần thêm nhiều cải tiến. Việc nắm bắt được chuyển động chính xác của tay vẫn là điều tương đối khó khăn.
Hai kỹ sư này đã cố gắng lấp đầy khoảng trống đó. Họ chế tạo một nguyên mẫu bộ điều khiển tay có 62 điện cực nhúng, ghi lại các tập dữ liệu huấn luyện bằng cách sử dụng một hệ thống giám sát quang học. Họ đã ghi được chuyển động tay của 12 đối tượng với kích cỡ tay khác nhau.
"Mục đích của chúng tôi là đạt tới khả năng truy dấu được ngón tay cho những tương tác mang tính trực giác cao hơn trong không gian ảo. Cách tiếp cận của chúng tôi không chỉ phát hiện điểm chạm của các ngón tay vào điện cực cụ thể, mà còn dự báo được cử động của toàn bộ ngón tay trong không gian 3D, tận dụng giá trị thu được trên tất cả các cảm biến. Để đạt được điều đó, chúng tôi đã đánh giá hai kết cấu mạng nơ-ron tích chập (Convolutional Neural Networks) thường dùng trong lĩnh vực thị giác máy tính để ước tính tư thế đặt tay và minh họa cấu trúc phù hợp cho các cảm biến trên bộ điều khiển", hai tác giả cho biết.
Để có được trải nghiệm 3D chân thực, các nhà nghiên cứu cho biết họ sử dụng biểu diễn đa chiều "để áp dụng các phương pháp mạng nơ-ron tích chập trên hình ảnh cảm ứng của một bề mặt cong, và hai loại kiến trúc mạng nơ-ron tích chập được đánh giá trên tập dữ liệu của mình. Từ nguyên mẫu này, chúng tôi đã triển khai các ứng dụng tương tác thời gian thực và minh họa được khả năng tương tác trực giác bằng ngón tay trên ứng dụng thực tại số".
Video minh họa nguyên mẫu cho thấy bàn tay của người dùng và dạng biểu diễn số của nó thực hiện các cử chỉ khác nhau như mở và đóng bàn tay, đếm ngón tay, xoay ngón tay cái, xòe bàn tay ra, ra dấu hòa bình, làm dấu gọi điện,... Nó có thể nhận ra một bàn tay đang nắm chặt thiết bị điều khiển, hoặc đang nâng và ném một vật thể ra xa.
Năm ngoái, Sony đã cấp phép công nghệ Haptics cho bộ điều khiển thực tại số. Chúng có thể mô phỏng cảm giác đẩy, kéo, nắm và đập. Bộ điều khiển thế hệ tiếp theo sẽ cho phép người chơi không chỉ nhìn thấy bàn tay mà còn có thể cảm nhận được vật thể khác nhau mà họ tương tác.
Nhóm nghiên cứu cũng cho biết công nghệ này có thể được áp dụng cho các lĩnh vực ngoài chơi game như các giao tiếp phi ngôn ngữ.□
Ngô Hà dịch
Theo https://techxplore.com/news/2020-05-sony-finger-tracking-vr.html