Dùng các mạng thần kinh sâu dự đoán cách não xử lý các âm thanh tự nhiên

Trong những năm gần đây, các nhà nghiên cứu đã gia tốc và đổi mới việc sử dụng các kỹ thuật học máy trong nhiều lĩnh vực khác nhau, trong đó có khoa học thần kinh. Bằng việc nhận diện dữ liệu thực nghiệm, các mô hình này có thể dự đoán các quá trình thần kinh liên quan đến các trải nghiệm cụ thể hoặc với sự xử lý của các kích thích cảm giác.

Các nhà nghiên cứu tại CNRS và trường đại học Aix-Marseille và trường đại học Maastricht gần đây đã cố gắng sử dụng các mô hình tính toán để dự đoán cách bộ não con người chuyển đổi âm thanh thành phép miêu tả ngữ nghĩa của thứ đang xảy ra ở môi trường xung quanh. Công bố của họ, được xuất bản trên Nature Neuroscience, cho thấy một số mô hình dựa trên mạng thần kinh sâu (DNN) có thể dự đoán tốt hơn các quá trình xử lý thần kinh từ hình ảnh thần kinh và dữ liệu thực nghiệm ¹.

“Mối quan tâm chính của chúng tôi là tạo ra các dự đoán số về cách các âm thanh tự nhiên được đón nhận và biểu diễn trong bộ não, và sử dụng các mô hình tính toán để hiểu cách chúng ta chuyển đổi tín hiệu âm thanh nghe thấy thành một biểu diễn ngữ nghĩa về các vật thể và sự kiện trong môi trường”, Bruno Giordano, một trong số các nhà nghiên cứu thực hiện công bố này, nói với Medical Xpress. “Một rào cản lớn trong quá trình thực hiện điều này là việc thiếu các mô hình tính toán và cả thiếu hụt các so sánh hệ thống về năng lực của chúng cho việc giải thích hành vi hoặc dữ liệu hình ảnh thần kinh”.

Đối tượng chính của nghiên cứu này của Giordano và cộng sự là sự so sánh một cách hệ thống hiệu suất khác nhau của các mô hình tính toán dự đoán sự biểu diễn thần kinh của các âm thanh tự nhiên. Tring thực nghiệm của mình, nhóm nghiên cứu đã đánh giá ba lớp mô hình tính toán mang tên các mạng thần kinh sâu âm thanh, cảm giác và âm thanh thành sự kiện.

“Chúng tôi bắt đầu nói về sự cần thiết phải có được một so sánh hệ thống về các mô hình tính toán trong suốt những tháng đầu của đại dịch COVID”, Giordano giải thích. “Sau khi một vài cuộc bão não từ  xa, chúng tôi đã nhận ra là chúng tôi đã có dữ liệu cần thiết trả lời cho câu hỏi của chúng tôi: một bộ dữ liệu hành vi thu thập từ năm 2009 với 20 người Canada tham gia ước tính sự khác biệt được nhận thức của bộ 80 âm thanh tự nhiên, và một bộ dữ liệu fMRI thu thập năm 2016 với năm người Hà Lan tham gia, nghe bộ tập gồm 288 âm thanh tự nhiên khác nhau trong khi chúng tôi ghi nhận những phản hồi fMRI của họ”.

Không cần đến việc thu thập dữ liệu mới trong phòng thí nghiệm, các nhà nghiên cứu đã có được duwxl liệu để thử nghiệm ba cách tiếp cận mô hình hóa mà họ lựa chọn bằng việc sử dụng dữ liệu thu thập được từ những thực nghiệm trước đó. Cụ thể hơn, họ lập bản đồ các kích thích âm thanh đã có từ những người tham gia trên những mô hình tính toán khác nhau, sau đó đo đạc mức độ để dự đoán cách những người tham gia phản hồi với kích thích và cái gì diễn ra trong họ.

“Chúng tôi vô cùng ngạc nhiên về mức độ mà các mạng thần kinh sâu chuyển đổi từ âm thanh thành sự kiện do Google phát triển gần đây vượt trội hơn so với các mô hình ngữ nghĩa và âm thanh khác”, Giordano cho biết. “Chúng đã dự đoán được hành vi và dữ liệu fMRI của chúng tôi chính xác thông qua việc lập bản đồ âm thanh trên mạng thần kinh sâu. Nhờ vậy, chúng tôi có thể dự đoán được hành vi của những người Canada tham gia năm 2009 từ phản hồi fMRI của những người Hà Lan năm 2016, ngay cả khi âm thanh họ nghe được hoàn toàn khác biệt”.

Giordano và đồng nghiệp phát hiện ra là các mô hình dựa trên mạng thần kinh sâu còn vượt qua cả phương pháp tính toán dựa trên âm học và kỹ thuật mô tả phản ứng của não đối với âm thanh bằng cách đặt chúng vào các danh mục khác nhau (ví dụ giọng nói, âm thanh đường phố, v.v.). So với các phương pháp tính toán có phần truyền thống hơn này, mạng thần kinh sâu có thể dự đoán được hoạt động thần kinh và hành vi của người tham gia với độ chính xác cao hơn đáng kể.

Dựa trên những quan sát và kết quả do các mô hình dựa trên mạng thần kinh sâu tạo ra, các nhà nghiên cứu đã nêu giả thuyết là não người tạo ra ý nghĩa về âm thanh tự nhiên tương tự như cách não xử lý từ ngữ. Trong khi ý nghĩa của từ được suy ra từ quá trình xử lý các chữ cái, hiện tượng và âm tiết đơn lẻ, ý nghĩa của âm thanh dường như có được từ việc kết hợp một tập hợp khác của các đơn vị cơ bản.

“Chúng tôi đang làm việc trên bộ dữ liệu hình ảnh âm thanh mới để thử nghiệm các giả thuyết cụ thể mà nghiên cứu của chúng tôi đã đặt ra theo hướng những đơn vị cơ bản”, Elia Formisano cho biết thêm. “Chúng tôi cũng đang huấn luyện các mạng thần kinh mới và giống bộ não nhiều hơn để xử lý âm thanh tự nhiên. Ví dụ, đồng tác giả Michele Esposito đã phát triển một mạng thần kinh học sự biểu diễn số của bộ mô tả âm thanh bằng lời nói (sự nhúng ngữ nghĩa), thay vì danh mục sự kiện âm thanh. Mạng lưới này đã được trình bày tại hội nghị quốc tế về Xử lý Âm học, lời nói và tín hiệu (ICASSP) 2023 và vượt qua cả hiệu suất của các mạng thần kinh do Google phát triển trong dự đoán các âm thanh tự nhiên”.

Thanh Hương tổng hợp

Nguồn: https://medicalxpress.com/news/2023-04-deep-neural-networks-natural-brain.html

https://builtin.com/artificial-intelligence/deep-learning-applications

————————————————

1.https://www.nature.com/articles/s41593-023-01285-9