Các kỹ thuật học sâu mới dẫn đến đột phá phân tích hình ảnh vật liệu

Các siêu máy tính có thể giúp các nhà nghiên cứu tìm hiểu về nguyên nhân và kết quả của các hiện tượng phức hợp. Tuy nhiên, các nhà nghiên cứu vẫn cần suy luận ra nguồn gốc của các hiện tượng khoa học trên cơ sở các kết quả đã được quan sát. Đó là những bài toán ngược vô cùng phức tạp và khó giải, nhất là khi lượng dữ liệu phải được phân tích nhiều hơn so với năng lực của các công cụ học máy truyền thống.

Để hiểu sâu hơn về các bài toán ngược, một nhóm nghiên cứu từ Phòng thí nghiệm quốc gia Oak Ridge Mỹ (ORNL), NVIDIA, và Uber Technologies đã phát triển và trình diễn hai kỹ thuật mới trong một thư viện truyền thông được sử dụng rộng rãi mang tên Horovod.

Do Uber phát triển, nền tảng này huấn luyện các mạng thần kinh sâu (DNNs) sử dụng các thuật toán để bắt chước và khai thác năng lực ra quyết định của bộ não người cho những ứng dụng khoa học. Bởi vì Horovod dựa vào một điều phối viên duy nhất để cung cấp hướng dẫn cho nhiều nhân viên khác nhau (trong trường hợp này là GPU) để hoàn thành quá trình, các ứng dụng học sâu quy mô lớn thường gặp phải sự chậm lại đáng kể trong quá trình đào tạo.

Phương pháp của các nhà nghiên cứu là loại bỏ những bước lặp đi lặp lại khỏi quy trình điều phối viên-người làm truyền thống để tăng tốc độ và hiệu suất làm việc vượt trội hơn các phương pháp hiện có, do đó cho phép họ khám phá ra giải pháp gần đúng đầu tiên cho bài toán ngược tồn tại đã lâu đời trong lĩnh vực hình ảnh vật liệu. Kết quả của họ đã được công bố trong The Proceedings of the 19th USENIX Symposium on Networked Systems Design and Implementation ¹.

“Theo những gì chúng tôi biết, đây là những vận hành điểm trên mỗi giây đạt được cho việc huấn luyện phân bố của một mạng thần kinh tích chập”, Junqi Yin, một nhà khoa học máy tính ở Nhóm Các phương pháp phân tích và AI ở ORNL, nói. “Chúng tôi còn lên kế hoạch sử dụng kết quả này, STEMDL, để đo điểm chuẩn cho các thế hệ siêu máy tính trong tương lai”.

Mạnh hơn khi đi cùng nhau

Để giảm thiểu liên kết điều phối viên – thành viên, vốn thường phải lặp lại các yêu cầu theo nhiều lần tương tự nhau, nhóm nghiên cứu đã giới thiệu một bộ nhớ phản hồi có thể lưu trữ bộ siêu dữ liệu từ mỗi một yêu cầu ở Horovod. Chiến lược đầu tiên trong số các chiến lược mới của các nhà khoa học là cách tiếp cận bộ nhớ phản hồi này cho phép Horovod ngay lập tức nhận ra và tự động tính toán các yêu cầu quen thuộc mà không làm chậm quá trình huấn luyện DNN.

Kỹ thuật mới thứ hai của họ liên quan đến việc nhóm các phép toán của nhiều mô hình DNN, giúp hợp lý hóa các nhiệm vụ và cải thiện hiệu quả mở rộng quy mô – tổng số các hình ảnh được xử lý theo mỗi bước đào tạo – bằng cách tận dụng các điểm tương đồng trong các tính toán của mỗi mô hình. Quá trình này cũng dẫn đến những cải tiến đáng kể trong việc sử dụng điện năng.

Bằng việc nhóm một cách chiến lược các mô hình này, nhóm nghiên cứu hướng đến việc huấn luyện một mô hình trên các GPUs và đạt được cùng hiệu quả khi huấn luyện mỗi mô hình trên một GPU.

Josh Romero, một nhà phát triển công nghệ tại NVIDIA, tích hợp chiến thuật mới vào Horovod để giúp những người sử dụng huấn luyện DNNs hiệu quả hơn dựa trên hiệu suất tính toán của các thiết bị ở mọi quy mô.

“Tất cả mọi người đều phải đồng ý về các phép toán và trên những thông tin được phân phối tại bất cứ thời điểm nào”, Romero nói. “Chúng tôi đã tìm ra được một cách để cải thiện quá trình logistics này”.

Cả hai phương pháp đều nhằm mục tiêu tăng cường hiệu suất làm việc của Horovod nhưng việc kết hợp chúng lại làm tăng gần gấp đôi hiệu quả. Điều này được nhóm nghiên cứu đo lường bằng việc chạy mã STEMDL trên tất cả 27.600 GPU của hệ máy tính IBM AC922 Summit. Summit, siêu máy tính nhanh nhất Mỹ, được đặt tại Cơ sở Máy tính Oak Ridge của ORNL, một nơi dành cho Văn phòng Khoa học của Bộ Năng lượng Mỹ (DOE).

“Các năng lực này là những gì cho phép chúng tôi huấn luyện một mạng thần kinh phân bổ mã khắp các GPU của Summit với hiệu quả quy mô cao hơn và hiệu suất tính toán tốt hơn trước đây ở các mức quy mô lớn”, Nouamane Laanait, nhà cựu khoa học máy tính tại ORNL và nhà nghiên cứu chính của nhóm nghiên cứu làm việc ở Summit với tài trợ nhận được từ chương trình Tác động tính toán mới và đổi mới sáng tạo trong Lý thuyết và thực nghiệm.

Các mạng thần kinh tích chập như STEMDL là một DNN lý tưởng cho phân tích hình ảnh. Nhóm nghiên cứu thiết kế ứng dụng này để giải quyết một bài toán ngược về hình ảnh vật liệu đã tồn tại từ rất lâu bởi đòi hỏi phân tích chính xác dữ liệu kính hiển vi điện tử quét truyền qua. “Một trong những ứng dụng tiên tiến của việc sử dụng các mô hình mạng thần kinh là anh có thể tích hợp rất nhiều nhân tố rất khó để mãi hóa trong những cách tiếp cận toán học để giải quyết các bài toán ngược”, Laanait nói. “Bằng việc huấn luyện các mô hình dựa trên các bộ dữ liệu, anh có thể dạy chúng cách bỏ qua các nhiễu và các lỗi không hoàn hảo”.

Kiến trúc hoàn thiện

Các thành phần độc nhất vô nhị của Summit khiến nghiên cứu này trở nên có thể. Ví dụ, sự phân bố huấn luyện DNN giữa các GPU của siêu máy tính cho thấy những thắt nút cổ chai về hiệu suất thể hiện trong các tính toán truyền thống của Horovod. Các chướng ngại vật này tích tụ trong suốt quá trình huấn luyện, trước khi chúng hiển hiện rõ ràng hơn và bắt đầu cản trở thời gian tính toán. Điều này khiến người ta khó nhận biết được chúng hoặc không thể nhìn thấy chúng trên các hệ thống nhỏ hơn.

“Trong vòng một giờ, anh sẽ biết giải pháp chính xác cho vấn đề này như thế nào, qua đó giúp anh chỉnh mẫu thử nhanh hơn trên các hệ thống nhỏ hơn trước đây, khi phải mất tới nhiều ngày hoặc nhiều tuần để xác định chính xác một mô hình hoặc bài toán cho mô hình của anh”, Laanait nói.

Thêm vào đó, Summit có những cách truyền đạt băng thông rộng để đưa dữ liệu từ nơi này sang nơi khác, và hệ lưu trữ dữ liệu địa phương của nó – được biết đến như vùng đệm dữ liệu khổng lồ – có bộ nhớ đủ lớn để cho phép các nhà khoa học mô phỏng và lưu trữ nhiều hơn một terabyte dữ liệu trên mỗi nút. Cuối cùng, các lõi tensor NVIDIA – các bộ phận xử lý đặc biệt lý tưởng cho các ứng dụng học sâu – tăng tốc mã hóa của nhóm gnhieen cứu và giúp họ đạt đến các mức hiệu suất cao hơn có thể trên các bộ xử lý truyền thống.

Các phát hiện của nhóm nghiên cứu có thể áp dụng vào những ứng dụng học sâu hiện có và những bàu toán ngược chưa từng được xử lý trước đây để trả lời cho những câu hỏi của khoa học cơ bản. Tiếp theo nữa, các nhà nghiên cứu hi vọng sẽ tái tạo các kết quả của họ để sử dụng trên những mát tính có năng lực tính toán thấp hơn ngay cả với những mô hình lớn hơn đòi hỏi lượng dữ liệu ngày một gia tăng từ các cơ sở thực nghiệm khoa học.

“Kết hợp những bộ dữ liệu lớn hơn và các mô hình phức tạp hơn với nhiều máy tính sẽ làm gia tăng hiệu quả của DNN”, Laanait nói. “Chúng tôi không rõ khả năng cải thiện ở mức cao nhất của nó là gì vì vậy chỉ có một cách duy nhất là tìm cho ra nó bằng việc tiếp tục thực nghiệm”.

Thanh Phương tổng hợp

Nguồn: https://techxplore.com/news/2022-04-deep-techniques-materials-imaging-breakthrough.html

https://www.olcf.ornl.gov/2022/04/22/new-deep-learning-techniques-lead-to-materials-imaging-breakthrough

———————————————–

1. https://www.usenix.org/system/files/nsdi22-paper-romero.pdf