Thắt chặt việc rà soát số liệu thống kê trong bài báo KH
Khả năng kiểm chứng được ở các số liệu thống kê là cơ sở để giới khoa học và công chúng tin tưởng vào tính xác thực và giá trị của các kết quả nghiên cứu. Vì vậy, trước những lo ngại do số liệu thống kê của một số bài báo khoa học không kiểm chứng được, các tạp chí khoa học hàng đầu trên thế giới đang nỗ lực cải thiện chuẩn mực phân tích thống kê số liệu trong quá trình thẩm định các bài báo.
Sự lo ngại về số liệu thống kê của các nghiên cứu được công bố trên các tạp chí khoa học không phải là điều mới mẻ. Ít năm trước, các nhà khoa học tại Amgen, một công ty dược của Mỹ, đã tìm cách kiểm chứng 53 nghiên cứu được coi là quan trọng trong ngành nghiên cứu ung thư, trong đó có cả sự phối hợp từ một số tác giả của chính những nghiên cứu đó nhằm đảm bảo sự đồng nhất về phương pháp thí nghiệm. Kết quả là chỉ 6 trong số 53 nghiên cứu là có thể kiểm chứng được, theo công bố của nhóm đăng trên tạp chí Nature năm 2012.
Tương tự như vậy, vài tháng trước đó, Florian Prinz và các cộng sự của ông tại Bayer HealthCare, một tập đoàn dược quy mô toàn cầu của Đức, công bố trên tạp chí Nature Reviews Drug Discovery (cùng nhà xuất bản với tạp chí Nature) về việc họ tìm cách kiểm chứng các kết quả của 67 nghiên cứu trong lĩnh vực sinh sản, và chỉ có một phần tư trong số đó là có thể kiểm chứng được.
Trước đây, người ta từng cho rằng những kết quả nghiên cứu bị lỗi sẽ tự được giới khoa học điều chỉnh, đầu tiên là qua quá trình bình duyệt trước khi công bố trên các tạp chí khoa học, và sau khi được công bố thì các kết quả sai vẫn có thể bị phát hiện trong quá trình các nhà khoa học triển khai các nghiên cứu kế tiếp. Tuy nhiên, thực tế cho thấy số lượng kết quả sai được công bố quá phổ biến, tới mức các quy trình thông thường trên đây không thể phát hiện, khắc phục xuể. Việc kiểm chứng các kết quả nghiên cứu không phải là điều dễ dàng, đòi hỏi người muốn kiểm chứng phải bỏ ra nhiều nỗ lực, và tối thiểu phải được tác giả cho phép tiếp cận nguồn dữ liệu gốc, điều không phải khi nào cũng có trong thực tế.
Yếu về kỹ thuật thống kê, thiếu về đạo đức khoa học
Nguyên nhân chính của những sai sót số liệu thống kê là tình trạng phổ biến việc các nhà khoa học, bao gồm cả những chuyên gia bình duyệt cho các tạp chí khoa học, không đủ kỹ năng về toán thống kê. Theo nhận định của Victoria Stodden, một nhà thống kê ở Đại học Columbia, đa số các nhà khoa học không được cập nhật những kỹ thuật xử lý dữ liệu phức tạp. Một số nhà khoa học sử dụng các kỹ thuật không phù hợp, chỉ thường áp dụng một số kỹ thuật mà họ cảm thấy quen thuộc, trong khi một số người khác lại vội vàng sử dụng những kỹ thuật mới trong khi chưa thực sự thấu hiểu các mặt hạn chế tiềm ẩn, và nhiều người chỉ đơn thuần biết chạy các phần mềm thống kê mà không hề am hiểu về chúng.
Mặt khác, về phía những người làm nghiên cứu, sức ép trong công việc, áp lực cạnh tranh và tham vọng nghề nghiệp là những tác nhân thúc đẩy các nhà nghiên cứu tìm cách hoàn thành và công bố các kết quả nghiên cứu một cách quá nhanh, đặc biệt khi hầu như không có chế tài nào dành cho những nhà nghiên cứu công bố kết quả sai. Một số nhà nghiên cứu thậm chí còn cố tình ngụy tạo dữ liệu. TS Daniele Fanelli của Đại học Edinburgh từng kiểm tra 21 cuộc khảo sát trong một ngành khoa học (chủ yếu trong lĩnh vực y sinh, ngoài ra còn có các ngành xây dựng, hóa học, và kinh tế) từ 1987 tới 2008, kết quả là 2% số người được khảo sát thừa nhận từng cố tình ngụy tạo hoặc làm sai dữ liệu, nhưng có tới 28% người được hỏi khẳng định rằng họ biết có đồng nghiệp của mình từng làm những việc sai trái này.
Chuyên gia bình duyệt cũng thường bỏ sót
Bỏ sót lỗi trong các bài báo là điều phổ biến, đặc biệt là với chuyên gia bình duyệt cho những tạp chí thuộc thứ hạng thấp. John Bohannon, một nhà sinh học của Đại học Harvard gần đây từng cố tình ngụy tạo ra một bài báo giả khoa học về tác dụng của một loại hóa chất thu được từ tế bào ung thư, pha trộn vào đó những phân tích, lý luận đầy vẻ học thuật, bịa ra một số tên tác giả và trường đại học không có thật, rồi nộp tới 304 tạp chí tuy có thứ hạng thấp nhưng được coi là có thẩm định bình duyệt, và kết quả là có tới 157 tạp chí nhận công bố nghiên cứu này.
Sự thiếu cẩn trọng của các chuyên gia bình duyệt cho những tạp chí hàng đầu cũng không phải hiếm gặp. Trong một nghiên cứu tiến hành năm 1998, Fiona Godlee, biên tập viên của tạp chí British Medical Journal (BMJ) đầy danh tiếng, đã tạo ra một bài báo chứa tám sai sót cố ý, với những lỗi về phương pháp, lý luận, và đánh giá, sau đó chuyển đến 200 người trong số các chuyên gia bình duyệt của BMJ. Kết quả là không một ai phát hiện đủ các sai sót này. Trung bình mỗi chuyên gia bình duyệt chỉ phát hiện được hai trong tám lỗi, một số người thậm chí không phát hiện được lỗi nào.
Một thí nghiệm khác cũng được thực hiện ở BMJ cho thấy những chuyên gia bình duyệt càng có thâm niên lại càng dễ bỏ sót lỗi trong các bài báo. Charles McCulloch và Michael Callaham của Đại học California, San Francisco thực hiện một nghiên cứu xem xét điểm đánh giá của các biên tập viên ở những tạp chí khoa học hàng đầu dành cho 1500 chuyên gia bình duyệt trong một giai đoạn kéo dài 14 năm, kết quả cho thấy điểm số của 92% trong số các chuyên gia này từ từ giảm dần qua thời gian.
Không chỉ thiếu năng lực rà soát, nhiều chuyên gia bình duyệt thậm chí không hề làm đúng quy trình thẩm định. Họ thường không thực hiện việc phân tích lại dữ liệu, mặc định rằng tác giả của công trình nghiên cứu hẳn đã làm đúng từ đầu.
Các tạp chí khoa học lớn phải vào cuộc
Trước tình hình đó, hôm 3/7 vừa rồi, tổng biên tập Marcia McNutt của tạp chí Science tuyên bố, tạp chí sẽ tăng cường thêm một lượt rà soát các dữ liệu thống kê trong quy trình bình duyệt (quá trình thẩm định bài nghiên cứu bởi các chuyên gia trong ngành) các bài gửi đăng. Chính sách này là sự nối tiếp những nỗ lực tương tự ở các tạp chí khác trước lo ngại ngày càng lan rộng rằng những nhầm lẫn cơ bản trong việc phân tích dữ liệu đang khiến cho nhiều kết quả nghiên cứu đã được công bố không thể kiểm chứng được.
Phối hợp cùng Hiệp hội Thống kê Mỹ, Science đã cử bảy chuyên gia vào một ban biên tập thẩm định số liệu. Các bản thảo sẽ được tăng cường kiểm tra bởi những biên tập viên trong nội bộ tạp chí, hoặc bởi Ban Biên tập Thẩm định (gồm hơn 100 nhà khoa học mà tạp chí thường xuyên hỏi ý kiến về các bài nghiên cứu), hoặc bởi những nhà phản biện khác được mời từ bên ngoài. Sau đó, ban biên tập thẩm định số liệu sẽ phải tìm những nhà thống kê bên ngoài để kiểm tra những bản thảo này. “Sự ra đời của ban số liệu xuất phát từ những lo ngại chung về việc áp dụng khoa học thống kê và phân tích dữ liệu vào nghiên cứu khoa học, và là một phần trong nỗ lực toàn diện của tạp chí Science nhằm làm tăng tính tái sản sinh được của những nghiên cứu mà chúng tôi công bố”, bà McNutt cho biết.
Giovanni Parmigiani, một nhà thống kê sinh học (biostatistician) tại trường Y tế Cộng đồng Harvard (Harvard School of Public Health) đồng ý trở thành một thành viên của ban biên tập thẩm định số liệu của Nature, lí do vì ông cho rằng việc thành lập ban này xuất phát từ “một tầm nhìn mới mẻ, độc đáo, nhiều khả năng sẽ mang lại tác động lâu dài. Tác động này không chỉ thông qua những bài công bố trên tạp chí Science, mà hi vọng là còn qua một nhóm đông đảo hơn những địa chỉ xuất bản khác cũng đi theo cách tiếp cận của Science.”
John Ioannidis, bác sỹ theo học ngành phương pháp nghiên cứu tại Đại học Stanford, cho rằng chính sách này là “bước tiến đáng được trông đợi nhất” và “lẽ ra phải được tiến hành từ lâu”. “Hầu hết các tạp chí đều yếu ở khâu thẩm định số liệu và điều này gây tổn hại đến chất lượng của những công bố khoa học được xuất bản. Theo tôi, đối với phần lớn các bài nghiên cứu khoa học ngày nay việc kiểm tra số liệu còn cần thiết hơn cả việc thẩm định của chuyên gia [trên các khía cạnh chuyên khác của bài báo].”
Năm 2012, David Vaux, một nhà sinh vật học tế bào tại Viện Nghiên cứu Y học Walter & Eliza Hall ở Parkville, Úc, từng bày tỏ quan điểm trên tạp chí Nature rằng các tạp chí cũng cần nghiêm khắc, kỹ lưỡng hơn, “sử dụng các chuyên gia thẩm định am hiểu về thống kê và những nhà biên tập có khả năng kiểm tra toàn bộ quá trình.” Vaux cho rằng cách tạp chí Science chuyển một số bài báo cho các chuyên gia thống kê để giúp kiểm tra có nhiều ưu điểm, nhưng cũng có “nhược điểm là việc quyết định những bài báo nào cần kiểm tra kỹ lưỡng hơn vẫn tùy thuộc ở một ban biên tập [trong đó các biên tập viên có thể không có đủ chuyên môn về thống kê để phán đoán đưa ra quyết định này một cách sáng suốt].”
Bernd Pulverer – tổng biên tập tạp chí EMBO (tạp chí chuyên về sinh học phân tử) ở Heidelberg, Đức – nhận định rằng một cuộc cải cách trong các tạp chí khoa học đang bắt đầu. “Mức độ đáng tin cậy của số liệu thống kê trong các nghiên cứu là vấn đề đã được bàn tán khá nhiều, đã quá nhiều lần dữ liệu trong các bài nghiên cứu sinh học tế bào phân tử vẫn được công bố với những số liệu không được định nghĩa đầy đủ, thiếu thuyết phục, hoặc hoàn toàn sai”, ông nói. Bởi vậy, EMBO và các tạp chí khác dự định sẽ ban bố một danh mục quy trình những thông tin thống kê căn bản cần được báo cáo trong các bài nghiên cứu. Tạp chí cũng dự định sẽ đưa thêm các chuyên gia thống kê vào ban biên tập.
Danh mục quy trình báo cáo thông tin thống kê đã bắt đầu trở thành tiêu chuẩn kể từ sau khi Các Viện Y tế Quốc gia Hoa Kỳ (US National Institutes of Health) tổ chức một hội thảo năm 2012 bàn về những vấn đề dẫn tới tình trạng không thể kiểm chứng các kết quả nghiên cứu. Ví dụ, vào tháng Tư năm 2013, tạp chí Nature đã tuyên bố họ đã xây dựng một danh mục như vậy. Thêm vào đó, để tăng cường sức mạnh của số liệu trong các bài báo của mình, họ sẽ thuê các nhà thống kê làm cố vấn cho một số bài nhất định theo sự cân nhắc của ban biên tập và theo đề xuất của các chuyên gia phản biện”.
Trước chính sách mới của tạp chí Science, tổng biên tập Veronique Kiermer của Nature đã lên tiếng ủng hộ và khẳng định rằng hai tạp chí đã luôn học tập lẫn nhau trong các phương pháp giúp cải thiện việc phân tích số liệu và hoàn thiện hệ thống thẩm định.
Tương tự như vậy, vài tháng trước đó, Florian Prinz và các cộng sự của ông tại Bayer HealthCare, một tập đoàn dược quy mô toàn cầu của Đức, công bố trên tạp chí Nature Reviews Drug Discovery (cùng nhà xuất bản với tạp chí Nature) về việc họ tìm cách kiểm chứng các kết quả của 67 nghiên cứu trong lĩnh vực sinh sản, và chỉ có một phần tư trong số đó là có thể kiểm chứng được.
Trước đây, người ta từng cho rằng những kết quả nghiên cứu bị lỗi sẽ tự được giới khoa học điều chỉnh, đầu tiên là qua quá trình bình duyệt trước khi công bố trên các tạp chí khoa học, và sau khi được công bố thì các kết quả sai vẫn có thể bị phát hiện trong quá trình các nhà khoa học triển khai các nghiên cứu kế tiếp. Tuy nhiên, thực tế cho thấy số lượng kết quả sai được công bố quá phổ biến, tới mức các quy trình thông thường trên đây không thể phát hiện, khắc phục xuể. Việc kiểm chứng các kết quả nghiên cứu không phải là điều dễ dàng, đòi hỏi người muốn kiểm chứng phải bỏ ra nhiều nỗ lực, và tối thiểu phải được tác giả cho phép tiếp cận nguồn dữ liệu gốc, điều không phải khi nào cũng có trong thực tế.
Yếu về kỹ thuật thống kê, thiếu về đạo đức khoa học
Nguyên nhân chính của những sai sót số liệu thống kê là tình trạng phổ biến việc các nhà khoa học, bao gồm cả những chuyên gia bình duyệt cho các tạp chí khoa học, không đủ kỹ năng về toán thống kê. Theo nhận định của Victoria Stodden, một nhà thống kê ở Đại học Columbia, đa số các nhà khoa học không được cập nhật những kỹ thuật xử lý dữ liệu phức tạp. Một số nhà khoa học sử dụng các kỹ thuật không phù hợp, chỉ thường áp dụng một số kỹ thuật mà họ cảm thấy quen thuộc, trong khi một số người khác lại vội vàng sử dụng những kỹ thuật mới trong khi chưa thực sự thấu hiểu các mặt hạn chế tiềm ẩn, và nhiều người chỉ đơn thuần biết chạy các phần mềm thống kê mà không hề am hiểu về chúng.
Mặt khác, về phía những người làm nghiên cứu, sức ép trong công việc, áp lực cạnh tranh và tham vọng nghề nghiệp là những tác nhân thúc đẩy các nhà nghiên cứu tìm cách hoàn thành và công bố các kết quả nghiên cứu một cách quá nhanh, đặc biệt khi hầu như không có chế tài nào dành cho những nhà nghiên cứu công bố kết quả sai. Một số nhà nghiên cứu thậm chí còn cố tình ngụy tạo dữ liệu. TS Daniele Fanelli của Đại học Edinburgh từng kiểm tra 21 cuộc khảo sát trong một ngành khoa học (chủ yếu trong lĩnh vực y sinh, ngoài ra còn có các ngành xây dựng, hóa học, và kinh tế) từ 1987 tới 2008, kết quả là 2% số người được khảo sát thừa nhận từng cố tình ngụy tạo hoặc làm sai dữ liệu, nhưng có tới 28% người được hỏi khẳng định rằng họ biết có đồng nghiệp của mình từng làm những việc sai trái này.
Chuyên gia bình duyệt cũng thường bỏ sót
Bỏ sót lỗi trong các bài báo là điều phổ biến, đặc biệt là với chuyên gia bình duyệt cho những tạp chí thuộc thứ hạng thấp. John Bohannon, một nhà sinh học của Đại học Harvard gần đây từng cố tình ngụy tạo ra một bài báo giả khoa học về tác dụng của một loại hóa chất thu được từ tế bào ung thư, pha trộn vào đó những phân tích, lý luận đầy vẻ học thuật, bịa ra một số tên tác giả và trường đại học không có thật, rồi nộp tới 304 tạp chí tuy có thứ hạng thấp nhưng được coi là có thẩm định bình duyệt, và kết quả là có tới 157 tạp chí nhận công bố nghiên cứu này.
Sự thiếu cẩn trọng của các chuyên gia bình duyệt cho những tạp chí hàng đầu cũng không phải hiếm gặp. Trong một nghiên cứu tiến hành năm 1998, Fiona Godlee, biên tập viên của tạp chí British Medical Journal (BMJ) đầy danh tiếng, đã tạo ra một bài báo chứa tám sai sót cố ý, với những lỗi về phương pháp, lý luận, và đánh giá, sau đó chuyển đến 200 người trong số các chuyên gia bình duyệt của BMJ. Kết quả là không một ai phát hiện đủ các sai sót này. Trung bình mỗi chuyên gia bình duyệt chỉ phát hiện được hai trong tám lỗi, một số người thậm chí không phát hiện được lỗi nào.
Một thí nghiệm khác cũng được thực hiện ở BMJ cho thấy những chuyên gia bình duyệt càng có thâm niên lại càng dễ bỏ sót lỗi trong các bài báo. Charles McCulloch và Michael Callaham của Đại học California, San Francisco thực hiện một nghiên cứu xem xét điểm đánh giá của các biên tập viên ở những tạp chí khoa học hàng đầu dành cho 1500 chuyên gia bình duyệt trong một giai đoạn kéo dài 14 năm, kết quả cho thấy điểm số của 92% trong số các chuyên gia này từ từ giảm dần qua thời gian.
Không chỉ thiếu năng lực rà soát, nhiều chuyên gia bình duyệt thậm chí không hề làm đúng quy trình thẩm định. Họ thường không thực hiện việc phân tích lại dữ liệu, mặc định rằng tác giả của công trình nghiên cứu hẳn đã làm đúng từ đầu.
Các tạp chí khoa học lớn phải vào cuộc
Trước tình hình đó, hôm 3/7 vừa rồi, tổng biên tập Marcia McNutt của tạp chí Science tuyên bố, tạp chí sẽ tăng cường thêm một lượt rà soát các dữ liệu thống kê trong quy trình bình duyệt (quá trình thẩm định bài nghiên cứu bởi các chuyên gia trong ngành) các bài gửi đăng. Chính sách này là sự nối tiếp những nỗ lực tương tự ở các tạp chí khác trước lo ngại ngày càng lan rộng rằng những nhầm lẫn cơ bản trong việc phân tích dữ liệu đang khiến cho nhiều kết quả nghiên cứu đã được công bố không thể kiểm chứng được.
Phối hợp cùng Hiệp hội Thống kê Mỹ, Science đã cử bảy chuyên gia vào một ban biên tập thẩm định số liệu. Các bản thảo sẽ được tăng cường kiểm tra bởi những biên tập viên trong nội bộ tạp chí, hoặc bởi Ban Biên tập Thẩm định (gồm hơn 100 nhà khoa học mà tạp chí thường xuyên hỏi ý kiến về các bài nghiên cứu), hoặc bởi những nhà phản biện khác được mời từ bên ngoài. Sau đó, ban biên tập thẩm định số liệu sẽ phải tìm những nhà thống kê bên ngoài để kiểm tra những bản thảo này. “Sự ra đời của ban số liệu xuất phát từ những lo ngại chung về việc áp dụng khoa học thống kê và phân tích dữ liệu vào nghiên cứu khoa học, và là một phần trong nỗ lực toàn diện của tạp chí Science nhằm làm tăng tính tái sản sinh được của những nghiên cứu mà chúng tôi công bố”, bà McNutt cho biết.
Giovanni Parmigiani, một nhà thống kê sinh học (biostatistician) tại trường Y tế Cộng đồng Harvard (Harvard School of Public Health) đồng ý trở thành một thành viên của ban biên tập thẩm định số liệu của Nature, lí do vì ông cho rằng việc thành lập ban này xuất phát từ “một tầm nhìn mới mẻ, độc đáo, nhiều khả năng sẽ mang lại tác động lâu dài. Tác động này không chỉ thông qua những bài công bố trên tạp chí Science, mà hi vọng là còn qua một nhóm đông đảo hơn những địa chỉ xuất bản khác cũng đi theo cách tiếp cận của Science.”
John Ioannidis, bác sỹ theo học ngành phương pháp nghiên cứu tại Đại học Stanford, cho rằng chính sách này là “bước tiến đáng được trông đợi nhất” và “lẽ ra phải được tiến hành từ lâu”. “Hầu hết các tạp chí đều yếu ở khâu thẩm định số liệu và điều này gây tổn hại đến chất lượng của những công bố khoa học được xuất bản. Theo tôi, đối với phần lớn các bài nghiên cứu khoa học ngày nay việc kiểm tra số liệu còn cần thiết hơn cả việc thẩm định của chuyên gia [trên các khía cạnh chuyên khác của bài báo].”
Năm 2012, David Vaux, một nhà sinh vật học tế bào tại Viện Nghiên cứu Y học Walter & Eliza Hall ở Parkville, Úc, từng bày tỏ quan điểm trên tạp chí Nature rằng các tạp chí cũng cần nghiêm khắc, kỹ lưỡng hơn, “sử dụng các chuyên gia thẩm định am hiểu về thống kê và những nhà biên tập có khả năng kiểm tra toàn bộ quá trình.” Vaux cho rằng cách tạp chí Science chuyển một số bài báo cho các chuyên gia thống kê để giúp kiểm tra có nhiều ưu điểm, nhưng cũng có “nhược điểm là việc quyết định những bài báo nào cần kiểm tra kỹ lưỡng hơn vẫn tùy thuộc ở một ban biên tập [trong đó các biên tập viên có thể không có đủ chuyên môn về thống kê để phán đoán đưa ra quyết định này một cách sáng suốt].”
Bernd Pulverer – tổng biên tập tạp chí EMBO (tạp chí chuyên về sinh học phân tử) ở Heidelberg, Đức – nhận định rằng một cuộc cải cách trong các tạp chí khoa học đang bắt đầu. “Mức độ đáng tin cậy của số liệu thống kê trong các nghiên cứu là vấn đề đã được bàn tán khá nhiều, đã quá nhiều lần dữ liệu trong các bài nghiên cứu sinh học tế bào phân tử vẫn được công bố với những số liệu không được định nghĩa đầy đủ, thiếu thuyết phục, hoặc hoàn toàn sai”, ông nói. Bởi vậy, EMBO và các tạp chí khác dự định sẽ ban bố một danh mục quy trình những thông tin thống kê căn bản cần được báo cáo trong các bài nghiên cứu. Tạp chí cũng dự định sẽ đưa thêm các chuyên gia thống kê vào ban biên tập.
Danh mục quy trình báo cáo thông tin thống kê đã bắt đầu trở thành tiêu chuẩn kể từ sau khi Các Viện Y tế Quốc gia Hoa Kỳ (US National Institutes of Health) tổ chức một hội thảo năm 2012 bàn về những vấn đề dẫn tới tình trạng không thể kiểm chứng các kết quả nghiên cứu. Ví dụ, vào tháng Tư năm 2013, tạp chí Nature đã tuyên bố họ đã xây dựng một danh mục như vậy. Thêm vào đó, để tăng cường sức mạnh của số liệu trong các bài báo của mình, họ sẽ thuê các nhà thống kê làm cố vấn cho một số bài nhất định theo sự cân nhắc của ban biên tập và theo đề xuất của các chuyên gia phản biện”.
Trước chính sách mới của tạp chí Science, tổng biên tập Veronique Kiermer của Nature đã lên tiếng ủng hộ và khẳng định rằng hai tạp chí đã luôn học tập lẫn nhau trong các phương pháp giúp cải thiện việc phân tích số liệu và hoàn thiện hệ thống thẩm định.
Thanh Xuân và Khánh Minh tổng hợp
http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509
http://www.economist.com/news/briefing/21588057-scientists-think-science-self-correcting-alarming-degree-it-not-trouble
Đọc thêm:
Có hay không tế bào gốc đa năng STAP?
http://www.tiasang.com.vn/Default.aspx?tabid=111&CategoryID=2&News=7741
Tác giả
(Visited 11 times, 1 visits today)