ISI, tiêu chí thẩm định, và các động lực ngược

Bất kể là đánh giá từng bài báo khoa học cụ thể, đánh giá các dự thảo xin kinh phí tài trợ, hay đánh giá thăng tiến sự nghiệp của các cán bộ khoa học, thì quy trình có thể nói là duy nhất hiện nay ở các nước tiên tiến là dùng mô hình bình duyệt bằng chuyên gia (peer-review).

Ví dụ, để đánh giá dự án xin tài trợ của Quỹ Khoa học Quốc gia Mỹ (NSF), các dự án được bình duyệt bởi các panel, mỗi panel có hơn một chục chuyên gia do người quản lý chương trình của NSF mời. Có những chương trình tài trợ cần đến vài vòng thẩm định như chương trình Expeditions của NSF. Để thẩm định kết quả nghiên cứu, các chủ nhiệm đề tài phải viết báo cáo hàng tháng, quý, hoặc năm tùy theo quỹ.

Trong một số chương trình tài trợ, ví dụ như của DARPA – quỹ tài trợ của Bộ Quốc phòng Mỹ – còn có khái niệm dùng “Đội Đỏ” (red-teaming), một mô hình thú vị có nguồn gốc từ cách huấn luyện quân sự của Mỹ. Đội Đỏ là một nhóm các chuyên gia hàng đầu mà trách nhiệm duy nhất là tìm mọi cách thực tiễn để “chọc phá” công trình nghiên cứu. Ví dụ như công trình nghiên cứu về bảo mật thì Đội Đỏ có thể là một đội hackers tầm cỡ.

Khi đánh giá thăng cấp giáo sư, ở tất cả các trường đại học tiên tiến thì tiêu chuẩn quan trọng nhất là các lá thư giới thiệu của các chuyên gia hàng đầu thế giới về cùng chuyên ngành của người được xét tuyển.

Ví dụ, ở Mỹ, mỗi hồ sơ thăng cấp giáo sư thường cần 8-10 thư giới thiệu từ các chuyên gia của các trường khác – và những người viết thư giới thiệu không phải do ứng viên tự chọn. Sau đó, sẽ có một cuộc “bầu cử” bên trong khoa mà tất cả các lá phiếu đều là từ các giáo sư trong khoa, sau khi thảo luận về chuyên môn của ứng viên. Ngoài ra, người ta cũng không chọn những “người quen” của ứng viên để tránh mâu thuẫn quyền lợi.

Có hai lý do mà người ta dùng đánh giá của chuyên gia, thay vì chỉ dùng một vài chỉ số thô nào đó, là (1) chất lượng của một sự nghiệp hay công trình khoa học rất khó đo bằng một con số, và (2) dùng một số đo thô sẽ dễ gây ra “động lực ngược” (perverse incentive), tạo ra một sự lãng phí lớn về nhân vật lực.

Sau đây chúng tôi sẽ giải thích các hệ lụy đến từ động lực ngược, nhưng trước khi nói đến động lực ngược, chúng tôi sẽ điểm qua một trong những loại chỉ số thô đang phổ biến ở nước ta “chỉ số ISI”.

ISI và nhìn nhận về nó từ cộng đồng khoa học thế giới

Được thành lập từ năm 1960, Viện Thông tin khoa học (ISI) ngày nay là một công ty con của Thompson Reuters Corporation. Công ty này cung cấp dịch vụ  tra cứu thông tin khoa học. Ý tưởng cung cấp dịch vụ tra cứu thông tin khoa học không phải là ý tưởng mới do ISI đưa ra.

Chẳng hạn trong toán học, nó đã được thực hiện từ năm 1931 bởi tạp chí mang tên ZentralBlatt MATH của Đức. Hiện nay trong toán học còn có hai tạp chí bình luận khoa học khác nữa là Mathematical Review của Mỹ (xuất bản từ năm 1940) và Review Journal của Nga (xuất bản từ năm 1952).

ISI không cung cấp các thông tin khoa học của từng bài báo, như các tạp chí bình luận toán học nêu ở trên, mà chỉ tập trung vào các thông tin thư viện: tên tác giả, bài báo, tạp chí, năm xuất bản,… và đặc biệt là các thông tin về trích dẫn. Xử lý một cách tốt nhất các thông tin về trích dẫn là điểm nổi bật của ISI, vì quan điểm cơ bản của ISI là: chất lượng của một công trình khoa học được thể hiện thông qua số trích dẫn tới công trình khoa học đó.

Vì không có thông tin khoa học, ISI gần như vô nghĩa đối với các nhà khoa học. Chúng tôi đã tham gia rất nhiều các panel của các quỹ tài trợ khoa học Mỹ, các ban xét thăng cấp giáo sư, đọc rất nhiều thư giới thiệu thăng cấp giáo sư, bình duyệt đề tài, và nói chung là hầu như tất cả các khía cạnh liên quan đến đánh giá chất lượng nghiên cứu khoa học ngành máy tính và ngành toán. Chưa bao giờ có chữ ISI trong bất kỳ khía cạnh nào.

Thế nhưng, ISI vẫn có một “thị trường” nhất định trên thế giới, chính là vì họ đã đáp ứng được yêu cầu của các nhà quản lý khoa học, đặc biệt ở các nước đang phát triển – những người này một mặt không có hiểu biết khoa học, mặt khác, vì nhiều lý do, họ không có niềm tin vào đội ngũ khoa học mà họ đang quản lý. Đó là việc đưa ra đánh giá tổng quan một công trình khoa học, một tạp chí khoa học hay một nhà khoa học chỉ bằng một con số.

Chỉ số trích dẫn ISI đối với một tạp chí được tính theo năm. Chẳng hạn đối với năm 2013 nó là tỷ số của số các trích dẫn tới tạp chí đó trong hai năm 2011, 2012 trên số các công bố của tạp chí trong năm 2013. Tất cả được tính theo cơ sở dữ liệu của ISI – các trích dẫn từ tạp chí nằm ngoài cơ sở dữ liệu sẽ không được tính. Trên bề mặt thì việc sử dụng chỉ số trích dẫn để đánh giá nghiên cứu khoa học thể hiện rất nhiều ưu điểm: minh bạch, đơn giản, hiệu quả. Tuy nhiên không khó để có thể thấy những vấn đề của chỉ số này: 1) liệu một công trình (tác giả) nhận được nhiều trích dẫn có chắc là một công trình (tác giả) tốt không? 2) liệu bản thân các trích dẫn có bị ngụy tạo không?

Có lẽ các nhà toán học, trong đó có cả các nhà thống kê học, là những người dị ứng đầu tiên với “chỉ số trích dẫn ISI”. Liên đoàn Toán học thế giới (IMU), cơ quan có uy tín nhất của cộng đồng toán học thế giới [2], đã lập ra một ủy ban điều tra về sự lạm dụng chỉ số trích dẫn. Năm 2008, ủy ban này đã đưa ra một báo cáo dài 26 trang [3], chỉ trích nặng nề chỉ số trích dẫn.

Những kết quả chính mà họ rút ra không nằm ngoài suy nghĩ chung của cộng đồng toán học: Chỉ số trích dẫn là một chỉ số cần thiết để góp phần đánh giá một công trình khoa học, một tạp chí hay một nhà khoa học. Nhưng sẽ rất nguy hiểm nếu chỉ sử dụng duy nhất chỉ số này để đánh giá, vì nó, như tất cả các chỉ số thống kê khác, không thể đưa ra được đánh giá chính xác cho một cá thể. Ngoài ra sự chính xác cũng như khách quan của nó cũng không được kiểm chứng.

Từ một phía khác, năm 2012 các nhà sinh học tế bào Hoa Kỳ đưa ra Tuyên bố San Francisco về đánh giá nghiên cứu (DORA [4]). Tuyên bố này được ký bởi 155 nhà khoa học và 82 tạp chí và cơ quan nghiên cứu. Tuyên bố DORA cho rằng: Chỉ số trích dẫn của Thomson Reuter vốn được xây dựng để giúp thủ thư quyết định việc mua tạp chí, chứ không phải như là một thước đo chất lượng nghiên cứu trong một bài báo và kêu gọi: không sử dụng các chỉ số đo dựa trên tạp chí, kiểu chỉ số trích dẫn, như một sự thay thế trong việc đo chất lượng của một tạp chí khoa học, để đánh giá đóng góp của một nhà khoa học, hoặc trong các hoạt động tuyển chọn, thăng cấp cán bộ hay tài trợ nghiên cứu. Tới nay đã có hơn 11 ngàn cá nhân và gần 500 đơn vị ký tuyên bố DORA.

Thực trạng đánh giá khoa học Việt Nam

Khoa học Việt Nam, kể cả trong những ngành phát triển tương đối cao hơn như toán học hay vật lý vẫn đang ở tình trạng manh mún. Đa số các nhà khoa học xuất sắc của Việt Nam vốn được đào tạo từ các cơ sở nghiên cứu mạnh ở nước ngoài.

Khi về Việt Nam họ không có đủ điều kiện để tập hợp thành các nhóm nghiên cứu, chưa nói tới các trường phái nghiên cứu. Các nghiên cứu khoa học trong nước vì thế thường rời rạc, các nhà khoa học trong cùng một lĩnh vực thường không đánh giá được các nghiên cứu của nhau.

Vì vậy, trong một thời gian dài, việc đánh giá khoa học thường mang nặng cảm tính. Hậu quả là có một số nhà khoa học mặc nhiên được coi là giỏi, trở thành những “cây đa, đây đề” trong cộng đồng.

Với sự ra đời của Quỹ Phát triển Khoa học và Công nghệ Quốc gia (Nafosted) và việc sử dụng “tiêu chí ISI”, công tác quản lý khoa học tại Việt Nam đã có chuyển biến cơ bản. Nhìn chung, yêu cầu một nhà khoa học muốn được tài trợ phải có các công bố trên những tạp chí thuộc cơ sở dữ liệu của Thomson Reuter (thường gọi là các “công bố ISI”) đã tạo một sức ép mới tới giới khoa học. Đây cũng là cơ hội để các nhà khoa học trẻ khẳng định mình: chỉ cần có công bố tốt, họ sẽ được tài trợ. Việc xét duyệt của Quỹ tỏ ra khá minh bạch.

Tiêu chí ISI cũng bắt đầu được sử dụng trong việc xét chức danh GS, PGS, ít nhất là ở trong các ngành khoa học tự nhiên. Các công bố ISI được tính hệ số cao hơn, các ứng viên có nhiều công bố ISI được đánh giá cao hơn. Ngược lại, những ứng viên có rất nhiều công bố nhưng trong số đó lại chỉ có một tỷ lệ thấp các công bố ISI sẽ khó có thể được các hội đồng chức danh xét đạt chuẩn giáo sư. Ở tầm thấp hơn, người ta cũng khuyến khích nghiên cứu sinh có các công bố ISI.

Tuy nhiên cũng có một thực tế đáng buồn là chưa có một tạp chí khoa học nào của Việt Nam nằm trong cơ sở dữ liệu của Thomson Reuter (thường gọi là danh sách tạp chí ISI). Hệ quả là các công bố ISI của Việt Nam đều là các công bố trên tạp chí quốc tế. Các tạp chí Việt Nam ngày nay không thu hút được bất kỳ công bố có giá trị nào từ các nhà khoa học trong nước, và chúng vốn đã yếu, nay lại càng rỗng ruột.

Các hệ lụy tiêu cực của cách đánh giá bằng chỉ số thô

Tiêu chí ISI có các điểm tích cực của nó. Chúng ta không thể phủ nhận rằng dùng một chỉ số — cho dù thô như ISI — thì vẫn tốt chán so với không dùng chỉ số nào. Ít nhất là nó tránh được tình trạng người ta “đánh lận con đen” giữa các “tạp chí quốc tế” với nhau. Tuy nhiên, bây giờ người ta có thể “đánh lận con đen” giữa các tạp chí ISI với nhau, vì các tạp chí hay hội nghị chuyên ngành trong danh sách ISI không được sinh ra bình đẳng.

Một trong những động lực ngược nhãn tiền là người ta đã và đang cố gắng tạo ra các “tạp chí ISI” mới để đăng bài của nhau, và trích dẫn lẫn nhau để tăng “chỉ số ảnh hưởng”. Đây là một sự lũng đoạn trong khoa học, và điều này xảy ra thường xuyên ở Trung Quốc, một số nước Trung Đông, và cả Ấn Độ. Thế cho nên trên thế giới ngày nay hay có các tạp chí khoa học với tên gọi kiểu như “Tạp chí châu Á Thái Bình Dương về XYZ”, “Tạp chí Trung Đông về ABC”.

Nếu công trình thật sự chất lượng, hãy đăng vào các tạp chí danh tiếng, đã có truyền thống trong ngành cả 50-100 năm. Tại sao lại đi mở một tạp chí mới? Hai lý do mở tạp chí mới là: (1) có một nhánh nghiên cứu rất mới không nằm trong tầm ngắm của các tạp chí cũ, và (2) mở tạp chí mới để dễ đăng bài hơn, làm một bậc thang cho các nhà nghiên cứu “tập tành” làm các nghiên cứu ít chiều sâu hơn, không vào được các tạp chí lão làng vốn có tính cạnh tranh lớn. Lý do (1) hiếm khi là lý do chính đáng, mà khi nó thật sự là lý do chính đáng thì phải do những chuyên gia tiên phong về phân ngành mới. Lý do thứ (2) cũng không ổn: đã tồn tại vô số các tạp chí hạng hai có thể dùng để “tập tành nghiên cứu”. Không cần phải mở một tạp chí mới, trừ phi mình muốn toàn quyền “điều khiển” việc đăng bài ở tạp chí mới.

Cả về mặt khoa học lẫn hiệu suất đầu tư, nhất là ở những đất nước còn nghèo như nước ta, thì viết ít bài báo đi và tăng chất lượng lên tốt hơn là viết nhiều. Hiện nay người ta xuất bản các bài báo khoa học quá nhiều. Chạy theo động lực đếm số bài báo đã và đang làm cho người ta tìm cách đăng các “đơn vị đăng được nhỏ nhất (least publishable unit)”, nghĩa là một công trình khoa học họ bẻ nhỏ ra, đăng thành một chuỗi bài, mỗi bài từ 2, 3 trang đến 10 trang; thay vì đăng một bài nghiên cứu đàng hoàng 50-100 trang. Vừa tốn giấy mực, vừa tốn công bình duyệt. Đây là một sự lãng phí khổng lồ nhân lực của thế giới. Điều này xảy ra trên toàn thế giới. Ở những nước giàu có như Mỹ thì lãng phí còn có thể “chịu” được. Ở những nước mà năng suất lao động kém như ở ta mà còn chạy theo sự lãng phí thô kệch này thì thật là không nên. Mỗi một tiếng đồng hồ bỏ ra cho một nghiên cứu hạng hai là một tiếng đồng hồ mất đi cho nghiên cứu hạng nhất.

Bài học của Úc và một đề xuất

Đánh giá chất lượng nghiên cứu khoa học như thế nào cho đúng để tạo ra các “động lực thuận” cho giới nghiên cứu là một vấn đề quan trọng được nhiều quốc gia quan tâm.

Ở đây chúng tôi lấy ví dụ nước Úc vì có mấy bài học cơ bản chúng ta có thể học được ngay. Ở Úc, Ủy ban Nghiên cứu Úc (Australian Research Council) là một tổ chức độc lập được chính phủ thành lập năm 2001, với nhiệm vụ tư vấn cho chính phủ về nghiên cứu và phát triển (R&D), quản trị một chương trình tài trợ nghiên cứu khoa học quốc gia, và thực hiện một hệ thống đánh giá chất lượng nghiên cứu toàn nước Úc (ERA), để so sánh chất lượng nghiên cứu khoa học giữa các trường, tổ chức nghiên cứu của Úc với nhau và với thế giới.

Mục đính chính của chương trình nghiên cứu ERA là để “đảm bảo với dân là thuế của họ được đầu tư vào nghiên cứu một cách khôn ngoan”. ERA cung cấp dữ liệu đáng tin cậy để các tổ chức và cá nhân có thể đánh giá chất lượng nghiên cứu của các đại học và tổ chức nghiên cứu ở Úc.

Hai báo cáo gần đây của ERA là báo cáo năm 2010 [5] và báo cáo năm 2012 [6]. Có nhiều bài học ta có thể học được từ hai báo cáo của ERA. Trong đó, dùng một hệ thống đánh giá mềm dẻo, giàu thông tin, và dùng chuyên gia là một bài học rất quan trọng. Tất cả các chỉ số đánh giá đều được tham vấn cẩn thận với các tổ chức chuyên môn, các nhà nghiên cứu hàng đầu của Úc và thế giới. Sự mềm dẻo trong cách đánh giá thể hiện ở chỗ: (1) không có một chỉ số duy nhất nào được dùng một cách lười biếng, và khi có một chỉ số thì (2) các so sánh đều tương đối trong phân ngành hẹp, thay vì dùng một tiêu chí duy nhất dùng chung cho tất cả các ngành, (3) rất coi trọng quá trình bình duyệt bằng chuyên gia. Điều đáng lưu ý là cả hai báo cáo đều hoàn toàn không có “Thomson”, hay “ISI” nào trong đó.

Theo bài học của Úc, chúng tôi có một đề xuất cụ thể như sau: chúng ta nên tham khảo chương trình ERA của Úc và nghiêm túc đưa ra một hệ thống đánh giá chất lượng nghiên cứu tạo “động lực thuận” để thúc đẩy chất lượng NCKH ở Việt Nam, dần dần tiếp cận với tiêu chuẩn ở các nước tiên tiến, tiến tới loại bỏ từ từ sự “cào bằng” trong đánh giá bằng một chỉ số thô như hiện nay. Các chương trình NAFOSTED và FIRST đã và đang nhấn mạnh bình duyệt bằng chuyên gia thế giới, và đây là tín hiệu rất tốt.

Lộ trình tiếp cận với bình diện chung của thế giới có một khó khăn rất lớn là chúng ta không có đủ chuyên gia để đánh giá. Do đó, song song với việc mời chuyên gia đánh giá đề tài thì chúng ta cũng có thể bước một bước xa hơn chỉ số thô ISI. Mỗi một ngành khoa học của Việt Nam cần tự xây dựng cho mình một danh sách các tạp chí tiêu chuẩn, thay vì dùng danh sách ISI. Danh sách này cần có những phân loại mịn hơn chứ không thô như danh sách ISI. Chẳng hạn chúng ta có thể dùng các bộ số đo “nhuyễn” hơn như xếp hạng dùng trọng số và chỉ số tạp chí eigen (eigen-journal factor). Ý tưởng này giống như xếp hạng các trang mạng trong thuật toán Pagerank của Google: các trích dẫn cũng không được sinh ra bình đẳng. Trích dẫn từ một tạp chí có chỉ số ảnh hưởng cao hơn sẽ “nặng” hơn trong đánh giá tạp chí; tương tự như một trang mạng được liên kết từ tờ New York Times thì “độ tin cậy” của trang mạng đó được tăng lên đáng kể. Chứ còn nếu ta chỉ đáng giá độ tin cậy của một trang mạng bằng tổng số liên kết đến nó thì — cũng giống như đếm “tổng số bài ISI” — sẽ có nhiều các trang mạng dỏm, được tạo ra chỉ để liên kết đến nhau.

Đã đến lúc chúng ta phải nghiêm túc đánh giá lại chất lượng nghiên cứu khoa học nước nhà một cách tổng thể và thành thật, tìm ra điểm mạnh điểm yếu, đầu tư có định hướng để số tiền từ 600–1000 tỉ một năm đầu tư vào R&D không bị trôi tuột vào các hệ động lực ngược.

Tham khảo

[1] Các địa chỉ mạng là: http://www.zentralblatt-math.org/portal/en/ http://www.ams.org/mathscinet và http://www.viniti.ru/pro_referat.html

[2] Tổ chức trao giải thưởng Fields.

[3] www.mathunion.org/publications/report/citationstatistics0

[4] http://am.ascb.org/dora/

[5] http://www.arc.gov.au/era/era_2010/pdf/ERA_report.pdf

[6] http://www.arc.gov.au/era/era_2012/outcomes_2012.htm