Thước đo năng lực nhà khoa học

Sản phẩm chính và có lẽ quan trọng nhất của một nhà khoa học là số lượng ấn phẩm khoa học đã được công bố. Cần phải nói thêm rằng cụm từ “ấn phẩm khoa học” ở đây được hiểu theo nghĩa tiếng Anh là “original article”, hay “paper”, tức những bài báo nghiên cứu mang tính nguyên thủy đã được công bố trên một tập san khoa học, có một cơ chế bình duyệt (peer-review) và tập san đó được liệt kê trong các danh bạ của Viện Thông tin khoa học (Institute of Scientific Information). 

Một số lớn các trường đại học phương Tây thường dựa vào số lượng bài báo khoa học như là một tiêu chuẩn để xét duyệt đề bạt các chức danh khoa bảng. Tuy không có qui định nào cụ thể là ứng viên phải có bao nhiêu bài báo để được xét duyệt, nhưng thông thường, những con số được “hiểu ngầm” là giáo sư dự khuyết (assistant professor) phải có từ 5 bài báo trở lên, phó giáo sư (associate professor) thì ít nhất là 20, và giáo sư (professor) thì ít nhất là 50. 

Số lượng ấn phẩm phản ảnh một phần về phần lượng, phần năng suất của một nhà khoa học. Tuy nhiên, trong xu hướng hợp tác nghiên cứu khoa học như hiện nay, một bài báo (nhất là trong khoa học thực nghiệm như y khoa) thường có nhiều tác giả, và một số không ít những tác giả này chẳng có đóng góp gì cho công trình nghiên cứu nhưng được ghi tên “tác giả làm quà” (còn gọi gift authorship). Một nhà khoa học có thể có nhiều bài báo, nhưng trong thực tế chỉ là hợp tác, hay thậm chí là “tác giả làm quà”, và do đó số lượng ấn phẩm khoa học không phản ảnh được điều này. 

Số lượng ấn phẩm khoa học như nói trên chỉ phản ảnh phần lượng, nhưng có thể không phản ảnh phần phẩm chất. Một người có thể công bố nhiều công trình khoa học, nhưng là những công trình có chất lượng thấp thì không thể xem là có năng lực. Ngược lại, một nhà khoa học giỏi có thể chỉ công bố vài công trình, nhưng toàn là những công trình có giá trị lâu dài, những công trình được cộng đồng khoa học ghi nhận, nhưng số lượng không phản ảnh được tài năng của nhà khoa học. Do đó, ngoài số lượng ấn phẩm khoa học, tần số trích dẫn là một chỉ số rất quan trọng để đánh giá chất lượng nghiên cứu khoa học.

Chỉ số trích dẫn

Chỉ số trích dẫn cũng rất khác biệt giữa các bộ môn khoa học, nhưng tính trung bình chỉ có trên dưới 1% bài báo khoa học được trích dẫn hơn 6 lần mà thôi trong vòng 5 năm. Do đó, có đề nghị là một bài báo được trích dẫn một cách độc lập (tức không phải chính tác giả tự trích dẫn) hơn 5 lần được xem là “có ảnh hưởng”. Những công trình có ảnh hưởng lớn thường có số lần trích dẫn 100 lần trở lên. Một nghiên cứu trong thập niên 1970 về tần số trích dẫn các nghiên cứu công bố trước khi các nhà khoa học được trao giải Nobel cho thấy tính trung bình, số lần trích dẫn là 62 (so với tần số trung bình của tất cả các nhà khoa học là 6 lần). 

Một công trình nghiên cứu, nhất là nghiên cứu thực nghiệm đòi hỏi sự đóng góp từ rất nhiều nhà khoa học

Cần nói thêm rằng theo phân tích của Viện ISI, trong tất cả các bài báo khoa học công bố trên thế giới, có khoảng 55% không bao giờ được ai (kể cả chính tác giả) trích dẫn hay tham khảo sau 5 năm công bố[1]!  Trong các ngành như kĩ thuật (engineering), tần số không trích dẫn lên đến 70%. Ở nước ta, theo phân tích của tôi, khoảng 50% những bài báo toán học không được trích dẫn sau 10 năm công bố. 

Chỉ số ảnh hưởng  (impact factor)

Đánh giá chất lượng một công trình khoa học hay một bài báo khoa học không phải là việc làm đơn giản vì nó đòi hỏi thời gian và phương pháp đánh giá. Một công trình nghiên cứu cơ bản sau khi công bố có khi phải chờ đến 20 năm hay lâu hơn mới có khả năng ứng dụng, hay được cộng đồng khoa học chấp nhận. Tuy nhiên, đối với các hội đồng khoa bảng, họ không có thì giờ phải chờ đến 20 năm sau để đánh giá một nhà khoa học; họ cần những chỉ số ngắn hạn nhưng đáng tin cậy để làm “thước đo” chất lượng nghiên cứu của một nhà khoa học.

Một trong những thước đo phổ biến hiện nay là hệ số ảnh hưởng hay impact factor (IF). (Hệ số này do Eugene Garfiled đưa ra từ thập niên 1950 ở Mỹ, và ngày nay được sử dụng trên toàn thế giới). IF là số lần trích dẫn trung bình của những bài báo khoa học đã được công bố 2 năm trước. Cố nhiên, IF chỉ tính cho những tập san được liệt kê trong danh bạ ISI hay Journal Citation Report của ISI. Chẳng hạn như để tính IF cho năm 2005, trước hết ISI đếm tổng số lần mà các bài báo của năm 2005 (gọi số này là A) đã được trích dẫn hay đề cập đến tất cả bài báo công bố trong 2 năm trước đó, tức là 2003 và 2004 (gọi số này là B), và IF là tỉ số của A trên B. Chẳng hạn như trong 2 năm 2003 và 2004 tập san y khoa Lancet công bố 450 bài báo khoa học, và trong năm 2005 có 10,500 bài báo khác trích dẫn 450 bài báo đó, thì hệ số IF = 10.500 / 450 = 23.3. Mỗi năm ISI đánh giá cho khoảng 7,500 tập san trên thế giới. Hiện nay, IF của các tập san dao động từ 0.02 đến 69.

Chỉ số IF tuy được sử dụng rộng rãi, nhưng cũng bị phê phán rất nhiều, Do một số khiếm khuyết của IF đã được chỉ ra trong quá khứ bao gồm những vấn đề liên quan đến văn hóa ngành, cách tính toán, : 

IF không biết đến sự khác biệt về “văn hóa” giữa các ngành khoa học, như ngành toán thường có chỉ số trích dẫn thấp hơn ngành vật lí;

IF tính luôn những bài bình luận và xã luận trong vế B (như nói trên) mà những bài này trong vế A;

IF không thể phân biệt xu hướng tác giả tự trích dẫn bài báo của mình;

IF trung bình hóa quá đáng, bởi vì trong thực tế chỉ có khoảng 20% trích dẫn của một tập san có thể chiếm đến 80% tổng số trích dẫn;

khoản thời gian 2 năm trong tính toán IF là quá ngắn và không công bằng cho các ngành khoa học cơ bản;

IF không phân biệt được những công trình nghiên cứu sai nhưng được trích dẫn thường xuyên để làm ví dụ.

Dù bị phê bình nhiều, nhưng IF vẫn được các cơ quan tài trợ nghiên cứu, đại học, và trung tâm khoa học áp dụng rộng rãi. Sự thật là hiện nay thế giới có trên 108.000 tạp chí khoa học với đủ thứ chất lượng “thượng vàng hạ cám” (con số này chưa kể đến các tạp chí trực tuyến). Do đó, một công trình nghiên cứu dù có chất lượng thấp cỡ nào đi nữa, và nếu tác giả kiên trì theo đuổi, thì công trình sẽ được in trong một tạp chí nào đó, cũng có thể mang tiếng “tạp chí quốc tế”. Do đó, việc sử dụng IF như là một tiêu chí để đánh giá năng lực của nhà khoa học là điều có thể hiểu được.

Chỉ số Z và vị trí tác giả

Nghiên cứu khoa học trong những thập niên gần đây thường mang tính cách liên ngành. Một công trình nghiên cứu, nhất là nghiên cứu thực nghiệm như y sinh học, đòi hỏi sự đóng góp từ rất nhiều nhà khoa học với các chuyên ngành như sinh hóa, y khoa lâm sàng, thống kê học và dịch tễ học, y học hạt nhân, sinh học phân tử, di truyền học, v.v… Không những trong các ngành khoa học thực nghiệm, mà ngay cả khoa học xã hội cũng có xu hướng liên ngành. Theo một phân tích vào thập niên 1960, có đến 62% số lượng các công trình nghiên cứu của các nhà khoa học được trao giải Nobel là do hợp tác với các đồng nghiệp khác [2].

Xu hướng hợp tác liên ngành dẫn đến xu hướng đa tác giả trong các bài báo khoa học. Ngày nay, không ngạc nhiên khi có những bài báo trên các tập san lớn như Science, Nature, Cell, New England Journal of Medicine, Lancet, JAMA… mà danh sách tác giả có khi kéo dài đến nửa trang! Do đó, một bài báo có thể xuất hiện trong hàng trăm lí lịch khác nhau.

Scopus, cùng với ISI Web of Knowledge và Google Scholar hiện là một trong ba cơ sở dữ liệu trên mạng chính của khoa học thế giới

Một trong những khó khăn trong các bài báo với nhiều tác giả là vấn đề định lượng công trạng (credit). Một cách hiển nhiên và theo cách hiểu thông thường, người nào có đóng góp nhiều nhất phải là tác giả đầu tiên, người có đóng góp quan trọng thứ hai đứng vai tác giả thứ hai… nhưng trong thực tế thì không đơn giản như thế. Trong thực tế, rất ít nhóm nghiên cứu tuân thủ theo các tiêu chuẩn trên đây, nhưng thứ tự tác giả thường được hoạch định theo một “văn hóa” của trung tâm nghiên cứu mà các nhà nghiên cứu ngầm chấp nhận. Các “qui chế” bất thành văn trong các văn hóa này có thể tóm lược như sau [3]:

Văn hóa thứ tự (sequence-determined credit). Theo văn hóa này, tác giả có công nhiều nhất (ý tưởng nghiên cứu, thực hiện nghiên cứu, phân tích số liệu, viết bản thảo) sẽ đứng tên tác giả số 1, người có công thứ hai đứng tên tác giả 2, và người có công ít nhất đứng tên tác giả sau cùng. Đối với văn hóa thứ tự, tác giả đầu tiên có k điểm, tác giả hai có k/2 điểm, tác giả 3 có k/3 điểm, v.v… trong đó k là IF của tập san.

Văn hóa tương đương (equal contribution norm). Theo văn hóa này, tất cả các tác giả có mức độ đóng góp như nhau, và thứ tự tác giả sẽ được quyết định bằng chữ cái của họ. Nói cách khác, tác giả nào có chữ cái là A sẽ đứng tên tác giả đầu, và cứ theo thứ tự đến tác giả sau cùng có chữ cái của họ là Z. Đối với văn hóa tương đương, việc tính điểm dễ hơn, vì chỉ cần lấy k chia cho số tác giả trong bài báo.

Văn hóa “đầu chót” (first-last emphasis). Theo văn hóa này, tác giả thứ nhất và tác giả sau cùng là hai người có đóng góp nhiều nhất và chịu trách nhiệm về dữ liệu trong bài báo. Thông thường, tác giả thứ nhất là nghiên cứu sinh tiến sĩ hay hậu tiến sĩ, tác giả sau cùng là trưởng nhóm nghiên cứu của lab hay cơ sở nghiên cứu, và các tác giả theo sau tác giả đầu được xếp theo mức độ đóng góp. Đối với văn hóa trước đầu chót, tác giả đầu có k điểm, tác giả chót k/2 điểm, các tác giả còn lại có k/n điểm, trong đó n là tổng số tác giả.

Văn hóa định lượng (percent contribution indicated). Trong văn hóa này, chi tiết về đóng góp của từng tác giả được liệt kê một cách vắn tắt, và định lượng trong nội bộ với nhau. Chẳng hạn như hai hay ba tác giả có đóng góp tương đương nhau, và thứ tự tác giả được sắp xếp theo chữ cái của họ hay theo một phương pháp khá khoa học: đó là ngẫu nhiên hóa! Đối với văn hóa định lượng, mỗi tác giả i có số phần trăm đóng góp (kí hiệu là pi), và điểm cho từng tác giả chỉ đơn giản là kpi.
Do đó, chúng ta cần phải điều chỉnh chỉ số Hc cho vị trí tác giả. Mới đây, có đề nghị tính yếu tố Z (Z factor) như sau [4]:

     N
Z= ∑ IF_iP_i
     i=1

Trong công thức này, P là “contribution factor”, phản ảnh đóng góp của tác giả cho công trình nghiên cứu. Chẳng hạn như tác giả đầu và cuối có P = 1, còn tác giả đóng vai trò hợp tác thì P có thể 0.3. IF là chỉ số ảnh hưởng của tập san. Thường thường, thời gian đòi hỏi một paper được trích dẫn cũng phải 2-5 năm, cho nên khi đánh giá thành tích trong năm, người đánh giá không có lựa chọn nào khác là dựa vào IF. 

Do đó, một nhà khoa học công bố được N = 5 bài với IF của 5 tập san đó lần lược là 1, 2, 4.5, 2.5, và 3. Ngoài ra, trong số này nhà khoa học là tác giả chính của 2 bài, còn 3 bài kia là người hợp tác, chỉ số Z được tính như sau: 

Z = 1×1 + 2×1 + 4.5×0.3 + 2.5×0.3 + 3×0.3 = 6

Một nhà khoa học khác cũng có 5 bài báo và cũng với IF như trên, nhưng nếu là tác giả chính thì chỉ số Z là 13. 

Như vậy Z khắc phục được khiếm khuyết của số lượng bài báo và tính đến công trạng của tác giả. Tuy Z có phần tốt hơn IF, nhưng vấn đề lớn nhất của chỉ số Z là không tính phần trích dẫn và dựa vào IF, một chỉ số tự nó đã không hoàn hảo.

Chỉ số Hirsch (Hindex)

Nhưng hệ số ảnh hưởng IF chỉ phản ánh uy tín của tạp chí chứ không hẳn phản ảnh chất lượng của một bài báo cụ thể. Năm 2005, nhà vật lí học Jorge Hirsch (Đại học California San Diego) thực hiện một phân tích về xu hướng công bố bài báo khoa học và tần số trích dẫn, và qua kết quả phân tích, ông đề nghị một chỉ số mà ông lấy tên là H index (H có lẽ là viết tắt họ của ông) [5]. Ngay từ khi chỉ số H ra đời, có nhiều người tán thành và lấy đó làm thước đo thành tựu và ảnh hưởng của một nhà khoa học. Ngày nay, các tập san khoa học danh tiếng như Nature, Science, Cell, PNAS, v.v… và các cơ quan quản lí khoa học ở Âu châu, Mỹ châu, Úc châu đều sử dụng chỉ số H để làm cơ sở cho đề bạt, cấp tài trợ, và đánh giá thành công của một nhà khoa học hay một nhóm nghiên cứu.

Chỉ số H được tính toán dựa vào số công trình công bố và số lần trích dẫn. Mục tiêu của chỉ số H là đo lường mức độ ảnh hưởng tích lũy của một nhà khoa học. Chỉ số H được định nghĩa như sau: Chỉ số H của một nhà khoa học là H công trình trong số N công trình của nhà khoa học đó được trích dẫn ít nhất là H lần, và (N – H) được trích dẫn dưới H lần. Ví dụ, nếu một nhà khoa học có chỉ số H = 20 có nghĩa là nhà khoa học này có 20 công trình nghiên cứu với mỗi công trình được trích dẫn ít nhất là 20 lần. Một giáo sư (professor) ở đại học có tiếng ở Mỹ thường có chỉ số H khoảng 20. Một nhà khoa học với H = 20 sau 20 năm làm khoa học có thể xem là một nhà khoa học thành công (successful); một chỉ số H = 40 sau 20 năm làm khoa học được xem là xuất sắc (outstanding) thường hay thấy ở các đại học hàng đầu hay viện nghiên cứu đẳng cấp quốc tế; một chỉ số H = 60 sau 20 năm làm nghiên cứu được xem là thật sự cá biệt (truly unique)[5].

Chỉ số H qua cách tính như mô tả có 2 vế: năng suất và ảnh hưởng của nhà khoa học. Tuy được phát triển để đánh giá năng lực một cá nhân, nhưng ngày nay, chỉ số H được sử dụng để đánh giá một nhóm nhà khoa học, phân khoa trong đại học, thậm chí đánh giá năng lực khoa học của một quốc gia. Ngay cả Viện Thông tin khoa học (ISI Thomson) cũng sử dụng chỉ số H trong báo cáo của họ.

Nhưng chỉ số H vẫn chưa hoàn hảo. Trong những khiếm khuyết mà giới khoa học chỉ ra trong thời gian qua, có 3 khiếm khuyết lớn. Thứ nhất, chỉ số H luôn luôn tăng theo thời gian, và do đó tùy thuộc vào độ tuổi của nhà nghiên cứu và thời gian làm nghiên cứu. Để khắc phục khiếm khuyết này, Hirsch đề nghị chia chỉ số H cho thời gian làm nghiên cứu và ông gọi chỉ số này là Chỉ số m. Chẳng hạn như một người làm khoa học 30 năm với chỉ số H = 61 thì chỉ số m là 61/ 35 = 1,74. Thứ hai, chỉ số H không phân biệt được những nhà khoa học đã nghỉ hưu với những nhà khoa học đang làm việc. Thứ ba, chỉ số H còn tùy thuộc vào ngành khoa học, với các ngành khoa học tự nhiên và thực nghiệm (như vật lí, y sinh học) có xu hướng công bố nhiều công trình nghiên cứu và thường hay trích dẫn nhau hơn các nghành khoa học như toán học hay xã hội học. Đây là khiếm khuyết đáng quan tâm nhất. Chúng ta biết rằng các bộ môn khoa học có những văn hóa ngành khác nhau. Chẳng hạn như các ngành khoa học thực nghiệm thường có truyền thống trích dẫn cao hơn so với các ngành khoa học tự nhiên như toán học. Do đó, rất khó mà so sánh chỉ số H của một nhà vật lí học với một nhà toán học, nếu không có một hệ số điều chỉnh.

Khi phân tích tổng số bài báo từ 1995 đến 2005, người ta thấy tần số trích dẫn bình quân (tính trên mỗi bài báo) của ngành miễn dịch học là 19.55, vật lí 7.22, còn ngành toán chỉ 2.66, ngành khoa học máy tính 2.49, v.v… Do đó, người ta phải đề ra một chỉ số H chuẩn hóa (standardized H index). Cách chuẩn hóa là lấy ngành vật lí làm ngưỡng chuẩn. Chỉ số H chuẩn hóa (kí hiệu Hc) là Hc= H×c, trong đó H là chỉ số H do ISI cung cấp, và c là hệ số liên quan đến trích dẫn của một ngành khoa học. Chẳng hạn như hệ số c của ngành vật lí [đương nhiên là] 1, toán 1.83, khoa học máy tính 1.75, miễn dịch học 0.52. Do đó, nếu một nhà toán học có H = 10 thì Hc = 18.3, tức cao hơn một nhà vật lí học có cùng H.
***

Ở nước ta, việc đánh giá năng lực nhà khoa học đã được đặt ra, nhưng phương pháp đánh giá vẫn chưa thích hợp và chưa khách quan. Hi vọng rằng những chỉ số trình bày trên đây sẽ cung cấp cho các hội đồng khoa bảng và đại học một số thước đo để đánh giá năng lực nhà khoa học chính xác và khách quan hơn. Áp dụng các chỉ số trên đây để đánh giá hoạt động khoa học của một đại học hay trung tâm nghiên cứu cũng là một hình thức giúp khoa học nước ta hội nhập quốc tế. 
—————-
Ghi chú : 
[1] Phelan TJ. A compendium of issues for citation analysis. Scientometrics 1999; 45:117-36. Theo một nghiên cứu khác, có đến 90% các bài báo khoa học công bố không bao giờ được trích dẫn hay tham khảo (xem L. I. Meho, The rise and rise of citation analysis, Physics World). Tuy nhiên, tôi nghĩ con số 90% này được tính cả những bản tóm tắt (abstract) trong các hội nghị và các conference papers. Do đó, con số 55% chính xác hơn.
[2] Zuckerman H. Nobel laureates in science: patterns of productivity, collaboration, and authorship.  American Sociological Review 1967; 32 :391-403.
[3] Tscharntke T, et al. Author sequence and credit for contributions in multiauthored publications.  PLoS Biology January 2007 volume 5, issue 1, e18.
[4] Z factor: a new index for measuring academic research output. Molecular Pain 2008 ;4 :53.
[5] Chỉ số h do một nhà vật lí học đề nghị, và tài liệu tham khảo là: Hirsch, Jorge E., (2005), “An index to quantify an individual’s scientific research output,” Proc Natl Acad Sci USA 2005;102(46):16569-16572.  Bài báo này có thể download hoàn toàn miễn phí từ địa chỉ sau đây: http://www.pnas.org/cgi/content/abstract/102/46/16569.