Vấn đề xếp hạng
Trong những năm gần đây giới khoa học châu Âu đang lên cơn sốt đánh giá các nghiên cứu khoa học và trình độ các trường đại học. Riêng ở Pháp, luật tự chủ (autonomie)[1] của các trường đại học và việc cải cách tổ chức nghiên cứu lại tạo nên một không khí làm tăng sự nhạy cảm đối với vấn đề này. Sự thiếu vắng những nguyên tắc dẫn đường và những phương pháp khoa học càng làm cho việc sử dụng thư viện lượng học (bibliométrie)[2] càng thêm hỗn độn. Thư viện lượng học tạo dữ liệu cho việc đánh giá hiệu suất nghiên cứu theo các công bố khoa học. Các chỉ số cũ thường sử dụng là input = kinh phí đầu tư còn output = số công trình công bố và số lần trích dẫn được sử dụng để đánh giá "chất lượng" (qualité) và "tác động" (impact) của công trình khoa học.
Báo cáo của Nghị sĩ Joel Bourdin năm 2008 cho thấy rằng mọi cách xếp hạng đều có giới hạn và đều có khuynh hướng đáng tiếc là đánh giá cao có hệ thống một số nước. Cách xếp hạng theo Đại học Thượng Hải rơi vào số đó và đã đánh giá quá thuận lợi cho các trường đại học Mỹ. Nói cách khác bao giờ cũng tìm được một chỉ số nào đó thuận lợi cho một đối tượng nhất định. Liệu một chỉ số có phản ánh được đúng ý nghĩa mà người ta gán cho nó hay không? Sử dụng sai lầm các chỉ số sẽ gây nên những hệ quả xấu đối với những nhà hoạch định chính sách vì họ sẽ dựa trên những tiêu chí không chuẩn xác.
Lề thói xếp hạng cũng đã lan truyền đến các tổ chức như European Science Foundation khi tổ chức này xếp các tạp chí theo A, B, C tùy theo tạp chí đó là quốc tế, quốc gia hay địa phương. Kiểu xếp hạng như vậy làm mất ranh giới giữa "đánh giá" (évaluation) và thống kê thuần túy theo thư viện lượng học (bibliométrie).
Khoa học lượng học (scientometrie)[2] nghiên cứu số đo hoạt động khoa học hiện nay gần đồng nghĩa với thư viện lượng học (bibliometrie) và thường được thay thế cho nhau.
Đã từ lâu tổ chức Thomson Reuters đã cung cấp những cơ sở thư mục (bibliographie) và nhiều công trình khoa học lượng học đều dựa trên các dữ liệu của tổ chức này. Từ năm 2004 một nhà băng dữ liệu mới đã được thành lập, đó là Scopus do Elsevier, một nhà xuất bản hàng đầu thế giới về khoa học tung lên thị trường. Các nguồn này được sử dụng nhiều trong việc đánh giá nhờ chỗ các dữ liệu nhập vào đây đều được kiểm soát.
Vô tổ chức trong đánh giá
Google Scholar & Internet đã dần dần cung cấp dữ liệu cho các phân tích thư viện lượng học (bibliométrie và nói rộng hơn cho Webométrie). Song hai nguồn này là hai nguồn không được kiểm soát và ở đây không có một chỉ tiêu nào để được nhập vào nguồn (so với Web of Science và Scopus). Sự hội nhập miễn phí vào Google Scholar & Internet càng tăng thêm phần hỗn độn trong quy trình đánh giá. Và người ta theo châm ngôn "any number beats no number" (có một con số còn hơn không có con số nào).
Trong xếp hạng Thượng Hải các trường đại học trên thế giới được xếp vào một bảng theo thứ hạng (palmarès), tạo ra một thách thức đối với các nhà hoạch định giáo dục và các nhà lãnh đạo các trường đại học. Ngoài ra còn có chỉ số h nhằm đánh giá cá nhân các nhà nghiên cứu khoa học.
Trong cả hai trường hợp (xếp hạng Thượng Hải và chỉ số h) người ta sử dụng một con số, có được bằng tổng hợp nhiều phép tính, để xếp hạng và đánh giá chất lượng nghiên cứu mà không chú ý đến tính đa chiều của quá trình nghiên cứu.
Vậy một chỉ số tốt là như thế nào? Một chỉ số tốt phải phản ánh được khái niệm ta muốn có, song chỉ số đó cũng chỉ phản ánh một cách gần đúng khái niệm đó mà thôi. Ví dụ ta muốn đo tác động (impact) khoa học của một tác giả, ta có thể nghĩ rằng tổng số trích dẫn đối với tác giả đó có thể là chỉ số mong muốn, song phải nghiên cứu mối liên hệ giữa số đo độc lập chất lượng và số đo có được theo chỉ số đó. Thư viện lượng học từ những năm 1970 đã nhiều lần chỉ rõ có mối quan hệ giữa trình độ các trích dẫn mà một tác giả nhận được và mức độ nổi tiếng được đánh giá theo các giải thưởng khoa học và các bổ nhiệm hàn lâm mà tác giả đó có được. Cần nói thêm là chỉ số đó chỉ nên áp dụng đối với khoa học tự nhiên còn trong khoa học xã hội – nhất là trong văn chương- nguời ta sử dụng tác phẩm chứ không phải những bài báo để làm phương thức công bố kết quả.
Chỉ số thuần nhất (homogène) và không thuần nhấT (hétérogène)
Các chỉ số thuần nhất là các chỉ số nói một cách toán học là "hữu ước" (commensurable - cùng số đo) với nhau. Ví dụ số input = kinh phí đầu tư và output = số công trình khoa học công bố trên các tạp chí chính là hai chỉ số thuần nhất, vì người ta có thể thành lập tỷ số input /output để đánh giá hiệu quả.
Còn nếu ta thêm vào đó ví dụ chỉ số đánh giá bởi một số chuyên gia đầu ngành thì ta sẽ có một chỉ số không thuần nhất vì đó là một số đo "vô ước" ( incommensurable-không cùng số đo) đối với hai chỉ số trên.
Hình1.. Một nhà khoa học sẽ có được chỉ số h nếu h trong số N công trình của mình nhận được ít nhất h lần trích dẫn cho mỗi công trình, còn mỗi công trình trong số còn lại N – h nhận được không nhiều hơn h lần trích dẫn.Chúng ta có thể xây dựng những chỉ số phản ánh được vị thế tương đối trong một quốc gia hoặc trên trường quốc tế của những trường đại học đối với từng ngành. Vì sự đa dạng của các ngành nghiên cứu cần xây dựng các chỉ số theo nhiều lĩnh vực. Ví dụ trong lĩnh vực sinh học Pháp đứng thứ 4 theo chỉ số trích dẫn tương đối, trong lĩnh vực toán từ thứ 3 đến thứ 2.
Tổ chức National Science Foundation đã công bố từ năm 1972 những dữ liệu thư viện lượng học (bibliométrie) so sánh rất hữu ích. Tại Pháp, tổ chức OST ( Observatoire des Sciences et des Techniques ) thành lập năm 1990 cũng phát hành hai năm một tài liệu Indicateurs des Sciences et des Techniques cung cấp nhiều dữ liệu thư viện lượng học (bibliométrie) rất tốt. Các ví dụ trên nói rằng: chúng ta có thể tránh các xếp hạng thô thiển bằng cách sử dụng những dữ liệu thích đáng. Việc xây dựng và công bố những bảng dữ liệu thư viện lượng học (bibliometrie) so sánh cho từng lĩnh vực nghiên cứu, thậm chí cho từng viện, từng tổ chức tích lũy qua nhiều năm, có thể cho phép phân tích một cách rõ ràng những khuynh hướng nghiên cứu trong một quốc gia hoặc trên trường quốc tế, và cho phép chúng ta đưa ra những quyết định phù hợp với những ưu tiên địa phương hoặc toàn cục. Chú ý rằng những loại dữ liệu như vậy không thể ứng dụng cho cá nhân các nhà nghiên cứu.
CC biên dịch và chú thích
------------------------
Tài liệu tham khảo và chú thích
[1] Luật tự chủ của các trường Đại học (người đề xướng là Bộ trưởng Bộ đại học và nghiên cứu Pháp Valérie Pecresse) được áp dụng từ năm 2007 nhằm đưa quyền tự chủ kinh phí, quản lý nhân lực và quyền sở hữu bất động sản về các trường đại học. Luật này bị phần lớn các tổ chức sinh viên và giảng viên phản đối.
[2] Thư viện lượng học (tiếng Pháp là Bibliometrie) là ngành khoa học sử dụng toán học và những phương pháp thống kê đối với các bài báo, các công trình được xây dựng vào năm 1958. Còn khoa học lượng học (tiếng Pháp là Scientometrie ) được xây dựng năm 1978 là ngành khoa học cũng sử dụng những công cụ nói trên vào lĩnh vực nghiên cứu khoa học và công nghệ.