(Indicators in Scientometrics) – Phần 5: Trích dẫn ISI Web of Science và trích dẫn Google Scholar

CÁC CHỈ SỐ ĐO LƯỜNG TRONG TRẮC LƯỢNG KHOA HỌC – Phần 5: Trích dẫn ISI Web of Science và trích dẫn Google Scholar


Lời dẫn của S4VN:

Trong bài viết dưới đây, chúng tôi lược dịch một phần bài báo của tác giả Hazing và van der Wal (2007) đăng trên tạp chí “Ethics in Science and Environmental Politics” liên quan đến những hạn chế khi sử dụng dữ liệu của WoS hay Google Scholar trong phân tích trích dẫn.

Việc nắm rõ những hạn chế này sẽ giúp chúng ta biết cách sử dụng dữ liệu trắc lượng và phân tích một cách hiệu quả hơn năng lực và tầm ảnh hưởng của các nhà khoa học trong NCKH, đặc biệt khi mà lĩnh vực khoa học và lĩnh vực Khoa học xã hội và Nhân văn có nhiều điểm khác biệt trong 2 hệ thống dữ liệu trắc lượng quan trọng này.

Một phần nội dung bài báo “Google Scholar: The democratization of citation analysis?” của 2 tác giả Hazing, A. W. & van der Wal, r. (2007):

Về mặt truyền thống, nguồn dữ liệu trắc lượng khoa học được sử dụng phổ biến nhất là từ ISI Web of Science (WoS) của Thomson. Để đánh giá năng lực cá nhân nhà khoa học người ta chủ yếu sử dụng số lượng trích dẫn thể hiện trong Chỉ số trích dẫn khoa học (Science Citation Index, SCI) hoặc Chỉ số trích dẫn khoa học xã hội (Social Science Citation Index, SSCI) trong ISI Web of Science của Thomson, còn để đánh giá uy tín của các tạp chí thì sử dụng Chỉ số tác động của tạp chí (Journal Impact Factor, JIF) được liệt kê trong Báo cáo trích dẫn tạp chí (Journal Citation Reports, JCR).

Tuy nhiên, có nhiều nhà nghiên cứu đặc biệt trong các lĩnh vực khoa học xã hội và nhân văn công bố các kết quả nghiên cứu của mình trên các ấn phẩm khoa học không được chỉ mục trong hệ thống ISI như sách, bài báo hội nghị, các tạp chí xuất bản bên ngoài nước Mỹ. Do đó, nếu sử dụng dữ liệu trắc lượng của Google Scholar (GS) sẽ cung cấp một bức tranh trích dẫn bao quát hơn. Một thuận lợi khác nữa là nguồn dữ liệu của GS cho phép truy cập miễn phí bất kể tính trạng tài chính của các đơn vị có nghiên cứu khoa học.

Indicators_Part05

SO SÁNH PHÂN TÍCH TRÍCH DẪN CỦA WoS VÀ GS ĐỐI VỚI CÁ NHÂN NHÀ KHOA HỌC

LƯU Ý CHUNG VỀ TRÍCH DẪN

Mọi cơ sở dữ liệu đều có những điểm hạn chế, và các trích dẫn cũng không là ngoại lệ. Nói chung, trích dẫn có thể rơi vào các loại lỗi sau: lỗi sắp ghép chữ (typo) trong bài báo nguồn, lỗi phân tích cú pháp danh mục tham khảo, lỗi do định dạng (format) tham khảo không chuẩn, lỗi do quá trình xử lý sách và kỷ yếu hội nghị không nhất quán. Do đó, số lượng trích dẫn có thể đầy đủ, cũng có thể thiếu sót.

MỘT SỐ NGUYÊN TẮC PHÂN TÍCH TRÍCH DẪN

Khi thực hiện phân tích trích dẫn theo GS, một số nguyên tắc được đề xuất như sau:

Nếu một nhà nghiên cứu có số lượng trích dẫn cao thì nhiều khả năng là nhà nghiên cứu đó có ảnh hưởng quan trọng trong lĩnh vực của mình;

Nếu số lượng trích dẫn của một nhà nghiên cứu thấp thì lý do có thể là nhà nghiên cứu đó không có đủ tầm ảnh hưởng. Tuy nhiên, còn có thể có những lý do khác nữa, chẳng hạn như lĩnh vực nghiên cứu đó quá hẹp hoặc kết quả nghiên cứu được công bố bằng ngôn ngữ không phải tiếng Anh hoặc được công bố trong các ấn bản là sách.

Mặc dù về các phương diện này, GS đo lường hiệu quả hơn WoS nhưng GS cũng không tính được hết các bài báo và các trích dẫn ở các ngôn ngữ không phải là tiếng Anh cũng như các trích dẫn ở các sách chuyên khảo và các chương sách.

MỨC ĐỘ CHỒNG LẤN TRÍCH DẪN GIỮA WOS, SCOPUS, VÀ GS

Meho và Yang (2007) thực hiện một phân tích so sánh giữa WoS, Scopus, và GS đối với 1000 công bố của 15 giảng viên Trường Khoa học Thư viện và Thông tin, ĐH Indiana, Bloomington trong giai đoạn 1996-2005. Họ nhận thấy mức độ chồng lấn về trích dẫn giữa 3 hệ thống dữ liệu này như sau: chồng lấn giữa WoS và Scopus là 58,2%, chồng lấn giữa GS và tổ hợp WoS và Scopus là 30,8%. GS có SL trích dẫn nhiều hơn 2 lần so với WoS và gần bằng 2 lần so với Scopus. Lý do là vì GS tính cả các trích dẫn từ các bài báo hội nghị, luận án tiến sỹ, luận văn thạc sỹ, sách chuyên khảo và các chương sách. Hai tác giả này cũng nhận thấy nếu tích hợp các kết quả trên GS vào WoS và Scopus thì kết quả cũng không làm thay đổi thứ hạng của 15 giảng viên được khảo sát. Hệ số tương quan giữa WoS và GS là 0,874, giữa GS và tổ hợp WoS và Scopus là 0,976.

Từ đó họ kết luận rằng, việc sử dụng GS sẽ giúp ích cho các học giả là ứng viên cho thăng tiến, hợp đồng dài hạn, chức vụ học thuật, và tìm kiếm tài trợ nghiên cứu.

NHỮNG HẠN CHẾ KHI SỬ DỤNG DỮ LIỆU WOS TRONG PHÂN TÍCH TRÍCH DẪN

Hạn chế lớn nhất của WoS là không tính được đầy đủ số lượng trích dẫn của 1 nhà nghiên cứu. Nisonger (2004) nhận thấy rằng (sau khi đã loại trừ tự trích dẫn) WoS chỉ tính được 28,8% số lượng (SL) trích dẫn của mình, 42,2% SL trích dẫn từ các ấn bản in, 20,3% SL trích dẫn từ bên ngoài nước Mỹ, và chỉ có 2,3% SL trích dẫn không bằng tiếng Anh.

Chức năng “Tìm kiếm chung” (General Search) của WoS chỉ giới hạn ở các tạp chí được ISI liệt kê và không tính đến những trích dẫn ở các sách, chương sách, luận văn, luận án, bài báo ứng dụng (working paper), bài báo hội nghị, báo cáo, và các bài báo ở các tạp chí ngoài ISI. Trong lĩnh vực khoa học, SL trích dẫn của WoS cung cấp một bức tranh khá đầy đủ về tổng SL công bố của nhà nghiên cứu. Tuy nhiên, trong lĩnh vực KHXH và NV do số lượng tạp chí ISI ít và vai trò rất quan trọng của sách chuyên khảo và các chương sách nên SL trích dẫn do WoS cung cấp là một bức tranh không đầy đủ.

Chức năng “Tham khảo được trích dẫn” (Cited Reference) của WoS chỉ giới hạn trong các tạp chí được ISI liệt kê (ISI-listed). Chức năng này của WoS có tính cả những trích dẫn ở các tạp chí nằm ngoài ISI, tuy nhiên, nó chỉ tính trích dẫn ở các tạp chí được ISI liệt kê. Trong khi đó có rất ít các tạp chí thuộc KHXH và NV được ISI liệt kê. Ví dụ nghiên cứu của Butler (2006) cho thấy rằng có đến 69,3%-84,6% số tạp chí của các ngành Hoá học, Sinh học, Khoa học vật lý, Khoa học sức khoẻ/y tế được liệt kê trong ISI. Nhưng đối với các ngành KHXH như Quản lý, Giáo dục lịch sử, Nghệ thuật thì chỉ có 4,4%-18,7% số tạp chí được liệt kê trong ISI.

Chức năng “Tham khảo được trích dẫn” của WoS chỉ tính trích dẫn của các tạp chí ngoài ISI cho các tác giả thứ nhất.

WoS chỉ bao gồm một số lượng rất nhỏ các tạp chí không xuất bản bằng tiếng Anh và do đó nói chung sẽ không tính những trích dẫn ở các tạp chí này.

NHỮNG HẠN CHẾ KHI SỬ DỤNG DỮ LIỆU GOOGLE SCHOLAR TRONG PHÂN TÍCH TRÍCH DẪN

GS tính luôn cả những trích dẫn ở các tạp chí không phải học thuật như sổ tay hướng dẫn sinh viên, sách hướng dẫn thư viện, bài giới thiệu của ban biên tập (editorial note). Tuy nhiên SL trích dẫn phi học thuật này không lớn, thông thường có hơn 75% SL trích dẫn là ở các tạp chí học thuật.

Không phải tất cả các tạp chí học thuật đều được chỉ mục trong GS. Meho và Yang (2007) nhận thấy rằng GS đã bỏ sót 40,4% SL trích dẫn mà tổ hợp WoS và Scopus tìm thấy, còn tổ hợp WoS và Scopus bỏ sót 61,04% SL trích dẫn mà GS tìm thấy.

Phạm vi tìm kiếm của GS không đồng đều giữa các lĩnh vực nghiên cứu. Với các lý do đề cập ở trên, GS đếm được SL trích dẫn cao hơn ISI. Tuy nhiên, kết quả này không nhất quán giữa các ngành khoa học. GS tìm thấy SL trích dẫn tốt hơn ở các ngành KHXH, nghệ thuật, nhân văn và kỹ thuật trong số sách chuyên khảo, kỷ yếu hội nghị, và nhiều loại tạp chí. WoS cung cấp SL trích dẫn tốt hơn ở các ngành KHTN, KH sức khoẻ và ở đây SL trích dẫn do GS tìm thấy không hẳn cao hơn ở WoS. Các nghiên cứu cho thấy sử dụng trích dẫn của GS có thể tốt hơn cho các ngành: Kinh doanh, Quản trị, Tài chính & Kinh tế học, KH máy tính & Toán học, KHXH, Nghệ thuật và Nhân văn.

GS không tìm kiếm hiệu quả đối với các ấn phẩm đã xuất bản trước đây lâu. Một số nghiên cứu cho thấy GS không tính được đầy đủ tác động của các nhà nghiên cứu có công bố từ trước năm 1990.

Cơ chế xử lý tự động của GS có thể tạo ra những kết quả không có ý nghĩa ví dụ như tính trích dẫn kép khi có 2-3 phiên bản của cùng một bài báo trên mạng.

GS không được cập nhật thường xuyên như WoS.

———–
Danh sách tài liệu tham khảo trong phần lược dịch:

Butler L (2006) RQF pilot study project — history and political science methodology for citation analysis. Available at: www.chass.org.au/papers/PAP20061102LB.php

Meho LI, Yang K (2007) Impact of data sources on citation counts and rankings of LIS faculty: Web of Science versus Scopus, and Google Scholar. J Am Soc Inf Sci Technol 58:1–21

Nisonger TE (2004) Citation autobiography: an investigation of ISI database coverage in determining author citedness. Coll Res Libr 65:152–163

________________________________
*Bài báo được lược dịch: Hazing, A. W. & van der Wal, r. (2007). Google Scholar: The democratization of citation analysis? Ethics in Science and Environmental Politics, 8(1), 61-73.

Nhóm dự án S4VN (Trắc lượng Khoa học Việt Nam)

Bạn đọc có thể thảo luận về bài viết này trên fanpage Scientometrics for Vietnam tại đây.

Related Post

(Indicators in Scientometrics) – Phần 3: Chỉ... CÁC CHỈ SỐ ĐO LƯỜNG TRONG TRẮC LƯỢNG KHOA HỌC - Phần 3: Chỉ số tác động và các chỉ số trích dẫn khác đối với tạp chí Trong tuần này, để tiếp tụ...
(Indicators in Scientometrics) – Phần 4: Một... CÁC CHỈ SỐ ĐO LƯỜNG TRONG TRẮC LƯỢNG KHOA HỌC - Phần 4: Một số thông tin thêm về các chỉ số liên quan đến trích dẫn Trong tuần này, loạt bài ...
(Indicators in Scientometrics) – Phần 2: Vai... CÁC CHỈ SỐ ĐO LƯỜNG TRONG TRẮC LƯỢNG KHOA HỌC - Phần 2: Vai trò của các tác giả đứng tên trong một bài báo khoa học Tiếp theo bài viết về Chỉ s...
(Indicators in Scientometrics) – Phần 1: Chỉ... CÁC CHỈ SỐ ĐO LƯỜNG TRONG TRẮC LƯỢNG KHOA HỌC - Phần 1: Chỉ số H Bắt đầu từ tuần này, xen kẽ với các công bố về kết quả nghiên cứu trên ISI, ...
(Indicators in Scientometrics) – Phần 6: Đánh giá ... CÁC CHỈ SỐ ĐO LƯỜNG TRONG TRẮC LƯỢNG KHOA HỌC - Phần 6: Đánh giá chất lượng nghiên cứu trong các trường đại học: Sử dụng bình duyệt hay thang đo trắc ...

#Google Scholar#Indicators in Scientometrics#Web of Science