Dữ liệu đã thu xong, phân tích chạy xong, và kết quả không cho thấy điều bạn dự đoán. Hoặc nó không cho thấy gì cả.
Đây là tình huống rất phổ biến và cũng là tình huống mà cách xử lý sai gây ra nhiều vấn đề nhất trong nghiên cứu — không phải vì ai đó cố ý gian dối, mà vì áp lực phải có kết quả rất thật.
Bốn nguyên nhân khác nhau
Trước khi quyết định làm gì, cần xác định mình đang ở trường hợp nào — bốn trường hợp này đòi bốn cách xử lý ngược nhau:
Giả thuyết sai. Mối quan hệ bạn dự đoán không tồn tại. Đây là một phát hiện, không phải một thất bại.
Thiết kế không đủ nhạy. Mối quan hệ có thể tồn tại nhưng cỡ mẫu quá nhỏ, hoặc công cụ đo không đủ chính xác để phát hiện. Đây là hạn chế của nghiên cứu, và nó cần được nói rõ.
Vấn đề trong thực hiện. Lỗi trong thu thập, trong nhập liệu, trong quy trình. Cần kiểm và sửa được.
Lỗi trong phân tích. Sai mô hình, sai giả định, sai mã.
Ba trường hợp sau đều kiểm được. Cách kiểm: quay lại từ đầu — kiểm dữ liệu thô, kiểm quy trình nhập, chạy lại phân tích, và nếu được thì nhờ người khác chạy độc lập trên cùng dữ liệu.
Ranh giới rõ ràng: được làm và không được làm
Đây là phần quan trọng nhất của bài.
Được làm:
Kiểm lỗi trong dữ liệu và trong mã. Chạy các phân tích đã dự định từ trước. Phân tích thăm dò để tìm hướng cho nghiên cứu sau — với điều kiện nói rõ đó là thăm dò.
Không được làm:
Thử nhiều cách phân tích rồi chỉ báo cáo cách cho kết quả có ý nghĩa. Loại bỏ các quan sát bất tiện mà không có tiêu chí đặt ra từ trước. Thu thêm dữ liệu tới khi kết quả đạt ngưỡng rồi dừng. Đổi giả thuyết sau khi đã thấy kết quả rồi trình bày như thể đó là giả thuyết ban đầu.
Bốn việc này không phải bịa số liệu, và người làm thường không thấy mình đang làm gì sai — mỗi bước riêng lẻ đều có vẻ hợp lý. Nhưng chúng đều dẫn tới cùng một hệ quả: một kết quả trông có ý nghĩa mà thực ra chỉ là nhiễu được chọn lọc.
Cách phân biệt đơn giản cho chính mình: nếu tôi mô tả đầy đủ mọi việc tôi đã làm với dữ liệu này, kết quả có còn thuyết phục không? Nếu câu trả lời là không, thì đừng làm.
Vì sao ranh giới này quan trọng với chính bạn
Ngoài lý do về liêm chính, có ba lý do thực tế:
Kết quả tìm được bằng cách đó thường không lặp lại được — và nếu ai đó thử lặp lại thì vấn đề quay về với tên bạn trên bài.
Người phản biện có kinh nghiệm nhận ra dấu hiệu: cỡ mẫu lạ, phân tích không chuẩn với lĩnh vực, kết quả vừa đúng qua ngưỡng.
Và nếu bạn định làm nghề này lâu dài, một nền móng dựa trên kết quả không vững là một nền móng phải xây tiếp lên.
Kết quả âm tính có giá trị gì
Thật sự có, và đây không phải lời an ủi:
Nó ngăn người khác đi lại con đường đó. Việc một cách tiếp cận không cho kết quả là thông tin mà cả lĩnh vực cần.
Nó thu hẹp không gian khả năng — loại trừ cũng là tiến bộ.
Nếu giả thuyết được nhiều người tin mà dữ liệu không ủng hộ, đó có thể là kết quả quan trọng hơn một kết quả khẳng định điều ai cũng đã nghĩ.
Trở ngại thật là kết quả âm tính khó đăng hơn — điều này đúng và nó là một vấn đề của hệ thống công bố, không phải của bạn. Nhưng số tạp chí nhận kết quả âm tính đang tăng, và trong một luận án thì một chương với kết quả âm tính được phân tích kỹ hoàn toàn hợp lệ.
Viết về kết quả âm tính
Bốn điểm:
Trình bày như một kết quả, không như một lời xin lỗi. "Dữ liệu không ủng hộ giả thuyết" là một câu khẳng định.
Nêu rõ nghiên cứu có đủ khả năng phát hiện hay không. Đây là điểm then chốt: không tìm thấy hiệu ứng với một thiết kế đủ nhạy là một kết luận; không tìm thấy với một mẫu quá nhỏ thì không kết luận được gì. Người đọc cần biết bạn ở trường hợp nào.
Bàn về các cách giải thích khác — kể cả khả năng thiết kế của bạn có vấn đề.
Nêu việc nên làm tiếp.
Nói với người hướng dẫn
Nói sớm, và nói kèm phần kiểm đã làm.
Cuộc trao đổi khác hẳn khi bạn tới với "em đã kiểm lại dữ liệu và mã, chạy lại phân tích, kết quả vẫn vậy; em nghĩ có ba khả năng" — so với khi tới với "kết quả không ra gì thầy ạ".
Và nếu người hướng dẫn gợi ý một trong bốn việc ở mục "không được làm", đây là tình huống khó nhưng có cách xử lý: hỏi cụ thể cách trình bày — chúng ta sẽ mô tả bước này trong bài như thế nào? Câu hỏi đó đưa vấn đề về đúng chỗ của nó mà không cần đối đầu, và trong nhiều trường hợp nó đủ để cả hai cùng nhìn lại.
Kết quả không như mong đợi có phải nghiên cứu hỏng không?
Không nhất thiết — cần phân biệt bốn nguyên nhân: giả thuyết sai, thiết kế không đủ nhạy, vấn đề trong thực hiện, và lỗi phân tích.
Những gì không được làm sau khi thấy kết quả?
Thử nhiều cách phân tích rồi chỉ báo cáo cách cho kết quả có ý nghĩa, loại quan sát không theo tiêu chí đặt trước, thu thêm dữ liệu tới khi đạt ngưỡng, và đổi giả thuyết rồi trình bày như ban đầu.
Cách tự kiểm ranh giới là gì?
Nếu tôi mô tả đầy đủ mọi việc đã làm với dữ liệu này, kết quả có còn thuyết phục không — nếu không thì đừng làm.
Viết về kết quả âm tính thế nào?
Trình bày như một kết quả chứ không như lời xin lỗi, và nêu rõ nghiên cứu có đủ khả năng phát hiện hay không.
