Làm sạch dữ liệu: các quyết định ảnh hưởng tới kết quả mà ít ai ghi lại

Giữa lúc dữ liệu thu xong và lúc chạy phân tích có một giai đoạn ít được nói tới: làm sạch dữ liệu.

Trong giai đoạn đó có hàng chục quyết định nhỏ, và cộng lại chúng ảnh hưởng tới kết quả nhiều hơn việc chọn phép thống kê nào.

Các quyết định trong khâu này

Sáu nhóm, và mỗi nhóm đều có thể đổi kết quả:

Loại bỏ bản ghi nào. Người trả lời quá nhanh, bỏ trống nhiều câu, trả lời giống hệt nhau ở mọi mục — loại hay giữ?

Xử lý dữ liệu thiếu. Bỏ cả bản ghi, bỏ từng ô, hay điền vào bằng cách nào đó?

Xử lý giá trị bất thường. Giữ, loại, hay giới hạn về một ngưỡng?

Gộp nhóm. Các mức của một biến được gộp thế nào — và ranh giới đặt ở đâu.

Biến đổi biến. Đổi thang đo, chuẩn hoá, tạo biến tổng hợp từ nhiều câu.

Định nghĩa mẫu phân tích. Ai được đưa vào phân tích cuối cùng — và điều này có thể khác với ai đã tham gia.

Vì sao chúng quan trọng hơn người ta nghĩ

Ba lý do:

Không gian lựa chọn rất lớn. Với sáu nhóm quyết định, mỗi nhóm vài phương án, có hàng trăm cách làm sạch cùng một bộ dữ liệu — và chúng cho các kết quả khác nhau.

Chúng thường được quyết định sau khi đã nhìn thấy dữ liệu. Đây là điểm then chốt: khi bạn đã thấy kết quả sơ bộ, việc chọn cách làm sạch không còn trung lập, kể cả khi bạn không có ý định gì.

Chúng gần như không bao giờ được báo cáo đầy đủ. Phần phương pháp thường viết "dữ liệu được làm sạch" và chuyển sang phần khác.

Đặt quy tắc trước khi nhìn kết quả

Đây là biện pháp giải quyết được phần lớn vấn đề, và nó tốn một buổi.

Trước khi chạy phân tích chính, viết ra:

Tiêu chí loại bản ghi — cụ thể, có ngưỡng số.

Cách xử lý dữ liệu thiếu.

Định nghĩa và cách xử lý giá trị bất thường.

Cách gộp nhóm và biến đổi biến.

Định nghĩa mẫu phân tích.

Viết trước rồi làm theo. Nếu trong quá trình phát hiện cần đổi, ghi lại việc đã đổi và vì sao — đây là việc hoàn toàn hợp lệ, miễn là nó minh bạch.

Dữ liệu thiếu

Nhóm này đáng nói riêng vì cách xử lý phổ biến nhất cũng là cách có vấn đề nhất.

Bỏ mọi bản ghi có thiếu ô nào đó là cách mặc định của nhiều phần mềm. Nó đơn giản và nó có hai vấn đề: mất nhiều dữ liệu, và — quan trọng hơn — nếu việc thiếu không ngẫu nhiên thì mẫu còn lại bị lệch.

Ba câu cần trả lời:

Thiếu bao nhiêu — theo biến và theo bản ghi.

Thiếu có theo quy luật không? Nếu người có thu nhập cao hay bỏ trống câu về thu nhập, thì việc bỏ họ đi làm mẫu lệch. Đây là câu quan trọng nhất và nó kiểm được: so nhóm thiếu với nhóm không thiếu ở các biến khác.

Cách xử lý đã chọn ảnh hưởng thế nào tới kết quả — chạy thử vài cách và xem kết quả có đổi không.

Và luôn báo cáo tỷ lệ thiếu trong phần kết quả. Đây là thông tin người đọc cần để đánh giá.

Giá trị bất thường

Bốn bước, theo thứ tự:

Kiểm xem có phải lỗi không. Một người ghi chiều cao hai trăm năm mươi phân là lỗi nhập; một người ghi thu nhập rất cao có thể là thật. Quay lại bản ghi gốc nếu còn.

Nếu là lỗi và sửa được thì sửa, ghi lại việc đã sửa.

Nếu là giá trị thật thì cân nhắc kỹ trước khi loại. Các giá trị cực trị thường mang thông tin — loại chúng đi vì chúng bất tiện là một dạng chọn lọc dữ liệu.

Nếu quyết định loại, chạy phân tích cả hai cách và báo cáo nếu kết quả khác nhau.

Ghi lại: một tệp nhật ký

Việc đơn giản nhất và có giá trị cao nhất: một tệp ghi mọi thao tác đã làm với dữ liệu.

Mỗi dòng gồm: ngày, việc đã làm, số bản ghi trước và sau, và lý do.

Ba lý do nó cần thiết:

Người khác lặp lại được. Đây là yêu cầu cơ bản của nghiên cứu, và không có nhật ký thì không ai lặp lại được, kể cả chính bạn sau một năm.

Viết phần phương pháp dễ hơn nhiều. Nhật ký này chính là bản nháp của phần đó.

Khi bị hỏi, có câu trả lời. Hội đồng hoặc người phản biện hỏi vì sao số mẫu trong bảng khác với số người tham gia — đây là câu hỏi thường gặp, và có nhật ký thì trả lời trong một phút.

Tốt nhất: làm sạch bằng mã, không làm bằng tay trên bảng tính. Mã tự nó là nhật ký, và nó chạy lại được. Sửa tay trên bảng tính thì không có dấu vết gì.

Giữ dữ liệu gốc nguyên vẹn

Nguyên tắc: không bao giờ sửa vào tệp gốc.

Ba mức tệp:

Tệp gốc — đúng như thu được, chỉ đọc, không ai sửa.

Tệp đã làm sạch — kết quả của quá trình, sinh ra từ mã.

Tệp phân tích — đã lọc theo tiêu chí của từng phân tích.

Với ba mức này, mọi bước đều quay lại được, và một quyết định sai ở khâu làm sạch không phá huỷ dữ liệu.

Cách kiểm

Bốn phép kiểm trước khi phân tích:

Đếm. Số bản ghi ở mỗi bước, và tổng có khớp không.

Xem phân bố của từng biến. Vẽ ra — nhiều lỗi lộ ra ngay ở bước này mà không phép kiểm nào bắt được.

Kiểm các giá trị không hợp lệ — ngoài khoảng có thể, sai định dạng, mâu thuẫn giữa các biến.

Chạy lại toàn bộ từ tệp gốc và kiểm ra cùng kết quả. Nếu không, thì có bước nào đó làm bằng tay mà chưa ghi.

Một điều nên viết trong bài

Phần phương pháp nên nêu: số ban đầu, số bị loại và vì sao, số còn lại, và cách xử lý dữ liệu thiếu.

Bốn con số. Chúng chiếm ba dòng và chúng là thứ người đọc có kinh nghiệm tìm đầu tiên — vì chúng cho biết mẫu phân tích thật sự là gì, và một bài không có chúng là một bài không kiểm chứng được.