KA 11 · Bài 12

Data Quality

Data Quality Management (Quản lý Chất lượng Dữ liệu) là Knowledge Area thứ 11 của DAMA-DMBOK2. Dữ liệu chất lượng thấp là rủi ro và chi phí trực tiếp: quyết định sai, mất khách hàng, vi phạm tuân thủ, lãng phí xử lý lại. Chất lượng dữ liệu được đánh giá theo nguyên tắc "fit for purpose" — phù hợp với mục đích sử dụng. Bài này bao quát các chiều chất lượng, data profiling, quy tắc DQ, đo lường & scorecard, phân tích nguyên nhân gốc, làm sạch dữ liệu và chu trình cải tiến liên tục.

1 · Định nghĩa & Mục tiêu

Chất lượng = "fit for purpose"

Data Quality (chất lượng dữ liệu) là mức độ dữ liệu phù hợp với mục đích sử dụng (fit for purpose) và đáp ứng nhu cầu của người tiêu dùng dữ liệu. Điểm mấu chốt: chất lượng mang tính tương đối — cùng một tập dữ liệu có thể "đủ tốt" cho báo cáo tổng hợp nhưng "không đủ" cho gửi thư trực tiếp tới khách hàng. Vì vậy DQ luôn phải gắn với kỳ vọng & yêu cầu nghiệp vụ.

Mục tiêu của Data Quality Management:

Phát triển văn hoá coi trọng chất lượng, quản lý dữ liệu như tài sản theo yêu cầu người dùng.
Định nghĩa tiêu chuẩn, yêu cầu & đặc tả cho kiểm soát chất lượng như một phần của vòng đời dữ liệu.
Định nghĩa & triển khai quy trình đo lường, đánh giá, cải thiện và đảm bảo chất lượng dữ liệu.
Phát hiện & khắc phục vấn đề chất lượng; ưu tiên phòng ngừa hơn sửa chữa.

Cốt lõi: DQ không phải hoạt động một lần mà là chương trình liên tục. Trọng tâm là chuyển từ "chữa cháy" (reactive) sang "phòng bệnh" (proactive) — sửa nguyên nhân gốc thay vì lặp lại việc dọn dẹp.

2 · Business Drivers

Vì sao chất lượng dữ liệu quan trọng

Động lực	Giá trị / Rủi ro
Ra quyết định tin cậy	Dữ liệu tốt → phân tích & báo cáo đáng tin; dữ liệu xấu → quyết định sai lệch, mất niềm tin.
Giảm chi phí vận hành	Giảm xử lý lại (rework), giảm đối soát thủ công, giảm lãng phí (thư gửi sai địa chỉ, tồn kho lỗi).
Tuân thủ & quản lý rủi ro	Đáp ứng quy định (BCBS 239, GDPR, SOX); dữ liệu sai gây phạt, rủi ro pháp lý.
Trải nghiệm khách hàng	Dữ liệu khách hàng chính xác, không trùng → phục vụ tốt hơn, marketing hiệu quả hơn.
Hỗ trợ chuyển đổi số & AI	"Garbage in, garbage out" — mô hình analytics/AI chỉ tốt khi dữ liệu đầu vào chất lượng.

3 · Khái niệm cốt lõi

Từ vựng nền tảng của DQ

Khái niệm	Ý nghĩa
Data Quality Dimension	Chiều/khía cạnh đo lường chất lượng (Completeness, Accuracy...) — cho phép định lượng chất lượng.
Data Profiling	Phân tích dữ liệu thực tế để khám phá cấu trúc, nội dung, chất lượng và các bất thường.
Business Rule / DQ Rule	Quy tắc thể hiện kỳ vọng nghiệp vụ; DQ rule là dạng có thể đo/kiểm chứng được của kỳ vọng đó.
DQ Assessment	Đánh giá mức chất lượng hiện tại so với kỳ vọng, xác định vấn đề & ưu tiên.
Data Cleansing / Remediation	Sửa chữa dữ liệu lỗi (chuẩn hoá, khử trùng, hợp nhất, làm giàu) để đạt tiêu chuẩn.
Root Cause Analysis	Tìm nguyên nhân gốc gây lỗi để phòng ngừa, thay vì chỉ sửa triệu chứng.
Data Quality SLA	Thoả thuận mức chất lượng & trách nhiệm xử lý khi vượt ngưỡng.
DQ Scorecard / Dashboard	Báo cáo trực quan trạng thái chất lượng theo chiều, hệ thống, thời gian.

4 · Các chiều chất lượng dữ liệu

Dimensions of Data Quality

DMBOK dựa nhiều trên khung của Strong-Wang và DAMA UK. Bảy chiều được dùng phổ biến nhất:

Chiều	Định nghĩa	Ví dụ đo lường
Completeness (Đầy đủ)	Mức độ dữ liệu bắt buộc có mặt, không thiếu giá trị.	% bản ghi khách hàng có trường email khác NULL.
Accuracy (Chính xác)	Mức độ dữ liệu phản ánh đúng thực thể/sự kiện thực tế nó mô tả.	% địa chỉ khớp với dữ liệu tham chiếu bưu chính hợp lệ.
Consistency (Nhất quán)	Dữ liệu không mâu thuẫn giữa các bản ghi/hệ thống khác nhau.	Ngày sinh của cùng khách hàng giống nhau ở CRM và hệ thống thẻ.
Validity (Hợp lệ)	Dữ liệu tuân theo định dạng, kiểu, miền giá trị (domain) đã quy định.	% giá trị "giới tính" nằm trong tập {M, F, U}; ngày đúng định dạng.
Uniqueness (Duy nhất)	Không có bản ghi trùng lặp cho cùng một thực thể ngoài đời thực.	Số khách hàng bị trùng (duplicate) trên tổng số bản ghi.
Timeliness (Kịp thời)	Dữ liệu sẵn có và cập nhật đúng lúc so với nhu cầu sử dụng.	Độ trễ từ khi giao dịch phát sinh đến khi xuất hiện trong DW.
Integrity (Toàn vẹn)	Quan hệ tham chiếu giữa dữ liệu được giữ đúng, không "mồ côi" (orphan).	% đơn hàng có customer_id tồn tại trong bảng khách hàng.

Lưu ý: Danh sách chiều có thể mở rộng (Reasonableness, Precision, Currency, Accessibility...). Điều quan trọng là chọn các chiều đo được và gắn với yêu cầu nghiệp vụ, không đo cho có.

5 · Data Profiling

Khám phá thực trạng dữ liệu

Data Profiling là kỹ thuật phân tích dữ liệu thực tế để hiểu cấu trúc, nội dung và phát hiện bất thường — thường là bước đầu tiên của mọi sáng kiến DQ. Các dạng phân tích:

Column profiling: phân bố giá trị, min/max, tần suất, tỉ lệ NULL, độ dài, kiểu dữ liệu suy ra.
Dependency / structure analysis: phát hiện phụ thuộc hàm, ứng viên khoá chính, giá trị ngoài miền.
Redundancy / cross-table analysis: phát hiện trùng lặp, quan hệ khoá ngoại, vi phạm toàn vẹn tham chiếu giữa bảng.

Vai trò: Profiling biến "cảm giác dữ liệu xấu" thành bằng chứng định lượng — làm cơ sở để định nghĩa DQ rule, ưu tiên vấn đề và xây dựng baseline trước khi cải thiện.

6 · Business Rules & DQ Rules

Biến kỳ vọng thành điều đo được

Chất lượng chỉ đo được khi kỳ vọng được diễn đạt thành quy tắc. Business rule mô tả kỳ vọng nghiệp vụ; DQ rule là dạng có thể kiểm chứng (đo pass/fail) của kỳ vọng đó, gắn với một hoặc nhiều chiều chất lượng.

# Business rule → DQ rule (ví dụ)
BR: Mọi khách hàng phải có email liên hệ.
DQ rule (Completeness): customer.email IS NOT NULL   → đo % pass

BR: Email phải đúng định dạng.
DQ rule (Validity): customer.email MATCHES regex email  → đo % pass

BR: Không có khách hàng trùng.
DQ rule (Uniqueness): COUNT khách theo (tax_id) = 1       → đếm duplicate

DQ rules được thực thi định kỳ hoặc thời gian thực (in-line) để phát hiện vi phạm, sinh ra số liệu cho scorecard và cảnh báo (alert) khi vượt ngưỡng.

7 · Context Diagram

Inputs → Activities → Deliverables

Thành phần	Nội dung
Inputs (Đầu vào)	Kỳ vọng & yêu cầu nghiệp vụ; chính sách & tiêu chuẩn dữ liệu; dữ liệu thực tế; mô hình & metadata; yêu cầu tuân thủ & quy định.
Activities (Hoạt động)	1) Định nghĩa DQ theo chiến lược tổ chức; 2) Định nghĩa DQ dimensions & rules; 3) Profiling & đánh giá (assess) chất lượng ban đầu; 4) Đo lường & giám sát liên tục; 5) Root cause analysis & ưu tiên; 6) Khắc phục & cải thiện (remediate + prevent).
Deliverables (Đầu ra)	Chiến lược & chương trình DQ; DQ requirements & rules; kết quả profiling; DQ assessment report; DQ scorecard/dashboard; DQ SLA; dữ liệu đã được cải thiện; kế hoạch khắc phục.
Suppliers (Nhà cung cấp)	Business SMEs, Data Owners, Data Stewards, hệ thống nguồn & nhóm ứng dụng, Data Governance body.
Participants (Người tham gia)	Data Quality Analysts, Data Stewards, Data Architects, DBA, nhóm ETL/tích hợp, nhóm nghiệp vụ.
Consumers (Người tiêu dùng)	Business users, Analysts, Data Scientists, kiểm toán/tuân thủ, quản lý điều hành — tất cả người phụ thuộc dữ liệu.

8 · Đánh giá, Đo lường & Scorecard

Assessment · Measurement · Dashboard

DQ Assessment đối chiếu chất lượng hiện tại với kỳ vọng, xác định khoảng cách (gap) và mức độ ảnh hưởng nghiệp vụ để ưu tiên. Sau đánh giá ban đầu, tổ chức chuyển sang đo lường liên tục: thực thi DQ rules định kỳ, thu số liệu theo chiều và theo tài sản dữ liệu.

DQ Dashboard / Scorecard trực quan hoá kết quả: điểm chất lượng theo chiều, xu hướng theo thời gian, so với ngưỡng (threshold) và SLA. Nó biến chất lượng thành thứ "nhìn thấy được" để lãnh đạo & steward hành động.

Yếu tố scorecard	Mô tả
DQ Score theo chiều	Điểm % pass cho từng chiều (Completeness, Validity...) trên từng tập dữ liệu.
Threshold & RAG status	Ngưỡng chấp nhận; hiển thị Red/Amber/Green để dễ ưu tiên.
Trend (xu hướng)	Chất lượng cải thiện hay xấu đi theo thời gian.
Drill-down	Từ điểm tổng → hệ thống → bảng → cột → bản ghi lỗi cụ thể.

9 · Root Cause Analysis & Remediation

Sửa nguyên nhân, không chỉ triệu chứng

Root Cause Analysis (RCA) tìm nguyên nhân gốc của lỗi dữ liệu thay vì lặp lại việc dọn dẹp. Nguyên nhân thường nằm ở: nhập liệu thiếu kiểm soát, thiết kế hệ thống, lỗi tích hợp/ETL, quy trình nghiệp vụ, hoặc thiếu tiêu chuẩn. Kỹ thuật hay dùng: 5 Whys, fishbone (Ishikawa), phân tích Pareto.

Remediation & Data Cleansing là hành động khắc phục dữ liệu lỗi:

Kỹ thuật cleansing	Mô tả
Standardization (Chuẩn hoá)	Đưa dữ liệu về định dạng chuẩn (địa chỉ, số điện thoại, viết hoa/thường).
Parsing & Correction	Tách và sửa giá trị sai (ví dụ tách họ/tên, sửa lỗi chính tả).
Matching & De-duplication	Nhận diện & hợp nhất bản ghi trùng (liên quan chặt tới MDM).
Enhancement / Enrichment	Làm giàu dữ liệu bằng nguồn tham chiếu tin cậy (ví dụ geocode).

Cảnh báo: Cleansing chỉ là chữa triệu chứng. Nếu không sửa nguyên nhân gốc (qua RCA), lỗi sẽ tái phát và chi phí dọn dẹp lặp lại mãi. Ưu tiên phòng ngừa tại nguồn.

10 · Chu trình cải tiến DQ

PDCA / DMAIC / Deming · Prevention vs Correction

DMBOK khuyến nghị quản lý DQ như một chu trình cải tiến liên tục, mượn tư duy quản lý chất lượng (Deming, Six Sigma). Chu trình PDCA (Plan-Do-Check-Act) của Deming:

Plan: xác định phạm vi, chiều chất lượng, rule, ngưỡng và mục tiêu cải thiện; đánh giá hiện trạng.
Do: triển khai giám sát & đo lường, thực hiện khắc phục và cải thiện quy trình.
Check: so sánh kết quả đo với mục tiêu & SLA; phân tích nguyên nhân gốc của sai lệch.
Act: chuẩn hoá cải tiến hiệu quả, điều chỉnh, và lặp lại chu trình.

Trong Six Sigma, chu trình tương ứng là DMAIC: Define → Measure → Analyze → Improve → Control. Cả hai đều nhấn mạnh: đo lường → phân tích nguyên nhân → cải thiện → duy trì kiểm soát.

Cách tiếp cận	Đặc điểm	Đánh giá
Prevention (Phòng ngừa)	Kiểm soát tại nguồn: validation khi nhập liệu, thiết kế đúng, tiêu chuẩn, đào tạo.	Rẻ & bền vững nhất — chặn lỗi trước khi xảy ra. Được ưu tiên.
Correction (Sửa chữa)	Phát hiện & dọn dẹp dữ liệu lỗi sau khi đã phát sinh.	Cần thiết nhưng tốn kém, dễ lặp lại nếu không kèm phòng ngừa.

Nguyên tắc "1-10-100": chi phí phòng ngừa lỗi là 1, chi phí sửa sau đó là 10, chi phí do lỗi không được sửa (thất bại) là 100 — minh hoạ vì sao phòng ngừa luôn được ưu tiên.

11 · Vai trò

Ai làm gì trong DQ

Vai trò	Trách nhiệm
Data Quality Analyst	Thực hiện profiling, định nghĩa & thực thi DQ rules, đo lường, dựng scorecard, phân tích nguyên nhân gốc, đề xuất khắc phục.
Data Steward	Sở hữu tiêu chuẩn & kỳ vọng chất lượng cho miền dữ liệu; phê duyệt rule; điều phối khắc phục với nghiệp vụ.
Data Owner	Chịu trách nhiệm cuối về chất lượng dữ liệu của mình; phê duyệt SLA & đầu tư.
Data Quality Manager / Program Lead	Điều hành chương trình DQ, ưu tiên, báo cáo lãnh đạo, gắn DQ với governance.
Data Architect / DBA / ETL team	Triển khai kiểm soát chất lượng trong thiết kế, pipeline & ràng buộc hệ thống.
Business SMEs	Định nghĩa kỳ vọng nghiệp vụ, xác nhận lỗi và độ ưu tiên khắc phục.

12 · Tools, Techniques & Metrics

Công cụ, kỹ thuật và chỉ số

Tools & Techniques:

Nhóm	Ví dụ / Kỹ thuật
DQ / Profiling tools	Informatica Data Quality, IBM InfoSphere QualityStage, SAS DataFlux, Talend, Ataccama, Collibra DQ, Great Expectations (open-source).
Kỹ thuật phân tích	Data profiling, statistical analysis, 5 Whys, fishbone diagram, Pareto analysis, control charts (SPC).
Kỹ thuật cleansing	Standardization, parsing, matching/de-dup, enrichment, reference data lookup.
Giám sát	DQ rules định kỳ & in-line, scorecard/dashboard, cảnh báo theo ngưỡng, DQ SLA.

Metrics:

Nhóm chỉ số	Ví dụ đo lường
DQ theo chiều	% pass Completeness/Accuracy/Validity/Uniqueness... trên từng tập dữ liệu quan trọng.
Số lượng vấn đề	Số DQ issue phát hiện, số đang mở/đã đóng, thời gian trung bình khắc phục (MTTR).
Xu hướng & SLA	Chất lượng cải thiện theo thời gian; % tuân thủ ngưỡng & SLA.
Tác động nghiệp vụ	Chi phí do dữ liệu xấu (rework, phạt tuân thủ), giá trị tiết kiệm từ cải thiện DQ.

13 · Quan hệ với Governance & MDM

DQ không đứng một mình

Knowledge Area	Mối quan hệ
Data Governance	Governance cung cấp chính sách, tiêu chuẩn, vai trò (steward) và quyền hạn để chương trình DQ vận hành & được duy trì. DQ scorecard là bằng chứng governance hiệu quả.
Master & Reference Data (MDM)	MDM phụ thuộc DQ mạnh: matching, de-dup, chuẩn hoá & golden record đều là hoạt động chất lượng. DQ đảm bảo dữ liệu chủ đáng tin.
Metadata Management	DQ rules, kết quả đo, ngưỡng là metadata; lineage giúp truy nguyên nhân gốc lỗi về nguồn.
Data Integration & DW/BI	Kiểm soát chất lượng thường được cài trong pipeline ETL; DW là nơi lỗi tích hợp lộ rõ.

14 · Best practices & Pitfalls

Nên và tránh

Best practices:

Gắn DQ với tác động nghiệp vụ và ưu tiên dữ liệu quan trọng (critical data elements) trước.
Bắt đầu bằng profiling để có baseline định lượng, rồi mới đặt mục tiêu cải thiện.
Ưu tiên phòng ngừa tại nguồn và làm root cause analysis thay vì dọn dẹp lặp lại.
Đo lường liên tục qua scorecard/dashboard; thiết lập ngưỡng & DQ SLA rõ ràng.
Coi DQ là chu trình liên tục (PDCA/DMAIC) với vai trò & trách nhiệm được chỉ định.

Pitfalls (bẫy thường gặp):

Chỉ dọn dẹp một lần: làm sạch dữ liệu rồi để lỗi tái phát vì không sửa nguyên nhân gốc.
Coi DQ là dự án IT: thiếu nghiệp vụ định nghĩa kỳ vọng → đo sai thứ không quan trọng.
Đo lường không hành động: có dashboard đẹp nhưng không ai chịu trách nhiệm khắc phục.
Cầu toàn (perfectionism): đòi 100% chất lượng ở mọi nơi thay vì "fit for purpose".
Không có ngưỡng/SLA: không biết bao nhiêu là "đủ tốt" → tranh cãi vô hồi kết.