Công nghệ là một trong ba trụ cột của Data Governance (cùng con người và quy trình). Vai trò của nó là tự động hoá việc thực thi governance ở quy mô lớn — biến chính sách trên giấy thành các kiểm soát chạy thật trong hệ thống, để hàng triệu bản ghi và hàng trăm pipeline đều được quản trị nhất quán mà không phụ thuộc vào con người làm thủ công.
Data Catalog là trung tâm của governance — nơi mọi tài sản dữ liệu được đăng ký, tìm kiếm và hiểu. Thay vì mỗi đội tự lưu một file mô tả riêng, catalog tập hợp tất cả bảng, cột, dashboard, mô hình ML... vào một nơi có thể tra cứu như "Google cho dữ liệu nội bộ". Nó trả lời được những câu hỏi cốt lõi: dữ liệu này nằm ở đâu, ai sở hữu, nghĩa là gì, lấy từ nguồn nào, có đáng tin không.
Sức mạnh của catalog đến từ metadata — dữ liệu mô tả về dữ liệu. Có ba nhóm:
| Loại metadata | Mô tả | Ví dụ |
|---|---|---|
| Technical | Cấu trúc kỹ thuật của dữ liệu | Tên bảng, kiểu cột, khoá chính, partition, schema |
| Business | Ý nghĩa nghiệp vụ, ngữ cảnh sử dụng | Định nghĩa thuật ngữ (glossary), chủ sở hữu, mức độ nhạy cảm, domain |
| Operational | Hành vi vận hành thực tế | Lần cập nhật cuối, tần suất chạy job, số dòng, ai truy vấn nhiều nhất |
Công cụ tiêu biểu: OpenMetadata, DataHub, Collibra, Alation, Amundsen. Hai cái đầu là mã nguồn mở phổ biến; Collibra và Alation là nền tảng thương mại mạnh về quản trị doanh nghiệp; Amundsen do Lyft phát triển, thiên về tìm kiếm.
Data Lineage là khả năng truy vết đường đi của dữ liệu từ nguồn (source) đến đích (target): dữ liệu sinh ra ở đâu, đi qua những pipeline và phép biến đổi nào, rồi kết thúc ở bảng báo cáo hay dashboard nào. Lineage tốt phải đạt mức column-level — không chỉ "bảng A tạo ra bảng B" mà cụ thể "cột revenue ở báo cáo được tính từ price × qty trong bảng sales".
Hai giá trị lớn nhất của lineage:
Lineage là nền tảng của sự tin cậy: người dùng chỉ tin một con số khi họ thấy được nó đến từ đâu.
Dữ liệu sai còn nguy hiểm hơn không có dữ liệu, vì nó dẫn tới quyết định sai mà ai cũng tưởng là đúng. Chất lượng dữ liệu được đo theo nhiều chiều (dimension) — mỗi chiều trả lời một câu hỏi khác nhau:
| Chiều | Ý nghĩa | Ví dụ vi phạm |
|---|---|---|
| Accuracy (chính xác) | Giá trị có phản ánh đúng thực tế không | Số dư tài khoản ghi 5 triệu nhưng thực tế là 50 triệu |
| Completeness (đầy đủ) | Có thiếu giá trị/bản ghi cần thiết không | 30% khách hàng thiếu email |
| Consistency (nhất quán) | Cùng một thực thể có khớp nhau giữa các hệ thống không | Tên khách ở CRM khác với ở hệ thống billing |
| Timeliness (kịp thời) | Dữ liệu có mới đủ để dùng không | Báo cáo "real-time" nhưng dữ liệu trễ 2 ngày |
| Uniqueness (duy nhất) | Có bị trùng lặp bản ghi không | Một khách hàng xuất hiện 3 lần với 3 ID khác nhau |
| Validity (hợp lệ) | Giá trị có tuân theo định dạng/ràng buộc không | Trường tuổi mang giá trị âm; email không có ký tự @ |
Quy trình quản trị chất lượng thường gồm ba bước: profiling (khám phá đặc tính dữ liệu để hiểu hiện trạng), monitoring (chạy các kiểm tra định kỳ theo các chiều trên), và alerting (cảnh báo khi vượt ngưỡng để xử lý kịp thời, thay vì để dữ liệu xấu lặng lẽ trôi vào báo cáo).
Công cụ tiêu biểu: Great Expectations (khai báo "kỳ vọng" về dữ liệu), Soda (kiểm tra qua SodaCL/SQL), dbt tests (test ngay trong pipeline transform), Deequ (thư viện của AWS chạy trên Spark cho dữ liệu lớn).
Master Data là các thực thể nghiệp vụ cốt lõi dùng chung khắp doanh nghiệp — khách hàng, sản phẩm, nhà cung cấp, nhân viên. Vấn đề kinh điển: cùng một khách hàng tồn tại trong CRM, hệ thống billing và kho khác nhau, mỗi nơi một bản ghi hơi lệch. MDM giải quyết bằng cách tạo ra golden record — bản ghi "vàng" hợp nhất, sạch, đáng tin, đóng vai trò nguồn sự thật duy nhất cho thực thể đó.
Để có golden record, MDM thực hiện matching & deduplication (khử trùng lặp): nhận diện các bản ghi thực ra là cùng một thực thể (dù tên viết khác, địa chỉ lệch) rồi gộp lại theo quy tắc ưu tiên nguồn nào, trường nào.
Reference Data là tập giá trị chuẩn hoá, ít thay đổi, dùng để phân loại và đối chiếu — ví dụ mã quốc gia (VN, US...), mã tiền tệ, mã ngành nghề, danh mục đơn vị hành chính. Quản trị reference data tập trung giúp mọi hệ thống "nói cùng một ngôn ngữ" khi join và báo cáo.
Governance không chỉ là tổ chức dữ liệu mà còn là bảo vệ nó. Về mặt công nghệ, có nhiều lớp kiểm soát hoạt động cùng nhau.
Access control — kiểm soát ai được truy cập cái gì. Hai mô hình phổ biến:
| Tiêu chí | RBAC (Role-Based) | ABAC (Attribute-Based) |
|---|---|---|
| Quyết định dựa trên | Vai trò của người dùng (analyst, admin...) | Thuộc tính của người dùng, dữ liệu và ngữ cảnh |
| Ví dụ quy tắc | "Vai trò Analyst được đọc bảng sales" | "Cho đọc nếu phòng = phòng của bản ghi VÀ giờ làm việc" |
| Ưu điểm | Đơn giản, dễ quản lý, dễ audit | Linh hoạt, kiểm soát mịn, hợp tình huống phức tạp |
| Nhược điểm | Bùng nổ số lượng role khi nhu cầu phức tạp | Khó thiết kế và bảo trì chính sách |
Các kỹ thuật bảo vệ khác:
****1234 thay cho số thẻ đầy đủ), để người không đủ quyền vẫn dùng được dữ liệu mà không thấy giá trị thật.Chính sách chỉ có giá trị khi được thực thi tự động, chứ không nằm yên trong tài liệu. Công nghệ giúp biến policy thành code và cài cắm vào pipeline để chặn vi phạm ngay khi nó xảy ra.
Data Observability mượn tư duy từ giám sát hệ thống (system monitoring) áp vào dữ liệu: liên tục theo dõi "sức khoẻ" của các tập dữ liệu để phát hiện sự cố trước khi người dùng phàn nàn. Các trụ cột giám sát:
| Tín hiệu | Theo dõi điều gì | Ví dụ bất thường |
|---|---|---|
| Freshness | Dữ liệu có được cập nhật đúng lịch không | Bảng lẽ ra cập nhật mỗi giờ nhưng đã 6 tiếng chưa có dữ liệu mới |
| Volume | Số lượng bản ghi có ổn định không | Hôm nay chỉ nạp 1.000 dòng trong khi thường ngày là 1 triệu |
| Schema drift | Cấu trúc có bị thay đổi ngoài ý muốn không | Một cột bị xoá hoặc đổi kiểu mà không báo trước |
| Anomaly | Giá trị có lệch bất thường so với quá khứ không | Doanh thu trung bình đột nhiên tăng/giảm gấp 10 lần |
Observability khác Data Quality ở chỗ: quality kiểm tra theo luật do người định nghĩa, còn observability thiên về phát hiện bất thường tự động trên toàn bộ dữ liệu, kể cả những lỗi chưa ai nghĩ tới để viết luật.
| Năng lực governance | Công cụ tiêu biểu |
|---|---|
| Data Catalog & Metadata | OpenMetadata, DataHub, Collibra, Alation, Amundsen |
| Data Lineage | OpenMetadata, DataHub, Marquez (OpenLineage), Collibra |
| Data Quality | Great Expectations, Soda, dbt tests, Deequ |
| Master & Reference Data (MDM) | Informatica MDM, Reltio, Profisee, Semarchy |
| Security & Privacy | Apache Ranger, Immuta, Privacera, BigID |
| Policy Enforcement & Data Contracts | Open Policy Agent (OPA), dbt, Data Contract specs, schema registry |
| Observability | Monte Carlo, Soda, Bigeye, Elementary |
OpenMetadata đóng vai trò catalog & lineage trung tâm; Kafka (cdc-lab) là xương sống truyền dữ liệu thời gian thực; Airflow điều phối các luồng ingest và chèn các bước kiểm tra chất lượng vào pipeline; còn Oracle / MySQL là các hệ nguồn được CDC/ETL đưa vào. Ghép lại, đây chính là một bộ khung governance thu nhỏ: nguồn → vận chuyển → điều phối + kiểm soát chất lượng → đăng ký metadata & lineage.