OpenMetadata

OpenMetadata Data Catalog

Nền tảng quản lý metadata mã nguồn mở — khám phá dữ liệu (data discovery), lineage, chất lượng dữ liệu và governance cho toàn bộ data stack. Một nơi duy nhất để tìm, hiểu và tin tưởng dữ liệu của cả tổ chức.

4
Bài học
Catalog
Khám phá
Lineage
Truy vết
Governance
Quản trị
Lộ trình 4 bài
Bài 1
Tổng quan OpenMetadata
Data catalog là gì và vì sao cần, OpenMetadata là gì, kiến trúc (API server, MySQL/Postgres, Elasticsearch, Ingestion, UI 8585) và các entity được quản lý.
Data CatalogKiến trúcEntity
Bài 2
Ingestion & Lineage
Connector thu metadata từ DB, Kafka, Airflow, BI. Cấu hình qua UI hoặc YAML + CLI, profiler & sample data, và cách dựng data lineage cấp cột.
ConnectorYAMLLineage
Bài 3
Tính năng chính
Data discovery & search, glossary & tags/classification (PII, Tier), data quality & profiler, ownership & teams, lineage view và activity feed.
SearchGlossaryQuality
Bài 4
Lab Docker
Chạy OpenMetadata bằng Docker Compose, mở UI 8585, thêm một Database Service của cdc-lab và chạy ingestion để nhìn thấy bảng và lineage thực tế.
Docker8585Ingestion
3 ý cốt lõi phải nhớ
Catalog = "Google cho dữ liệu"
Data catalog là công cụ tìm kiếm cho mọi dữ liệu của công ty: gõ tên là ra bảng/cột, biết ai sở hữu, chất lượng ra sao, dùng cho việc gì.
Ingestion connector tự thu metadata
Connector kết nối tới DB, Kafka, Airflow, BI... rồi tự động lấy về schema, thống kê, sample data — không phải nhập tay.
Lineage cho thấy data chảy
Lineage vẽ ra đường đi của dữ liệu từ bảng nguồn, qua pipeline, tới bảng đích và báo cáo — biết ngay đổi 1 cột thì ảnh hưởng tới đâu.