Ingestion & Lineage

Ingestion là quá trình OpenMetadata kết nối tới một hệ thống nguồn (database, Kafka, Airflow, BI...) và thu thập metadata về để đưa vào catalog. Ingestion không sao chép dữ liệu thật — nó chỉ lấy thông tin mô tả: tên bảng/cột, kiểu dữ liệu, thống kê, một ít sample data, query log...

Mỗi loại nguồn dùng một connector tương ứng. OpenMetadata có sẵn hàng chục connector, chia thành các nhóm:

Có hai cách thiết lập một luồng ingestion:

• Qua UI: vào Settings → Services, bấm Add New Service → chọn loại nguồn → nhập thông tin kết nối (host, user, password) → tạo Ingestion Pipeline và đặt lịch (vd chạy mỗi đêm). OpenMetadata chạy nó bằng Airflow phía sau.
• Qua YAML + CLI: viết một file cấu hình YAML mô tả nguồn và đích, rồi chạy bằng package metadata (Python). Cách này hợp cho CI/CD và quản lý cấu hình bằng Git.

Một file YAML ingestion mẫu cho MySQL:

# mysql.yaml — cấu hình ingest metadata từ MySQL
source:
  type: mysql
  serviceName: cdc_mysql
  serviceConnection:
    config:
      type: Mysql
      username: root
      authType:
        password: rootpass
      hostPort: mysql:3306
      databaseSchema: appdb
  sourceConfig:
    config:
      type: DatabaseMetadata
      # bật lấy thêm sample data & view
      includeViews: true
sink:
  type: metadata-rest
  config: {}
workflowConfig:
  openMetadataServerConfig:
    hostPort: http://localhost:8585/api
    authProvider: openmetadata
    securityConfig:
      jwtToken: <ingestion-bot-token>

Chạy luồng ingestion bằng CLI:

# cài CLI (một lần)
pip install "openmetadata-ingestion[mysql]"

# chạy ingest theo file cấu hình
metadata ingest -c mysql.yaml

Profiler và query usage thường được bật như những luồng ingestion riêng, đặt lịch chạy định kỳ.

Lineage mô tả đường đi của dữ liệu: bảng đích được sinh ra từ những bảng nguồn nào, qua pipeline nào, rồi cấp dữ liệu cho dashboard nào. OpenMetadata dựng lineage theo 3 cách:

• Từ query log: phân tích các câu INSERT ... SELECT, CREATE TABLE AS... để suy ra bảng nào sinh ra từ bảng nào.
• Từ Airflow DAG / dbt: đọc định nghĩa pipeline để biết task nào đọc bảng nào và ghi ra bảng nào.
• Khai báo tay: người dùng tự nối lineage trên UI hoặc qua API khi không tự suy ra được.

Column-level lineage đi xa hơn lineage cấp bảng: nó cho biết cột đích nào được tính từ cột nguồn nào. Ví dụ cột total_revenue ở bảng báo cáo được tính từ cột amount của bảng orders — rất quan trọng cho impact analysis khi đổi schema.