Lab Docker

OpenMetadata phát hành sẵn một bộ docker-compose gồm tất cả thành phần cần thiết: MySQL, Elasticsearch, server và ingestion (Airflow). Các bước:

• Cài Docker (Docker Desktop) và bật lên. OpenMetadata khá nặng — khuyến nghị cấp cho Docker tối thiểu 6GB RAM (8GB thì mượt hơn).
• Tạo thư mục và tải file docker-compose.yml từ release chính thức của OpenMetadata.
• Khởi động bằng docker compose up -d.
• Đợi các service (mysql, elasticsearch, server, ingestion) lên hết — lần đầu hơi lâu.
• Mở http://localhost:8585 và đăng nhập.

# 1. tạo thư mục cho lab
mkdir openmetadata-docker && cd openmetadata-docker

# 2. tải docker-compose.yml từ release chính thức (đổi tag phiên bản nếu cần)
curl -sL "https://github.com/open-metadata/OpenMetadata/releases/latest/download/docker-compose.yml" -o docker-compose.yml

# 3. khởi động toàn bộ stack
docker compose up -d

# 4. theo dõi log tới khi server sẵn sàng
docker compose logs -f openmetadata_server

Sau khi vào được UI, thêm một Database Service trỏ tới một DB thật (ví dụ MySQL trong cdc-lab) rồi chạy ingestion:

• Vào Settings → Services → Databases → Add New Service.
• Chọn loại MySQL, đặt tên service (vd cdc_mysql).
• Nhập thông tin kết nối: host/port, username, password, schema. Bấm Test Connection.
• Tạo Metadata Ingestion pipeline, đặt lịch (hoặc chạy ngay - Run).
• Sau khi pipeline xong, vào Explore để thấy danh sách bảng đã được catalog.
• (Tùy chọn) Thêm Profiler và Lineage ingestion để có thống kê cột và đồ thị luồng dữ liệu.

• Ingest 1 Database + 1 Kafka: thêm service MySQL/Oracle của cdc-lab và một service Kafka, chạy ingestion để thấy cả bảng lẫn topic trong cùng catalog.
• Gắn tag PII: mở một bảng có cột nhạy cảm (vd email, phone), gắn tag PII.Sensitive cho cột đó.
• Tạo 1 data quality test: thêm test not null hoặc unique cho một cột khóa, chạy thử và xem kết quả pass/fail trên trang bảng.