Data Storage & Operations (Lưu trữ & Vận hành dữ liệu) là Vùng kiến thức thứ tư của DAMA-DMBOK2, bao trùm thiết kế, cài đặt và hỗ trợ dữ liệu đã lưu trữ nhằm tối đa hoá giá trị của nó xuyên suốt vòng đời — từ khi tạo lập/thu nhận đến khi loại bỏ. Vùng này gồm hai hoạt động con lớn: Database Support (hỗ trợ toàn vòng đời CSDL vận hành) và Database Technology Support (chọn và quản lý công nghệ CSDL). Đây là hoạt động kỹ thuật do DBA và đội Data Operations đảm nhiệm để đảm bảo dữ liệu luôn sẵn sàng, an toàn, đúng hiệu năng.
Định nghĩa (DMBOK2): Data Storage & Operations là việc thiết kế, cài đặt (implementation) và hỗ trợ dữ liệu đã lưu trữ để tối đa giá trị của dữ liệu. Hoạt động này bao gồm cả quản lý dữ liệu vận hành (operational data) trong toàn bộ vòng đời của nó, từ lập kế hoạch đến loại bỏ.
Vùng này thiên về kỹ thuật (technical) nhiều hơn các Vùng kiến thức khác. Nó có hai nhánh chính:
| Mục tiêu | Diễn giải |
|---|---|
| Quản lý tính khả dụng (availability) | Đảm bảo dữ liệu và CSDL luôn sẵn sàng phục vụ, đúng SLA về uptime. |
| Bảo vệ toàn vẹn tài sản dữ liệu | Bảo toàn tính toàn vẹn (integrity) của dữ liệu qua sao lưu, phục hồi, kiểm soát vận hành. |
| Quản lý hiệu năng của giao dịch dữ liệu | Giám sát và tinh chỉnh để giao dịch dữ liệu chạy đúng kỳ vọng về tốc độ và thông lượng. |
Các động lực kinh doanh chính thúc đẩy đầu tư vào Data Storage & Operations theo DMBOK2:
| Khái niệm | Ý nghĩa |
|---|---|
| Database (CSDL) | Tập hợp dữ liệu có tổ chức, lưu trữ và truy cập điện tử. Được quản lý bởi một DBMS. |
| DBMS | Database Management System — phần mềm quản lý CSDL (Oracle, SQL Server, PostgreSQL, MongoDB...). |
| Instance | Một bản chạy (running copy) của phần mềm CSDL. Một máy chủ có thể chạy nhiều instance; mỗi instance quản lý một hoặc nhiều database. |
| Storage environment | Môi trường lưu trữ tách biệt: Development, Test/QA, Production (và đôi khi Sandbox, Staging). |
| ACID | Atomicity, Consistency, Isolation, Durability — bốn tính chất bảo đảm giao dịch tin cậy trong CSDL quan hệ. |
| BASE | Basically Available, Soft state, Eventual consistency — mô hình nhất quán "mềm" của nhiều hệ NoSQL, ưu tiên khả dụng và mở rộng. |
| CAP Theorem | Trong hệ phân tán chỉ đạt tối đa 2/3: Consistency, Availability, Partition tolerance. Cơ sở để chọn kiểu CSDL phân tán. |
| Backup / Recovery | Sao lưu dữ liệu và khôi phục khi có sự cố; nền tảng của bảo vệ dữ liệu. |
| Replication | Nhân bản dữ liệu sang nhiều node/địa điểm để tăng khả dụng và phân tải đọc. |
| High Availability (HA) | Kiến trúc giảm thiểu downtime: failover, clustering, standby. |
| Archiving | Chuyển dữ liệu ít dùng sang lưu trữ chi phí thấp nhưng vẫn truy xuất được khi cần. |
| Data Lifecycle | Vòng đời dữ liệu: Plan → Create/Obtain → Store & Maintain → Use → Enhance → Archive → Dispose. |
DMBOK2 phân biệt nhiều loại CSDL để chọn công nghệ phù hợp với bài toán lưu trữ:
| Loại CSDL | Đặc điểm & trường hợp dùng | Ví dụ |
|---|---|---|
| Relational (quan hệ) | Dữ liệu tổ chức thành bảng có quan hệ, dùng SQL, đảm bảo ACID. Phù hợp OLTP, dữ liệu có cấu trúc, ràng buộc chặt. | Oracle, SQL Server, MySQL, PostgreSQL |
| Hierarchical (phân cấp) | Dữ liệu dạng cây cha-con; một trong các mô hình CSDL cổ nhất. Truy vấn theo đường dẫn. | IMS, cấu trúc XML, LDAP |
| Columnar (cột) | Lưu dữ liệu theo cột thay vì theo hàng; tối ưu cho phân tích/aggregation trên tập lớn (OLAP), nén tốt. | Cassandra, HBase, Vertica, Amazon Redshift |
| In-memory | Lưu dữ liệu trong RAM để đạt tốc độ cực cao; dùng cho phân tích real-time, caching. | SAP HANA, Redis, Oracle TimesTen |
| NoSQL – Key-Value | Lưu cặp khoá-giá trị đơn giản, cực nhanh; caching, session store. | Redis, DynamoDB, Riak |
| NoSQL – Document | Lưu tài liệu JSON/BSON linh hoạt schema; phù hợp dữ liệu bán cấu trúc. | MongoDB, Couchbase |
| NoSQL – Column-family | Nhóm cột theo họ (column family), mở rộng ngang tốt cho khối lượng lớn. | Cassandra, HBase |
| NoSQL – Graph | Lưu node & quan hệ (edge); tối ưu truy vấn mạng lưới, đề xuất, gian lận. | Neo4j, Amazon Neptune |
Sơ đồ ngữ cảnh (Context Diagram) của DMBOK2 mô tả đầu vào, hoạt động và đầu ra của Vùng Data Storage & Operations, cùng các bên liên quan.
| Thành phần | Nội dung |
|---|---|
| Inputs (Đầu vào) | Yêu cầu quản lý dữ liệu & CSDL; mô hình dữ liệu (từ KA3 Data Modeling); kiến trúc dữ liệu; chuẩn công nghệ; SLA; yêu cầu bảo mật. |
| Activities (Hoạt động) |
A. Manage Database Technology: hiểu nhu cầu công nghệ, định nghĩa yêu cầu, đánh giá & chọn công nghệ, quản lý & giám sát công nghệ. B. Manage Databases: hiểu yêu cầu, lập kế hoạch bảo vệ dữ liệu, cài đặt CSDL (implement), sao lưu & phục hồi, thiết lập môi trường, quản lý hiệu năng & capacity, quản lý vòng đời dữ liệu. |
| Deliverables (Đầu ra) | Chiến lược lưu trữ dữ liệu; CSDL vận hành; môi trường lưu trữ (dev/test/prod); công nghệ CSDL được cài đặt; kế hoạch backup/recovery; báo cáo hiệu năng & capacity; SLA vận hành. |
| Suppliers (Nhà cung cấp) | Data Architects, Data Modelers, Software Developers, Data Governance, nhà cung cấp công nghệ (vendors), IT Infrastructure. |
| Participants (Người tham gia) | DBA (Production/Application/Development/Procedural), Data Operations staff, Network/Storage admins, Data Security team. |
| Consumers (Người tiêu dùng) | Application Developers, Data Analysts, Data Scientists, Business Users, các Vùng kiến thức khác (Integration, Warehousing, BI). |
| Tools | DBMS, công cụ giám sát, backup tools, công cụ mô hình hoá, virtualization/cloud platforms. |
| Techniques | Đặt tên chuẩn (naming standards), scripting, tự động hoá, monitoring dựa trên ngưỡng. |
Tổ chức duy trì nhiều storage environment tách biệt để cô lập rủi ro giữa phát triển và vận hành thực tế:
| Môi trường | Mục đích |
|---|---|
| Development | Nơi developer xây dựng & thử nghiệm thay đổi schema, code. Dữ liệu thường là dữ liệu mẫu/ẩn danh. |
| Test / QA | Kiểm thử tích hợp, hiệu năng, UAT trước khi lên production. Cấu hình gần giống production. |
| Sandbox / Experimental | Môi trường "cát" cho phân tích thăm dò, thử nghiệm, thường do người dùng nghiệp vụ/analyst kiểm soát chứ không phải IT vận hành chuẩn. |
| Production | Môi trường "thật" phục vụ nghiệp vụ. Ưu tiên cao nhất về khả dụng, bảo mật, hiệu năng; thay đổi phải qua change management. |
Về mặt kỹ thuật, DMBOK2 phân biệt instance (bản chạy phần mềm CSDL) và database (tập dữ liệu do instance quản lý). Một máy chủ có thể có nhiều instance phục vụ các môi trường/ứng dụng khác nhau.
DMBOK2 phân loại DBA (Database Administrator) theo trọng tâm công việc:
| Vai trò | Trách nhiệm |
|---|---|
| Production DBA | Trung tâm của Data Operations: đảm bảo tính khả dụng, hiệu năng & toàn vẹn của CSDL production. Lo backup/recovery, HA, giám sát, tinh chỉnh, khắc phục sự cố. |
| Application DBA | Chịu trách nhiệm về một hoặc nhiều CSDL gắn với ứng dụng cụ thể; hiểu sâu mô hình dữ liệu & nhu cầu ứng dụng, phối hợp chặt với đội phát triển. |
| Procedural DBA | Chuyên về code chạy trong CSDL: stored procedures, triggers, functions; đảm bảo chất lượng & hiệu năng của business logic phía DB. |
| Development DBA | Tập trung vào thiết kế & xây dựng CSDL trong giai đoạn phát triển: mô hình hoá vật lý, tối ưu schema, chuẩn hoá thiết kế trước khi bàn giao cho production. |
| NSA / Network Storage Administrator | Quản lý hạ tầng lưu trữ vật lý (SAN/NAS), dung lượng đĩa, hỗ trợ DBA. |
| Data Operations staff | Vận hành hằng ngày: lịch backup, job, giám sát, xử lý ticket vận hành. |
| Nhóm | Ví dụ & mô tả |
|---|---|
| DBMS | Oracle, SQL Server, DB2, PostgreSQL, MySQL (relational); MongoDB, Cassandra, Redis, Neo4j (NoSQL). |
| Backup / Recovery tools | Công cụ sao lưu, snapshot, point-in-time recovery; kiểm thử phục hồi định kỳ. |
| Monitoring / Alerting | Công cụ giám sát hiệu năng, tình trạng CSDL, cảnh báo theo ngưỡng (uptime, latency, dung lượng). |
| Data modeling & admin tools | Công cụ quản trị CSDL, quản lý schema, sinh script DDL. |
| Virtualization & Cloud | Nền tảng ảo hoá & cloud (DBaaS) giúp cấp phát, mở rộng, HA linh hoạt. |
Kỹ thuật chính:
| Cơ chế | Diễn giải |
|---|---|
| Backup & Recovery | Sao lưu định kỳ (full/incremental/differential) và khả năng khôi phục. Cần định nghĩa RPO (Recovery Point Objective – mất tối đa bao nhiêu dữ liệu) và RTO (Recovery Time Objective – khôi phục trong bao lâu). |
| Replication | Nhân bản dữ liệu (đồng bộ/bất đồng bộ) sang node/site khác để tăng khả dụng & phân tải đọc. |
| High Availability | Clustering, failover, standby database để giảm downtime; đáp ứng SLA uptime cao. |
| Disaster Recovery (DR) | Kế hoạch khôi phục sau thảm hoạ diện rộng, thường ở site địa lý khác. |
| Archiving & Retention | Chuyển dữ liệu cũ sang lưu trữ rẻ hơn theo chính sách retention; đảm bảo tuân thủ và giảm tải hệ thống chính. |
| Purging / Disposal | Loại bỏ dữ liệu hết vòng đời một cách an toàn theo chính sách. |
Vòng đời dữ liệu (Data Lifecycle) mà Storage & Operations hỗ trợ:
Plan → Create/Obtain → Store & Maintain → Use → Enhance → Archive → Dispose
Performance & Capacity: DBA giám sát và tinh chỉnh hiệu năng (indexing, tối ưu query, quản lý bộ nhớ & I/O) đồng thời lập kế hoạch dung lượng (capacity planning) để dự báo tăng trưởng dữ liệu và chủ động mở rộng lưu trữ trước khi cạn.
| Nhóm metric | Ví dụ chỉ số |
|---|---|
| Availability | Uptime %, số/độ dài downtime, tuân thủ SLA. |
| Performance | Thời gian phản hồi truy vấn, thông lượng giao dịch (transactions/s), latency, tỉ lệ cache hit. |
| Capacity | Mức sử dụng dung lượng lưu trữ, tốc độ tăng trưởng dữ liệu, dự báo cạn dung lượng. |
| Recovery | Tỉ lệ backup thành công, thời gian phục hồi thực tế so với RTO, RPO đạt được. |
| Operations | Số incident/sự cố CSDL, thời gian giải quyết, số thay đổi schema thành công. |
Best practices: