Thống kê là "ngôn ngữ" của Data Science: nó cho phép ta mô tả dữ liệu, lượng hoá độ bất định, suy luận từ mẫu ra tổng thể và ra quyết định có căn cứ. Bài này đi từ thống kê mô tả, xác suất và định lý Bayes, các phân phối quan trọng, CLT & luật số lớn, ước lượng khoảng tin cậy, kiểm định giả thuyết (hiểu ĐÚNG p-value), A/B testing, tới tương quan & nhân quả.
Thống kê mô tả tóm tắt một tập dữ liệu qua các đại lượng đo xu hướng trung tâm (central tendency) và đo độ phân tán (dispersion). Gọi mẫu gồm n giá trị x₁, x₂, …, xₙ.
Xu hướng trung tâm:
x̄ = (Σ xᵢ) / n. Nhạy với giá trị ngoại lai (outlier): một giá trị cực lớn kéo mean đi xa.(n+1)/2; n chẵn là trung bình hai phần tử giữa. Bền vững (robust) với outlier.mode < median < mean; lệch trái thì ngược lại. Với thu nhập/giá nhà (lệch mạnh), median phản ánh "người điển hình" tốt hơn mean.Độ phân tán:
| Đại lượng | Công thức | Ý nghĩa |
|---|---|---|
| Phương sai tổng thể (σ²) | σ² = (1/N) Σ (xᵢ − μ)² | Trung bình bình phương độ lệch so với mean tổng thể μ. |
| Phương sai mẫu (s²) | s² = (1/(n−1)) Σ (xᵢ − x̄)² | Chia cho n−1 (Bessel's correction) để ước lượng không chệch σ². |
| Độ lệch chuẩn (std) | s = √s² | Cùng đơn vị với dữ liệu → dễ diễn giải hơn phương sai. |
| Range | max − min | Rất nhạy với outlier. |
| Hệ số biến thiên (CV) | CV = s / x̄ | Độ phân tán tương đối, không đơn vị → so sánh giữa các thang đo khác nhau. |
Tứ phân vị (Quartile) & IQR: Sắp xếp dữ liệu rồi chia làm 4 phần. Q1 = phân vị 25%, Q2 = median (50%), Q3 = 75%. IQR (Interquartile Range) = Q3 − Q1 chứa 50% dữ liệu ở giữa, rất robust. Quy tắc phát hiện outlier: điểm nằm ngoài khoảng [Q1 − 1.5·IQR, Q3 + 1.5·IQR] (dùng trong boxplot).
Skewness (độ lệch) đo tính bất đối xứng. > 0: đuôi dài bên phải (right-skewed, vd thu nhập). < 0: đuôi dài bên trái. ≈ 0: đối xứng. Công thức mẫu: g₁ = (1/n) Σ ((xᵢ − x̄)/s)³.
Kurtosis (độ nhọn) đo độ "nặng" của đuôi. = (1/n) Σ ((xᵢ − x̄)/s)⁴. Phân phối chuẩn có kurtosis = 3; excess kurtosis = kurtosis − 3. Đuôi nặng (leptokurtic, excess > 0) → nhiều outlier hơn kỳ vọng; đuôi nhẹ (platykurtic, < 0).
Không gian mẫu (sample space) Ω là tập mọi kết quả có thể; một biến cố (event) A là tập con của Ω. Xác suất P(A) ∈ [0, 1], với P(Ω) = 1.
| Quy tắc | Công thức |
|---|---|
| Phần bù | P(Aᶜ) = 1 − P(A) |
| Cộng (union) | P(A ∪ B) = P(A) + P(B) − P(A ∩ B) |
| Nhân (độc lập) | Nếu A, B độc lập: P(A ∩ B) = P(A)·P(B) |
| Xác suất có điều kiện | P(A|B) = P(A ∩ B) / P(B), với P(B) > 0 |
Độc lập nghĩa là P(A|B) = P(A): biết B xảy ra không thay đổi khả năng của A. Đừng nhầm với xung khắc/loại trừ (mutually exclusive) — hai biến cố không thể cùng xảy ra (P(A ∩ B) = 0), đó lại là phụ thuộc.
Định lý Bayes đảo ngược điều kiện — nền tảng của suy luận từ dữ liệu:
# posterior = (likelihood × prior) / evidence P(A|B) = P(B|A) · P(A) / P(B) # dạng đầy đủ với công thức xác suất toàn phần: P(B) = P(B|A)·P(A) + P(B|Aᶜ)·P(Aᶜ)
Ví dụ kinh điển (nghịch lý xét nghiệm): Một bệnh có tỷ lệ mắc thật P(Bệnh) = 1%. Xét nghiệm có độ nhạy (sensitivity) P(+|Bệnh) = 99% và tỷ lệ dương tính giả P(+|Không bệnh) = 5%. Nếu bạn xét nghiệm dương tính, xác suất bạn thực sự mắc bệnh là bao nhiêu?
P(+) = 0.99×0.01 + 0.05×0.99 = 0.0099 + 0.0495 = 0.0594
P(Bệnh | +) = (0.99 × 0.01) / 0.0594 ≈ 0.0099 / 0.0594 ≈ 16.7%
Một phân phối (distribution) mô tả xác suất của các giá trị mà một biến ngẫu nhiên có thể nhận. Biến rời rạc dùng PMF (hàm khối xác suất), biến liên tục dùng PDF (hàm mật độ).
| Phân phối | Loại | Tham số | Mean / Variance | Khi nào gặp |
|---|---|---|---|---|
| Bernoulli | Rời rạc | p (xác suất thành công) | μ=p, σ²=p(1−p) | Một phép thử nhị phân: tung đồng xu, click hay không click. |
| Binomial | Rời rạc | n, p | μ=np, σ²=np(1−p) | Số lần thành công trong n phép thử Bernoulli độc lập: số click trong 100 lượt xem. |
| Poisson | Rời rạc | λ (tần suất trung bình) | μ=λ, σ²=λ | Số sự kiện hiếm trong 1 khoảng thời gian/không gian cố định: số request/giây, số lỗi/ngày. |
| Uniform | Liên tục | a, b (biên) | μ=(a+b)/2, σ²=(b−a)²/12 | Mọi giá trị trong [a,b] khả năng như nhau: bộ sinh số ngẫu nhiên. |
| Normal (Gaussian) | Liên tục | μ, σ² | μ, σ² | Chiều cao, sai số đo, trung bình mẫu (nhờ CLT). "Hình chuông" đối xứng. |
| Exponential | Liên tục | λ (rate) | μ=1/λ, σ²=1/λ² | Thời gian chờ giữa hai sự kiện Poisson: thời gian tới request kế tiếp, tuổi thọ linh kiện. |
Phân phối chuẩn có quy tắc 68–95–99.7 (empirical rule): ~68% dữ liệu nằm trong μ ± 1σ, ~95% trong μ ± 2σ, ~99.7% trong μ ± 3σ. Chuẩn hoá về z-score: z = (x − μ)/σ biến mọi Normal về Standard Normal N(0,1).
λ=np); khoảng cách giữa các sự kiện Poisson tuân theo Exponential. Hiểu các cầu nối này giúp chọn mô hình nhanh.Luật số lớn (Law of Large Numbers - LLN): khi cỡ mẫu n → ∞, trung bình mẫu x̄ hội tụ về trung bình tổng thể μ. Đây là lý do "càng nhiều dữ liệu, ước lượng càng chính xác" — nhưng LLN chỉ nói về giá trị mà x̄ tiến tới, không nói gì về hình dạng phân phối của x̄.
Định lý giới hạn trung tâm (Central Limit Theorem - CLT): lấy nhiều mẫu cỡ n từ bất kỳ tổng thể có mean μ và phương sai σ² hữu hạn, thì phân phối của trung bình mẫu tiến về phân phối chuẩn khi n đủ lớn (thường n ≥ 30):
x̄ ~ Normal( μ , σ²/n ) khi n đủ lớn Standard Error (sai số chuẩn của mean): SE = σ / √n
Điểm mấu chốt: dù dữ liệu gốc lệch hay bất thường thế nào, trung bình mẫu vẫn xấp xỉ chuẩn. Chính CLT cho phép ta dùng z-test/t-test và xây khoảng tin cậy cho mean.
√n — muốn giảm nửa sai số phải tăng cỡ mẫu gấp 4 lần. Đừng nhầm SD (độ phân tán của dữ liệu) với SE (độ phân tán của ước lượng mean); SE nhỏ hơn SD n lần.Ước lượng điểm (point estimate) đưa ra một con số duy nhất cho tham số tổng thể — vd dùng x̄ để ước lượng μ, hay tỷ lệ mẫu p̂ để ước lượng p. Nhược điểm: không cho biết độ bất định.
Khoảng tin cậy (Confidence Interval - CI) đưa ra một khoảng kèm mức tin cậy (thường 95%). Với mean, khi biết σ hoặc n lớn:
CI = x̄ ± zα/2 · (σ/√n) # z-based, n lớn / σ đã biết CI = x̄ ± tα/2, n−1 · (s/√n) # t-based, n nhỏ / σ chưa biết 95%: z ≈ 1.96 90%: z ≈ 1.645 99%: z ≈ 2.576
Ví dụ: n=100, x̄=50, s=10 → SE = 10/√100 = 1. CI 95% ≈ 50 ± 1.96×1 = [48.04, 51.96].
Khoảng rộng hơn khi: mức tin cậy cao hơn, dữ liệu phân tán hơn (s lớn), hoặc mẫu nhỏ hơn (n bé). Muốn CI hẹp → tăng n.
Quy trình chuẩn để ra quyết định thống kê từ dữ liệu:
p ≤ α → bác bỏ H₀ (kết quả "có ý nghĩa thống kê"); nếu p > α → không đủ bằng chứng bác bỏ H₀.p-value là gì (định nghĩa đúng): xác suất quan sát được kết quả cực đoan bằng hoặc hơn kết quả thực tế, với điều kiện H₀ đúng. Ký hiệu: p = P(dữ liệu cực đoan như vậy | H₀ đúng).
Hai loại sai lầm:
| H₀ thực sự đúng | H₀ thực sự sai | |
|---|---|---|
| Bác bỏ H₀ | Sai lầm loại I (α) — dương tính giả | Đúng (power = 1−β) |
| Không bác bỏ H₀ | Đúng (1−α) | Sai lầm loại II (β) — âm tính giả |
Power (lực kiểm định) = 1 − β: khả năng phát hiện hiệu ứng khi nó thực sự tồn tại. Power tăng khi: cỡ mẫu n lớn hơn, effect size lớn hơn, α cao hơn, hoặc phương sai nhỏ hơn. Chuẩn ngành thường nhắm power ≥ 0.8. Có sự đánh đổi: giảm α (khắt khe hơn với loại I) thì tăng β (dễ mắc loại II hơn).
Chọn test — "khi nào dùng":
| Test | Dùng khi | Điều kiện chính |
|---|---|---|
| z-test | So sánh mean/tỷ lệ khi biết σ hoặc n lớn (>30) | Dữ liệu ~ chuẩn hoặc n lớn; σ đã biết |
| t-test 1 mẫu | So mean của 1 nhóm với một giá trị chuẩn | σ chưa biết, dữ liệu ~ chuẩn hoặc n vừa |
| t-test 2 mẫu độc lập | So mean hai nhóm độc lập (vd A vs B) | Hai nhóm độc lập; xét Welch nếu phương sai khác nhau |
| t-test ghép cặp (paired) | So mean cùng đối tượng trước/sau (before-after) | Các quan sát ghép cặp, xét chênh lệch |
| Chi-square (χ²) | Kiểm tra liên hệ giữa hai biến phân loại (bảng chéo); goodness-of-fit | Dữ liệu đếm (count), ô kỳ vọng ≥ 5 |
| ANOVA (F-test) | So mean của ≥ 3 nhóm cùng lúc | Chuẩn, phương sai đồng nhất; nếu có ý nghĩa → post-hoc (Tukey) |
| Mann-Whitney U | So hai nhóm khi dữ liệu KHÔNG chuẩn / thứ bậc (ordinal) | Phi tham số (non-parametric); thay t-test 2 mẫu |
A/B test là một thí nghiệm ngẫu nhiên có đối chứng (RCT): chia người dùng ngẫu nhiên thành nhóm Control (A) giữ nguyên và nhóm Treatment (B) nhận thay đổi, rồi so sánh một metric mục tiêu (vd tỷ lệ chuyển đổi). Ngẫu nhiên hoá giúp cân bằng các yếu tố gây nhiễu → khác biệt quan sát được quy cho chính thay đổi.
Tương quan (correlation) đo mức độ hai biến biến thiên cùng nhau, giá trị trong [−1, 1]. Hai hệ số thường dùng:
| Pearson (r) | Spearman (ρ) | |
|---|---|---|
| Đo | Quan hệ tuyến tính | Quan hệ đơn điệu (monotonic) |
| Dựa trên | Giá trị gốc | Thứ hạng (rank) của giá trị |
| Nhạy với outlier | Có, khá nhạy | Bền vững hơn |
| Dùng khi | Dữ liệu số, quan hệ tuyến tính, ~chuẩn | Dữ liệu thứ bậc, phi tuyến đơn điệu, có outlier |
Pearson: r = cov(X,Y) / (σ_X · σ_Y). r=+1 tuyến tính dương hoàn hảo, −1 âm hoàn hảo, 0 không tuyến tính (nhưng vẫn có thể có quan hệ phi tuyến!).