Deep Learning

Đơn vị cơ bản là neuron (perceptron): nó nhận các đầu vào x₁..xₙ, nhân với weights w₁..wₙ, cộng thêm bias b, rồi cho qua một hàm kích hoạt phi tuyến:

z = w₁x₁ + w₂x₂ + ... + wₙxₙ + b   = wᵀx + b
a = activation(z)                  # đầu ra của neuron

Một perceptron đơn lẻ chỉ vẽ được ranh giới tuyến tính (không giải nổi bài toán XOR). Xếp nhiều neuron thành lớp (layer), rồi chồng nhiều lớp lại thành Multi-Layer Perceptron (MLP) — với các hidden layer ở giữa — thì mạng có thể xấp xỉ gần như mọi hàm (universal approximation). Weights và bias chính là tham số học được; huấn luyện là quá trình điều chỉnh chúng để giảm loss.

• Input layer: nhận vector đặc trưng đầu vào.
• Hidden layers: các lớp trung gian học biểu diễn ngày càng trừu tượng.
• Output layer: cho kết quả — 1 neuron + sigmoid (nhị phân), k neuron + softmax (đa lớp), 1 neuron tuyến tính (hồi quy).

Nếu không có phi tuyến, chồng bao nhiêu lớp tuyến tính lại vẫn chỉ ra một hàm tuyến tính. Activation phi tuyến là thứ cho mạng khả năng học quan hệ phức tạp.

Forward pass: đưa dữ liệu qua mạng từ input tới output để ra dự đoán ŷ. Sau đó tính loss đo sai lệch giữa ŷ và nhãn thật:

Hồi quy      : MSE = mean((y - ŷ)²)
Phân loại    : Cross-entropy = -Σ yᵢ log(ŷᵢ)

Backpropagation dùng quy tắc chuỗi (chain rule) để tính gradient của loss theo từng weight, lan truyền ngược từ output về input. Gradient descent rồi cập nhật weight ngược hướng gradient:

w ← w - η * ∂Loss/∂w          # η (eta) = learning rate

• Learning rate (η): quá lớn → phân kỳ/dao động; quá nhỏ → học chậm. Siêu tham số quan trọng nhất; thường kèm scheduler giảm dần.
• Batch: số mẫu dùng cho một lần cập nhật weight. Mini-batch (32, 64, 128...) là cân bằng giữa tốc độ và độ ổn định của gradient.
• Epoch: một lần duyệt qua toàn bộ tập train. Huấn luyện thường cần nhiều epoch.
• Iteration: một lần cập nhật = một batch. Số iteration mỗi epoch = ⌈N / batch_size⌉.

Mạng sâu có hàng triệu tham số nên rất dễ overfit. Các kỹ thuật thường được dùng chồng lên nhau:

Convolutional Neural Network (CNN) khai thác cấu trúc không gian của ảnh. Thay vì nối mọi pixel với mọi neuron, nó trượt các filter/kernel nhỏ (vd 3×3) trên ảnh:

• Convolution: mỗi filter trượt khắp ảnh, tính tích chập → tạo một feature map làm nổi bật một mẫu (cạnh, góc, texture). Weights của filter được chia sẻ (weight sharing) → ít tham số hơn nhiều.
• Filter/kernel: ma trận trọng số nhỏ học được; nhiều filter mỗi lớp → nhiều feature map.
• Pooling (max/average): giảm kích thước không gian, giữ đặc trưng mạnh nhất → giảm tính toán và tăng bất biến vị trí.
• Feature maps: lớp đầu bắt cạnh/màu, lớp sâu hơn ghép thành hình dạng rồi thành vật thể; cuối cùng flatten + dense để phân loại.

Các kiến trúc tiêu biểu theo dòng thời gian:

Recurrent Neural Network (RNN) xử lý dữ liệu tuần tự (văn bản, chuỗi thời gian) bằng cách duy trì một hidden state mang thông tin từ các bước trước. Nhưng RNN thuần gặp vanishing gradient khi chuỗi dài → quên phụ thuộc xa.

• LSTM: thêm cơ chế cell state và các cổng (forget/input/output gate) để giữ và quên thông tin có chọn lọc → học được phụ thuộc dài.
• GRU: phiên bản gọn hơn LSTM (2 cổng), ít tham số, thường nhanh và hiệu quả tương đương.

Transformer (2017, "Attention is All You Need") loại bỏ tính tuần tự của RNN, thay bằng cơ chế self-attention: mỗi token trực tiếp "chú ý" tới mọi token khác và cân trọng số mức liên quan. Ưu thế then chốt:

Embedding biến đối tượng rời rạc (từ, sản phẩm, user) thành vector số thực dày đặc (vd 128–768 chiều), sao cho các đối tượng tương tự nằm gần nhau trong không gian. Thay cho one-hot thưa và không mang ngữ nghĩa, embedding học được quan hệ: kinh điển vua − đàn ông + phụ nữ ≈ hoàng hậu. Word2Vec/GloVe là embedding tĩnh; các mô hình Transformer cho embedding theo ngữ cảnh. Chúng là đầu vào cho hầu hết bài toán NLP và cả hệ gợi ý.

# Lớp embedding trong Keras: vocab 10000 -> vector 128 chiều
from tensorflow.keras.layers import Embedding
emb = Embedding(input_dim=10000, output_dim=128)

# MLP phân loại nhị phân với Keras Sequential
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout

model = Sequential([
    Dense(64, activation="relu", input_shape=(n_features,)),
    Dropout(0.3),
    Dense(32, activation="relu"),
    Dense(1,  activation="sigmoid")   # xác suất lớp dương
])

model.compile(optimizer="adam",
              loss="binary_crossentropy",
              metrics=["accuracy"])

from tensorflow.keras.callbacks import EarlyStopping
es = EarlyStopping(monitor="val_loss", patience=5,
                   restore_best_weights=True)

model.fit(X_train, y_train, validation_split=0.2,
          epochs=100, batch_size=32, callbacks=[es])