Tiến hóa kiến trúc CNN

LeNet-5 do Yann LeCun và cộng sự đề xuất là một trong những mạng tích chập đầu tiên thực sự hoạt động, dùng để nhận dạng chữ số viết tay (bài toán MNIST, áp dụng vào đọc mã ZIP và séc ngân hàng). Đây là kiến trúc đặt nền móng cho toàn bộ ngành CNN về sau.

Cấu trúc của nó rất kinh điển và lặp đi lặp lại một mô-típ: conv → pool → conv → pool → các tầng fully-connected (FC). Mỗi tầng tích chập trích đặc trưng cục bộ (cạnh, nét cong), tầng pooling thu nhỏ kích thước và tăng tính bất biến vị trí, rồi các tầng FC ở cuối tổng hợp lại để phân loại.

# Sơ đồ rút gọn LeNet-5 (ảnh vào 32x32 thang xám)
Input 32x32x1
  Conv 5x5, 6 filter   # -> 28x28x6
  AvgPool 2x2          # -> 14x14x6
  Conv 5x5, 16 filter  # -> 10x10x16
  AvgPool 2x2          # -> 5x5x16
  FC 120  ->  FC 84  ->  Softmax 10  # 10 chữ số

LeNet nhỏ (chỉ khoảng 60 nghìn tham số) và dùng hàm kích hoạt tanh/sigmoid. Hạn chế của thời đó là thiếu dữ liệu lớn và sức tính toán, nên ý tưởng phải chờ hơn một thập kỷ mới bùng nổ.

AlexNet là cú hích lịch sử: nó thắng cuộc thi ImageNet 2012 với cách biệt rất lớn (giảm sai số top-5 từ ~26% xuống ~16%), bỏ xa các phương pháp thủ công truyền thống. Khoảnh khắc này được xem là điểm khởi đầu chính thức của kỷ nguyên deep learning cho thị giác máy tính.

Về bản chất AlexNet giống một LeNet "phóng to" (5 tầng conv + 3 tầng FC), nhưng tập hợp nhiều cải tiến then chốt:

• Hàm kích hoạt ReLU — \( f(x) = \max(0, x) \) — thay cho tanh/sigmoid, giúp huấn luyện nhanh hơn nhiều lần và giảm hiện tượng gradient tiêu biến ở mạng sâu.
• Dropout ở các tầng FC — ngẫu nhiên "tắt" một phần nơ-ron khi huấn luyện để chống overfitting.
• Data augmentation — lật, cắt, dịch màu ảnh để tăng đa dạng dữ liệu một cách "miễn phí".
• Huấn luyện trên GPU — tận dụng sức mạnh song song (chia mạng trên 2 GPU) để xử lý được mạng lớn trên ImageNet.
• Mạng sâu và rộng hơn hẳn so với LeNet, với khoảng 60 triệu tham số.

VGG (nhóm Visual Geometry Group, Oxford) theo đuổi một triết lý cực kỳ gọn: chỉ dùng tích chập 3×3 xếp chồng lên nhau và pooling 2×2, lặp lại đều đặn để tạo ra mạng rất sâu (VGG-16 và VGG-19 với 16–19 tầng có trọng số). VGG chứng minh một thông điệp mạnh mẽ: độ sâu là yếu tố quyết định đến chất lượng đặc trưng.

Vì sao lại là 3×3 thay vì một kernel lớn? Xếp chồng hai tầng conv 3×3 có vùng tiếp nhận (receptive field) tương đương một tầng conv 5×5, và ba tầng 3×3 tương đương một tầng 7×7 — nhưng cách dùng nhiều tầng nhỏ lại lợi hơn:

• Ít tham số hơn: với cùng số kênh \( C \) cho cả vào lẫn ra, hai tầng 3×3 cần \( 2 \times (3^2 C^2) = 18C^2 \) tham số, trong khi một tầng 5×5 cần \( 5^2 C^2 = 25C^2 \). Ít hơn khoảng 28%.
• Phi tuyến nhiều hơn: giữa hai tầng 3×3 có thêm một hàm ReLU, nên hàm học được "uốn lượn" phong phú hơn so với một tầng 5×5 duy nhất.

# Một "block" điển hình của VGG
Conv 3x3, C filter  -> ReLU
Conv 3x3, C filter  -> ReLU
MaxPool 2x2          # giảm một nửa chiều cao & rộng

Cùng năm với VGG, GoogLeNet (kiến trúc Inception) đi theo hướng ngược lại với "to và đều": thay vì ép phải chọn một kích thước kernel, nó chạy song song nhiều kích thước cùng lúc rồi ghép kết quả lại. Một Inception module gồm các nhánh:

• Conv 1×1 — bắt đặc trưng điểm và đổi số kênh.
• Conv 3×3 — đặc trưng cục bộ vừa.
• Conv 5×5 — đặc trưng vùng rộng hơn.
• Max pooling 3×3 — giữ thông tin nổi bật.

Tất cả các nhánh xử lý cùng một đầu vào rồi được nối (concatenate) theo chiều kênh, để mạng tự "chọn" tỉ lệ phù hợp ở mỗi vị trí.

Chìa khóa tiết kiệm tính toán là conv 1×1 làm "bottleneck". Trước khi đưa qua conv 3×3 hay 5×5 đắt đỏ, ta dùng conv 1×1 để giảm số chiều (số kênh) xuống trước, rồi mới tích chập. Ví dụ đầu vào có 256 kênh: đưa thẳng qua conv 5×5 ra 64 kênh tốn \( 5^2 \times 256 \times 64 \approx 410 \text{K} \) phép nhân-cộng cho mỗi vị trí; nếu chèn 1×1 hạ xuống 32 kênh trước thì chỉ còn \( (1^2\times256\times32) + (5^2\times32\times64) \approx 60 \text{K} \) — giảm gần 7 lần.

Nhờ vậy GoogLeNet sâu (22 tầng) nhưng chỉ ~5 triệu tham số — nhẹ hơn VGG cả chục lần. Nó cũng bỏ các tầng FC khổng lồ, thay bằng global average pooling (lấy trung bình mỗi bản đồ đặc trưng thành một số) ngay trước tầng phân loại, cắt giảm tham số mạnh mà vẫn giữ độ chính xác.

Sau VGG và Inception, có vẻ công thức là cứ chồng thêm tầng thì mạng càng mạnh. Nhưng thực nghiệm cho thấy điều ngược ngạc nhiên: khi đẩy độ sâu lên quá cao (vài chục tầng trở lên), độ chính xác đầu tiên bão hòa, rồi giảm xuống — và đáng nói là cả sai số trên tập huấn luyện cũng tăng.

Hai nguyên nhân chính:

• Vanishing gradient (gradient tiêu biến): khi lan truyền ngược qua rất nhiều tầng, gradient bị nhân dồn lại nhiều lần và có thể nhỏ dần về 0, khiến các tầng đầu gần như không học được gì.
• Suy thoái (degradation): bản thân việc tối ưu một mạng quá sâu trở nên khó. Về lý thuyết, mạng sâu nên ít nhất bằng mạng nông (các tầng thừa chỉ cần học ánh xạ đồng nhất), nhưng trên thực tế thuật toán tối ưu lại khó tìm được nghiệm tốt đó.

Chính bài toán này là động lực ra đời của ResNet: thay vì bắt mỗi khối học trực tiếp ánh xạ mong muốn \( H(x) \), nó để khối học phần dư (residual) \( F(x) = H(x) - x \) rồi cộng lại thành \( H(x) = F(x) + x \) thông qua một "đường tắt" (skip connection). Cách này giúp gradient đi thẳng qua được và mạng sâu hàng trăm tầng vẫn huấn luyện ổn định.