Spark SQL

Spark không tự biết DataFrame của bạn tên là gì trong câu SQL. Muốn dùng spark.sql(...), trước hết phải đăng ký DataFrame thành một view — coi như đặt cho nó một cái tên bảng để câu lệnh SQL tham chiếu tới.

# đăng ký DataFrame thành view tạm
sales.createOrReplaceTempView("sales")
customers.createOrReplaceTempView("customers")

# giờ có thể viết SQL thuần
spark.sql("""
  SELECT category, SUM(qty*unit_price) AS revenue
  FROM sales
  WHERE qty > 0
  GROUP BY category
  ORDER BY revenue DESC
""").show()

Vài điểm quan trọng về view:

• createOrReplaceTempView — view chỉ tồn tại trong phạm vi SparkSession hiện tại. Hết session là mất.
• createOrReplaceGlobalTempView — view sống ở namespace global_temp, xuyên session trong cùng application. Khi query phải gọi đầy đủ: SELECT * FROM global_temp.sales.
• spark.sql(...) luôn trả về một DataFrame, nên bạn có thể tiếp tục .filter(), .show(), hay ghi ra file như bất kỳ DataFrame nào.

Mọi thao tác trong DataFrame API đều có câu SQL tương ứng. Cả hai được Catalyst dịch về cùng một kế hoạch thực thi, nên đừng lo lắng về hiệu năng — chúng giống hệt nhau.

JOIN trong Spark SQL viết y như SQL truyền thống. Ví dụ tính doanh thu theo vùng bằng cách ghép bảng sales với customers:

spark.sql("""
  SELECT c.region, SUM(s.qty*s.unit_price) AS revenue
  FROM sales s
  JOIN customers c ON s.customer_id = c.customer_id
  GROUP BY c.region
  ORDER BY revenue DESC
""").show()

Các kiểu JOIN bạn sẽ gặp:

• INNER JOIN (mặc định) — chỉ giữ những dòng khớp ở cả hai bảng.
• LEFT JOIN — giữ toàn bộ bảng trái, bên phải không khớp thì điền NULL.
• RIGHT JOIN — ngược lại, giữ toàn bộ bảng phải.
• FULL JOIN — giữ tất cả dòng của cả hai bên, chỗ thiếu là NULL.

Khi logic dài, viết tất cả vào một câu SELECT lồng nhau rất khó đọc. CTE (Common Table Expression) — mệnh đề WITH — cho phép đặt tên cho từng bước trung gian, rồi dùng lại như một bảng:

spark.sql("""
  WITH cat_rev AS (
    SELECT category, SUM(qty*unit_price) AS rev
    FROM sales
    WHERE qty > 0
    GROUP BY category
  )
  SELECT *
  FROM cat_rev
  WHERE rev > 1000000
  ORDER BY rev DESC
""").show()

Ở đây cat_rev gom doanh thu theo nhóm hàng trước, rồi câu SELECT chính chỉ việc lọc những nhóm vượt mốc 1 triệu. CTE giúp query dễ đọc, tách bạch từng tầng logic, và bạn có thể nối nhiều CTE liên tiếp bằng dấu phẩy.

Window function tính toán trên một "cửa sổ" các dòng mà không gom chúng lại như GROUP BY. Ví dụ xếp hạng đơn hàng theo doanh thu trong từng nhóm sản phẩm:

spark.sql("""
  SELECT order_id, category, amount,
         ROW_NUMBER() OVER (
           PARTITION BY category
           ORDER BY amount DESC
         ) AS rn
  FROM (
    SELECT *, qty*unit_price AS amount
    FROM sales
    WHERE qty > 0
  )
""").show()

Cấu trúc cốt lõi là OVER (PARTITION BY ... ORDER BY ...):

• PARTITION BY chia dữ liệu thành nhóm (giống GROUP BY nhưng không làm mất dòng); ORDER BY quyết định thứ tự bên trong mỗi nhóm.
• ROW_NUMBER() đánh số 1, 2, 3... không lặp. RANK() để chỗ trống khi đồng hạng (1, 1, 3). DENSE_RANK() đồng hạng nhưng không nhảy số (1, 1, 2).
• SUM() OVER (...) cho ra running total (tổng lũy kế) — cộng dồn theo thứ tự đã sắp xếp trong từng partition.

Vì hai cách cho cùng hiệu năng, lựa chọn chỉ là về sự thuận tiện và bảo trì:

• Dùng SQL khi logic mang tính báo cáo / phân tích: nhiều JOIN và aggregate, người đọc quen SQL, hoặc bạn muốn dán nhanh một câu query có sẵn.
• Dùng DataFrame API khi cần lập trình động (sinh cột theo vòng lặp, dựng biểu thức bằng biến Python), tái sử dụng hàm, hoặc ghép gọn vào một pipeline Python lớn hơn.
• Trộn lẫn cả hai — chuyện hoàn toàn bình thường. Tạo view, query bằng SQL, nhận lại DataFrame rồi tiếp tục xử lý bằng API.

Đăng ký view cho sales và customers, rồi giải 3 bài sau bằng spark.sql(...):

• Tính doanh thu theo phương thức thanh toán (payment method): GROUP BY theo cột phương thức, SUM(qty*unit_price), sắp xếp giảm dần.
• Tìm top 5 khách hàng chi nhiều nhất: JOIN sales với customers, GROUP BY khách, ORDER BY tổng chi tiêu DESC rồi LIMIT 5.
• Tính tỉ lệ số đơn của khách VIP so với khách thường: đếm số đơn theo nhóm khách hàng (VIP / thường), rồi so sánh tỉ lệ trên tổng. Gợi ý: dùng CTE đếm theo nhóm + một SELECT tính phần trăm.