Spark là gì? Engine, Spark SQL & so với pandas

Câu trả lời ngắn gọn: Spark là một compute engine (động cơ tính toán) phân tán. Hãy nghĩ tới động cơ của một chiếc xe — bản thân nó không phải chiếc xe, không phải xăng, không phải con đường. Nó là bộ phận biến nhiên liệu thành chuyển động. Spark cũng vậy: nó là bộ phận nhận dữ liệu vào, thực hiện phép tính, trả kết quả ra — và làm điều đó bằng cách chia việc cho nhiều máy chạy song song.

Chỗ gây nhầm lẫn là chữ "engine". Nó không có nghĩa Spark là một kỹ sư (engineer) hay một phần mềm bạn "mở lên bấm nút". Trong ngành phần mềm, "engine" chỉ một lõi xử lý mà thứ khác gọi vào — ví dụ "game engine", "search engine", "database engine". Spark là data processing engine: bạn viết code (hoặc SQL), đưa cho Spark, Spark lo phần tính toán nặng.

Để định vị cho rõ, đây là những thứ Spark hay bị nhầm — và Spark thực chất khác chúng ra sao:

Nhiều người tưởng "Spark" và "Spark SQL" là hai phần mềm khác nhau. Thực ra Spark SQL là một thư viện nằm bên trong Spark. Toàn bộ Spark được xây trên một lõi chung (Spark Core), và các thư viện chuyên biệt cắm lên trên lõi đó:

Điểm quan trọng: DataFrame và Spark SQL đều thuộc thư viện Spark SQL. Khi bạn viết df.groupBy(...) hay viết một câu SELECT ... GROUP BY ..., cả hai đều đi qua cùng một bộ tối ưu tên là Catalyst và được dịch ra cùng một kế hoạch thực thi. Đó là lý do trong Spark, viết bằng DataFrame API hay bằng SQL cho ra kết quả và tốc độ y hệt nhau — chỉ khác cú pháp.

Spark viết bằng Scala (chạy trên JVM), nhưng nó cho bạn nhiều "tay lái" để ra lệnh:

• PySpark (Python) — phổ biến nhất cho data engineer/data science. Đây là thứ ta dùng trong khóa này. Bạn viết Python, PySpark chuyển lệnh xuống engine Scala/JVM bên dưới.
• Scala / Java — ngôn ngữ "gốc" của Spark, nhanh nhất và đầy đủ nhất, nhưng khó hơn.
• R (SparkR / sparklyr) — cho dân thống kê quen R.
• SQL thuần — không cần biết lập trình, chỉ viết SELECT. Đây là "ngôn ngữ" đưa bạn tới phần tiếp theo.

Đây là chỗ hay bí. Với MySQL bạn có Workbench, với Oracle có SQL Developer — "mở lên là gõ SQL". Spark thì không có một chỗ cố định như vậy, vì Spark là engine — nó chạy ở bất cứ nơi nào bạn khởi động một SparkSession. Dưới đây là các "cửa" phổ biến để gõ Spark SQL, từ dễ tới production:

• Trong notebook / code PySpark — bằng spark.sql("..."). Đây là cách bạn dùng trong lab này (JupyterLab). Đăng ký DataFrame thành view rồi query:

  sales.createOrReplaceTempView("sales")
  
  spark.sql("""
      SELECT category, SUM(qty*unit_price) AS revenue
      FROM sales
      GROUP BY category
  """).show()

  Kết quả trả về vẫn là một DataFrame — dùng tiếp bình thường. Đây là Bài 3 của khóa.
• spark-sql — CLI gõ SQL trực tiếp. Trong terminal có Spark, gõ spark-sql sẽ mở một dấu nhắc giống hệt SQL client cổ điển: bạn gõ thẳng SELECT ...; và nhấn Enter, không cần viết một dòng Python nào. Gần nhất với trải nghiệm "MySQL Workbench" mà bạn quen.
• pyspark / spark-shell — REPL tương tác. Gõ pyspark mở một shell Python đã có sẵn biến spark, thử lệnh từng dòng. spark-shell là bản Scala tương đương.
• spark-submit file.py — chạy production. Khi code đã xong, đóng gói thành file .py rồi spark-submit lên cụm để chạy hàng loạt (thường được Airflow gọi theo lịch). Không tương tác, chạy một mạch.
• Thrift Server + JDBC/ODBC — cho công cụ BI. Spark có thể bật một "Thrift Server" giả làm database. Khi đó Power BI, Tableau, DBeaver... kết nối vào như kết nối tới một database và gõ SQL, trong khi Spark âm thầm tính toán bên dưới. Đây là cách BI tool "nói chuyện" với Spark.
• Nền tảng managed — Databricks, AWS EMR/Glue, Azure Synapse, GCP Dataproc. Ở công ty thật, thường bạn không tự dựng Spark mà dùng một nền tảng có sẵn giao diện notebook + SQL editor (Databricks nổi tiếng nhất). Bạn chỉ mở web, gõ SQL, họ lo cụm máy.

Cả hai đều là "bảng dữ liệu có cột và dòng", cùng gọi là DataFrame — nên rất dễ tưởng chúng như nhau. Nhưng chúng khác nhau ở bản chất vận hành. Đây là bảng so sánh đầy đủ:

Nhìn code cạnh nhau sẽ rõ hơn. Cùng một việc "thêm cột thành tiền rồi lọc" — cú pháp na ná, nhưng cơ chế bên dưới rất khác:

import pandas as pd

df = pd.read_csv("sales.csv")
df["amount"] = df["qty"] * df["unit_price"]
df = df[df["qty"] > 0]
# chạy NGAY, kết quả có liền trong RAM
print(df.head())

from pyspark.sql import functions as F

df = spark.read.csv("sales.csv", header=True)
df = (df
  .withColumn("amount", F.col("qty")*F.col("unit_price"))
  .filter(F.col("qty") > 0))
# CHƯA chạy gì — tới show() mới thực thi
df.show()

Khác biệt cốt lõi nằm ở dòng cuối: pandas đã tính xong ngay khi bạn gán df["amount"]. PySpark thì mọi thứ còn là "kế hoạch" cho tới khi gọi show() — lúc đó Catalyst mới nhìn cả chuỗi, tối ưu, rồi rải task xuống executor.

summary = spark.sql("SELECT category, SUM(amount) rev FROM sales GROUP BY category")
pdf = summary.toPandas()   # giờ là pandas, nhỏ gọn, vẽ chart thoải mái
pdf.plot.bar(x="category", y="rev")

• Spark là engine tính toán phân tán — không phải ngôn ngữ, không phải database. Nó tính, không lưu.
• Spark SQL là một thư viện bên trong Spark. DataFrame API và SQL cùng đi qua Catalyst → cùng kết quả, cùng tốc độ.
• Chạy Spark SQL qua spark.sql() trong notebook (cách của khóa này), CLI spark-sql, Thrift Server cho BI, hay nền tảng như Databricks. Nó luôn chạy trong cụm Spark của bạn.
• Spark DataFrame ≠ pandas DataFrame: phân tán vs 1 máy, lazy vs eager, bất biến vs sửa tại chỗ.
• Dùng toPandas() để bắc cầu — nhưng chỉ sau khi đã thu nhỏ dữ liệu.