目的
PySparkのDataFrameの編集で良く使うメソッドを、サンプルコードと実行結果つきでまとめます。 「やりたいこと → 使うメソッド」で引けるように、最後に早見表も置いています。
- 動作確認環境:PySpark 3.5.3
withColumns は Spark 3.3 以降、unionByName(allowMissingColumns=True) は Spark 3.1 以降で使えます
前提
以下のデータフレームがある前提で、各セクションのサンプルコードを実行します。
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
from pyspark.sql import Window
spark = SparkSession.builder.getOrCreate()
# サンプル用 DataFrame
data = [
("営業", 100, "2023-02-01 10:30:00"),
("開発", 200, "2023-02-02 11:00:00"),
("人事", 300, "2023-02-03 12:15:00"),
("営業", 150, "2023-02-01 09:45:00")
]
columns = ["部門", "売上", "日時"]
df = spark.createDataFrame(data, columns)
df.show()
## ここから各セクションのサンプルコードを入れる
| 部門 | 売上 | 日時 |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 |
| 開発 | 200 | 2023-02-02 11:00:00 |
| 人事 | 300 | 2023-02-03 12:15:00 |
| 営業 | 150 | 2023-02-01 09:45:00 |
型を確認する printSchema
- 列名だけ渡して作ると、型は自動推論される
- 整数は
long、日時の文字列はただの string になる点に注意
root
|-- 部門: string (nullable = true)
|-- 売上: long (nullable = true)
|-- 日時: string (nullable = true)
型を指定して作る
- 型を自分で決めたい場合はスキーマを渡す
- DDL文字列で書くと短く済むが、日本語の列名はバッククォートで囲まないとエラーになる
# DDL文字列で指定(日本語列名はバッククォートで囲む)
df_typed = spark.createDataFrame(data, "`部門` string, `売上` int, `日時` string")
# StructType で指定
from pyspark.sql import types as T
schema = T.StructType([
T.StructField("部門", T.StringType(), True),
T.StructField("売上", T.IntegerType(), True),
T.StructField("日時", T.StringType(), True),
])
df_typed = spark.createDataFrame(data, schema)
df_typed.printSchema()
root
|-- 部門: string (nullable = true)
|-- 売上: integer (nullable = true)
|-- 日時: string (nullable = true)
バッククォートなしで "部門 string, 売上 int, 日時 string" と書くと PARSE_SYNTAX_ERROR になります。
show の表示を調整する
- 長い文字列は20文字で切られるので、全部見たいときは
truncate=False
- 先頭の数行だけ見たいときは件数を渡す
df.show(truncate=False) # 省略せずに表示
df.show(2) # 先頭2行だけ表示
列の追加、列の内容変更 withColumn
列の追加
- 新しい列を追加する場合は
withColumn を利用する
- 条件によって値を変えたい場合は
when / otherwise を使う
- 固定値(定数)を入れる場合は
lit を使う
例:売上が200以上なら「高売上」、それ以外は「並売上」というラベル列を追加
df_with_label = df.withColumn(
"売上ラベル",
F.when(
F.col("売上") >= 200,
F.lit("高売上")
).otherwise(
F.lit("並売上")
)
)
df_with_label.show()
| 部門 | 売上 | 日時 | 売上ラベル |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 | 並売上 |
| 開発 | 200 | 2023-02-02 11:00:00 | 高売上 |
| 人事 | 300 | 2023-02-03 12:15:00 | 高売上 |
| 営業 | 150 | 2023-02-01 09:45:00 | 並売上 |
補足
- Python 上はシングルクォーテーションでもダブルクォーテーションでも同じ扱い
when / otherwise の中の値は lit を省略して "高売上" と書いても動く(自動で定数として扱われる)。ただし withColumn("列名", "固定値") のように第2引数に直接文字列を渡すとエラーになるので、そこでは F.lit("固定値") が必須
df.withColumn("集計対象", F.lit(True)) # OK
df.withColumn("集計対象", True) # NG:Column 型でないためエラー
列の内容変更
- 列の内容を変更する場合も
withColumn を利用する
- 既存の列名を指定すると、その列の内容が上書きされる
- 条件に当てはまらない行を元のままにしたい場合は、
otherwise に元の列を指定する
例:先ほど作った df_with_label に対して、売上が150未満なら「小売上」に変更する
df_with_label = df_with_label.withColumn(
"売上ラベル", # 既存の列名を指定
F.when(
F.col("売上") < 150,
F.lit("小売上")
).otherwise(
F.col("売上ラベル") # 元の列の値をそのまま使う
)
)
df_with_label.show()
| 部門 | 売上 | 日時 | 売上ラベル |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 | 小売上 |
| 開発 | 200 | 2023-02-02 11:00:00 | 高売上 |
| 人事 | 300 | 2023-02-03 12:15:00 | 高売上 |
| 営業 | 150 | 2023-02-01 09:45:00 | 並売上 |
注意
- 元の
df には 売上ラベル 列がないので、df.withColumn(...) で F.col("売上ラベル") を参照すると UNRESOLVED_COLUMN エラーになる。必ずラベル列を追加した後の DataFrame に対して実行する
- コメントの
# の前に全角スペースが入ると Python の構文エラーになるので注意
条件を複数段階に分ける when のチェーン
when は続けて書ける。上から順に評価され、最初に当てはまったものが採用される
- SQL の
CASE WHEN ... WHEN ... ELSE ... END と同じ
df_rank = df.withColumn(
"売上ランク",
F.when(F.col("売上") >= 300, "A")
.when(F.col("売上") >= 200, "B")
.when(F.col("売上") >= 150, "C")
.otherwise("D")
)
df_rank.show()
| 部門 | 売上 | 日時 | 売上ランク |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 | D |
| 開発 | 200 | 2023-02-02 11:00:00 | B |
| 人事 | 300 | 2023-02-03 12:15:00 | A |
| 営業 | 150 | 2023-02-01 09:45:00 | C |
otherwise を書かないと、どの条件にも当てはまらない行は null になります。
複数の条件を組み合わせる & | ~
- AND は
&、OR は |、NOT は ~ を使う(Python の and / or / not は使えない)
- それぞれの条件は必ず括弧で囲む(理由は後述の「ハマりどころ」参照)
例:営業部門かつ売上150以上なら True
df_flag = df.withColumn(
"重点",
F.when(
(F.col("部門") == "営業") & (F.col("売上") >= 150),
True
).otherwise(False)
)
df_flag.show()
| 部門 | 売上 | 日時 | 重点 |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 | false |
| 開発 | 200 | 2023-02-02 11:00:00 | false |
| 人事 | 300 | 2023-02-03 12:15:00 | false |
| 営業 | 150 | 2023-02-01 09:45:00 | true |
複数の列をまとめて追加する withColumns
- Spark 3.3 以降は
withColumns に辞書を渡して一度に追加できる
withColumn をループで何十回も呼ぶより処理計画がシンプルになり、速くなりやすい
df_multi = df.withColumns({
"税込売上": (F.col("売上") * 1.1).cast("int"),
"集計対象": F.lit(True),
})
df_multi.show()
| 部門 | 売上 | 日時 | 税込売上 | 集計対象 |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 | 110 | true |
| 開発 | 200 | 2023-02-02 11:00:00 | 220 | true |
| 人事 | 300 | 2023-02-03 12:15:00 | 330 | true |
| 営業 | 150 | 2023-02-01 09:45:00 | 165 | true |
列の選択・名前変更・削除
列を選ぶ select
- 必要な列だけに絞る場合は
select
- 計算した結果を列にすることもでき、
alias で列名を付ける
df.select("部門", "売上").show()
df.select(
F.col("部門"),
(F.col("売上") * 2).alias("売上2倍")
).show()
| 部門 | 売上2倍 |
|---|
| 営業 | 200 |
| 開発 | 400 |
| 人事 | 600 |
| 営業 | 300 |
列名を変える withColumnRenamed
df.withColumnRenamed("売上", "売上金額").show()
| 部門 | 売上金額 | 日時 |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 |
| 開発 | 200 | 2023-02-02 11:00:00 |
| 人事 | 300 | 2023-02-03 12:15:00 |
| 営業 | 150 | 2023-02-01 09:45:00 |
- 存在しない列名を指定してもエラーにならず、何も起きない。タイプミスに気づきにくいので注意
列を消す drop
df.drop("列A", "列B") のように複数まとめて消せる
型変換と日付・時刻の扱い
文字列を日時型にする to_timestamp / to_date
- サンプルの
日時 は文字列なので、日付計算をする前に日時型に変換する
- フォーマットは Java の書式(
yyyy-MM-dd HH:mm:ss)で指定する。mm は分、MM は月なので取り違えに注意
df_ts = (
df
.withColumn("日時", F.to_timestamp("日時", "yyyy-MM-dd HH:mm:ss"))
.withColumn("日付", F.to_date("日時"))
.withColumn("年月", F.date_format("日時", "yyyy-MM"))
.withColumn("時", F.hour("日時"))
.withColumn("曜日", F.date_format("日時", "E"))
)
df_ts.show()
df_ts.printSchema()
| 部門 | 売上 | 日時 | 日付 | 年月 | 時 | 曜日 |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 | 2023-02-01 | 2023-02 | 10 | Wed |
| 開発 | 200 | 2023-02-02 11:00:00 | 2023-02-02 | 2023-02 | 11 | Thu |
| 人事 | 300 | 2023-02-03 12:15:00 | 2023-02-03 | 2023-02 | 12 | Fri |
| 営業 | 150 | 2023-02-01 09:45:00 | 2023-02-01 | 2023-02 | 9 | Wed |
root
|-- 部門: string (nullable = true)
|-- 売上: long (nullable = true)
|-- 日時: timestamp (nullable = true)
|-- 日付: date (nullable = true)
|-- 年月: string (nullable = true)
|-- 時: integer (nullable = true)
|-- 曜日: string (nullable = true)
- 年・月・日だけ欲しい場合は
F.year() / F.month() / F.dayofmonth() も使える
- フォーマットに合わない文字列は(ANSIモードがオフの既定設定では)エラーにならず
null になる。変換後に null が増えていないか確認するとよい
日数の差・日付の加算・月初 datediff / date_add / trunc
df_ts.select(
"日付",
F.datediff(F.to_date(F.lit("2023-03-01")), F.col("日付")).alias("3/1までの日数"),
F.date_add("日付", 7).alias("7日後"),
F.trunc("日付", "month").alias("月初"),
).show()
| 日付 | 3/1までの日数 | 7日後 | 月初 |
|---|
| 2023-02-01 | 28 | 2023-02-08 | 2023-02-01 |
| 2023-02-02 | 27 | 2023-02-09 | 2023-02-01 |
| 2023-02-03 | 26 | 2023-02-10 | 2023-02-01 |
| 2023-02-01 | 28 | 2023-02-08 | 2023-02-01 |
datediff(終了, 開始) の順番。逆にするとマイナスになる
- 月の加算は
F.add_months("日付", 1)
型を変える cast
df.withColumn("売上", F.col("売上").cast("int"))
df.withColumn("売上文字列", F.col("売上").cast("string"))
- 数値に変換できない文字列を
cast("int") すると null になる(ANSIモードがオフの場合)
行の絞り込み filter / where
filter と where は同じもの。好きな方を使ってよい
基本の条件
df.filter(F.col("売上") >= 150).show()
| 部門 | 売上 | 日時 |
|---|
| 開発 | 200 | 2023-02-02 11:00:00 |
| 人事 | 300 | 2023-02-03 12:15:00 |
| 営業 | 150 | 2023-02-01 09:45:00 |
AND / OR
# 営業 かつ 売上150以上
df.filter((F.col("部門") == "営業") & (F.col("売上") >= 150)).show()
# 人事 または 売上150未満
df.filter((F.col("部門") == "人事") | (F.col("売上") < 150)).show()
| 部門 | 売上 | 日時 |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 |
| 人事 | 300 | 2023-02-03 12:15:00 |
(上は OR の結果)
いずれかに一致 isin / 否定 ~
# 営業 か 人事
df.filter(F.col("部門").isin("営業", "人事")).show()
# 営業 でも 人事 でもない
df.filter(~F.col("部門").isin("営業", "人事")).show()
| 部門 | 売上 | 日時 |
|---|
| 開発 | 200 | 2023-02-02 11:00:00 |
(上は否定の結果)
- Python のリストを渡す場合は
isin(["営業", "人事"]) でも isin(*リスト) でも動く
文字列の部分一致・範囲指定
df.filter(F.col("日時").startswith("2023-02-01")).show() # 前方一致
df.filter(F.col("部門").contains("業")).show() # 部分一致
df.filter(F.col("部門").like("営%")).show() # SQLのLIKE
df.filter(F.col("売上").between(150, 250)).show() # 150以上250以下
between の結果(両端を含む)
| 部門 | 売上 | 日時 |
|---|
| 開発 | 200 | 2023-02-02 11:00:00 |
| 営業 | 150 | 2023-02-01 09:45:00 |
並び替え orderBy
- 昇順はそのまま、降順は
.desc()
- 複数列を指定すると、左から順に優先される
# 売上の大きい順
df.orderBy(F.col("売上").desc()).show()
# 部門の昇順 → 同じ部門内は売上の降順
df.orderBy(F.col("部門").asc(), F.col("売上").desc()).show()
| 部門 | 売上 | 日時 |
|---|
| 人事 | 300 | 2023-02-03 12:15:00 |
| 営業 | 150 | 2023-02-01 09:45:00 |
| 営業 | 100 | 2023-02-01 10:30:00 |
| 開発 | 200 | 2023-02-02 11:00:00 |
- 日本語の並び順は文字コード順なので、「人事 → 営業 → 開発」のように五十音順にはならない
null の位置を制御したいときは .desc_nulls_last() / .asc_nulls_first() などを使う
集計 groupBy / agg
部門ごとに集計する
groupBy でグループを決めて、agg の中に集計関数を並べる
alias を付けないと sum(売上) のような列名になるので、付けておくのがおすすめ
df_agg = df.groupBy("部門").agg(
F.sum("売上").alias("売上合計"),
F.avg("売上").alias("売上平均"),
F.count("*").alias("件数"),
F.max("日時").alias("最終日時"),
)
df_agg.orderBy("部門").show()
| 部門 | 売上合計 | 売上平均 | 件数 | 最終日時 |
|---|
| 人事 | 300 | 300.0 | 1 | 2023-02-03 12:15:00 |
| 営業 | 250 | 125.0 | 2 | 2023-02-01 10:30:00 |
| 開発 | 200 | 200.0 | 1 | 2023-02-02 11:00:00 |
groupBy の結果は順番が保証されないので、並べたい場合は最後に orderBy する
集計結果で絞り込む(SQL の HAVING)
df.groupBy("部門") \
.agg(F.sum("売上").alias("売上合計")) \
.filter(F.col("売上合計") >= 250) \
.show()
全体を集計する・ユニーク件数を数える
groupBy を付けずに agg すると全体の集計になる
df.agg(
F.countDistinct("部門").alias("部門数"),
F.sum("売上").alias("総売上"),
).show()
ウィンドウ関数 Window
groupBy は行をまとめて1行にするが、ウィンドウ関数は行数を保ったままグループ内の計算結果を各行に付けられる
- 「部門内で連番を振る」「前回の値と比べる」「累計を出す」「部門内の構成比を出す」などで使う
連番・前回値・累計 row_number / lag / sum
w = Window.partitionBy("部門").orderBy(F.col("日時"))
df_win = (
df
.withColumn("部門内連番", F.row_number().over(w))
.withColumn("前回売上", F.lag("売上").over(w))
.withColumn("累計売上", F.sum("売上").over(w))
)
df_win.orderBy("部門", "日時").show()
| 部門 | 売上 | 日時 | 部門内連番 | 前回売上 | 累計売上 |
|---|
| 人事 | 300 | 2023-02-03 12:15:00 | 1 | null | 300 |
| 営業 | 150 | 2023-02-01 09:45:00 | 1 | null | 150 |
| 営業 | 100 | 2023-02-01 10:30:00 | 2 | 150 | 250 |
| 開発 | 200 | 2023-02-02 11:00:00 | 1 | null | 200 |
partitionBy がグループ、orderBy がグループ内の並び順
- 先頭行には「前回」がないので
lag は null になる。次の行の値は lead
- 同じ値に同じ順位を付けたい場合は
rank(飛び番あり)や dense_rank(飛び番なし)
グループ内の構成比
orderBy を付けないウィンドウで sum すると、グループ全体の合計が各行に付く
w_dept = Window.partitionBy("部門")
df.withColumn("部門合計", F.sum("売上").over(w_dept)) \
.withColumn("構成比", F.round(F.col("売上") / F.col("部門合計"), 2)) \
.show()
| 部門 | 売上 | 日時 | 部門合計 | 構成比 |
|---|
| 人事 | 300 | 2023-02-03 12:15:00 | 300 | 1.0 |
| 営業 | 150 | 2023-02-01 09:45:00 | 250 | 0.6 |
| 営業 | 100 | 2023-02-01 10:30:00 | 250 | 0.4 |
| 開発 | 200 | 2023-02-02 11:00:00 | 200 | 1.0 |
グループごとに最新の1行だけ残す
- 実務で一番よく使うパターン。日時の降順で連番を振って、1番だけ残す
w_latest = Window.partitionBy("部門").orderBy(F.col("日時").desc())
df_latest = (
df
.withColumn("rn", F.row_number().over(w_latest))
.filter(F.col("rn") == 1)
.drop("rn")
)
df_latest.show()
| 部門 | 売上 | 日時 |
|---|
| 人事 | 300 | 2023-02-03 12:15:00 |
| 営業 | 100 | 2023-02-01 10:30:00 |
| 開発 | 200 | 2023-02-02 11:00:00 |
結合 join
以下の部門マスタと結合する例です。人事はマスタになく、経理は売上データにありません。
dept = spark.createDataFrame(
[("営業", "東京"), ("開発", "鹿児島"), ("経理", "大阪")],
["部門", "拠点"]
)
内部結合 inner
df.join(dept, on="部門", how="inner").show()
| 部門 | 売上 | 日時 | 拠点 |
|---|
| 営業 | 150 | 2023-02-01 09:45:00 | 東京 |
| 営業 | 100 | 2023-02-01 10:30:00 | 東京 |
| 開発 | 200 | 2023-02-02 11:00:00 | 鹿児島 |
左外部結合 left
- 左側(
df)の行はすべて残り、マスタにないものは null になる
df.join(dept, on="部門", how="left").show()
| 部門 | 売上 | 日時 | 拠点 |
|---|
| 営業 | 150 | 2023-02-01 09:45:00 | 東京 |
| 営業 | 100 | 2023-02-01 10:30:00 | 東京 |
| 開発 | 200 | 2023-02-02 11:00:00 | 鹿児島 |
| 人事 | 300 | 2023-02-03 12:15:00 | null |
片方にしかない行を取る left_anti
- 左側にあって右側にない行だけを取り出す(右側の列は付かない)
- マスタ未登録データのチェックや差分抽出に便利
df.join(dept, on="部門", how="left_anti").show()
| 部門 | 売上 | 日時 |
|---|
| 人事 | 300 | 2023-02-03 12:15:00 |
詳しくは PysparkのDataFrameで差分のみを取得する方法 にまとめています。逆に「右側にある行だけ残し、右側の列は付けない」場合は left_semi です。
結合キーの列名が違う場合
on="部門" のように列名で指定すると、キー列が1本にまとまる
- 列名が違う場合は条件式で指定する。このとき両方のキー列が残るので、不要な方は
drop する
dept2 = spark.createDataFrame([("営業", "東京")], ["部署名", "拠点"])
df.join(dept2, df["部門"] == dept2["部署名"], "left") \
.drop("部署名") \
.show()
| 部門 | 売上 | 日時 | 拠点 |
|---|
| 営業 | 150 | 2023-02-01 09:45:00 | 東京 |
| 営業 | 100 | 2023-02-01 10:30:00 | 東京 |
| 開発 | 200 | 2023-02-02 11:00:00 | null |
| 人事 | 300 | 2023-02-03 12:15:00 | null |
- 右側のキーに重複があると、左側の行が増える(1対多になる)。結合前後で
count() を比べておくと事故に気づける
重複の削除 distinct / dropDuplicates
# 部門の一覧(全列が同じ行をまとめる)
df.select("部門").distinct().show()
# 部門が同じ行は1行だけ残す
df.dropDuplicates(["部門"]).show()
| 部門 | 売上 | 日時 |
|---|
| 人事 | 300 | 2023-02-03 12:15:00 |
| 営業 | 100 | 2023-02-01 10:30:00 |
| 開発 | 200 | 2023-02-02 11:00:00 |
dropDuplicates でどの行が残るかは保証されない。実行環境やデータの分かれ方によって変わる
- 「最新の1行」「売上が最大の1行」のように残す行を決めたい場合は、前述のウィンドウ関数(
row_number)を使う
null の扱い
null を埋める fillna / coalesce
df_left = df.join(dept, on="部門", how="left")
# 列ごとに埋める値を指定
df_left.fillna({"拠点": "未登録"}).show()
# coalesce:左から順に見て最初の null でない値を使う
df_left.withColumn(
"拠点",
F.coalesce(F.col("拠点"), F.lit("未登録"))
).show()
| 部門 | 売上 | 日時 | 拠点 |
|---|
| 営業 | 150 | 2023-02-01 09:45:00 | 東京 |
| 営業 | 100 | 2023-02-01 10:30:00 | 東京 |
| 開発 | 200 | 2023-02-02 11:00:00 | 鹿児島 |
| 人事 | 300 | 2023-02-03 12:15:00 | 未登録 |
fillna は埋める値と列の型が合わないと何もしない(文字列列に数値を指定しても無視される)
- 「列Aが null なら列B、それも null なら固定値」のような場合は
coalesce が便利
null の判定 isNull / isNotNull
df_left.filter(F.col("拠点").isNull()).show()
| 部門 | 売上 | 日時 | 拠点 |
|---|
| 人事 | 300 | 2023-02-03 12:15:00 | null |
F.col("拠点") == None と書いてもエラーにはならないが、結果は0件になる(後述)
縦に結合する union / unionByName
new = spark.createDataFrame(
[("経理", 120, "2023-02-04 08:00:00")],
["部門", "売上", "日時"]
)
df.union(new).show()
| 部門 | 売上 | 日時 |
|---|
| 営業 | 100 | 2023-02-01 10:30:00 |
| 開発 | 200 | 2023-02-02 11:00:00 |
| 人事 | 300 | 2023-02-03 12:15:00 |
| 営業 | 150 | 2023-02-01 09:45:00 |
| 経理 | 120 | 2023-02-04 08:00:00 |
union は列名ではなく列の順番で結合する
- 列の順番が違う DataFrame を
union すると、エラーにならずに値がずれる
new2 = spark.createDataFrame(
[("2023-02-04 08:00:00", "経理", 120)],
["日時", "部門", "売上"] # 列の順番が違う
)
df.union(new2).show() # NG
| 部門 | 売上 | 日時 |
|---|
| … | … | … |
| 2023-02-04 08:00:00 | 経理 | 120 |
- 列名で合わせたい場合は
unionByName を使う
df.unionByName(new2).show() # OK:列名で対応付けられる
# 片方にない列は null で埋める(Spark 3.1以降)
new3 = spark.createDataFrame([("経理", 120)], ["部門", "売上"])
df.unionByName(new3, allowMissingColumns=True).show()
union は SQL の UNION ALL と同じで、重複は消えない。消したい場合は後ろに .distinct() を付ける
文字列の操作
df.select(
"部門",
F.concat_ws("-", F.col("部門"), F.col("売上")).alias("連結"),
F.substring("日時", 1, 10).alias("日付文字列"),
F.regexp_replace("日時", "-", "/").alias("置換"),
F.split("日時", " ").getItem(1).alias("時刻"),
).show()
| 部門 | 連結 | 日付文字列 | 置換 | 時刻 |
|---|
| 営業 | 営業-100 | 2023-02-01 | 2023/02/01 10:30:00 | 10:30:00 |
| 開発 | 開発-200 | 2023-02-02 | 2023/02/02 11:00:00 | 11:00:00 |
| 人事 | 人事-300 | 2023-02-03 | 2023/02/03 12:15:00 | 12:15:00 |
| 営業 | 営業-150 | 2023-02-01 | 2023/02/01 09:45:00 | 09:45:00 |
substring の開始位置は 1始まり(Python のスライスは0始まりなので混同しやすい)
concat は1つでも null があると結果が null になる。concat_ws は null を飛ばして連結する
- 前後の空白を消すのは
F.trim()、大文字・小文字は F.upper() / F.lower()
縦持ちを横持ちにする pivot
df.withColumn("日付", F.substring("日時", 1, 10)) \
.groupBy("日付") \
.pivot("部門", ["営業", "開発", "人事"]) \
.agg(F.sum("売上")) \
.orderBy("日付") \
.show()
| 日付 | 営業 | 開発 | 人事 |
|---|
| 2023-02-01 | 250 | null | null |
| 2023-02-02 | null | 200 | null |
| 2023-02-03 | null | null | 300 |
pivot の第2引数で列にする値を指定しておくと、値の一覧を調べる処理が省けて速くなり、列の順番も固定できる
- 値がない所は
null になるので、0にしたい場合は後ろに .fillna(0) を付ける
よくあるハマりどころ
1. 条件を括弧で囲まないとエラーになる
# NG
df.filter(F.col("部門") == "営業" & F.col("売上") >= 150)
# OK
df.filter((F.col("部門") == "営業") & (F.col("売上") >= 150))
- Python では
& が == や >= より先に計算されるため、NG の書き方は "営業" & F.col("売上") を先に計算しようとしてエラーになる
- エラーメッセージが
Py4JError ... Method and(...) does not exist のような分かりにくいものになるので、見かけたら括弧を疑う
2. null を == None で判定しても0件になる
df_left.filter(F.col("拠点") == None).count() # 0件(null を拾えない)
df_left.filter(F.col("拠点").isNull()).count() # 1件
- SQL と同じく、
null との比較結果は true でも false でもなく null になるため、filter で落とされる
- 同じ理由で、
F.col("拠点") != "東京" も null の行は残らない。null も残したい場合は (F.col("拠点") != "東京") | F.col("拠点").isNull() とする
3. union が列の順番で結合される
- 前述のとおり、列の順番が違ってもエラーにならずに値がずれる。迷ったら
unionByName
4. dropDuplicates で残る行が決まっていない
- テストでは期待どおりでも、本番データでは別の行が残ることがある。残す行に意味があるならウィンドウ関数で決める
5. collect() / toPandas() でドライバーが落ちる
collect() や toPandas() は全データを1台(ドライバー)に集める。大きなデータでやるとメモリ不足で落ちる
- 中身を確認したいだけなら
show() や limit(10).toPandas() で件数を絞る
6. show() や count() を何度も呼ぶと遅い
- Spark は
show() や count() を呼んだ時点で、そこまでの処理を毎回最初から実行する(遅延評価)
- 同じ DataFrame を何度も使う場合は
df.cache() しておくと2回目以降が速くなる
やりたいこと別 早見表
| やりたいこと | 使うメソッド |
|---|
| 列を追加・上書きする | withColumn / withColumns |
| 条件で値を変える | F.when(...).otherwise(...) |
| 固定値を入れる | F.lit(...) |
| 列を選ぶ | select |
| 列名を変える | withColumnRenamed / alias |
| 列を消す | drop |
| 型を変える | cast |
| 文字列を日時にする | F.to_timestamp / F.to_date |
| 日時を文字列にする | F.date_format |
| 行を絞る | filter / where |
| いずれかに一致 | isin |
| 並べ替える | orderBy + .desc() |
| グループごとに集計する | groupBy().agg() |
| 行数を保ったまま集計値を付ける | Window + .over() |
| 連番・前回値・累計 | row_number / lag / sum().over() |
| 横に結合する | join |
| 片方にしかない行を取る | join(how="left_anti") |
| 縦に結合する | unionByName |
| 重複を消す | distinct / dropDuplicates |
| null を埋める | fillna / F.coalesce |
| null を判定する | isNull / isNotNull |
| 縦持ちを横持ちにする | groupBy().pivot().agg() |