PySpark DataFrameの使い方まとめ

技術記

目的

PySparkのDataFrameの編集で良く使うメソッドを、サンプルコードと実行結果つきでまとめます。 「やりたいこと → 使うメソッド」で引けるように、最後に早見表も置いています。

  • 動作確認環境:PySpark 3.5.3
  • withColumns は Spark 3.3 以降、unionByName(allowMissingColumns=True) は Spark 3.1 以降で使えます

前提

以下のデータフレームがある前提で、各セクションのサンプルコードを実行します。

from pyspark.sql import SparkSession
from pyspark.sql import functions as F
from pyspark.sql import Window

spark = SparkSession.builder.getOrCreate()

# サンプル用 DataFrame
data = [
    ("営業", 100, "2023-02-01 10:30:00"),
    ("開発", 200, "2023-02-02 11:00:00"),
    ("人事", 300, "2023-02-03 12:15:00"),
    ("営業", 150, "2023-02-01 09:45:00")
]

columns = ["部門", "売上", "日時"]
df = spark.createDataFrame(data, columns)

df.show()

## ここから各セクションのサンプルコードを入れる
部門売上日時
営業1002023-02-01 10:30:00
開発2002023-02-02 11:00:00
人事3002023-02-03 12:15:00
営業1502023-02-01 09:45:00

型を確認する printSchema

  • 列名だけ渡して作ると、型は自動推論される
  • 整数は long、日時の文字列はただの string になる点に注意
df.printSchema()
root
 |-- 部門: string (nullable = true)
 |-- 売上: long (nullable = true)
 |-- 日時: string (nullable = true)

型を指定して作る

  • 型を自分で決めたい場合はスキーマを渡す
  • DDL文字列で書くと短く済むが、日本語の列名はバッククォートで囲まないとエラーになる
# DDL文字列で指定(日本語列名はバッククォートで囲む)
df_typed = spark.createDataFrame(data, "`部門` string, `売上` int, `日時` string")

# StructType で指定
from pyspark.sql import types as T
schema = T.StructType([
    T.StructField("部門", T.StringType(), True),
    T.StructField("売上", T.IntegerType(), True),
    T.StructField("日時", T.StringType(), True),
])
df_typed = spark.createDataFrame(data, schema)
df_typed.printSchema()
root
 |-- 部門: string (nullable = true)
 |-- 売上: integer (nullable = true)
 |-- 日時: string (nullable = true)

バッククォートなしで "部門 string, 売上 int, 日時 string" と書くと PARSE_SYNTAX_ERROR になります。

show の表示を調整する

  • 長い文字列は20文字で切られるので、全部見たいときは truncate=False
  • 先頭の数行だけ見たいときは件数を渡す
df.show(truncate=False)  # 省略せずに表示
df.show(2)               # 先頭2行だけ表示

列の追加、列の内容変更 withColumn

列の追加

  • 新しい列を追加する場合は withColumn を利用する
  • 条件によって値を変えたい場合は when / otherwise を使う
  • 固定値(定数)を入れる場合は lit を使う

例:売上が200以上なら「高売上」、それ以外は「並売上」というラベル列を追加

df_with_label = df.withColumn(
    "売上ラベル",
    F.when(
        F.col("売上") >= 200,
        F.lit("高売上")
    ).otherwise(
        F.lit("並売上")
    )
)
df_with_label.show()
部門売上日時売上ラベル
営業1002023-02-01 10:30:00並売上
開発2002023-02-02 11:00:00高売上
人事3002023-02-03 12:15:00高売上
営業1502023-02-01 09:45:00並売上

補足

  • Python 上はシングルクォーテーションでもダブルクォーテーションでも同じ扱い
  • when / otherwise の中の値は lit を省略して "高売上" と書いても動く(自動で定数として扱われる)。ただし withColumn("列名", "固定値") のように第2引数に直接文字列を渡すとエラーになるので、そこでは F.lit("固定値") が必須
df.withColumn("集計対象", F.lit(True))   # OK
df.withColumn("集計対象", True)          # NG:Column 型でないためエラー

列の内容変更

  • 列の内容を変更する場合も withColumn を利用する
  • 既存の列名を指定すると、その列の内容が上書きされる
  • 条件に当てはまらない行を元のままにしたい場合は、otherwise に元の列を指定する

例:先ほど作った df_with_label に対して、売上が150未満なら「小売上」に変更する

df_with_label = df_with_label.withColumn(
    "売上ラベル",  # 既存の列名を指定
    F.when(
        F.col("売上") < 150,
        F.lit("小売上")
    ).otherwise(
        F.col("売上ラベル")  # 元の列の値をそのまま使う
    )
)
df_with_label.show()
部門売上日時売上ラベル
営業1002023-02-01 10:30:00小売上
開発2002023-02-02 11:00:00高売上
人事3002023-02-03 12:15:00高売上
営業1502023-02-01 09:45:00並売上

注意

  • 元の df には 売上ラベル 列がないので、df.withColumn(...) で F.col("売上ラベル") を参照すると UNRESOLVED_COLUMN エラーになる。必ずラベル列を追加した後の DataFrame に対して実行する
  • コメントの # の前に全角スペースが入ると Python の構文エラーになるので注意

条件を複数段階に分ける when のチェーン

  • when は続けて書ける。上から順に評価され、最初に当てはまったものが採用される
  • SQL の CASE WHEN ... WHEN ... ELSE ... END と同じ
df_rank = df.withColumn(
    "売上ランク",
    F.when(F.col("売上") >= 300, "A")
     .when(F.col("売上") >= 200, "B")
     .when(F.col("売上") >= 150, "C")
     .otherwise("D")
)
df_rank.show()
部門売上日時売上ランク
営業1002023-02-01 10:30:00D
開発2002023-02-02 11:00:00B
人事3002023-02-03 12:15:00A
営業1502023-02-01 09:45:00C

otherwise を書かないと、どの条件にも当てはまらない行は null になります。

複数の条件を組み合わせる & | ~

  • AND は &、OR は |、NOT は ~ を使う(Python の and / or / not は使えない)
  • それぞれの条件は必ず括弧で囲む(理由は後述の「ハマりどころ」参照)

例:営業部門かつ売上150以上なら True

df_flag = df.withColumn(
    "重点",
    F.when(
        (F.col("部門") == "営業") & (F.col("売上") >= 150),
        True
    ).otherwise(False)
)
df_flag.show()
部門売上日時重点
営業1002023-02-01 10:30:00false
開発2002023-02-02 11:00:00false
人事3002023-02-03 12:15:00false
営業1502023-02-01 09:45:00true

複数の列をまとめて追加する withColumns

  • Spark 3.3 以降は withColumns に辞書を渡して一度に追加できる
  • withColumn をループで何十回も呼ぶより処理計画がシンプルになり、速くなりやすい
df_multi = df.withColumns({
    "税込売上": (F.col("売上") * 1.1).cast("int"),
    "集計対象": F.lit(True),
})
df_multi.show()
部門売上日時税込売上集計対象
営業1002023-02-01 10:30:00110true
開発2002023-02-02 11:00:00220true
人事3002023-02-03 12:15:00330true
営業1502023-02-01 09:45:00165true

列の選択・名前変更・削除

列を選ぶ select

  • 必要な列だけに絞る場合は select
  • 計算した結果を列にすることもでき、alias で列名を付ける
df.select("部門", "売上").show()

df.select(
    F.col("部門"),
    (F.col("売上") * 2).alias("売上2倍")
).show()
部門売上2倍
営業200
開発400
人事600
営業300

列名を変える withColumnRenamed

df.withColumnRenamed("売上", "売上金額").show()
部門売上金額日時
営業1002023-02-01 10:30:00
開発2002023-02-02 11:00:00
人事3002023-02-03 12:15:00
営業1502023-02-01 09:45:00
  • 存在しない列名を指定してもエラーにならず、何も起きない。タイプミスに気づきにくいので注意

列を消す drop

df.drop("日時").show()
部門売上
営業100
開発200
人事300
営業150
  • df.drop("列A", "列B") のように複数まとめて消せる

型変換と日付・時刻の扱い

文字列を日時型にする to_timestamp / to_date

  • サンプルの 日時 は文字列なので、日付計算をする前に日時型に変換する
  • フォーマットは Java の書式(yyyy-MM-dd HH:mm:ss)で指定する。mm は分、MM は月なので取り違えに注意
df_ts = (
    df
    .withColumn("日時", F.to_timestamp("日時", "yyyy-MM-dd HH:mm:ss"))
    .withColumn("日付", F.to_date("日時"))
    .withColumn("年月", F.date_format("日時", "yyyy-MM"))
    .withColumn("時", F.hour("日時"))
    .withColumn("曜日", F.date_format("日時", "E"))
)
df_ts.show()
df_ts.printSchema()
部門売上日時日付年月時曜日
営業1002023-02-01 10:30:002023-02-012023-0210Wed
開発2002023-02-02 11:00:002023-02-022023-0211Thu
人事3002023-02-03 12:15:002023-02-032023-0212Fri
営業1502023-02-01 09:45:002023-02-012023-029Wed
root
 |-- 部門: string (nullable = true)
 |-- 売上: long (nullable = true)
 |-- 日時: timestamp (nullable = true)
 |-- 日付: date (nullable = true)
 |-- 年月: string (nullable = true)
 |-- 時: integer (nullable = true)
 |-- 曜日: string (nullable = true)
  • 年・月・日だけ欲しい場合は F.year() / F.month() / F.dayofmonth() も使える
  • フォーマットに合わない文字列は(ANSIモードがオフの既定設定では)エラーにならず null になる。変換後に null が増えていないか確認するとよい

日数の差・日付の加算・月初 datediff / date_add / trunc

df_ts.select(
    "日付",
    F.datediff(F.to_date(F.lit("2023-03-01")), F.col("日付")).alias("3/1までの日数"),
    F.date_add("日付", 7).alias("7日後"),
    F.trunc("日付", "month").alias("月初"),
).show()
日付3/1までの日数7日後月初
2023-02-01282023-02-082023-02-01
2023-02-02272023-02-092023-02-01
2023-02-03262023-02-102023-02-01
2023-02-01282023-02-082023-02-01
  • datediff(終了, 開始) の順番。逆にするとマイナスになる
  • 月の加算は F.add_months("日付", 1)

型を変える cast

df.withColumn("売上", F.col("売上").cast("int"))
df.withColumn("売上文字列", F.col("売上").cast("string"))
  • 数値に変換できない文字列を cast("int") すると null になる(ANSIモードがオフの場合)

行の絞り込み filter / where

  • filter と where は同じもの。好きな方を使ってよい

基本の条件

df.filter(F.col("売上") >= 150).show()
部門売上日時
開発2002023-02-02 11:00:00
人事3002023-02-03 12:15:00
営業1502023-02-01 09:45:00

AND / OR

# 営業 かつ 売上150以上
df.filter((F.col("部門") == "営業") & (F.col("売上") >= 150)).show()

# 人事 または 売上150未満
df.filter((F.col("部門") == "人事") | (F.col("売上") < 150)).show()
部門売上日時
営業1002023-02-01 10:30:00
人事3002023-02-03 12:15:00

(上は OR の結果)

いずれかに一致 isin / 否定 ~

# 営業 か 人事
df.filter(F.col("部門").isin("営業", "人事")).show()

# 営業 でも 人事 でもない
df.filter(~F.col("部門").isin("営業", "人事")).show()
部門売上日時
開発2002023-02-02 11:00:00

(上は否定の結果)

  • Python のリストを渡す場合は isin(["営業", "人事"]) でも isin(*リスト) でも動く

文字列の部分一致・範囲指定

df.filter(F.col("日時").startswith("2023-02-01")).show()  # 前方一致
df.filter(F.col("部門").contains("業")).show()            # 部分一致
df.filter(F.col("部門").like("営%")).show()               # SQLのLIKE
df.filter(F.col("売上").between(150, 250)).show()         # 150以上250以下

between の結果(両端を含む)

部門売上日時
開発2002023-02-02 11:00:00
営業1502023-02-01 09:45:00

並び替え orderBy

  • 昇順はそのまま、降順は .desc()
  • 複数列を指定すると、左から順に優先される
# 売上の大きい順
df.orderBy(F.col("売上").desc()).show()

# 部門の昇順 → 同じ部門内は売上の降順
df.orderBy(F.col("部門").asc(), F.col("売上").desc()).show()
部門売上日時
人事3002023-02-03 12:15:00
営業1502023-02-01 09:45:00
営業1002023-02-01 10:30:00
開発2002023-02-02 11:00:00
  • 日本語の並び順は文字コード順なので、「人事 → 営業 → 開発」のように五十音順にはならない
  • null の位置を制御したいときは .desc_nulls_last() / .asc_nulls_first() などを使う

集計 groupBy / agg

部門ごとに集計する

  • groupBy でグループを決めて、agg の中に集計関数を並べる
  • alias を付けないと sum(売上) のような列名になるので、付けておくのがおすすめ
df_agg = df.groupBy("部門").agg(
    F.sum("売上").alias("売上合計"),
    F.avg("売上").alias("売上平均"),
    F.count("*").alias("件数"),
    F.max("日時").alias("最終日時"),
)
df_agg.orderBy("部門").show()
部門売上合計売上平均件数最終日時
人事300300.012023-02-03 12:15:00
営業250125.022023-02-01 10:30:00
開発200200.012023-02-02 11:00:00
  • groupBy の結果は順番が保証されないので、並べたい場合は最後に orderBy する

集計結果で絞り込む(SQL の HAVING)

  • 集計した後に filter をかければよい
df.groupBy("部門") \
  .agg(F.sum("売上").alias("売上合計")) \
  .filter(F.col("売上合計") >= 250) \
  .show()
部門売上合計
人事300
営業250

全体を集計する・ユニーク件数を数える

  • groupBy を付けずに agg すると全体の集計になる
df.agg(
    F.countDistinct("部門").alias("部門数"),
    F.sum("売上").alias("総売上"),
).show()
部門数総売上
3750

ウィンドウ関数 Window

  • groupBy は行をまとめて1行にするが、ウィンドウ関数は行数を保ったままグループ内の計算結果を各行に付けられる
  • 「部門内で連番を振る」「前回の値と比べる」「累計を出す」「部門内の構成比を出す」などで使う

連番・前回値・累計 row_number / lag / sum

w = Window.partitionBy("部門").orderBy(F.col("日時"))

df_win = (
    df
    .withColumn("部門内連番", F.row_number().over(w))
    .withColumn("前回売上", F.lag("売上").over(w))
    .withColumn("累計売上", F.sum("売上").over(w))
)
df_win.orderBy("部門", "日時").show()
部門売上日時部門内連番前回売上累計売上
人事3002023-02-03 12:15:001null300
営業1502023-02-01 09:45:001null150
営業1002023-02-01 10:30:002150250
開発2002023-02-02 11:00:001null200
  • partitionBy がグループ、orderBy がグループ内の並び順
  • 先頭行には「前回」がないので lag は null になる。次の行の値は lead
  • 同じ値に同じ順位を付けたい場合は rank(飛び番あり)や dense_rank(飛び番なし)

グループ内の構成比

  • orderBy を付けないウィンドウで sum すると、グループ全体の合計が各行に付く
w_dept = Window.partitionBy("部門")

df.withColumn("部門合計", F.sum("売上").over(w_dept)) \
  .withColumn("構成比", F.round(F.col("売上") / F.col("部門合計"), 2)) \
  .show()
部門売上日時部門合計構成比
人事3002023-02-03 12:15:003001.0
営業1502023-02-01 09:45:002500.6
営業1002023-02-01 10:30:002500.4
開発2002023-02-02 11:00:002001.0

グループごとに最新の1行だけ残す

  • 実務で一番よく使うパターン。日時の降順で連番を振って、1番だけ残す
w_latest = Window.partitionBy("部門").orderBy(F.col("日時").desc())

df_latest = (
    df
    .withColumn("rn", F.row_number().over(w_latest))
    .filter(F.col("rn") == 1)
    .drop("rn")
)
df_latest.show()
部門売上日時
人事3002023-02-03 12:15:00
営業1002023-02-01 10:30:00
開発2002023-02-02 11:00:00

結合 join

以下の部門マスタと結合する例です。人事はマスタになく、経理は売上データにありません。

dept = spark.createDataFrame(
    [("営業", "東京"), ("開発", "鹿児島"), ("経理", "大阪")],
    ["部門", "拠点"]
)

内部結合 inner

  • 両方にある行だけ残る(人事・経理は消える)
df.join(dept, on="部門", how="inner").show()
部門売上日時拠点
営業1502023-02-01 09:45:00東京
営業1002023-02-01 10:30:00東京
開発2002023-02-02 11:00:00鹿児島

左外部結合 left

  • 左側(df)の行はすべて残り、マスタにないものは null になる
df.join(dept, on="部門", how="left").show()
部門売上日時拠点
営業1502023-02-01 09:45:00東京
営業1002023-02-01 10:30:00東京
開発2002023-02-02 11:00:00鹿児島
人事3002023-02-03 12:15:00null

片方にしかない行を取る left_anti

  • 左側にあって右側にない行だけを取り出す(右側の列は付かない)
  • マスタ未登録データのチェックや差分抽出に便利
df.join(dept, on="部門", how="left_anti").show()
部門売上日時
人事3002023-02-03 12:15:00

詳しくは PysparkのDataFrameで差分のみを取得する方法 にまとめています。逆に「右側にある行だけ残し、右側の列は付けない」場合は left_semi です。

結合キーの列名が違う場合

  • on="部門" のように列名で指定すると、キー列が1本にまとまる
  • 列名が違う場合は条件式で指定する。このとき両方のキー列が残るので、不要な方は drop する
dept2 = spark.createDataFrame([("営業", "東京")], ["部署名", "拠点"])

df.join(dept2, df["部門"] == dept2["部署名"], "left") \
  .drop("部署名") \
  .show()
部門売上日時拠点
営業1502023-02-01 09:45:00東京
営業1002023-02-01 10:30:00東京
開発2002023-02-02 11:00:00null
人事3002023-02-03 12:15:00null
  • 右側のキーに重複があると、左側の行が増える(1対多になる)。結合前後で count() を比べておくと事故に気づける

重複の削除 distinct / dropDuplicates

# 部門の一覧(全列が同じ行をまとめる)
df.select("部門").distinct().show()

# 部門が同じ行は1行だけ残す
df.dropDuplicates(["部門"]).show()
部門売上日時
人事3002023-02-03 12:15:00
営業1002023-02-01 10:30:00
開発2002023-02-02 11:00:00
  • dropDuplicates でどの行が残るかは保証されない。実行環境やデータの分かれ方によって変わる
  • 「最新の1行」「売上が最大の1行」のように残す行を決めたい場合は、前述のウィンドウ関数(row_number)を使う

null の扱い

null を埋める fillna / coalesce

df_left = df.join(dept, on="部門", how="left")

# 列ごとに埋める値を指定
df_left.fillna({"拠点": "未登録"}).show()

# coalesce:左から順に見て最初の null でない値を使う
df_left.withColumn(
    "拠点",
    F.coalesce(F.col("拠点"), F.lit("未登録"))
).show()
部門売上日時拠点
営業1502023-02-01 09:45:00東京
営業1002023-02-01 10:30:00東京
開発2002023-02-02 11:00:00鹿児島
人事3002023-02-03 12:15:00未登録
  • fillna は埋める値と列の型が合わないと何もしない(文字列列に数値を指定しても無視される)
  • 「列Aが null なら列B、それも null なら固定値」のような場合は coalesce が便利

null の判定 isNull / isNotNull

df_left.filter(F.col("拠点").isNull()).show()
部門売上日時拠点
人事3002023-02-03 12:15:00null
  • F.col("拠点") == None と書いてもエラーにはならないが、結果は0件になる(後述)

縦に結合する union / unionByName

new = spark.createDataFrame(
    [("経理", 120, "2023-02-04 08:00:00")],
    ["部門", "売上", "日時"]
)
df.union(new).show()
部門売上日時
営業1002023-02-01 10:30:00
開発2002023-02-02 11:00:00
人事3002023-02-03 12:15:00
営業1502023-02-01 09:45:00
経理1202023-02-04 08:00:00

union は列名ではなく列の順番で結合する

  • 列の順番が違う DataFrame を union すると、エラーにならずに値がずれる
new2 = spark.createDataFrame(
    [("2023-02-04 08:00:00", "経理", 120)],
    ["日時", "部門", "売上"]   # 列の順番が違う
)
df.union(new2).show()        # NG
部門売上日時
………
2023-02-04 08:00:00経理120
  • 列名で合わせたい場合は unionByName を使う
df.unionByName(new2).show()  # OK:列名で対応付けられる

# 片方にない列は null で埋める(Spark 3.1以降)
new3 = spark.createDataFrame([("経理", 120)], ["部門", "売上"])
df.unionByName(new3, allowMissingColumns=True).show()
部門売上日時
………
経理120null
  • union は SQL の UNION ALL と同じで、重複は消えない。消したい場合は後ろに .distinct() を付ける

文字列の操作

df.select(
    "部門",
    F.concat_ws("-", F.col("部門"), F.col("売上")).alias("連結"),
    F.substring("日時", 1, 10).alias("日付文字列"),
    F.regexp_replace("日時", "-", "/").alias("置換"),
    F.split("日時", " ").getItem(1).alias("時刻"),
).show()
部門連結日付文字列置換時刻
営業営業-1002023-02-012023/02/01 10:30:0010:30:00
開発開発-2002023-02-022023/02/02 11:00:0011:00:00
人事人事-3002023-02-032023/02/03 12:15:0012:15:00
営業営業-1502023-02-012023/02/01 09:45:0009:45:00
  • substring の開始位置は 1始まり(Python のスライスは0始まりなので混同しやすい)
  • concat は1つでも null があると結果が null になる。concat_ws は null を飛ばして連結する
  • 前後の空白を消すのは F.trim()、大文字・小文字は F.upper() / F.lower()

縦持ちを横持ちにする pivot

  • 日付ごとに部門を列にした表を作る例
df.withColumn("日付", F.substring("日時", 1, 10)) \
  .groupBy("日付") \
  .pivot("部門", ["営業", "開発", "人事"]) \
  .agg(F.sum("売上")) \
  .orderBy("日付") \
  .show()
日付営業開発人事
2023-02-01250nullnull
2023-02-02null200null
2023-02-03nullnull300
  • pivot の第2引数で列にする値を指定しておくと、値の一覧を調べる処理が省けて速くなり、列の順番も固定できる
  • 値がない所は null になるので、0にしたい場合は後ろに .fillna(0) を付ける

よくあるハマりどころ

1. 条件を括弧で囲まないとエラーになる

# NG
df.filter(F.col("部門") == "営業" & F.col("売上") >= 150)

# OK
df.filter((F.col("部門") == "営業") & (F.col("売上") >= 150))
  • Python では & が == や >= より先に計算されるため、NG の書き方は "営業" & F.col("売上") を先に計算しようとしてエラーになる
  • エラーメッセージが Py4JError ... Method and(...) does not exist のような分かりにくいものになるので、見かけたら括弧を疑う

2. null を == None で判定しても0件になる

df_left.filter(F.col("拠点") == None).count()   # 0件(null を拾えない)
df_left.filter(F.col("拠点").isNull()).count()  # 1件
  • SQL と同じく、null との比較結果は true でも false でもなく null になるため、filter で落とされる
  • 同じ理由で、F.col("拠点") != "東京" も null の行は残らない。null も残したい場合は (F.col("拠点") != "東京") | F.col("拠点").isNull() とする

3. union が列の順番で結合される

  • 前述のとおり、列の順番が違ってもエラーにならずに値がずれる。迷ったら unionByName

4. dropDuplicates で残る行が決まっていない

  • テストでは期待どおりでも、本番データでは別の行が残ることがある。残す行に意味があるならウィンドウ関数で決める

5. collect() / toPandas() でドライバーが落ちる

  • collect() や toPandas() は全データを1台(ドライバー)に集める。大きなデータでやるとメモリ不足で落ちる
  • 中身を確認したいだけなら show() や limit(10).toPandas() で件数を絞る

6. show() や count() を何度も呼ぶと遅い

  • Spark は show() や count() を呼んだ時点で、そこまでの処理を毎回最初から実行する(遅延評価)
  • 同じ DataFrame を何度も使う場合は df.cache() しておくと2回目以降が速くなる

やりたいこと別 早見表

やりたいこと使うメソッド
列を追加・上書きするwithColumn / withColumns
条件で値を変えるF.when(...).otherwise(...)
固定値を入れるF.lit(...)
列を選ぶselect
列名を変えるwithColumnRenamed / alias
列を消すdrop
型を変えるcast
文字列を日時にするF.to_timestamp / F.to_date
日時を文字列にするF.date_format
行を絞るfilter / where
いずれかに一致isin
並べ替えるorderBy + .desc()
グループごとに集計するgroupBy().agg()
行数を保ったまま集計値を付けるWindow + .over()
連番・前回値・累計row_number / lag / sum().over()
横に結合するjoin
片方にしかない行を取るjoin(how="left_anti")
縦に結合するunionByName
重複を消すdistinct / dropDuplicates
null を埋めるfillna / F.coalesce
null を判定するisNull / isNotNull
縦持ちを横持ちにするgroupBy().pivot().agg()
タイトルとURLをコピーしました