创建一个重复的字段来计算重复行

Question

我有以下数据框架：

    A  B        
0   1  1
1   1  2
2   1  1
3   1  1 
4   2  2

我想创建一个称为“ fl_dup”的列，该列显示值'0'，以防行是唯一的，或者是第一次发生时。相反，当行重复并第二次发生时，应显示值“ 1”。理想情况下，fl_dup列看起来像这样：

    A  B  FL_DUP      
0   1  1  0
1   1  2  0
2   1  1  1
3   1  1  1
4   2  2  0

我尝试了此代码，但是不幸的是，有时演员表不起作用并返回“ null”值。我也无法获得第一次出现的重复行的“ 0”值。

  df2 = df.join(
    df.groupBy(df.columns).agg((f.count("*")>1).cast("int").alias("FL_DUP")),
    on=df.columns,
    how="left"
  )

Answer 1

以下方式，由于您没有订购行的列），因此该订单可能会丢失：

from pyspark.sql import functions as F, Window as W

df = spark.createDataFrame(
    [(1, 1),
     (1, 2),
     (1, 1),
     (1, 1), 
     (2, 2)],
    ['A', 'B']
)

w = W.partitionBy('A', 'B').orderBy('A')
df = df.withColumn('fl_dup', F.when(F.row_number().over(w) == 1, 0).otherwise(1))

df.show()
# +---+---+------+
# |  A|  B|fl_dup|
# +---+---+------+
# |  1|  1|     0|
# |  1|  1|     1|
# |  1|  1|     1|
# |  1|  2|     0|
# |  2|  2|     0|
# +---+---+------+

Answer 2

这应该执行您的要求：

import numpy as np
import pandas as pd

df = pd.DataFrame([[1,1],[1,2],[1,1],[1,1],[2,2]], columns=("A", "B"))
df['FL_DUP'] = np.where(df.duplicated(['A', 'B'], keep='first'), 1, 0) 

输出：

   A  B  FL_DUP
0  1  1       0
1  1  2       0
2  1  1       1
3  1  1       1
4  2  2       0

请参阅 pandas。 dataFrame.duplicated
and numpy.where.where 以获取更多信息。

Answer 3

1. 创建一个带有所有值零的列，然后将列添加到数据
2. 中

In[0]:
df.insert(2,"fl_dup", list(np.zeros(df.shape[0], dtype = int)), True)
df.loc[df.duplicated(), 'fl_dup'] = '1'
df

框架

    A   B   fl_dup
0   1   1   0
1   1   2   0
2   1   1   1
3   1   1   1
4   2   2   0