pandas:将多列子集映射为单列子集的有效方法

问题

我正试图将同名的多个列集合/组合成单个列集合。例如:

我有一个包含多个列名重复的列的数据帧。例如,考虑这个例子,我有两个相同列名的多个列的子集,如下所示:

    A    A     A     B     B
  0 cute tall tall  NaN   old
  1 NaN  NaN   5    NaN   NaN
  2  1   old   NaN  cute  big

我的目标是将每个子集(aaa&bb)映射到它自己的单列子集。以下期望输出说明了这一想法:

      A_new          B_new
 0   "cute, tall"    "old"
 1   "5"              NaN
 2   "1, old"        "cute, big"

在这里,我在输入数据帧上应用以下3个简单的逻辑:

1. 将所有非NaN值合并为一个字符串并将其保存到新列。
2. 组合非NaN值时,请检查重复项,并仅返回不重复的值
3. 如果所有值都是NaN,则返回NaN

我目前的解决方案是基于for循环,遍历每一行。但是,这种方法非常慢,而且我的数据帧非常大,因此我想知道是否有一种更高效/快速的方法来实现这一点?

这是我目前(非常缓慢)的解决方案:

for c,j in tqdm(enumerate(columns)): # columns is a list holding all the relevant column names
    merged_values = []
    for i in (range(0,len(df))):
        values = [x for x in df[j].iloc[i] if x is not np.nan]
        values = list(set(values))
        if values == []:
            values = np.nan
        #print(values)
        elif len(values) > 1:
            values = ", ".join(values)
        else:
            values = values[0]
        merged_values.append(values)
    if c == 0:
        data = pd.DataFrame(merged_values,columns=[j+"_new"])
    else:
        data[j] = pd.DataFrame(merged_values,columns=[j+"_new])