代码之家 › 专栏 › 技术社区 › matanster

PADAS将文本列导出为单个无范围的文本文件

pandas python

matanster · 技术社区 · 7 年前

我想将单个数据帧列的整个连接导出到一个文件中,作为一个大文本blob,用于下游的无监督机器学习任务。(在字符串之间使用分隔符)。

熊猫的csv作者似乎不是为这个特殊的案例而设计的,它坚持要逃避角色,实际上应该这样做。

df.to_csv('output.txt', columns = ['tokens'], header=False, index=False, quoting=csv.QUOTE_NONE)

_ csv.error:需要转义,但没有转义字符集

这是可以理解的,因为csv软件包将它们的对称方法放在范围内,而不转义意味着单向街道。

你会怎么做高效给出单个数据帧列值的串联,假设数据帧至少有一百万行?

2 回复 | 直到 7 年前

cs95 abhishek58g 7 年前

只要使用csv编写器编写原始文本,引用就会出现问题。为什么不直接迭代并写入文本文件?

with open('output.txt', 'w') as f:
    for text in df['tokens'].tolist():
        f.write(text + '\n')

matanster 7 年前

鉴于 tokens 是数据帧列名称:

from pathlib import Path

as_one_long_blurb = output.tokens.str.cat(sep='\n')
Path('tokens.txt').write_text(as_one_long_blurb)

我喜欢这个变体,因为除了全局导入,它可以归结为一行代码。

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

9 月前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

9 月前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

9 月前

user29715306 · from_users=和chats=电视节目中的差异

9 月前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

10 月前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

10 月前

prayner · 更新嵌套字典包含列表中的项

10 月前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

10 月前

Dave · 如何在for循环中修改列表值

10 月前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

10 月前