代码之家 › 专栏 › 技术社区 › sipsorcery

shell命令将大文件拆分为10个小文件

cygwin shell

sipsorcery · 技术社区 · 14 年前

我有一个csv导入文件,有3300万行需要导入我的数据库。我可以用C控制台应用程序导入它,但是在导入超时之后运行的存储过程。因此,我想将文件拆分为10个较小的文件。

我可以在C中完成,但我怀疑使用shell实用程序有更好的方法。我已经安装了cygwin,可以使用所有常见的Linuxshell实用程序。我是否可以使用一些简单的命令组合来分割文件?

4 回复 | 直到 7 年前

Paul R 14 年前

使用 split -例如,每340万行拆分一个文件(应提供10个文件):

split -l 3400000

m1k3y3 12 年前

按行拆分很好,但也可以按大小拆分

从原始文件创建1MB文件

split -b 1024k <file_name>

从原始文件创建1GB文件

split -b 1024m <file_name>

pixelbeat 14 年前

coreutils 8.8中的split版本(尚未发布)将具有以下命令

split -n l/10

现在,您需要为每个文件指定特定的行数。

selva kumar 7 年前

如果csv文件有500行要拆分为两部分(250+250)

下载并安装“cygwin终端”

放置注释“split-l 250 filename.csv”

推荐文章

Le Thuan · grep可以只显示我想要的结果吗

7 年前

Babu · 更新Cygwin后vi或vim未启动

7 年前

MOPO3OB · Ruby在Windows控制台中的输出VS mingw64 VS cygwin64

7 年前

Jay8ee · Cygwin命令替换不工作

7 年前

user447607 · 使用BASH,如何从Java性能测试中删除@Ignore?

7 年前

CapnKirk · 在cygwin上安装sdkman

7 年前

hidemyname · 如何让cygwin中的python使用windows中安装的包?

7 年前

HaroldFinch · 如何在cygwin上安装pigz(并行gzip)?

7 年前

ZeroGraviti · cygwin是否支持ftruncate POSIX标准?

7 年前

Steve W · 使用Cygwin中启动的perl脚本运行带有2个参数的Java文件

7 年前