估计/打印csv复制状态到postgresql表

不幸的是,没有这样的事情。

一个想法是将输入分成1000或10000行的块,然后逐个导入。这不会大大减缓处理速度,而且您可以快速获得整个导入所需时间的估计。

使用pv工具

pv /tmp/some_table.csv | sudo -u postgres psql -d some_db -c "copy some_table from stdin delimiter ',' null '';"

1.42GiB 0:11:42 [2.06MiB/s] [===================================================================================================================================================================>] 100% 

COPY 通过内部 pg_stat_progress_copy 看法

select * from pg_stat_progress_copy \watch 1

参考文献:

• https://www.postgresql.org/docs/14/progress-reporting.html#COPY-PROGRESS-REPORTING
• https://www.depesz.com/2021/01/12/waiting-for-postgresql-14-report-progress-of-copy-commands/

正如Laurenz Albe所说,无法衡量完成整个过程还剩多少时间。但我今天做的一件事是很好地进行近似:

• 在我的Linux中启动“监控系统”
• 在这个应用程序中有一个计数器,显示自从我启动这个应用程序以来上传了多少数据