为并行脚本设置数据库运行配置

PyCharms复合配置虽然非常有用,但依赖于IntelliJs运行/调试系统。默认情况下,此系统通常限制可以同时运行的进程数量,这解释了为什么只有三个脚本同时执行。其余的脚本仅在最初的三个完成之一之后开始。

1. 首先,检查Greenplum是否配置为支持并发数( max_connections 参数在 postgresql.conf 文件)。
2. 如果这没有解决问题,因为PyCharm没有提供在UI中修改此设置的设置,但它的IntelliJ平台尊重用于管理并发的特定系统属性,请转到 帮助>编辑自定义VM选项 并添加 -Didea.maximum.startup.concurrency=<desired number> .
3. 如果它仍然不起作用,您可以创建一个脚本来管理并行脚本。使用Python或Bash,你可以使用Python concurrent.futures 模块或Bashs & 用于并行化的运算符。