。。。这是不是意味着如果我
n_jobs = -1
,隐式地等于
n_jobs = 2
?
这个很简单:
python(在
GridSearchCV()
)用于检测CPU核的数量,这对于调度并发(独立)进程是合理的,前提是使用
n\u作业=-1
背景
看到3核CPU很有趣?
在某些可以综合模拟CPU/内核的虚拟化机器情况下,结果并不像已知的Intel CPU/i3情况那样微不足道。
如果有疑问,可以
测验
这是一个微不足道的案例(在一个确实很小的数据集上,而不是全面的模型空间搜索…)让故事继续证明这一点。
import psutil; print( "{0:17s}{1:} CPUs PHYSICAL".format(
"psutil:",
psutil.cpu_count( logical = False ) ) )
pass; print( "{0:17s}{1:} CPUs LOGICAL".format(
"psutil:",
psutil.cpu_count( logical = True ) ) )
...
类似的主机平台“自我检测”可能会报告不同系统/设置的更多详细信息:
'''
sys: linux
3.6.1 (default, Jun 27 2017, 14:35:15) .. [GCC 7.1.1 20170622 (Red Hat 7.1.1-3)]
multiprocessing: 1 CPU(s)
psutil: 1 CPUs PHYSICAL
psutil: 1 CPUs LOGICAL
psutil: psutil.cpu_freq( per_cpu = True ) not able to report. ?( v5.1.0+ )
psutil: 5.0.1
psutil: psutil.cpu_times( per_cpu = True ) not able to report. ?( vX.Y.Z+ )
psutil: 5.0.1
psutil: svmem(total=1039192064, available=257290240, percent=75.2, used=641396736, free=190361600, active=581107712, inactive=140537856, buffers=12210176, cached=195223552, shared=32768)
numexpr: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ModuleNotFoundError: No module named 'numexpr'.
joblib: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ModuleNotFoundError: No module named 'joblib'.
sklearn/joblib: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ModuleNotFoundError: No module named 'sklearn.externals.joblib'
'''
或
''' [i5]
>>> numexpr.print_versions()
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Numexpr version: 2.5
NumPy version: 1.10.4
Python version: 2.7.13 |Anaconda 4.0.0 (32-bit)| (default, May 11 2017, 14:07:41) [MSC v.1500 32 bit (Intel)]
AMD/Intel CPU? True
VML available? True
VML/MKL version: Intel(R) Math Kernel Library Version 11.3.1 Product Build 20151021 for 32-bit applications
Number of threads used by default: 4 (out of 4 detected cores)
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
'''
。。。与GridSearchCV一起使用,可以更好地为模型选择最佳参数集,
n\u作业=-1
或
n_jobs
有一个大数字,比如
n_jobs = 30
?
没有容易的事”
一刀切
“回答这个问题:
Scikit工具(以及许多其他遵循此做法的工具)用于在
n\u作业
指令,所需数量的并发进程实例(以便避免共享GIL锁步进-如果对详细信息感兴趣,请在其他地方阅读更多信息)。
此流程实例化并不是无成本的(从时间角度来看,都是如此,也就是说
[TIME]
-域成本,但也包括空间成本,即至少花费
n\u作业
-乘以中单个python进程实例的RAM分配
[SPACE]
-域)。
有鉴于此,你的战斗是对一把双刃剑的战斗。
试图“低估书本”
中央处理器
可能会让(一些)CPU内核闲置。
试图“超额预订”
内存
-空间将使您的性能比预期的更差,因为虚拟内存将改变操作系统交换,从而使您的机器学习可缩放的数据访问时间从
~ 10+[ns]
超过100000 x较慢
~ 10+ [ms]
这很难让人满意。
的总体影响
n_jobs = a_reasonable_amount_of_processes
是的主题
Amdahl's Law
( the re-formulated one, not an add-on overhead-naive version )
,因此将有一个实际的优化峰值(最大值),即有多少CPU核将有助于改善一个人的处理意图,除此之外,开销成本(为
[时间]
-以及
[空格]
-上述领域)实际上会恶化任何潜在的积极影响预期。
使用过
RandomForestRegressor()
在实际生产中的大型数据集上,我可以告诉您
[空格]
-域名是你成长过程中最糟糕的敌人
n\u作业
任何进一步的系统级调优都无法克服这一界限(因此越来越多的超低延迟RAM和越来越多的(真实的)CPU内核是进入更大系统的唯一可行方法
n\u作业
计算计划)。
