Julia Micro Benchmark统计建议

Julia社区的人认为什么是微观基准性能测试比较最有效的统计数据?

BenchmarkTools 宏 @benchmark 报告:

• 最少时间
• 中值时间
• 平均时间

这些年来,我见过关于最短时间的争论,但我在统计学方面的背景使我对这一建议持谨慎态度。当然,我可能错了,因为我来自不同的问题领域。

我确实找到了一些有趣的建议 here

编辑

一个可靠的软件性能基准测试组织似乎 SPEC :

SPEC Members 显然对计算机有影响。这是目前的名单,不包括员工等。

宏碁公司*Action S.A.*Advanced Micro Devices*Amazon Web Services,Inc.*苹果公司*ARM*华硕计算机公司*AuriStor Inc.*Avere Systems*Bull SAS*Cavium Inc.*思科系统公司*戴尔公司*数字海洋*爱普斯龙Sp.z o.o.Sp.Komandytowa*Format Sp.z o.o.*富士通*高德纳公司*千兆字节技术公司。,有限公司*谷歌公司*贵州华信通半导体技术有限公司*日立数据系统*日立有限公司*惠普公司*惠普企业*华为技术有限公司*IBM*浪潮公司*英特尔*iXsystems公司*联想*微软*NEC公司*NetApp*新H3C技术有限公司。,有限公司*英伟达*甲骨文*Principle Technologies*Pure Storage*高通技术公司*Quanta Computer Inc.*Red Hat*三星*SAP AG*Sugon*Super Micro Computer,Inc.*SUSE*淘宝(中国)软件有限公司*Unisys*Veritas Technologies*VIA Technologies*VMware*WekaIO*

它们提供“规范CPU2000运行和报告规则” here .

目的 本文件规定了如何运行CPU2000套件中的基准,以测量和公开报告绩效结果,以确保使用这些套件生成的结果具有意义、可与其他生成的结果相比较且可重复(包含与结果再现相关的因素的文件)。

应具备以下基本要素:

• 遵循SPEC通用运行规则理念,包括
  • 为C/C++和FORTRAN程序提供了一个合适的环境。
• • 使用SPEC工具编译基准。
  • .

使用中间值是他们程序的一部分,如上面粗体文本所示。