目的:试图分析HPC上深度学习模型中消耗的计算能量,并希望比较两种分析器(能量分析器(Perun)和Py-speed-speedscope)中进程的时间步长。
背景:能量剖面仪
Perun
输出文件格式为csv文件,通过该文件我可以获得每个时间步长消耗的能量。我使用Py-speedscope来了解过程的确切时间线。我同时运行Pyspy和Perun,我想使用相同的格式(如csv)来匹配这两个评测器,这样我就可以准确地了解代码的哪一部分(例如,具有梯度和更新权重的.backop消耗高能量)通过匹配时间轴iwth Pyspy sppedscope上的时间来消耗多少能量。
这两张图片显示了pyspy和perun的剪切形式(在csv中),我厌倦了一对一的映射,但这并不可行。
This image shoes the speedscope snip for 4.5 sec
This image shows the Energy consumption at 4.5 sec with perun
通过此命令,我同时为脚本转换器运行两个评测器。py
有没有一种可能的方法可以获得CSV格式的speedscope输出?
py-spy record --rate 500 --format speedscope --output profile.speedscope.json -- python3.9 transformer.py &
~/.local/bin/perun --format hdf5 --sampling_rate 0.5 monitor transformer.py &
我尝试了从speedscope时间线到Perun生成的能耗时间线的一对一映射,但做一对一的映射是不可行的。
-
我应该如何在时间线上比较两个评测器。
-
是否可以为pyspy-speedscope提供csv格式的输出。