代码之家  ›  专栏  ›  技术社区  ›  Avatar

Py-spy:对于Py-spy-spy-speedscope格式,是否可以将输出文件格式设置为csv、xls或txt

  •  0
  • Avatar  · 技术社区  · 3 年前

    目的:试图分析HPC上深度学习模型中消耗的计算能量,并希望比较两种分析器(能量分析器(Perun)和Py-speed-speedscope)中进程的时间步长。

    背景:能量剖面仪 Perun 输出文件格式为csv文件,通过该文件我可以获得每个时间步长消耗的能量。我使用Py-speedscope来了解过程的确切时间线。我同时运行Pyspy和Perun,我想使用相同的格式(如csv)来匹配这两个评测器,这样我就可以准确地了解代码的哪一部分(例如,具有梯度和更新权重的.backop消耗高能量)通过匹配时间轴iwth Pyspy sppedscope上的时间来消耗多少能量。

    这两张图片显示了pyspy和perun的剪切形式(在csv中),我厌倦了一对一的映射,但这并不可行。 This image shoes the speedscope snip for 4.5 sec This image shows the Energy consumption at 4.5 sec with perun

    通过此命令,我同时为脚本转换器运行两个评测器。py

    有没有一种可能的方法可以获得CSV格式的speedscope输出?

     py-spy record --rate 500 --format speedscope --output profile.speedscope.json -- python3.9 transformer.py & 
     ~/.local/bin/perun --format hdf5 --sampling_rate 0.5 monitor transformer.py  & 
    
    

    我尝试了从speedscope时间线到Perun生成的能耗时间线的一对一映射,但做一对一的映射是不可行的。

    1. 我应该如何在时间线上比较两个评测器。
    2. 是否可以为pyspy-speedscope提供csv格式的输出。
    0 回复  |  直到 3 年前
    推荐文章