不规则和交替箱的分类统计

这是一个更复杂的实际应用程序的简短、完整的示例。

图书馆使用 :

import numpy as np
import scipy as sp
import scipy.stats as scist
import matplotlib.pyplot as plt
from itertools import zip_longest

数据 :

我有一个数组,其中包含用开始和结束定义的不规则容器,例如( 在实际情况下,这种格式是给定的,因为它是另一个进程的输出 ):

bin_starts = np.array([0, 93, 184, 277, 368])
bin_ends = np.array([89, 178, 272, 363, 458])

我将其与:

bns = np.stack(zip_longest(bin_starts, bin_ends)).flatten()
bns
>>> array([  0,  89,  93, 178, 184, 272, 277, 363, 368, 458])

给出一个有规律的长间隔和短间隔交替的序列,所有的长度都不规则。 这是给定长间隔和短间隔的草图表示:

我有一堆时间序列数据,类似于下面创建的随机数据:

# make some random example data to bin
np.random.seed(45)
x = np.arange(0,460)
y = 5+np.random.randn(460).cumsum()
plt.plot(x,y);

目标 :

我想用间隔序列来收集统计数据(平均值,百分位数, 总计 )在数据上-但只能使用较长的间隔,即草图中的黄色间隔。

假设和澄清:

长间隔的边缘永远不会重叠;换句话说,长间隔之间总是有一个短间隔。而且,第一个间隔总是很长的。

当前解决方案:

一种方法是使用 scipy.stats.binned_statistic 对所有间隔进行切片,然后将结果只保留其他间隔(即 [::2] ,就像这样(对一些统计数据有很大帮助,比如 np.percentile 正在读书 this SO answer 通过 @ali_m ):

ave = scist.binned_statistic(x, y, 
                         statistic = np.nanmean, 
                         bins=bns)[0][::2]

这给了我想要的结果:

plt.plot(np.arange(0,5), ave);

问题 : 有没有比这更好的方法(使用 Numpy , Scipy 或 Pandas )?