代码之家 › 专栏 › 技术社区 › rescdsk

协作科学/数据处理项目仪表板

scientific-computing dashboard continuous-integration automation testing

rescdsk · 技术社区 · 15 年前

像Hudson这样的持续集成服务器是对软件开发的一个非常惊人的补充。我在一个学术研究实验室工作,我很想把类似的原理应用到科学数据分析中。我想要一个类似于仪表板的视图,可以查看哪些数据集合是好的,哪些数据没有通过测试(主要是简单的shell脚本),等等。很像 Chromium dashboard (警告:加载页面需要很长时间)。

把我们的数据(来自行为研究)从原始形式带到最终的、易于分析的形式,至少需要4个人的努力,也许需要10到12个小时的计算机时间。我试过Hudson和buildbot,但都不适合我们的工作流程。我们只想在50个独立的主题数据集合上运行一系列测试,并很好地显示结果。

所以有没有人推荐一种容易生成此类报告的方法?或者,您能想出一个好方法将这种工作流嵌入到一个持续集成服务器中吗?或者,你能推荐一个单元测试仪表板来处理那些小shell脚本而不是小函数的测试吗?

非常感谢。

2 回复 | 直到 5 年前

saramah 15 年前

我猜您的数据每天都在变化,因此您希望在新的数据批上运行相同的测试。

那个作为一个老太婆。如果您想要某种仪表板,那么您可能需要编写一些将测试结果生成为HTML的内容,让您的主脚本生成这些内容,并让apache或twistd之类的工具提供这些内容。

否则,我不知道CI系统的工作方式与Buildbot或Hudson有很大不同。

Nilesh 13 年前

结账 https://my.infocaptor.com

它也许能满足你的需要。您可以在google电子表格上聚合信息,在自己的数据库中预先汇总它们,或者直接访问它们

作为一个活生生的例子,我们在首页仪表板上公开跟踪我们自己的指标。这个仪表板从saasmysql数据库收集信息,并且是实时的。

有很多预构建的适配器,为了满足定制需求,您可以在Web服务器上编写一个脚本,然后使用HTTPPOST与infocaptor进行接口 http://infocaptor.com/help/http_post.htm