如何在结果质量很大程度上是主观的情况下自动化测试

我一直在通过一系列快速原型开发一个自动化和统计生成程序,看看api的许可成本是否能带来良好的投资回报。有限的时间框架和我自己有限的经验导致了一个没有自动化质量或正确性测试和度量的有用工具。

这个程序处理pdf文档的本地化过程。具体来说,它生成关于文件的某些内容的报告(大约字数、图像数等),并且具有一些内容提取和处理功能。它主要用于减少pdf本地化项目成本评估的时间和成本。

该应用程序现在已经被批准用于更正式的开发过程,包括请求一个bug跟踪系统和一个初步的测试、发布和反馈周期。

那么,问题是,在这种应用程序中,您将如何进行qa和测试,在这种应用程序中,数字通常是基于某种启发性的最佳猜测,并且由于可怕的源文档构造,处理后的输出并不总是有用的?我计划在数字明显疯狂时在报告中加上警告,但还能做些什么来保证质量呢?

到目前为止,我所拥有的最复杂的解决方案是通过在构建环境中进行断言测试和编写一堆传统的用户测试用例来保证一些助手方法的结果(我希望避免这种情况)。

你如何测试主观质量指标?

我在C_工作,但我更喜欢一个通用的最佳实践答案,而不是任何过于具体的框架。