在使用tensorflow的实时视频对象检测中,哪个实现是首选的

我想实现一个实时视频对象检测,其中视频帧流被馈送到检测服务系统。我正在考虑两种实现该系统的方法:(1)使用tensorflow服务系统 TF serving ,(2)使用tensorflow session.run()。我想知道哪个实现更适合下面的场景?

• 视频流随机到达检测系统。每个视频流持续一段时间。

• 系统必须支持实时并发的视频对象检测过程。但是gpu节点是有限的,这意味着一个gpu上可能同时运行多个检测进程。

• 多个dnn模型可用于实现检测。当新的视频流刚到达时,选择其中一个dnn模型进行推理。希望检测系统能够动态地改变模型选择决策。
• 系统能够为每个服务模型设置资源分配(最大GPU利用率)。

谢谢您!