视频智能分析结果存储方案

以智能视频分析与存储为例，常见的应用场景包括视频监控、体育赛事分析、人工智能教育、自动驾驶汽车等。对于这些场景，需要将视频内容进行智能分析，并将元数据添加到视频中方便存储和检索。

1.将智能分析的信息描述附加到单独文件中管理

以基于此方案的产品举例，Hikvision旗下的视频智能识别产品“海思算法”是一个使用此方案的典型代表。海思算法可以将视频的物体、颜色等信息识别出来，并将其作为独立的元数据信息进行存储。当用户需要检索相关视频时，可以通过检索这些元数据信息实现智能搜索。此外，这种方法还支持在线更新模型数据，以便提高识别准确性。

优点：

• 数据与视频内容分离：将元数据信息写入到独立的文件或数据库中，方便日后管理和更新。
• 可扩展性：可以根据具体业务需要自定义元数据信息结构，方便扩展。
• 低延迟：由于数据和视频内容分离，因此不会影响视频传输延迟。

缺点：

• 可靠性：由于数据和视频内容分离，因此需要保证两者之间的对应关系。如果该对应关系出现问题，则会影响元数据的可靠性。此外，如果未能及时更新元数据信息，可能导致识别准确性降低。

2.将智能分析的信息添加到SEI中

以基于此方案的产品举例，维视传媒的智能体育赛事分析平台采用了将智能分析数据添加到SEI的方法。该平台可以对体育赛事视频进行实时分析，并将场上球员、比赛得分、观众反应等信息添加到SEI中，方便后续检索和分析。

优点：

• 与现有视频编码标准兼容：由于使用了现有的SEI机制，因此可以在现有视频编码标准下实现元数据的添加。
• 实时性：由于SEI信息随着NAL单元一起传输，因此可以实时地提供元数据信息。
• 易于扩展：由于SEI具有可扩展性，因此可以支持各种类型的元数据信息。

缺点：

• 数据大小受限：由于SEI数据的大小受限于NAL单元，因此只能添加较小的元数据信息。
• 数据解析复杂性：由于SEI信息需要通过解码器进行解码，因此在分析和处理时，需要考虑解码复杂性和对应的处理流程。

3.将智能分析的信息写入到包格式（例如PS、TS等）中

以基于此方案的产品举例，英特尔的OpenVINO工具包可以将深度学习模型部署到基于Intel体系结构的终端设备中。该工具包支持将智能分析的信息写入到TS数据包中，方便后续的存储和检索。

优点：

• 与现有格式兼容：由于采用了现有的TS协议机制，因此可以在现有的网络传输和存储场景中使用。
• 支持大量元数据：由于TS数据包大小不受限制，因此可以添加大量的元数据信息。
• 易于扩展：由于TS支持多种类型的元数据信息添加，因此可以根据具体业务需要进行扩展。

缺点：

• 延迟较高：由于TS数据包大小不一致，因此可能导致传输延迟增加。
• 存储复杂性：由于元数据信息与视频内容融合，因此在存储和管理时，需要考虑数据的组织和检索方式。

综上所述，将智能分析的信息描述附加到单独文件中管理、将其添加到SEI以及写入到包格式等方法都有其优点和缺点。最终选择哪种方法主要取决于具体的应用场景和需求。根据不同的场景，需要综合考虑数据存储管理、智能检索、深度学习的训练和推理等方面的因素，从而选择适合的解决方案。