tencent cloud

视频内容识别，即借助 AI 对视频内容进行智能识别，是一种离线任务。使用视频内容识别，可以识别出视频画面中的人脸、文字、片头片尾以及语音中的文字。根据视频内容识别的结果，您可以准确高效地管理视频。视频内容识别包括以下功能：

部分内容识别功能需要依赖素材库，有公共库和自定义库两种：

• 公共库：点播预置好的素材库。
• 自定义库：用户自行创建和管理的素材库。

视频内容识别模板

视频内容识别集成了多项识别功能，需要通过参数进行精细化控制，控制的目标如：

• 启用的识别类型：启用内容识别中的哪几项功能。
• 使用的素材库：对于人脸识别，使用公共库还是自定义库。
• 指定过滤分数：人脸识别的置信度达到多少分的结果才返回。
• 指定过滤标签：人脸的标签在什么范围内的结果才返回。

针对常见的操作组合，云点播提供了 预置视频内容识别模板。另外，您还可以调用 服务端 API 创建和管理自定义视频内容识别模板。

任务发起

发起视频内识别任务，有“通过服务端 API 直接发起”、“通过控制台直接发起”和“上传时指定要执行的任务”三种方式。具体请参照视频处理的 任务发起。

以下是各种方式发起视频内容识别任务的说明：

• 调用服务端 API ProcessMedia 发起任务：在请求中的AiRecognitionTask参数指定 视频内容识别模板 的模板 ID。
• 调用服务端 API ProcessMediaByUrl 发起任务：在请求中的AiRecognitionTask参数指定 视频内容识别模板 的模板 ID。
• 通过控制台对视频发起任务：调用 服务端 API 创建任务流，任务流中配置视频内容识别任务（MediaProcessTask.AiRecognitionTask中指定）；在控制台使用该任务流 发起视频处理。
• 服务端上传时指定任务：调用 服务端 API 创建任务流，任务流中配置视频内容识别任务（MediaProcessTask.AiRecognitionTask中指定）； 申请上传 中的procedure参数指定为该任务流。
• 客户端上传时指定任务：调用 服务端 API 创建任务流，任务流中配置视频内容识别任务（MediaProcessTask.AiRecognitionTask中指定）；在 客户端上传签名 中的procedure指定该任务流。
• 控制台上传：调用 服务端 API 创建任务流，任务流中配置视频内容识别任务（MediaProcessTask.AiRecognitionTask中指定）；通过控制台上传视频，选择 上传的同时对视频进行处理操作 并指定视频上传后执行该任务流。

结果获取

发起视频内容识别任务后，您可以通过异步等待 结果通知 和同步进行 任务查询 两种方式获取视频内识别任务的执行结果。下面是发起内容识别任务后，普通回调方式下结果通知的示例（省略了值为 null 的字段）：

{
  "EventType":"ProcedureStateChanged",
  "ProcedureStateChangeEvent":{
      "TaskId":"1400155958-Procedure-2e1af2456351812be963e309cc133403t0",
      "Status":"FINISH",
      "FileId":"5285890784363430543",
      "FileName":"集锦",
      "FileUrl":"http://1400155958.vod2.myqcloud.com/xxx/xxx/aHjWUx5Xo1EA.mp4",
      "MetaData":{
          "AudioDuration":243,
          "AudioStreamSet":[
              {
                  "Bitrate":125599,
                  "Codec":"aac",
                  "SamplingRate":48000
              }
          ],
          "Bitrate":1459299,
          "Container":"mov,mp4,m4a,3gp,3g2,mj2",
          "Duration":243,
          "Height":1080,
          "Rotate":0,
          "Size":44583593,
          "VideoDuration":243,
          "VideoStreamSet":[
              {
                  "Bitrate":1333700,
                  "Codec":"h264",
                  "Fps":29,
                  "Height":1080,
                  "Width":1920
              }
          ],
          "Width":1920
      },
      "AiRecognitionResultSet":[
          {
              "Type":"FaceRecognition",
              "FaceRecognitionTask":{
                  "Status":"SUCCESS",
                  "ErrCode":0,
                  "Message":"",
                  "Input":{
                      "Definition":10
                  },
                  "Output":{
                      "ResultSet":[
                          {
                              "Id":183213,
                              "Type":"Default",
                              "Name":"张三",
                              "SegmentSet":[
                                  {
                                      "StartTimeOffset":10,
                                      "EndTimeOffset":12,
                                      "Confidence":97,
                                      "AreaCoordSet":[
                                          830,
                                          783,
                                          1030,
                                          599
                                      ]
                                  },
                                  {
                                      "StartTimeOffset":12,
                                      "EndTimeOffset":14,
                                      "Confidence":97,
                                      "AreaCoordSet":[
                                          844,
                                          791,
                                          1040,
                                          614
                                      ]
                                  }
                              ]
                          },
                          {
                              "Id":236099,
                              "Type":"Default",
                              "Name":"lisi",
                              "SegmentSet":[
                                  {
                                      "StartTimeOffset":120,
                                      "EndTimeOffset":122,
                                      "Confidence":96,
                                      "AreaCoordSet":[
                                          579,
                                          903,
                                          812,
                                          730
                                      ]
                                  }
                              ]
                          }
                      ]
                  }
              }
          }
      ],
      "TasksPriority":0,
      "TasksNotifyMode":""
  }
}

回调结果中，ProcedureStateChangeEvent.AiRecognitionResultSet有Type为FaceRecognition的识别结果，代表人脸识别。

Type为FaceRecognition的结果显示，Output.ResultSet中包含了两个识别出的人物，分别是张三和lisi。SegmentSet表示人脸出现在视频中的时间段（由StartTimeOffset和EndTimeOffset确定）和在画面中的坐标（由AreaCoordSet确定）。