字幕生成及翻译

Recent Pages

字幕生成及翻译

最后更新时间：2023-04-14 15:31:18

场景一：离线文件处理
一、零代码自动生成
1. 登录媒体处理控制台 创建编排  ，语音识别、语音翻译能力可插入“内容理解”编排节点，单击
﻿
根据业务实际场景选择系统预设模板。
﻿
﻿
﻿
﻿
﻿
﻿
系统预置模板及能力如下表所示：
模板ID
模板能力
10101
中文识别模板
10102
英文识别模板
10103
中文->中英翻译模板
10104
英文->中英翻译模板
说明：
如需其他模板，请 提交工单 让后台配置。
2. 启用编排（启用后需等待5分钟生效后上传文件触发），往编排触发目录上传文件。
﻿
﻿
﻿
3. 任务处理完后会在编排输出目录自动生成 VTT 字幕文件。
4. ﻿
﻿
﻿
﻿
英文字幕样例：
﻿
﻿
中英字幕样例：
﻿
﻿
﻿
二、API 接口调用
1. 输入+ 编排 ID 发起任务，查看接口信息 。
示例：
{
    "InputInfo": {
        "Type": "COS", 
        "CosInputInfo": {
            "Bucket": "facedetectioncos-1251132611", 
            "Region": "ap-guangzhou", 
            "Object": "/video/123.mp4"
        }
    }, 
    "ScheduleId": 20073, 
    "Action": "ProcessMedia", 
    "Version": "2019-06-12"
}
2. 如果有设置回调地址，回包参考文档：解析事件通知。
三、压制到视频（可选）
需要 发起转码任务 并通过 SubtitleTemplate 字段指定 步骤一或者步骤二生成的字幕 vtt 文件，详细参考 数据结构说明。
示例：
{
    "MediaProcessTask": {
        "TranscodeTaskSet": [
            {
                "Definition": 206390, 
                "OverrideParameter": {
                    "Container": "mp4", 
                    "RemoveVideo": 0, 
                    "RemoveAudio": 0, 
                    "VideoTemplate": {
                        "Codec": "libx264", 
                        "Fps": 30, 
                        "Bitrate": 2346, 
                        "ResolutionAdaptive": "close", 
                        "Width": 1920, 
                        "Height": 0, 
                        "Gop": 0, 
                        "FillType": "black"
                    }, 
                    "AudioTemplate": {
                        "Codec": "libmp3lame", 
                        "Bitrate": 0, 
                        "SampleRate": 32000, 
                        "AudioChannel": 2
                    }, 
                    "SubtitleTemplate": {
                        "Path": "https://lily-1256342427.cos.ap-nanjing.myqcloud.com/mps_autotest/subtitle/1.vtt", 
                        "StreamIndex": 2, 
                        "FontType": "simkai.ttf", 
                        "FontSize": "10px", 
                        "FontColor": "0xFFFFFF", 
                        "FontAlpha": 0.9
                    }
                }
            }
        ]
    }, 
    "InputInfo": {
        "Type": "URL", 
        "UrlInputInfo": {
            "Url": "https://lily-1256342427.cos.ap-nanjing.myqcloud.com/mps_autotest/subtitle/123.mkv"
        }
    }, 
    "OutputStorage": {
        "Type": "COS", 
        "CosOutputStorage": {
            "Bucket": "lily-1256342427", 
            "Region": "ap-nanjing"
        }
    }, 
    "OutputDir": "/mps_autotest/output2/", 
    "Action": "ProcessMedia", 
    "Version": "2019-06-12"
}
场景二：直播流
一、实时回调文本
1. API 发起任务：使用字幕预设模板发起识别任务，参考文档 对直播流发起处理。
示例：
{
    "Url": "http://5000-wenzhen.liveplay.myqcloud.com/live/123.flv", 
    "AiRecognitionTask": {
        "Definition": 10101
    }, 
    "OutputStorage": {
        "CosOutputStorage": {
            "Bucket": "6c0f30dfvodgzp251000800-10022853", 
            "Region": "ap-guangzhou-2"
        }, 
        "Type": "COS"
    }, 
    "OutputDir": "/6c0f30dfvodgzp251000800/0d1409d34565514956657373652/", 
    "TaskNotifyConfig": {
        "NotifyType": "URL", 
        "NotifyUrl": "http://xxxx.qq.com/callback/qtatest/?token=xxxxxx"
    }, 
    "Action": "ProcessLiveStream", 
    "Version": "2019-06-12"
}
2. 实时回调包体请参考文档：解析直播流处理结果。
二、压制到流里面
1. 开通 云直播 和 媒体处理 。
2. ﻿提工单 后台开启云直播字幕功能。
3. 原有推流、拉流逻辑不变，在原有拉流地址的基础上添加语种后缀即可拉到带字幕的流进行分发。
比如推流流ID：5000_test
普通流(没字幕)
http://5000.liveplay.myqcloud.com/live/5000_test.flv
中文转-中文字幕
http://5000.liveplay.myqcloud.com/live/5000_test_chs2chs.flv
中文转-中英字幕
http://5000.liveplay.myqcloud.com/live/5000_test_chs2chseng.flv
中文转-英文字幕
http://5000.liveplay.myqcloud.com/live/5000_test_chs2eng.flv
英文转-英文字幕
http://5000.liveplay.myqcloud.com/live/5000_test_eng2eng.flv
英文转-中英字幕
http://5000.liveplay.myqcloud.com/live/5000_test_eng2chseng.flv
其他语种暂时需要 提工单 后台配置。