简介
AvatarGo 用一张照片,就能让你的应用有一个会说话的数字人。有两种用法:
- 实时通话:数字人在你的网页里和用户实时对话。它会听、用声音回答、口型同步,显示字幕,用户插话时会停下来听。
- 预渲染:用你写的一段文字生成一段数字人说话的视频,下载后放在任何地方用,比如网站、课程、消息里。
实时通话
通话的对象是一个角色:一张脸、一个声音,加上它知道什么、怎么做事——它的指令、开场白、可以查阅的文档,以及可以使用的工具,比如查询你服务器上的数据,或在你的页面里执行一个操作。角色在 AvatarGo 控制台 里搭建,也可以在那里试打一通。见 Characters。
把通话放进你的页面,分两步:
- 你的服务器用 API key 创建一个会话,把这通会话的 session token 交给页面。
- 你的页面用 JavaScript SDK 加入会话,在
<video>元素里显示数字人。
API key 只留在你的服务器上,页面拿到的只有 session token。Quick start 用几行代码完成这两步。
如果你已经有自己的语音识别、语言模型和声音,可以用 Avatar only:你的服务器发送音频,数字人对口型,不需要角色。见 Avatar only (your own audio)。
预渲染
给一张图、一个声音和一段文字,得到一段数字人说这段话的视频(MP4),需要的话还有字幕(SRT)。分两种:
- Talking head:头肩画面,用一张人脸照片。
- Half-body:整张图原样保留,手和道具都在,插画也可以;生成时间更长。
在控制台的 Pre-render 页面生成,或由你的服务器调用 POST /v1/renders。文字最多 4,000 字符,视频最长 5 分钟。视频在后台生成,好了就能看到,一直保留到你删除。见 Pre-render。
接下来
- Quick start:在网页里打通第一通电话。
- Reference:JavaScript SDK 的所有函数和选项。
- Events:字幕、工具调用、通话怎么结束,实时可知。