Skip to Content
简介

简介

AvatarGo 用一张照片,就能让你的应用有一个会说话的数字人。有两种用法:

  • 实时通话:数字人在你的网页里和用户实时对话。它会听、用声音回答、口型同步,显示字幕,用户插话时会停下来听。
  • 预渲染:用你写的一段文字生成一段数字人说话的视频,下载后放在任何地方用,比如网站、课程、消息里。

实时通话

通话的对象是一个角色:一张脸、一个声音,加上它知道什么、怎么做事——它的指令、开场白、可以查阅的文档,以及可以使用的工具,比如查询你服务器上的数据,或在你的页面里执行一个操作。角色在 AvatarGo 控制台 里搭建,也可以在那里试打一通。见 Characters。

把通话放进你的页面,分两步:

  1. 你的服务器用 API key 创建一个会话,把这通会话的 session token 交给页面。
  2. 你的页面用 JavaScript SDK 加入会话,在 <video> 元素里显示数字人。

API key 只留在你的服务器上,页面拿到的只有 session token。Quick start 用几行代码完成这两步。

如果你已经有自己的语音识别、语言模型和声音,可以用 Avatar only:你的服务器发送音频,数字人对口型,不需要角色。见 Avatar only (your own audio)。

预渲染

给一张图、一个声音和一段文字,得到一段数字人说这段话的视频(MP4),需要的话还有字幕(SRT)。分两种:

  • Talking head:头肩画面,用一张人脸照片。
  • Half-body:整张图原样保留,手和道具都在,插画也可以;生成时间更长。

在控制台的 Pre-render 页面生成,或由你的服务器调用 POST /v1/renders。文字最多 4,000 字符,视频最长 5 分钟。视频在后台生成,好了就能看到,一直保留到你删除。见 Pre-render。

接下来

  • Quick start:在网页里打通第一通电话。
  • Reference:JavaScript SDK 的所有函数和选项。
  • Events:字幕、工具调用、通话怎么结束,实时可知。