文分享自华为云社区《使用MetaStudio生产线四步制作数字人视频》,作者: yd_298097624。
随着AIGC新技术尤其是大模型技术的发展,音视频行业、数字内容生产行业正在经历这从生产方式和生产效率上的一个巨大变化。预测到2030年由AI大模型生成的数字内容比例将高达90%,包括通过AIGC来生成数字人,数字人视频等,本博文就来教大家如何用华为云MetaStudio数字内容生产线制作数字人视频。本文介绍了两种制作数字人视频的方式,一种直接在console上操作,另一种用API制作。
进入【数字内容生产线MetaStudio】,在搜索框中输入MetaStudio,点击进入服务。
点击【分身数字人视频制作】的【开通】按钮。
点击【前往MetaStudio工作台】。
点击【分身视频制作】的【开始创建】按钮,进入工作台。
点击【角色】按钮,可以查看所有系统内置的数字人模型,选择一个用来制作视频。
点击【背景】按钮,可以查看所有系统内置的背景图片,选择一个用来制作视频。
点击【亲切女声】按钮,可以查看所有系统内置的音色,选择一个用来制作视频。
将下列文本拷贝到文本输入框中。
MetaStudio数字内容生产线依托自研的图形引擎MetaEngine、国产昇腾AI云服务器算力;提供3D IP型数字人、2D分身数字人快速生成及定制服务;AI重塑数字内容生产,使能视频制作、直播、交互应用。
点击【合成视频】按钮,输入合成视频的文件名,点击【确认】按钮开始合成。
可以通过刷新按钮查看合成进度。
视频制作完成后,点击封面,可以查看视频内容。
通过下面URL进入API Explorer。
https://console.huaweicloud.com/apiexplorer/#/openapi/MetaStudio/doc
产品选择【数字内容生产线】
区域选择【华北-北京4】
通过【查询资产列表】接口查询模型资产。
参数设置:
asset_type:HUMAN_MODEL_2D
asset_source:SYSTEM
请求成功后,在响应体里选择一个模型的资产id,记录下来。
通过【查询资产列表】接口查询背景资产。
参数设置:
asset_type:IMAGE
asset_sourc:SYSTEM
system_property:BACKGROUND_IMG:Yes
请求成功后,在响应体里选择一个背景资产的download_url,记录下来。
注意:可以将limit设置成1,这样响应体不会过大。
通过【查询资产列表】接口查询音色资产。
参数设置:
asset_type:VOICE_MODEL
asset_source:SYSTEM
请求成功后,在响应体里选择一个音色的资产id,记录下来。
通过【创建分身数字人视频制作任务】接口创建任务。
此接口参数较多,先开启【填写默认值】。
参数设置:
video_making_type:MODEL
model_asset_id:填写3.2步骤里请求的数字人模型资产id
voice_config.voice_asset_id:填写3.4步骤里请求的音色资产id
video_config.codec:H264
video_config.bitrate:40
video_config.width:1920
video_config.height:1080
shoot_scripts.shoot_script.text_config.text:视频文案
shoot_scripts.shoot_script.background_config:IMAGE
shoot_scripts.shoot_script.background_config:填写3.3步骤里请求的背景图片下载地址
layer_config:设置为空数组
output_asset_config.asset_name:输出视频文件名
callback_config.callback_url:空字符串
{
“video_making_type”: “MODEL”,
“model_asset_id”: “d02595480275db780375185ead1cc3da”,
“voice_config”: {
“voice_asset_id”: “c20e1b59495d3186ef72226fb1e6701b”,
“speed”: 100,
“pitch”: 100,
“volume”: 140
},
“video_config”: {
“clip_mode”: “RESIZE”,
“codec”: “H264”,
“bitrate”: 40,
“width”: 1920,
“height”: 1080,
“frame_rate”: “25”,
“is_subtitle_enable”: false,
“subtitle_config”: {
“font_name”: “HarmonyOS_Sans_SC_Black”,
“font_size”: 16
}
},
“shoot_scripts”: [
{
“shoot_script”: {
“script_type”: “TEXT”,
“text_config”: {
“text”: “这是一个数字人视频”
},
“background_config”: [
{
“background_type”: “IMAGE”,
“background_config”: “https://metastudio.obs.cn-north-4.myhuaweicloud.com:443/SYSTEM/d6e7dde03cab4ce06f2c3cbb19f2682c/9fd37af847980ae086c98d282570bd72.png?AWSAccessKeyId=V4JN2MVQB83TCU121H6L&Expires=1714180482&response-content-disposition=attachment%3B+filename*%3Dutf-8’’%E6%96%87%E6%97%85%E9%A3%8E3.png&x-amz-security-token=ggpjbi1ub3J0aC00TX97ImFjY2VzcyI6IlY0Sk4yTVZRQjgzVENVMTIxSDZMIiwibWV0aG9kcyI6WyJ0b2tlbiJdLCJyb2xlIjpbXSwicm9sZXRhZ2VzIjpbXSwidGltZW91dF9hdCI6MTcxNDE4NDUyOTAzMSwidXNlciI6eyJPUy1GRURFUkFUSU9OIjp7Imdyb3VwcyI6W3siaWQiOiIyMjZkYTBmNzQyZDc0MjEzOTAwNjFkZDA1YmUyMGYwZCIsIm5hbWUiOiJjc21zLW9pZGMifV0sImlkZW50aXR5X3Byb3ZpZGVyIjp7ImlkIjoib2lkYy1vcC1NU1MifSwicHJvdG9jb2wiOnsiaWQiOiJvaWRjIn19LCJkb21haW4iOnsiaWQiOiIyZGQwYjdlMTI0MWY0ZDNmOWVlNGE3NjZiMmI1MTAxMSIsIm5hbWUiOiJvcF9zdmNfTWV0YVN0dWRpb19jb250YWluZXIwIn0sImlkIjoiNGJVNzd4SklNMU1Ya1RXWlVtcUc2S2ZZWkNCMkZjM2QiLCJuYW1lIjoiRmVkZXJhdGlvblVzZXIiLCJwYXNzd29yZF9leHBpcmVzX2F0IjoiIiwidXNlcl90eXBlIjo0OH19RWjKsVx3tBB9rC9epefZhRbuWZ5quEBfoMuJWu66lk5-UVSfeQqJ4QA9GH6OzoEfhOS0cUGCYtanfHaUlXyVOZ_-jZ8vaLJuVkjL9fmZWnnsAivrmok0bXud5_EmY9BEg96U1wC4vM-SpZlX7xxQO76EHrXjzSYpN3VCZzBF68kZ6rb8HOx8LjWrt__KwYWBxzTMnnLIht0xw0zo6mdaRJBiWOU1QZ1tJeX-cHuE4j88USL8KY08a8ZtvRl4OOs_9sy2bGO4kySItQhtUJBn_EZG3iC5k0imb7LEhAAMN_yHrb_VJz5nGGEuP0tbVBlJacEQSsVx1qJzFbYkYdwuBw%3D%3D&Signature=sn5CCeq4rXdQBd76p6R8Wu6185I%3D”,
“background_color_config”: “#FFFFFF”
}
],
“emotion_config”: [
{
“emotion”: “HAPPY”
}
],
“layer_config”: []
}
}
],
“output_asset_config”: {
“asset_name”: “output”,
“is_preview_video”: false
},
“background_music_config”: {
“volume”: 100
},
“callback_config”: {
“callback_url”: " ",
“auth_type”: “NONE”
}
}请求成功后,在响应体里返回任务id。
通过【查询分身数字人视频制作任务详情】接口查询任务进度
参数设置:
job_id:填写步骤3.5里返回的任务id
当前状态:
WAITING:等待服务器调度
PRCOCESSING:正在制作
FAILED:制作失败,可以在error_info里查看失败原因
SUCCESS:制作成功
制作成功后,记录下响应体里返回的视频资产id
通过【查询资产详情】接口查看输出视频。
参数设置:
asset_id:填写步骤3.6里记录的视频资产id
请求成功后,在响应体里查看视频的download_url。
将download_url复制后,在浏览器中打开,就可以下载到本地了。
文末给大家放一个小福利,仅需19.9元即可制作60分钟的数字人视频啦!https://activity.huaweicloud.com/metastudio-szr.html
关注@华为云开发者联盟 ,第一时间了解华为云新鲜技术~
、通过在后台显示的注册链接,注册华为云帐号
务必通过此链接注册,一个手机可注册3个华为云帐号
备案前请准备备案材料:https://support.huaweicloud.com/prepare-icp/icp_02_0045.html
华为云官网的答疑很清晰,比客服还及时,有问题请先直接搜索答案
二、注册后,按照指引进行实名认证
一个华为云登录帐号对应一个备案主体,如有多个备案主体需要提价备案,请注册新的备案登录帐号来提交备案信息。不要求华为云帐号实名信息与备案主体一致。
三、找到备案入口,点击,或下载“华为云APP”,提交资料更快
四、备案流程中,服务器类型选:备案授权码
将建站后台显示的备案授权码复制粘贴进去
五、资料提交后,会显示“等待初审”,一般1-2天完成初审
初审是华为云工作人员审,进度直接问华为云更有效率。
务必保持联系手机畅通,华为云来电号码是:0755950808,一定要接!!!
如果超过时间点,打电话催一下(挺有用的):4000-955-988,按1转5转3,让备案的小姐姐加快审核
六、初审成功后,等待管局审核,管局审核后结束
注意事项:1、未备案过的域名,点击“开始华为云备案”后,域名将停止解析,直到备案成功才将域名指向华为云服务器
2、整个备案过程的资料,建站服务商是拿不到(华为云对数据保密很严格),只能自行登录华为云后台查看状态
3、要正确反馈你的备案状态,让你的网站正常备案且运营。
要:在本文中,将重点关注网页的初始渲染,即它从解析 HTML 开始。 我将探索可能导致高渲染时间的问题,以及如何解决它们。
本文分享自华为云社区《页面首屏渲染性能指南-云社区-华为云》,作者:Ocean2022。
我们知道渲染页面是一个将服务器的响应内容翻译成图片的过程。但是,如果你页面的渲染性能比较糟糕的话,可能会带来相对较高的跳出率。
在本文中,我将重点关注网页的初始渲染,即它从解析 HTML 开始。 我将探索可能导致高渲染时间的问题,以及如何解决它们。
关键渲染路径 (CRP) 是浏览器将代码转换为屏幕上可显示像素的过程。 它有几个阶段,其中一些可以并行执行以节省时间,但有些部分必须依次完成。 如下图所示:
首先,一旦浏览器得到响应,它就会开始解析它。 当它遇到依赖项时,它会尝试下载它。 如果它是一个样式表文件,浏览器必须在渲染页面之前完全解析它,这就是为什么 CSS 会阻塞渲染的原因。
如果是脚本,浏览器必须:停止解析,下载脚本,然后运行。 只有在那之后它才能继续解析,因为 JavaScript 程序可以改变网页的内容(尤其是 HTML)。 这就是为什么 JS 会阻塞解析的原因。
完成所有解析后,浏览器将构建文档对象模型 (DOM) 和级联样式表对象模型 (CSSOM)。 将它们组合在一起得到渲染树。 页面的不显示部分不会进入渲染树,因为它只包含绘制页面所需的数据。
倒数第二步是将渲染树进行布局, 这个阶段也称为回流:就是计算每个渲染树节点的每个位置及其大小的地方。
最后一步是绘制。 它会根据浏览器在前一阶段计算得到的数据对像素进行着色。
因此,根据这一过程,我们在优化性能方面,得出了一些结论。如果你要提升页面初始化渲染的性能,你需要:
同时,我们会根据下面 3 个指标来衡量优化的效率:
除了渲染时间之外,还有其他一些因素也需要考虑。例如,你的页面使用了多少阻塞资源以及下载它们需要多长时间。
鉴于我们在上面得出的结论,我们得出网站性能优化有三种主要策略:
首先,移除所有未使用的部分,例如 JavaScript 中无法访问的函数、带有从不匹配任何元素的选择器的样式以及被 CSS 永远隐藏的 HTML 标签。 其次,删除所有重复项。
然后,我建议建立一个自动压缩过程。 例如,它应该从你的后端服务中删除所有注释(但不是源代码)以及每个不包含附加信息的字符(例如 JS 中的空白字符)。
完成后,我们剩下的可以是文本字符串。 这意味着我们可以安全地应用诸如 GZIP(大多数浏览器都理解)之类的压缩算法。
最后,还有缓存。 浏览器第一次呈现页面时它不会有帮助,但它会在以后的访问中节省很多。 但是,记住两点至关重要:
当然,应该为每个资源定义缓存策略。 有些可能很少改变或根本不会改变,有的则是变化的很快,还有些文件包含敏感的信息(可以使用 “private” 防止 CDN 缓存私有数据)。
“关键”仅指网页正确呈现所需的资源。 因此,我们可以直接跳过所有流程中没有涉及的样式以及脚本文件。
为了告诉浏览器不需要特定的 CSS 文件,我们应该为所有引用样式表的链接设置媒体属性。 使用这种方法,浏览器将只根据需要处理与当前媒体(设备类型、屏幕尺寸)匹配的资源,同时降低所有其他样式表的优先级。 例如,如果你将 media=“print” 属性添加到引用样式以打印页面的样式标记,则这些样式不会在不打印媒体时干扰你的关键渲染路径。
为了进一步改进该过程,你还可以将一些样式内联,这可以为我们节省了至少一次到服务器的往返行程。
如上所述,脚本会阻塞解析,因为它们可以改变 DOM 和 CSSOM。 为了避免这一点,所有脚本标签都必须用属性标记——异步或延迟。
标有 async 的脚本不会阻塞 DOM 构建或 CSSOM,因为它们可以在 CSSOM 构建之前执行。 但请记住,内联脚本无论如何都会阻止 CSSOM,除非你将它们放在 CSS 之上。
相比之下,标有 defer 的脚本将在页面加载结束时进行执行。
换句话说,使用 defer,脚本直到页面加载事件被触发后才会执行,而 async 让脚本在文档被解析时就会在后台运行。
最后,应将 CRP 长度缩短到可能的最小值。
作为样式标签属性的媒体查询将减少必须下载的资源总数。 script 标签属性 defer 和 async 将防止相应的脚本阻塞解析。
使用 GZIP 压缩、压缩和归档资源将减少传输数据的大小(从而也减少数据传输时间)。
内联一些样式和脚本也可以减少浏览器和服务器之间的往返次数。
按照最新的最佳性能实践理念,一个网站应该做的最快的第一件事就是展示 ATF 内容。 ATF 代表首屏。 这是立即可见的区域,无需滚动。 因此,最好以首先加载所需样式和脚本的方式重新排列与渲染相关的所有内容,而其他所有内容都停止(既不解析也不渲染)。
总而言之,网站性能优化包含了网站响应的各个方面,例如缓存、设置 CDN、重构、资源优化等,但是所有这些都可以逐步完成。 作为 Web 开发人员,你可以将本文作为参考,并始终记住在实验之前和之后测量性能。
浏览器开发人员尽最大努力优化你访问的每个页面的网站性能,这就是浏览器通常实现所谓的“预加载器”的原因。 这部分程序会在你以 HTML 格式请求的资源之前进行扫描,以便一次发出多个请求并让它们并行运行。 这就是为什么在 HTML(逐行)以及脚本标签中保持样式标签彼此靠近的原因。
此外,尝试批量更新 HTML 以避免多个布局事件,这些事件不仅由 DOM 或 CSSOM 中的更改触发,而且在设备方向更改和窗口大小调整时也会触发。
点击下方,第一时间了解华为云新鲜技术~
华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云
*请认真填写需求信息,我们会在24小时内与您取得联系。