云计算 已评论

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

2021-3-1 18:09

  【天极网云计算频道】一夜之间,朋友圈都在“蚂蚁牙黑”!网友却担心......"Baby, don't worry, we have ModelArts!",是的,咱用 ModelArts 来制作,无需担心“有人模仿我的脸?”,也不用担心偌大的水印。不过,使用别人的脸可能真的有法律风险!本文将介绍如何借力一站式 AI 开发平台,“傻瓜式”操作实现生成“蚂蚁牙黑“小视频。

  环境准备

  ModelArts 和她的最佳搭档--对象存储服务 OBS ,您可以理解为是“网盘”,主要要来存放数据集、模型或其他文件。

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  ModelArts: https://www.huaweicloud.com/product/modelarts.html AI开发平台ModelArts是面向开发者的一站式AI开发平台,为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  OBS: https://www.huaweicloud.com/product/obs.html

  对象存储服务(Object Storage Service,OBS)提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。

  使用以上服务会有一定费用产生,或者您可以尝试认证为开发者会有一定代金券赠送,当然关注 ModelArts 和加入 ModelArts 开发者社区也会有机会获得大额代金券。

  模型、素材准备

  本次实现使用的是用于图像动画的一阶运动模型,这是一种基于关键点和局部仿射变换的图像动画方法,

  论文地址:

  https://arxiv.org/abs/2003.00196

  下载预训练模型及素材

  最近手头紧,非常抱歉不能为大家提供 OBS 路径直接下载,我已将预训练模型及素材上传到 AI Gallery 数据集,请自行下载到您的 OBS 中。

  当然如果您有可快速下载的地址,欢迎分享!

  源文件地址:

  https://drive.google.com/drive/folders/1kZ1gCnpfU0BnpdU47pLM_TQ6RypDDqgw?usp=sharing

  或者

  https://drive.google.com/drive/folders/16inDpBRPT1UC0YMGMX3dKvRnOUsf5Dhn?usp=sharing

  因为是源文件,因此不包含”蚂蚁牙黑“原视频素材,但我已添加至AI Gallery 数据集

  AI Gallery 是在 ModelArts 的基础上构建的开发者生态社区,提供模型、算法、HiLens技能、数据集等内容的共享和交易。因此您可以下载分发的数据集或文件到您的 OBS ,使用时请遵守相应的政策和规则!打开 https://marketplace.huaweicloud.com/markets/aihub/datasets/detail/?content_id=00bc20c3-2a00-4231-bdfd-dfa3eb62a46d 点击下载按钮进入下载详情,设置 OBS 路径,确定下载即可将模型和素材下载到自己的 OBS 中,比如我路径是/modelarts-lab/first-order-motion-model。下载进度可以在 AI Gallery 个人中心-我的下载查看。

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  JUST DO IT -- ModelArts 我的笔记本

  接下来开始使用 ModelArts--我的笔记本 ,即开即用的在线集成开发环境,可以轻松的构建、训练、调试、部署机器学习算法与模型。当前使用免费规格用于体验, 值得留意的是 72 小时内没有使用,会释放资源,因此需要注意文件备份。当然还可以使用 Notebook 免费算力,记得选择 GPU 环境哦!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  当我们使用我的笔记本时默认开启的是 CPU 环境,因此我们需要切换到 GPU 环境。目前 ModelArts-我的笔记本 支持8 vCPU + 64 GiB + 1 x Tesla V100-PCIE-32GB。

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  新建Pytorch 1.0的.ipynb文件,开始我们的“蚂蚁呀嘿”体验之旅。

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  下载代码

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  github 速度慢,建议转存到华为云代码托管平台再拉取。

  此处提供我已经缓存好的代码仓库地址,因此不再演示如何将 github 代码迁移到 codehub。

  (不保证我的账号欠费而无法访问,因此建议大家以自己的方式上传代码到 Notebook !)

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  利用 Moxing 拷贝文件到 JupyterLab

  将之前下载到 OBS 中的模型和素材通过 Moxing 拷贝过来,此处注意替换为您的 OBS 路径。02.mp4是“蚂蚁呀嘿”的模版视频,

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  JUST DO IT

  准备工作完成之后,撸起袖子就是干!切换到first-order-model目录,然后将 source_image_path中的路径替换为”您的脸”所在的路径,脸的照片可以直接通过 Notebook 的文件上传功能上传。

  当然您还可以将默认的“蚂蚁牙黑”视频替换为您自定义的视频,格式为 mp4。一路执行可以查看到合成前的预览。

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  创建模型并加载 checkpoints

  这一步完成之后,我们便得到了“蚂蚁呀嘿”的视频了--“generated.mp4”,这就结束了?不过,问题来了……

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  后续操作

  如果您和我一样直接下载并打开上面操作的产物--generated.mp4,您一定会和我一样困惑:声音呢?

  是的,声音丢失了,因为核心代码只处理图像,声音需要我们自行找回,因为我们使用moviepy。

  不仅如此,我们还可以为视频加水印。

  安装 moviepy 为视频剪辑做准备

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  为视频添加背景音乐

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  别人花钱去水印,而我还要加水印,欢迎加入MDG!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  至此,本次实现先告一段落,关于“多人运动”--合照的解决办法还没来得及探索,欢迎您在评论区分享指导,感谢!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  最后,打个小广告:广州的小伙伴欢迎加入我们,共建 ModelArts 生态!

“蚂蚁牙黑”,快用 ModelArts 自己实现一个!

  (文章转载,来源:本文首发于华为云云社区,经华为云授权转载 作者:胡琦)

查看更多内容
#+1你赞过了
人已赞
#
分享

取消

©2020 天极网旗下网站

#
第三方账号登录
X
发布