我们 做 了 个 能 对话 的 AI 派 蒙 ， 免费 给 大家 玩 ！ (2)
这个 模型 肯定 是 要 自己 准备 数据 自己 训练 了
训练 的 效果 如何
声音 还原 度 高不高
其实 很大 程度 上 是 取决于 样本 数量 和 质量
这 也 是 为什么 我 这次 选 了 派 蒙来 做 这个 事儿
因为 在 原神 这个 游戏 里面
派 蒙有 整整 一 万多条 语音
这么 多样 本 拿来 训练 VITS 效果 就 非常 好
说实话 我 一 开始 是 不想 用派 蒙 的
这个 项目 的 初衷 我 想 做 个 虚拟 女友 性质 的 数字 生命
比如 用个 宵 宫 或者 诺艾尔 啊
或者 其他 游戏 的 各种 纸片 人 老婆 角色
这 不是 挺 好 的 么 ！
咱们 人人 都 是 痞 老板 对 吧
你别 不 承认 啊
但是
这些 角色 大多 都 只有 不到 1000 条 可用 的 样本
和 派 蒙 的 10000 条比 起来
训练 效果 就 差 很多 了
我 好 喜欢 你 啊 旅行者
和 我 结婚 好 吗 ？
包括 我 自己 的 语音
也 是从 视频 里 截取 了 3000 多条 来 训练
效果 也 还行
不是 女友 型 角色 你 也 不要 气馁
你 可以 把 我 当成 女友 来 用
我 也 不会 介意 的
有 了 足够 多 的 样本
还 得 一直 让 它 训练 才能 出 效果
这 意味着 我们 需要 极为 强大 的 GPU 算力
那 这个 事情 对 我们 来说 反而 不是 什么 问题
正好 我们 在 做 另外 一个 项目
有 三张 RTX6000 Ada 可以 拿来 用
每 一张 卡 都 是 4090Ti 的 核心 规格
一共 144G 显存
这个 算力 应该 非常 够用 了 吧
我们 大概 只花 了 20 小时 就 训练 出 了 现在 用 的 这个
颇具 人形 的 派 蒙 声线
同样 的 工作量 在 一台 3060 的 电脑 上 可能 二十天 都 不 一定 跑 得 完
当然 在 折腾 VITS 的 过程 中 我 也 发现
AI 的 声音 效果 好不好
也 要 看 角色 本身 的 声线
像 神子 和 钟离 这种 说话 比较 平和
语气 没有 太 多 起伏 的 角色
就 不 需要 很多 样本
也 能 出 尚可 接受 的 效果
我 好 喜欢 你 啊 旅行者
和 我 结婚 好 吗 ？
旅行者
今天 是 星期四
能否 V 我 50？
包括 角色 说 的 语言 也 会 影响 还原 度
像 中文 的话 AI 最 容易 搞错 的 其实 是 语调 平仄 的 变化
这个 念错 就 会 显得 很违 和
契约书 上 该 签 什么 名字 呢
我 有 许多 名字 度假 期间 我会 自称 钟离
如果 是 音节 简单 音 、 调 变化 少 的 语言
比如 像 日语 的话 呢
对于 AI 来说 模仿 起来 要 更 容易 一些
你 看 很多 外国人 会 觉得 学 中文 难
其实 对于 AI 来说
想要 掌握 中文 的 这种 音调 平仄
想要 念 一口 流利 的 中文 也 是 一项 有 难度 的 挑战
声音 有 了
是不是 还 需要 一个 画面 上 的 形象 呢 ！
画 形象 是 容易 的
我们 在 虚幻 引擎 里 塞 了 一个 派 蒙
让 它 说话 的 时候 嘴动 起来 就行了
可是 这样的话
看着 就 很 呆滞
感觉 像 个 僵尸 一样 对 吧 ？
所以 我们 首先 加一点 待机 动作
比如 派 蒙 一直 是 飘来飘去 的
还要 给 它 加 各种 小动作
并且 最好 呢
我们 可以 给 不同 的 情绪 单独 去 设计 一些 动作 和 表情
让 它 高兴 的 时候 高兴
生气 的 时候 生气
这些 动作 和 表情 我们 直接 参照 游戏 里面 的 做 就行了
但 比较 头疼 的 是
我们 要 怎样才能 知道
派 蒙 现在 是 高兴 还是 生气 呢 ！
这个 就要 用到 情绪 识别 了
我们 要 对 ChatGPT 给出 的 回答 做 一个 情绪 分类
判断 角色 是 什么 情绪
这个 我们 可以 用 BERT 来 实现
BERT 是 什么 呢 ？
简单 的 来说
它 是 一个 编码器
可以 让 机器 理解 我们 的 语言
并 表示 在 一个 向量 空间 中
假设 我们 现在 的 判断 标准 是 情绪
那么 两句话 如果 情绪 类似
就 会 被 BERT 编码 到 空间 里 相近 的 坐标
我们 就 可以 用 这个 坐标 来 分类 了
那么 情绪 类似 这个 事儿 怎么 去 判定 呢 ！
电脑 肯定 是 不 懂 情绪 的
但是 人 懂 啊
我们 只要 先 手动 去 标记 一些 样本
告诉 电脑 这 两句话 都 是 “ 高兴 ” 的 意思
那 两句话 都 是 “ 伤心 ” 的 意思
经过训练
就 可以 借助 BERT 来 判断 情绪 了
具体 到 这次 的 项目
我们 是 使用 了 一个 BERT 的 变体
哈工大 和 科大 讯 飞 做 的 PERT
主要 的 区别 在 训练 方式 上
传统 的 BERT 相当于 是 给 AI 做 完形填空 让 他 理解 上下文
PERT 换 了 个 思路
我们 知道 汉字 顺序 并不一定 影响 阅读 对 吧 ？
那 我们 把 一句 话 随便 挑 几个 词
打乱 顺序
再 拿给 AI 看
让 他 预测 正确 顺序
不 也 能 理解 上下文 吗 ？
这个 确实 是 挺 有意思 的
对于 中文 的 效果 明显 更加 接地 气
这个 PERT 我们 试 下来 还是 蛮 不错 的
首先 我们 要 手动 标记 600 多个 句子
把 他们 分为 6 类 情绪
有 了 这个 数据
他 就 知道 如何 在 向量 空间 里 划清 情绪 的 界限 了
经过 简单 的 微调 之后
现在 随便 给 他 输入 一句 话
他 就 能 判断 出 你 是 生气 还是 高兴
是不是 很 神奇 啊 ！
有 了 这个 情绪 标注 之后 呢
我们 和 虚幻 引擎 里 已经 做好 的 表情 和 动作 关联 起来
一个 生龙活虎 的 AI 派 蒙 就 这样 诞生 了
你 可以 在 安卓 手机 上 和 它 对话
也 可以 直接 在 PC 上 对话
全屏 或者 缩小 窗口 都 可以
比较 理想 的 情况 是 带个 副 屏 的 设备
像 我们 以前 做过 的 这种 侧透改 屏幕 的 机箱 啊
或者 现在 也 有 成品 机箱 把 光驱 位 做成 屏幕 的
还有 像 这种 双屏 笔记本
这个 地方 就 很 适合 放 一个 数字 生命
怎么样 ？ 还是 挺 有趣 的 吧 ！
就 像 我 开头 讲 的 那样
这个 小 软件 我们 免费 开放 给 大家
就 叫 数字 生命
每 一个 人 都 可以 来 玩玩 看
链接 已经 放在 了 视频 底下
感兴趣 的 同学 可以 直接 去 下载
目前 这个 版本 还是 beta 版
还有 不少 的 bug 我们 也 在 解决 当中
同时 我们 也 在 准备 把 它 放到 Steam 上
让 你们 免费 获取 方便 让 更 多 的 人 体验 到 AI 的 乐趣
等 有 了 Steam 版 之后 我们 也 会 动态 告诉 大家
包括 整个 项目 文件
我 也 打算 整理 完 之后 公开 在 github 上
所有人 都 可以 修改
如果 你 想 帮忙 添加 更 多 角色
或者 改进 功能
甚至 你 想 换个 后 端
去 支持 一些 别的 语言 模型
都 可以 去 尝试
你 看 这么 良心
你 要是 不 给 视频 点个 赞 是不是 不太 说得过去 啊 ！
顺便 记得 关注 一下 我们 频道 —— 极 客湾
这里 就 讲 一下 这个 数字 生命 的 小 软件 怎么 用 吧
由于 涉及 到 AI
它 其实 是 有点 硬件 门槛 的
首先 你 需要 一台 至少 9 系 N 卡 的 Windows 电脑
性能 要求 不见得 高 吧
只要 是 现代 N 卡 基本上 都 可以
但 哪怕 你 用安卓版 也 需要 一台 N 卡 的 PC
来 提供 计算 支持
因为 VITS 的 AI 语音 是 依赖 cuda 来 合成 的
这个 软件 我们 是 设计 成 了 服务端 和 客户端 两个 部分
打开 软件 之后
你 可以 选 API 版
API Key 可以 不填 就是 白 嫖 我们 的
或者 你 也 可以 填 你 自己 的 都行
然后 选 3.5 的 模型
选择 角色
选完 就 可以 开启 服务端 了
如果 你 想 在 PC 上用
那 直接 本地 启动 客户端 就行了
但 你 也 可以 下个 安卓 的 客户端
然后 通过 局域网 连到 PC 的 服务端
这样 你 就 可以 利用 上旧 手机 来 承载 你 的 数字 生命 了
那 如果 API 哪天用 不成 了
或者 想要 体验 GPT4
手上 有 账号 的 同学
你 可以 试试 这个 网页 版
首先 你 得 确保 你 的 网络 能够 连上 ChatGPT
这个 我们 就 不 多 说 了
这个 网页 版 应该 说 是 一个 比较 野鸡 的 办法
因为 直接 用户名 密码 登录 的话 会卡 在 验证 上
OpenAI 得 验证 你 是不是 人类
很 不幸 我们 这里 确实 不是 人类
所以 我们 找 了 另 一个 办法 来 登录 ChatGPT 的 网页 版
就 跟 我们 之前 说 的 一样
你 要 确保 你 的 浏览器 登过 ChatGPT
留 了 cookie
这样的话
你 就 可以 借助 cookie 来 扒出 你 的 通行证 令牌
把 这串 令牌 复制 过来 就 可以 用 了
如果 你 的 令牌 失效 了
你 就 重新 再 去 扒 一遍 就 可以 继续 用 了
针对 网页 版 我们 还加 了 一个 洗脑 模式
直接 聊 的话
ChatGPT 可能 聊着 聊着 会 忘 了 自己 是 派 蒙
那 开启 洗脑 模式 就会 每聊 五句 话
重 发 一次 提示 词
强化 它 的 记忆
但 代价 就是 它 的 上下文 能力 会 受到 一些 影响
这个 记忆 被 你 给 搞坏 了 哈哈
包括 如果 你 想要 优化 一下 提示 词
甚至 换掉 提示 词
换 一个 性格 什么 的
那 也 是 可以 做到 的
反正 各种各样 的 功能
就 留给 大家 去 探索 啦
怎么样 ？ 今天 这个 数字 生命 的 小 活整 的 还是 挺 有意思 的 吧 ？
那 我们 这个 努力 了 两个 月 的 成果 就 免费 给 大家 去 感受
就 当 是 借 这个 机会 来 探索 AI 的 各种 界限 吧
那 今天 这个 视频 如果 你 觉得 很 有趣
长 按点 赞 一键 三连 支持 我们
别忘了 关注 我们 频道 —— 极 客湾
也 别忘了 来 我们 的 淘宝 店
支持 我们 的 周边 各种 鼠标垫 和 T恤
那 我们 就 下次 再见 拜拜
以上 就是 本期 节目 的 全部内容 啦
如果 你 认为 这 期 视频 很 有趣
请 务必 长 按点 赞
分享 并 关注 我们 的 极 客湾 频道
我们 下次 再见
