开源AI虚拟伙伴开发教程
· 欢迎观看开源AI虚拟伙伴配套开发视频教程,深入解析各模块代码,助力大家进行二次开发与创造专属自己的AI伙伴。
第一季
01期 开源项目概览:本期我们将带大家全面了解AI虚拟伙伴社区版开源项目的核心特性与教程规划,讲解软件的分层架构设计,并指导开发者完成Python环境配置、PyCharm项目导入与解释器设置等初始化步骤。还会深入解析主程序的模块化设计、核心功能实现,助力大家搭建开发环境,为后续二次开发与创造专属AI伙伴奠定基础。点此观看
02期 语音识别(ASR)模块:本期我们将学习语音识别模块,讲解语音识别的基本原理与流程,介绍Sherpa-ONNX开源语音处理框架,以及开源的高精度多语言SenseVoice语音情感场景识别模型,并解析语音识别模块的代码实现。点此观看
03期 大语言模型(LLM)模块:本期我们将深入探索AI伙伴的大语言模型模块的奥秘,从Transformer架构与自注意力机制入手,拆解大语言模型的基本原理与运行流程;熟悉OpenAI协议及对比Transformers、Ollama等主流运行框架的特点;推荐适配不同场景的云端与本地开源大模型;最后解析大语言模型模块的代码实现。点此观看
04期 语音合成(TTS)模块:本期我们将深入探索语音合成(TTS)模块,让AI伙伴拥有自然流畅的说话能力。从语音合成的基本原理与技术分类,到小模型(edge-tts、VITS)和大模型(GPT-SoVITS、CosyVoice等)的选型,再到代码实现环节,我们将全方位拆解TTS模块的开发要点,带您掌握如何让AI伙伴拥有说话能力。点此观看
05期 视觉语言模型(VLM)模块:本期我们将深入探索AI伙伴的视觉语言模型模块。从视觉语言模型的基本原理与工作机制入手,了解VLM如何将视觉与语言信息融合;熟悉OpenAI兼容协议及对比Ollama、LM Studio等主流运行框架的特点;推荐适配不同场景的云端与本地开源视觉语言模型;分析摄像头画面识别、屏幕内容分析和上传图片问答三大应用场景。点此观看
06期 声纹识别(VPR)模块:本期我们将深入探索声纹识别模块,揭秘如何让AI伙伴“认出”您。从声纹识别的基本原理、3D-Speaker项目的CAM++模型优势,到其在实现专属交互等场景的关键应用,再到具体的代码实现,我们将一步步学习为AI伙伴装上“识人之耳”,打造更专属的AI交互体验。点此观看
07期 智能体(Agent)模块:本期我们将深入探索智能体(Agent)模块,揭秘如何让AI伙伴具备”感知-决策-行动”的完整能力。从智能体的基本原理、三大类型分类,到创意生成、信息感知和系统控制的具体应用场景,再到代码实现的详细解析,我们将一步步学习为AI伙伴装上”智能大脑和双手”。点此观看
08期 主动感知对话模块:本期我们将聚焦于赋予AI伙伴”灵魂”的主动感知对话模块。从打破被动应答的局限,到根据时间、环境、视觉信息主动发起话题,再到代码中调度与多模态感知的实现逻辑,我们将一步步学习如何让AI伙伴变得更具人情味和主动性。点此观看
09期 Live2D角色及桌宠模块:本期我们将聚焦于赋予AI伙伴”颜值”与”形态”的Live2D角色及桌宠模块。从Live2D技术的二次元视觉优势,到PixiJS的高效渲染,再到PySide6实现的桌面交互,我们将一步步学习如何将Web端的Live2D角色”搬”上您的电脑桌面,打造一个可缩放、可交互的生动虚拟伙伴。点此观看
10期 MMD 3D角色模块:本期我们将聚焦于打造更具立体感的MMD 3D角色模块。从MMD技术在3D虚拟形象领域的应用,到Three.js与WebGL的3D渲染原理,再到Flask构建的后端服务架构,我们将一步步学习如何在Web端流畅展示高精度的3D角色,并实现从“二次元平面”到“三次元立体”的视觉跨越。点此观看
11期 VRM 3D角色模块:本期我们将聚焦于打造更具表现力、交互性与沉浸感的VRM 3D角色模块。从VRM作为Web端轻量化3D角色标准的优势,到基于Three.js与three-vrm的骨骼与表情动画系统,我们将一步步学习如何在Web端实现VRM模型展示,并赋予其实时口型、呼吸、眨眼及触控互动的流程,让AI伙伴真正“活”起来。点此观看
第二季
敬请期待~