Firefly-Neko流萤猫酱

项目简介

Firefly-Neko 是一个集成了live2d模型、语音转文字（STT）和大语言模型（LLM）处理的项目。该项目使用 PyTorch 和 Transformers 等库，通过并行处理实现实时语音转文字和文本生成。正如名字所见，本项目构建了一个流萤猫酱的形象。

功能

• 实时语音转文字（STT）（使用FunASR）
• 文本生成和修正（LLM）（使用Qwen2.5-7B-Instruct模型）
• 并行处理 STT 和 LLM 任务
• 自动播放生成的语音文件（使用GPT-SoVITS，流萤语音模型使用的是b站白菜工厂1145号员工大佬的GPT-SoVITS模型，🤗Hugging Face地址）
• 具有live2d模型（使用是b站依七哒大佬的流萤前瞻小人模型)

使用方法

• 下载仓库内所有内容；

• 下载到本地后先将GPT-SoVITS-v2-240821.zip解压；

• 然后在该目录下输入pip install -r requirements.txt安装依赖，其中一些模块的下载需要依赖Microsoft Visual Studio，可下载vs然后选择“C/C++桌面开发”安装完后再用pip下载这些模块就不会build wheels error了；

• 接着直接运行firefly-neko-stt-live2d-multi.py即可。

注意事项

• 请确保在运行脚本前，所有依赖项和模型文件已正确安装和配置。
• 如果在运行过程中遇到任何问题，请检查依赖项版本和模型文件路径是否正确。
• 本仓库适用于开源学习、娱乐目的，在询问模型作者许可后方可用于商业用途，若使用者触犯法律以及危害模型作者的权益，本仓库概不负责。

贡献

欢迎在community中讨论来改进本项目。