/ Модель

Характеристики

Лицензия
MIT
Базовая модель
Qwen2.5-7B-Instruct-1M
Опубликована
6 фев 2025

Firefly-Neko

Распознавание речиАудио, текст → текст

Firefly-Neko — модель на основе Qwen2.5 для текстовой обработки в проекте голосового взаимодействия с виртуальным персонажем.

0скачиваний за 30 дней5лайковвеса обновлены25 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Firefly-Neko 是面向实时语音交互的项目模型,由 Shiina-Mahiru 发布,结合语音识别与大语言模型文本处理,并可用于驱动带有 Live2D 形象的桌面角色。仓库说明其语音转文字部分使用 FunASR,文本生成和修正使用 Qwen2.5-7B-Instruct;元数据将模型标记为 audio-text-to-text,并关联为 Qwen/Qwen2.5-7B-Instruct-1M 的微调版本。仓库还描述并行处理语音识别与文本生成,以及通过 GPT-SoVITS 播放生成语音的整体应用流程。

Модель предназначена для интерактивных голосовых сценариев: распознавания речи, подготовки или исправления текстового ответа и использования его в диалоге с виртуальным персонажем. В README указана лицензия MIT в метаданных, однако автор отдельно просит получать разрешение перед коммерческим использованием. Описание касается проекта в целом; распознавание речи, синтез речи и Live2D-интерфейс используют отдельные компоненты и не подтверждены как возможности самих весов этой модели.

Сценарии применения

  • подготовка текстового ответа для голосового диалога
  • исправление распознанного текста перед ответом
  • параллельная обработка пользовательской речи и генерация ответа
  • интеграция LLM в приложение с виртуальным Live2D-персонажем

Ограничения

Для распознавания речи и синтеза голоса проект использует отдельные компоненты FunASR и GPT-SoVITS; README не подтверждает, что эти функции входят в сами веса модели. Автор указывает, что для коммерческого использования следует предварительно получить разрешение.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Firefly-Neko流萤猫酱

🤗完整资源文件夹压缩包(旧版,未增加历史记录功能)

项目简介

Firefly-Neko 是一个集成了live2d模型、语音转文字(STT)和大语言模型(LLM)处理的项目。该项目使用 PyTorch 和 Transformers 等库,通过并行处理实现实时语音转文字和文本生成。正如名字所见,本项目构建了一个流萤猫酱的形象。

功能

  • 实时语音转文字(STT)(使用FunASR)
  • 文本生成和修正(LLM)(使用Qwen2.5-7B-Instruct模型)
  • 并行处理 STT 和 LLM 任务
  • 自动播放生成的语音文件(使用GPT-SoVITS,流萤语音模型使用的是b站白菜工厂1145号员工大佬的GPT-SoVITS模型,🤗Hugging Face地址)
  • 具有live2d模型(使用是b站依七哒大佬的流萤前瞻小人模型)
  • live2d可交互,可以点击头部、脸部、脚部、手部,还有欧派😋
  • 新增历史记录功能

使用方法

  • 下载仓库内所有内容;

  • 下载到本地后先将GPT-SoVITS-v2-240821.zip解压;

  • 然后在该目录下输入pip install -r requirements.txt安装依赖,其中一些模块的下载需要依赖Microsoft Visual Studio,可下载vs然后选择“C/C++桌面开发”安装完后再用pip下载这些模块就不会build wheels error了;

  • 接着直接运行firefly-neko-live2d.py即可。

注意事项

  • 请确保在运行脚本前,所有依赖项和模型文件已正确安装和配置。
  • 如果在运行过程中遇到任何问题,请检查依赖项版本和模型文件路径是否正确。
  • 本仓库适用于开源学习、娱乐目的,在询问模型作者许可后方可用于商业用途,若使用者触犯法律以及危害模型作者的权益,本仓库概不负责。

贡献

欢迎在community中讨论来改进本项目。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
f681070

0 моделей