I.9Аудио и музыка

Это извлечённый аудиоэнкодер из мультимодальной модели Google Gemma 3n E2B IT, опубликованный Atotti. Он построен на архитектуре Gemma3nAudioEncoder, связанной с работой Universal Speech Model (USM); в README отмечено, что его устройство может отличаться от описанного в статье USM. Репозиторий содержит веса в формате safetensors, лицензия — Gemma. Энкодер принимает аудиосигнал и преобразует его в последовательность признаковых представлений. Он предназначен для использования как аудиокомпонент более крупной мультимодальной модели или как основа для задач классификации звука после добавления классификационной головы и дообучения. Самостоятельную транскрипцию речи он не выполняет. Карточка указывает зависимость от Transformers 4.53.0.

Это дообученная на португальской речи модель OpenAI Whisper-Small, опубликованная yuriyvnv для автоматического распознавания речи. Она принимает аудио и транскрибирует португальскую речь в текст. Модель содержит 153,1 млн параметров и построена на архитектуре WhisperForConditionalGeneration; её обучали на Common Voice 17.0 и синтетических аудиозаписях с транскриптами без фильтрации качества. Модель предназначена прежде всего для исследований влияния синтетических данных на качество распознавания португальской речи, сравнений и абляционных экспериментов. В README указаны WER 14,22% на тестовой части Common Voice и 30,85% на MLS; автор сообщает, что результат хуже базовой конфигурации только с Common Voice, поэтому модель не рекомендуется для производственного применения. Лицензия — Apache-2.0.

Banano kirtis — литовская модель-разметчик ударений, созданная на базе XLM-RoBERTa-base и предназначенная для определения ударного слога и типа ударения в каждом слове с учётом контекста. Она использует архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучена на предложениях из корпуса LIEPA-3 и формах из литовского лексикона. Модель рассчитана на разметку литовского текста, в том числе для синтеза речи и разрешения неоднозначности омографов по контексту. Она предсказывает позицию ударения и один из трёх типов: краткий, острый или циркумфлексный. README сообщает о 85,4% точности совпадения целого слова на отложенном наборе из 3000 предложений; авторы отмечают, что оценки отражают согласие с разметкой обучения, а не проверку по экспертной эталонной выборке. Ударения в безударных служебных словах соответствуют разговорной речи, тогда как нормативные инструменты могут размечать их иначе. Иностранные фамилии и слова вне обучающего словаря ненадёжны; уверенность модели не гарантирует правильность. Для преобразования предсказаний в диакритические знаки требуется отдельная обработка слогов и гласных. Модель выпущена под лицензией CC BY 4.0. В README указана более новая версия Banano kirtis v2, которая показывает лучшие результаты на нормативной письменной речи; эта версия может быть уместна для сценариев с безударными служебными словами разговорного литовского языка.

Модель bankholdup/rugpt3_song_writer создана на основе ruGPT-3 и дообучена на текстах песен, собранных с Genius. Она предназначена для генерации русскоязычных песенных текстов и может использоваться для создания черновиков куплетов или продолжения лирического фрагмента. В обучающих примерах представлены тексты разных исполнителей, включая Oxxxymiron, Моргенштерна, ЛСП, «Гражданскую оборону» и «Короля и Шута». Это плотная авторегрессионная языковая модель семейства GPT-2, представленная в форматах PyTorch и safetensors; максимальный контекст составляет 2048 токенов. Данные не сообщают размер модели и лицензию, поэтому условия коммерческого использования определить нельзя. Модель ориентирована на русский язык и генерацию текста; качество, оригинальность и стилистическое разнообразие результатов отдельно не охарактеризованы.

DuplexJev-B-Para-SenseVoice-Small-Qwen3-0.6B — компактная аудиотекстовая модель adventists-ai для ответов на короткие вопросы о речи и голосовых характеристиках. Замороженный энкодер SenseVoice-Small передаёт признаки через обучаемый коннектор в замороженную Qwen3-0.6B. Коннектор использует стекирование кадров и проектор SwiGLU и содержит 8,4 млн обучаемых параметров; для вопросов с вариантами ответа модель выдаёт распределение вероятностей по вариантам за один проход без генерации токенов. Модель предназначена для коротких решений по аудиоклипам, вопросов по содержанию речи и определения признаков говорящего, включая пол и эмоцию. В README приведены результаты на тестах spoken QA и измерения задержки для клипа длительностью 4,5 секунды; оценка ограничена небольшими наборами данных и чтением или актёрской речью. Заявлена поддержка английского и китайского языков. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения. Модель не предназначена для потокового ввода или открытых вопросов на общие знания: качество ответов небольшой языковой модели ограничено, даже если она получает транскрипт. Метки эмоций обучены на актёрских корпусах и не должны использоваться для принятия решений о людях. Коннектор рассчитан только на указанные энкодер и языковую модель; работу на мобильных NPU и после квантования не проверяли.

Phi-3 Song Lyrics 1.0 — языковая модель на базе Phi-3, предназначенная для написания текстов песен. Автор карточки сообщает, что интегрировал LoRA, созданную aifeifei799; исходный базовый репозиторий не указан. Модель имеет плотную архитектуру Phi-3 с 3,7 млрд параметров и контекстом 4096 токенов. Она принимает текстовые запросы и генерирует текст, включая название песни, описание музыкального стиля и текст с заданной структурой. В README приведён пример для англоязычной любовной песни; поддержка других языков не подтверждена. Модель распространяется по лицензии MIT. Карточка предупреждает, что сгенерированные тексты могут быть длинными и требуют редактирования; также автор не гарантирует их содержание и оставляет пользователю ответственность за возможные вопросы авторских прав. В репозитории указаны веса Safetensors; README также описывает отдельные квантованные GGUF-версии для запуска через llama.cpp.

SpeakoFlow Mini 0.8B — специализированная англоязычная модель компании SpeakoFlow для очистки и коррекции текста, полученного из голосовой диктовки. Она предназначена для второго этапа post-ASR-обработки: исправляет самоисправления говорящего, диктуемые символы и команды форматирования, устраняет некоторые артефакты распознавания и грамматические оговорки, но сохраняет уже корректный текст без изменений. Модель используется в офлайн-голосовом ассистенте SpeakoFlow для Windows, macOS и Linux. Модель является дообученной версией Qwen/Qwen3.5-0.8B: применялось LoRA с рангом 16, после чего адаптер был объединён с базовой моделью и выполнена квантизация в формате GGUF. Размер варианта Q8_0 составляет около 833 МБ, медианное время обработки на настольном CPU — 2509 мс. Поддерживается английский язык. Модель предназначена для text generation и не является чат-моделью или универсальным перефразировщиком; размер контекстного окна в материалах не указан. К сильным сторонам относятся ориентация на минимальные изменения, сохранение правильного текста и работа без подключения к облачным сервисам. На закрытом тестовом наборе средняя точность exact match составила 70,7%, сохранение уже корректного текста — 92,6%, а точность исправлений для требующих изменений транскриптов — 48,8%. Ограничения включают узкую специализацию на очистке диктовки, англоязычную направленность и риск потери произнесённого слова: показатель content damage составил 10,7%, причём меньшее значение лучше. Модель распространяется по лицензии Apache-2.0.

Latin ASR Post-Processor — модель на базе BERT, разработанная для восстановления регистра и пунктуации в неформатированных результатах распознавания классической латыни. Она дообучена на latincy/latin-bert и предназначена для использования после распознавания речи, в том числе после njand/wav2vec2-xls-r-latin. Модель выполняет разметку токенов 14 составными классами: сочетаниями регистра слова и знака пунктуации в конце токена. Модель принимает текст и возвращает метки токенов, по которым можно восстановить форматированный текст. Размер — 138,5 млн параметров, длина контекста — до 512 токенов. В README приведены результаты на корпусах классической латыни: точность восстановления регистра выше, чем пунктуации. Доступны варианты PyTorch FP32, ONNX FP32 и ONNX INT8; для INT8 отмечено снижение качества пунктуации и макро-F1. Лицензия — MIT.

Это преобразованная для библиотеки Transformers версия многокодового речевого токенизатора Qwen3-TTS с частотой кодирования 12 Гц. Репозиторий подготовлен для интеграционных тестов во время проверки поддержки модели в Transformers; автор конверсии — shahvandit. Тензоры исходной модели сохранены без изменений, а преобразование затрагивает ключи весов, объединение проекций предсказателя кодов и конфигурацию. Веса хранятся в формате Safetensors с точностью float32. Токенизатор предназначен для кодирования речи в компактные дискретные токены и обратного декодирования в аудио, как часть речевых систем Qwen3-TTS. Для загрузки используется класс Qwen3TTSTokenizerMultiCodebookModel из Transformers. Лицензия — Apache-2.0. Поскольку этот чекпойнт создан для интеграционных тестов, его статус как готового к практическому применению релиза ограничен; карточка не описывает отдельное дообучение тензоров.

Mercury-C2-ep1 — модель преобразования речи в речь с полнодуплексным режимом, дообученная для диалогов с учётом времени реплик. Чекпойнт опубликован под кодовым названием; связанная статья проходит анонимное рецензирование. Модель использует архитектуру RaonDuplexModel и распространяется в формате safetensors. Модель обучали два этапа на 4 440 синтетических полнодуплексных диалогах; временные метки слов получены принудительным выравниванием сгенерированного аудио. В README указаны частота кадров 12,5 кадра в секунду и частота аудио 24 кГц. Приведённая оценка согласованности текста и аудио основана на артефактах самой модели и не использует эталонную расшифровку, поэтому её нельзя считать независимой оценкой качества. Модель предназначена для временно-согласованного речевого диалога в режиме полного дуплекса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Данные, код обучения и скрипты оценки не опубликованы.

Cnam-LMSSC/wav2vec2-french-phonemizer — модель wav2vec2-base, дообученная для преобразования французской речи в фонетическую транскрипцию. Она принимает аудио и выдаёт последовательность слов, записанных символами МФА (IPA), без пунктуации; для входной речи требуется частота дискретизации 16 кГц. Модель основана на facebook/wav2vec2-base-fr-voxpopuli-v2 и обучена на обучающей и валидационной выборках Common Voice 13 для французского языка. Модель подходит для автоматической фонемной транскрипции французской речи. В README указана частота ошибок фонем 5,52% на французской части Common Voice 13 и 4,36% на французской конфигурации Multilingual Librispeech. Это специализированная транскрипция в IPA, а не обычная запись речи: выход не содержит пунктуации и без знания фонетического алфавита может быть неудобен для чтения. Репозиторий использует архитектуру Wav2Vec2ForCTC и содержит около 113,3 млн параметров. Лицензия — MIT.

Модель itaihay/wav2vec_asr_swbd_10_epochs — дообученная версия facebook/wav2vec2-large-robust-ft-swbd-300h для автоматического распознавания речи. Она принимает аудио и выдаёт текст; архитектура основана на Wav2Vec2ForCTC, число параметров — 402,7 млн. Репозиторий создан в 2022 году и содержит веса PyTorch. В README указана оценка WER 0,9627 на наборе для оценки, что свидетельствует о слабом качестве распознавания в этом тесте. Данные обучения и подробные ограничения в карточке не описаны. Модель распространяется по лицензии Apache-2.0.

Mercury-A2 — экспериментальная модель полного дуплексного преобразования речи в речь, дообученная для диалога с учётом временной структуры. В метаданных указаны архитектура RaonDuplexModel, плотная структура и формат весов safetensors; модель использует аудиовход. README сообщает о дообучении в течение двух эпох на 4 440 самостоятельно сгенерированных полнодуплексных диалогах. Временные метки слов получены принудительным выравниванием отрендеренной речи, а не из кадровых решений самой модели. Модель предназначена для речевых диалогов, в которых важно учитывать синхронизацию реплик. Указаны кадровая частота 12,5 кадра в секунду и частота аудио 24 кГц. В README приведены измерения согласованности текста и аудио на 100 диалогах, однако часть значений для чекпойнта отсутствует; код обучения, данные и скрипты оценки не опубликованы. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

rnjema-unima/mms-tts-ibo-baseline — подготовленный к дообучению прокси-чекпойнт для синтеза речи на игбо. Он рассчитан на обучение с конфигурацией `ibo_tts` датасета Google WAXAL; данные для этой конфигурации предоставлены Media Trust. Модель основана на VITS и использует веса йоруба-модели `facebook/mms-tts-yor` как акустическую и просодическую отправную точку, которую адаптируют к игбо при дообучении. Размер модели по метаданным — 3,5 млн параметров. Архитектура VITS выполняет преобразование текста в речь без отдельного вокодера. Репозиторий содержит конфигурационные файлы и исправления, необходимые для запуска обучения; сами веса в нём не хранятся, а загружаются из базового чекпойнта. Поэтому карточка описывает основу для дообучения, а не готовую модель синтеза игбо для непосредственного использования. Лицензия репозитория — CC-BY-NC-4.0; данные WAXAL указаны под CC-BY-SA-4.0. README не приводит оценок качества синтеза на игбо, а использование весов йоруба в качестве донора означает, что качество адаптированной модели зависит от последующего обучения на целевом языке.

text2tobi — libri+peoples+sbc — модель для разметки просодии ToBI по тексту без аудио на этапе вывода. Она построена на DistilBERT и дообучена на корпусах LibriTTS, People's Speech и SBCSAE; метаданные указывают около 66 млн параметров и контекст до 512 токенов. На вход подаются слова в нижнем регистре. Модель отмечает границы интонационных единиц, предсказывает направление интонации на граничных словах — восходящее, нисходящее или ровное — и силу границы: промежуточную или полную. Модель предназначена для автоматической просодической разметки транскрибированной речи и анализа интонационной структуры. В описанных экспериментах она показала F1 0,8352 для границ на отложенной выборке SBCSAE и превзошла указанный в README текстовый базовый уровень GPT-Neo 1.2B. Оценка F1 для силы границ получена на другом корпусе и обозначена авторами как экспериментальная. Обучение использовало как золотые разметки SBCSAE, так и серебряные метки из LibriTTS и People's Speech, сформированные по согласованию двух систем. Интонационные метки предсказываются только для слов на границах. Покрытие ограничено чтением вслух и разговорной речью; перенос на телефонные записи, шумную речь и речь неносителей языка не проверялся. Для очень длинного текста обработка может делить вход на фрагменты по 100 слов, что способно повлиять на предсказания около разрывов. Лицензия — Apache-2.0.

Модель yuriyvnv/whisper-tiny-cv-full-synthetic-pt — дообученная версия openai/whisper-tiny для распознавания португальской речи. Она принимает аудио и генерирует текстовую транскрипцию; содержит около 29,4 млн параметров и использует архитектуру Whisper в библиотеке Transformers. Модель обучена на португальской части Common Voice 17.0 и полном наборе синтетических аудиоданных без фильтрации качества. На тесте Common Voice указана WER 29,84%, а на MLS — 46,54%; по результатам карточки она уступает варианту с фильтрацией синтетических данных и базовой модели при переносе на другой домен. Предназначена главным образом для исследований аугментации данных и экспериментов с распознаванием португальской речи; карточка не рекомендует её для производственного применения. Лицензия — Apache-2.0. Ограничения включают сравнительно высокую долю ошибок, ухудшение качества на данных другого домена и меньшую эффективность по сравнению с вариантом, обученным на высококачественных отфильтрованных синтетических данных.

Mercury-GTFT-M0v2 — экспериментальная модель преобразования речи в речь с полнодуплексным режимом, дообученная для диалога с учётом временной структуры. Согласно карточке, она обучена в течение двух эпох на 4 440 синтетических полнодуплексных диалогах; временные метки слов получены принудительным выравниванием аудио. Модель использует архитектуру RaonDuplex и распространяется в формате Safetensors. Модель предназначена для речевого диалога, в котором важны временная согласованность реплик и соответствие между текстовым потоком решений и сгенерированным аудио. В карточке приведены измерения согласованности на 100 диалогах без эталонной расшифровки. Указаны частота кадров 12,5 кадра в секунду и частота аудио 24 кГц. Данные, код обучения и скрипты оценки не опубликованы, поэтому независимо проверить результаты по карточке нельзя. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими условиями; выпуск связан с анонимным рецензированием статьи.

Mercury-L5 — модель преобразования речи в речь с полнодуплексным режимом, дообученная для диалогов с учётом временной структуры. Чекпойнт опубликован под кодовым названием, пока связанная с ним статья проходит анонимное рецензирование. Модель построена на архитектуре RaonDuplex и распространяется в формате Safetensors. Чекпойнт обучали два эпоха на 4 440 самостоятельно сгенерированных полнодуплексных диалогах; временные метки слов получены выравниванием озвученного аудио. В README приведены измерения согласованности текста и аудио на 100 отложенных диалогах, однако часть значений для этого чекпойнта отсутствует, а оценка не использует эталонные транскрипты. Данные, код обучения и скрипты оценки не опубликованы. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель MORGENSHTERN создана Алексеем Коршуком в рамках проекта HuggingArtists на архитектуре GPT-2. Это авторегрессионная языковая модель для генерации текста, дообученная на текстах песен Моргенштерна; её можно использовать для создания текстов в похожем лирическом стиле. Контекст модели составляет 1024 токена, доступны веса в форматах PyTorch и Flax, а в метаданных указан английский язык. Модель подходит для творческих экспериментов и генерации черновиков текстов песен. Как и GPT-2, она может выдавать неточные или предвзятые формулировки; результат также зависит от особенностей обучающих текстов. Лицензия в предоставленных данных не указана.

Arabic Phoneme ASR v2 — модель распознавания арабской речи на уровне фонем, разработанная на основе facebook/wav2vec2-large-xlsr-53. Это архитектура Wav2Vec2ForCTC с 402,7 млн параметров, дообученная методом CTC на корпусах арабской речи и чтения Корана; аудио приводится к частоте 16 кГц. Модель выдаёт фонемы в схеме Halabi, а не арабское написание, и предназначена для анализа произношения, в том числе с принудительным выравниванием или GOP-оценкой относительно ожидаемой последовательности фонем. Модель подходит для распознавания фонем в литературном арабском и коранической рецитации. В тестировании на наборе из 800 примеров указана частота ошибок по фонемам PER 14,42%; в ошибках чаще всего встречаются короткие гласные и неточности на границах. Лицензия — Apache-2.0. Диалектная и спонтанная речь может заметно отличаться от обучающих данных; часть аудио IqraEval синтезирована, а жадное CTC-декодирование иногда повторяет токены на концах записей.

Модель ctaguchi/wav2vec2-large-xlsr-japlmthufielta-ipa1000-ns — дообученная Chihiro Taguchi и соавторами модель wav2vec 2.0 для автоматической фонетической транскрипции речи в Международный фонетический алфавит (IPA). Она принимает аудио и предсказывает последовательность фонетических символов; карточка Hugging Face относит её к automatic-speech-recognition и указывает архитектуру Wav2Vec2ForCTC и 403 млн параметров. Модель связана с экспериментом по универсальной транскрипции речи в IPA, предназначенной в том числе для ускорения языковой документации. Для базовой работы авторы использовали данные семи языков Common Voice 11.0 с полуавтоматической IPA-разметкой; конкретный вариант с суффиксом ipa1000-ns обучен на 1000 примерах на язык. Качество зависит от языка, разнообразия данных и качества фонетической разметки, поэтому результат стоит проверять специалистом. Веса опубликованы в формате PyTorch. В карточке репозитория лицензия не указана; условия использования следует уточнять у автора и по лицензиям обучающих данных. Основа — XLSR-53; модель дообучена для отображения речи на IPA.

Album-Cover-Style Dreambooth — модель генерации изображений, обученная lckidwell с помощью ноутбука fast-DreamBooth от TheLastBen. Дообучена на примерно 80 обложках альбомов, преимущественно 1950-х и 1960-х годов, среди которых есть джазовые, поп-, польковые, религиозные и детские обложки. Модель предназначена для создания изображений в стиле винтажных музыкальных обложек по текстовым запросам, например обложки с заданным исполнителем или жанром. Репозиторий содержит веса в форматах Diffusers и PyTorch; задача по метаданным — text-to-image. Лицензия — CreativeML Open RAIL-M. Карточка не приводит сведения о размере модели, длине контекста или поддерживаемых языках. Результат зависит от текстового запроса и ограниченного набора обучающих примеров, поэтому разнообразие стилей может быть смещено к обложкам середины XX века.

bintzz/bintz_model — дообученная модель классификации аудио на базе facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForSequenceClassification, содержит 113,3 млн параметров и сохранена в формате Safetensors. Модель предназначена для классификации аудиоданных; конкретные классы, набор данных и целевые сценарии в карточке не раскрыты. На оценочной выборке указаны accuracy 0,0796 и loss 2,6698, что свидетельствует о низком качестве классификации в этой оценке. Модель разработана на базе Facebook wav2vec 2.0 и распространяется по лицензии Apache-2.0.

Kavya-1-7B — языковая модель на 7,1 млрд параметров для сочинения оригинальных песенных текстов на телугу. Модель разработана на основе Qwen2.5-7B-Instruct и дообучена на 9 102 отобранных песнях на телугу. Она генерирует тексты в структуре паллави, анупаллави и чаранам, подстраивая тему, настроение и стиль под запрос. Архитектура — плотная Qwen2ForCausalLM; модель работает через Transformers, принимает текст и выдаёт текст. Контекст — до 32 768 токенов. Модель подходит для черновиков песен, вариантов припевов и куплетов, а также экспериментов с генерацией на телугу и индийской поэтической формой. Она хорошо передаёт структуру и ритм песни, но часто ошибается в написании слов и соединении букв, поскольку токенизатор не содержит символов телугу. Качество снижается при запросах на романизированном телугу и при генерации длиннее примерно 650 токенов; вне регистра современной кино-песни ей нужны подробные указания. Возможны повторы обучающих текстов, а фактические сведения в ответах ненадёжны. Лицензия — Apache-2.0.

notapalindrome/ltx2-mlx-av — версия Lightricks/LTX-2, оптимизированная для MLX и компьютеров Mac с Apple Silicon; README указывает на преобразование исходной модели. Она создаёт видео с синхронизированным звуком по текстовому запросу или анимирует изображение с генерацией звука. Модель представляет собой аудиовизуальную архитектуру; веса доступны в формате MLX safetensors с типом bfloat16, размер составляет около 42 ГБ. Для генерации README указывает примерно 45 ГБ оперативной памяти, разрешение 512×512, частоту 24 кадра/с и ограничения на число кадров: оно должно быть вида 8n+1. Репозиторий распространяется по лицензии MIT. Для работы требуется Mac с Apple Silicon и ffmpeg.

FastVideo FastH3 4-step Preview v1 Dense DataFree — экспериментальный чекпойнт FastVideo для генерации синхронизированных видео и аудио по текстовому описанию. Это абляционная версия с плотным вниманием на базе MiniMaxAI/MiniMax-H3, обученная методом DMD2 без данных; указанный шаг обучения — 1000. Генерация выполняется за четыре прохода трансформера. Модель предназначена для быстрого создания коротких аудиовизуальных роликов по текстовым запросам. В README отмечено, что сложное движение, мелкие детали и часть аудио могут получаться хуже, чем у базовой MiniMax H3; сценарии FL2VA и Ref2VA для этого чекпойнта не дистиллировались. Репозиторий содержит веса в формате safetensors и использует библиотеку Diffusers. Модель наследует лицензию MiniMax H3 Community License.

gslm-scaling-85m-87p1b — исследовательский чекпойнт модели speech language model из работы Scaling Properties of Speech Language Models (EMNLP 2024). Репозиторий tiagoCuervo содержит веса FP32 примерно с 85,3 млн параметров; модель построена на архитектуре TransformerLM и предназначена для генерации последовательностей речевых токенов: она предсказывает кластеры mHuBERT K-means с частотой 25 Гц. Для запуска в README приведён пример генерации через библиотеку slm. Оценки опубликованы для тестов sBLIMP, sStoryCloze и tStoryCloze. Модель выдаёт речевые токены, а вокодер в комплект не входит, поэтому для получения звуковой речи потребуется отдельный вокодер. Лицензия — Apache-2.0.

Kichtral-7B-v0.3 — языковая модель на архитектуре Mistral, дообученная RapMinerz на французских рэп-текстах. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст, а её контекстное окно составляет 32 768 токенов. Модель предназначена для генерации французских рэп-куплетов и исследования французского сленга и текстов песен. Обучающий набор включает 36 млн токенов очищенных французских куплетов из песен с не менее чем 10 тыс. прослушиваний на Spotify; применялось дообучение LoRA ранга 64 в течение одной эпохи. Создатели отмечают, что модель не всегда хорошо выдерживает рифмы, и для их получения может потребоваться задавать тему и рифмовочную схему в запросе. README указывает академическое и исследовательское назначение и некоммерческое использование. Лицензия в доступных сведениях не приведена.

Mercury-C1 — экспериментальный чекпойнт модели full-duplex преобразования речи в речь, дообученный для диалога с учётом времени реплик. Модель относится к архитектуре RaonDuplex и представлена в формате safetensors для библиотеки Transformers. Автор сообщает, что чекпойнт обучен в течение двух эпох на 4 440 синтетических full-duplex диалогах; временные метки слов получены принудительным выравниванием сгенерированного аудио. Частота кадров составляет 12,5 кадра в секунду, частота аудио — 24 кГц. Модель предназначена для речевого диалога, в котором обработка и генерация речи должны учитывать время и перекрытие реплик. В описании приведены измерения согласованности текста и аудио на 100 отложенных диалогах, но значения для Mercury-C1 в таблице отсутствуют, поэтому качество по этим измерениям оценить нельзя. Обучающие данные, код и скрипты оценки не опубликованы. Лицензия CC BY-NC 4.0 разрешает использование на условиях указания авторства и ограничивает коммерческое применение.

Mercury-L3 — экспериментальная модель полного дуплексного преобразования речи в речь, опубликованная под кодовым именем авторами, чей связанный исследовательский материал находится на анонимном рецензировании. Модель дообучена на 4 440 синтетических полнодуплексных диалогах в течение двух эпох; временные метки слов получены принудительным выравниванием сгенерированного аудио. Архитектура RaonDuplexModel, формат весов safetensors, библиотека Transformers. Модель предназначена для диалогового общения с учётом временной структуры речи, когда обработка входящего и генерация исходящего аудио происходят в режиме полного дуплекса. Частота кадров составляет 12,5 кадра в секунду, частота аудио — 24 кГц. В README приведено измерение согласованности аудио с текстовым потоком решений на 100 диалогах, однако результаты ограничены и не используют эталонные расшифровки. Лицензия CC BY-NC 4.0 запрещает коммерческое использование. Обучающий код, данные и скрипты оценки не опубликованы.