I.15Доступность и ассистивные технологии

TencentGameMate/chinese-hubert-large — предварительно обученная модель HuBERT Large от Tencent GameMate для извлечения признаков из аудио. Она обучена на подмножестве WenetSpeech L объёмом 10 тысяч часов и содержит около 402,7 млн параметров. Модель реализована как плотная архитектура HuBERT и распространяется в формате PyTorch; для работы с ней в карточке указана библиотека Transformers. Модель принимает аудио и формирует акустические представления, которые можно использовать как основу для последующей обработки речи. В частности, её можно дообучить на размеченных текстовых данных для распознавания речи. Токенизатора в комплекте нет, поскольку предобучение выполнялось только на аудио; сама модель не является готовой системой распознавания речи. Карточка указывает лицензию MIT. Для распознавания речи потребуется создать токенизатор и дообучить модель на размеченных аудиоданных.

CoCa2-moderntext-NaFlex ViT-B/32 — исследовательский чекпойнт модели rwightman для сопоставления изображений и текста и генерации подписей к изображениям. Он обучен на CC12M в течение 32 эпох; визуальный энкодер использует NaFlexViT с базовым размером и патчами 32, а текстовый энкодер — причинную архитектуру с RoPE, RMSNorm, SwiGLU и контекстом до 128 токенов. Модель формирует контрастное представление изображения и текста для классификации изображений по текстовым меткам без специального дообучения, а также может генерировать подписи к изображениям. Разработчик сообщает, что качество генерации подписей сопоставимо с MaMMUT2 при размере пакета 4096, но преимущество по поиску изображений по тексту, связанное с общей ветвью обработки подписей, здесь отсутствует. Модель предназначена для сравнения архитектур и исследовательских экспериментов, а не заявлена как производственная. Весы доступны в форматах PyTorch и Safetensors; лицензия Apache-2.0.

CogVLM2-Video-Llama3-Base — базовая видеоязыковая модель семейства CogVLM2 от zai-org. Она предназначена для понимания видео и ответов на вопросы о его содержании, включая анализ событий и временную привязку описаний к фрагментам видео. В README заявлены результаты на наборах MVBench, VideoChatGPT-Bench и Zero-shot VideoQA; параметры модели составляют 8,3 млрд, контекст — 2048 токенов. Репозиторий содержит веса Safetensors. Это базовая версия, которая, согласно карточке, не поддерживает чат. Метаданные указывают английский язык; модель принимает видео и текстовые запросы и генерирует текстовые ответы. Лицензия обозначена как other, поэтому условия использования следует сверять с лицензией разработчика.

CSM-HF — реализация Sesame Conversational Speech Model в формате Hugging Face Transformers, разработанная автором репозитория Thomas Gauthier. Это двухэтапная авторегрессионная модель синтеза речи: backbone обрабатывает последовательность аудиокадров и зависимости между репликами, а decoder последовательно генерирует 32 аудиокодбука — один семантический и 31 акустический. Репозиторий поддерживает генерацию речи по тексту, подготовку чередующихся текстовых и аудиоданных, обучение через Hugging Face Trainer и сценарий клонирования голоса. Модель рассчитана на эксперименты и обучение диалоговой речи с контекстом нескольких говорящих. Реализация совместима с Transformers и использует веса в формате safetensors. В метаданных указана лицензия Apache-2.0. README не сообщает размер модели, контекстное окно или список поддерживаемых естественных языков.

BAAI разработала Emu3-Gen — мультимодальную авторегрессионную модель семейства Emu3 на 7,7 млрд параметров. Она использует плотную архитектуру Emu3ForCausalLM и обучается предсказанием следующего токена: изображения, текст и видео представлены в виде последовательностей дискретных токенов. Репозиторий содержит веса в формате safetensors; для работы используется Transformers. Контекст модели — 9 216 токенов. Модель предназначена для генерации изображений по текстовому описанию, понимания визуальных данных с ответами на естественном языке, а также генерации и продолжения видео. В README заявлена поддержка гибких разрешений и стилей изображений. Мультимодальная архитектура позволяет выполнять генерацию и восприятие в одной модели. Модель распространяется по лицензии Apache-2.0. Карточка описывает возможности семейства Emu3, однако подробные инструкции по запуску именно этого чекпойнта и количественные оценки качества не приведены.

F5-TTS-Vietnamese-ViVoice — компактная дообученная версия F5-TTS, созданная автором репозитория на основе F5-TTS_Base для синтеза вьетнамской речи. Модель обучена на 1000 часах аудиоданных из Vi-Voice и наборов VLSP 2021, 2022 и 2023; при подготовке данных отфильтровывали записи с плохими транскрипциями и аудио вне диапазона длительности от одной до 30 секунд. Модель предназначена для преобразования вьетнамского текста в речь. В примере использования F5-TTS принимает текст для озвучивания, а также референсное аудио и его транскрипцию; для инференса указаны F5-TTS и Vocos. Репозиторий опубликован в формате PyTorch и лицензирован CC-BY-NC-SA-4.0, допускающей только некоммерческое использование. Автор указывает, что модель предназначена для исследований и экспериментов, и запрещает использование для клонирования голоса без согласия, мошенничества и иных незаконных целей.

GELab-Zero-4B-preview-GGUF — это мультимодальная модель GUI-агента из проекта GELab-Zero, основанного командой GELab и связанными с StepFun разработками. Модель предназначена для локального запуска на компьютерах и управления графическими интерфейсами, прежде всего Android-устройствами через ADB. Она анализирует визуальное содержимое экрана и выполняет действия с элементами интерфейса: нажатие, ввод текста, прокрутку и ожидание. Модель ориентирована на многошаговые задачи в приложениях для еды, транспорта, покупок и социальных сервисов, а также на работу с ранее неизвестными приложениями и динамическими интерфейсами без специальной адаптации. Заявлены локальное развертывание, низкая задержка и сохранение приватности. Размер модели — 4B параметров; базовая модель — Qwen/Qwen3-VL-4B-Instruct. Указаны мультимодальность и поддержка английского и китайского языков. Этот вариант распространяется в формате GGUF и создан с использованием llama.cpp; применялся подход с повышением точности отдельных важных слоёв при квантовании, что может улучшать качество при низкой разрядности, но увеличивает размер файла. Для полноценного управления Android-устройствами требуется инфраструктура GELab-Zero с подключением ADB, установкой зависимостей и записью или воспроизведением задач. Ограничения включают статус preview, отсутствие в предоставленных данных конкретного размера контекстного окна и подробных количественных оценок качества. Лицензия — Apache-2.0.

AngelSlim публикует эту GGUF-версию специализированной модели машинного перевода Hy-MT1.5-1.8B, разработанной командой Tencent Hunyuan. Модель предназначена для перевода текста на устройстве без подключения к интернету; базовая модель поддерживает 33 языка, 5 диалектов и малых языков и 1 056 направлений перевода. Вес модели сжаты до эффективной разрядности 1,25 бита методом Sherry: для каждой группы из четырёх весов три наиболее значимых кодируются одним битом, а один обнуляется. Размер сжатой модели — около 440 МБ. Для запуска этой GGUF-версии требуется специальное ядро STQ для llama.cpp; README также приводит демонстрацию на Android. Описанные результаты качества относятся к базовой модели, а для квантизованной версии заявлена минимальная потеря точности. Модель принимает текст и выдаёт перевод. Она подходит для офлайн-перевода сообщений, страниц и других текстов на мобильных устройствах. Лицензия в предоставленных источниках не описана.

KASEKOR ASR v0.0 — ранний чекпойнт распознавания речи на кхмерском языке, созданный студентом и дообученный на базе openai/whisper-small. Модель принимает аудио и преобразует его в текст; она предназначена для экспериментов с кхмерской транскрипцией, прототипов голосового ввода и дальнейшего дообучения. Используйте max_new_tokens=440, чтобы избежать обрезания длинных расшифровок. В самооценке авторов показатель CER составил 3,74% на подвыборке из 800 высказываний валидационной части при жадном декодировании; WER составил 57,2%, но для кхмерского он плохо отражает качество из-за отсутствия пробелов между словами. Оценка не независима по дикторам: почти все тестовые высказывания принадлежат голосам, встречавшимся при обучении. Данные обучения включали 86 550 высказываний от шести дикторов, поэтому качество на новых голосах, диалектах и шумной записи может снижаться. Модель распространяется по лицензии Apache-2.0.

Salim Diallo разработал модель распознавания речи на пуларе (fuf), варианте фула, распространённом в регионе Фута-Джаллон в Гвинее. Это дообученная на адаптерных слоях модель facebook/mms-1b-all на архитектуре Wav2Vec2 с CTC-головой и символьным словарём; размер базовой модели — 1,3 млрд параметров. Модель принимает монофоническую речь с частотой дискретизации 16 кГц и преобразует её в текст на пуларе. Модель обучена на примерно 9 760 аудиофрагментах с чтением библейских текстов и рассчитана прежде всего на распознавание спокойной, заранее подготовленной речи в похожем домене. В README приведены результаты WER 10,38% и CER 2,89% на 200 тестовых примерах; это лучше исходной модели MMS в указанном сравнении. Лицензия CC-BY-NC 4.0 разрешает только некоммерческое использование.

facebook/mms-tts-bor — модель синтеза речи на языке бороро из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст на бороро в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер, похожий на HiFi-GAN; предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Чекпойнт доступен для использования через Transformers версии 4.33 и выше. Модель обучена специально для одного языка, поэтому её следует применять для синтеза речи на бороро. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-heh — модель синтеза речи на языке хехе (Hehe, heh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Hehe в речевую аудиоволну и предназначена для синтеза речи на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для одного и того же текста стохастический предиктор длительности может создавать варианты с разным ритмом, поэтому результат воспроизводится при фиксированном seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка описывает поддержку Hehe; качество и ограничения синтеза за пределами представленных сведений не оцениваются.

facebook/mms-tts-hwc — модель синтеза речи для Hawaii Pidgin (hwc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на Hawaii Pidgin в речевую аудиоволну и подходит для озвучивания коротких фраз и текстов на этом языке. Модель использует архитектуру VITS, которая объединяет текстовый энкодер, генерацию акустических признаков и декодер речи в сквозной системе. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Отдельные VITS-чекпойнты MMS обучаются для разных языков. Генерация стохастическая: один и тот же текст может звучать по-разному, поэтому для воспроизводимого результата требуется фиксированное значение seed. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

facebook/mms-tts-ifa — модель синтеза речи на языке Ifugao, диалект Amganad, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речи на малоресурсном языке. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль и декодер HiFi-GAN объединены в сквозную систему синтеза; для моделирования ритма используется стохастический предиктор длительности. Размер модели — 3,5 млн параметров. Для разных языков MMS обучаются отдельные контрольные точки, поэтому эта модель рассчитана на Ifugao (Amganad), а не на многоязычный синтез. Из-за стохастического предиктора длительности одинаковый текст может звучать по-разному; для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-min — модель синтеза речи на минангкабау от Facebook, часть проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка на архитектуре VITS: модель преобразует входной текст в речевую аудиоволну. Вариативный предсказатель длительности позволяет синтезировать разные ритмы речи для одного текста; поэтому результат может меняться между запусками, а для воспроизводимого аудио требуется фиксированное начальное значение генератора случайных чисел. Модель содержит около 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors. Для работы с ней подходит библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-nhw — модель синтеза речи на западно-уастекском варианте науатля (nhw), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка в MMS-TTS обучен отдельный чекпойнт. Модель построена на архитектуре VITS и объединяет вариационный автоэнкодер, Transformer-кодировщик текста, нормализующие потоки, стохастический предсказатель длительности и декодер на основе HiFi-GAN. В репозитории указано 3,5 млн параметров; модель доступна через Transformers версии 4.33 и новее. Стохастический предсказатель делает генерацию недетерминированной: для повторения результата требуется фиксированное начальное значение генератора. Чекпойнт предназначен для озвучивания текста на западно-уастекском науатле. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-urk — модель синтеза речи на языке урак-лавой (Urak Lawoi’, код urk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: это сквозная система на основе вариационного автоэнкодера с Transformer-энкодером текста, flow-модулем и декодером, подобным HiFi-GAN; предсказатель длительности позволяет варьировать ритм речи. Веса содержат около 3,5 млн параметров, доступны в форматах PyTorch и Safetensors. Для повторяемого результата требуется фиксировать seed, поскольку генерация недетерминирована. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

beyoru/Qwen3-TTS-12Hz-1.7B-Vi — плотная модель синтеза речи на базе Qwen3-TTS-12Hz-1.7B-Base, дообученная для более точного произношения вьетнамского языка. Она генерирует речь по тексту и поддерживает клонирование голоса по короткому аудиофрагменту — как с текстовой расшифровкой образца, так и в режиме только по голосовым признакам. В README указано, что модель снижает CER для вьетнамской речи с 0,253 до 0,065 на проверенных примерах; качество английской речи в этом сравнении не изменилось. Модель предназначена для озвучивания вьетнамского текста голосом из аудиопримера, например для виртуальных помощников, сообщений и голосового контента. В проверке использовались северные вьетнамские голоса, поэтому модель не представляет нейтральный или южный акцент. Оценка в основном охватывает два голоса из обучающей выборки; клонирование ранее не встречавшегося голоса с текстовой расшифровкой отдельно не проверялось. Имена и заимствованные слова могут произноситься непоследовательно; автор рекомендует задавать произношение через написание с пробелом или дефисом. Для работы нужен аудиопример голоса; в описанном сценарии рекомендуется передавать язык как Auto. Модель распространяется по лицензии Apache-2.0.

QwenStoryteller-i1-GGUF — это квантизированная версия vision-language-модели QwenStoryteller, разработанной daniel3303 и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для визуального сторителлинга: создания текстовых историй по изображениям, image-to-text генерации, связного описания визуального материала и сохранения согласованности между несколькими кадрами. В карточке также указана поддержка grounded text generation и chain-of-thought сценариев. Модель обучалась с использованием датасета StoryReasoning и ориентирована на английский язык. Она принимает визуальные данные, а для работы могут потребоваться дополнительные mmproj-файлы из статического репозитория. Точная архитектура, число параметров и размер контекстного окна в README не указаны. Доступно множество вариантов GGUF-квантизации размером примерно от 2,0 до 6,4 ГБ; более сильная квантизация уменьшает требования к памяти, но может снижать качество, особенно у младших вариантов. Сильными сторонами модели являются специализация на визуальном повествовании, обработке изображений и поддержании связности между кадрами, а также возможность локального запуска через GGUF. Ограничения включают отсутствие подробных данных о качестве, бенчмарках, архитектуре и контекстном окне, английскую языковую специализацию и потенциальную потерю качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

kaan84 разработал эту дообученную TrOCR для распознавания печатного сингальского текста на изображениях отдельных строк. Она использует архитектуру vision-encoder-decoder и исправленный токенизатор, который сохраняет символ Zero Width Joiner (ZWJ), необходимый для записи сингальских конъюнктов. Модель принимает изображение одной строки размером примерно 2600×128 пикселей и выдаёт текст на сингальском языке; страницы целиком она не распознаёт. Исправление токенизатора позволяет модели выдавать ZWJ, но точное распознавание конъюнктов остаётся нерешённым. На отложенной выборке из 349 строк символьная CER составила 0,1690; автор указывает, что это не улучшение относительно контрольной версии и что данные для обучения и оценки синтетические, созданы одним генератором и пятью шрифтами. В предварительной проверке на одной реальной странице CER составила 0,4657, причём результат также зависит от сегментации и порядка чтения строк. Для использования на страницах требуется предварительно выделить строки. Модель распространяется по лицензии Apache-2.0.

Модель thealper2/smollm2-135m-android-control разработана как LoRA SFT-дообучение HuggingFaceTB/SmolLM2-135M-Instruct для управления интерфейсом Android по текстовому описанию. Это плотная авторегрессионная модель семейства Llama на 134,5 млн параметров с контекстом до 8192 токенов. На вход она получает инструкцию, список элементов интерфейса из дерева доступности и историю действий, а на выходе формирует одно действие в виде JSON-объекта. Изображения экрана модель не принимает. Модель предназначена для пошаговой автоматизации Android: нажатий, ввода текста, прокрутки и других действий, предусмотренных схемой выхода. Она обучена на наборе Android-Control-84k; в тестовой оценке строгая валидность JSON составила 0,999, а точность точного совпадения действия — 0,695. Модель поддерживает английский язык. Распространяется по лицензии Apache-2.0. Модель не видит элементы, отсутствующие в дереве доступности, например содержимое canvas, игр и некоторых WebView. Для предсказания целевых индексов на входе необходимо использовать те же правила отбора элементов, что и при обучении. В обучающих данных не было примеров navigate_home и было мало примеров long_press; офлайн-точность на отдельных шагах не показывает успешность выполнения задач в замкнутом цикле.

Это квантованные версии мультимодальной модели Qwen2.5-VL-7B-NSFW-Caption-V3, разработанной thesby и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для анализа изображений и генерации подробных подписей к ним, включая контент для взрослых. Она поддерживает сценарии image-to-text и рассчитана на использование в LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель основана на архитектуре Qwen2.5-VL и имеет размер 7B параметров. Она работает с изображениями и текстом, заявлена поддержка китайского и английского языков, а также генерация длинных описаний. Доступны варианты от BF16 до различных уровней квантования Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для запуска используется формат prompt, совместимый с chat-шаблоном Qwen. К сильным сторонам относятся мультимодальность, специализация на image captioning, поддержка подробных описаний и широкий выбор квантованных вариантов; версии Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество. Ограничения включают специализацию на описании изображений и контенте NSFW, а также возможные потери качества при сильном квантовании. Модель распространяется по лицензии Apache-2.0.

TRACE Qwen2.5-VL 3B — мультимодальная модель Maveryn для анализа изображений и визуальных рассуждений. Это слитый чекпойнт на 500-м шаге обучения GRPO, полученный дообучением Qwen/Qwen2.5-VL-3B-Instruct на 64 000 примерах из 1 000 задач набора maveryn/trace. Модель содержит 3,1 млрд параметров, построена на архитектуре Qwen2.5-VL и работает с изображениями и текстом; заявленная длина контекста — 128 000 токенов. Модель предназначена для мультимодальных диалоговых сценариев, где нужно отвечать на вопросы по изображениям и выполнять задачи визуального рассуждения. В оценке на 24 внешних бенчмарках TRACE показала макросредний результат 42,85% против 39,34% у базовой модели при описанных авторами настройках оценки. Модель может давать неверные ответы, неподтверждённые рассуждения и ненадёжно связывать выводы с изображением. Она обучена на синтетических задачах и не проверена для критически важных решений, медицины, права или автономного принятия решений. Лицензия обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

VibeVoice Acoustic Tokenizer — акустический токенизатор Microsoft, компонент семейства VibeVoice для работы с речевым аудио. Он преобразует аудио в непрерывные речевые представления и поддерживает обратное декодирование; токенизатор используется в системах VibeVoice для синтеза речи и распознавания речи. В README указана частота кадров 7,5 Гц, что позволяет компактно представлять длинные аудиопоследовательности. Модель предназначена для извлечения признаков из аудио и как компонент конвейеров TTS и ASR, включая генерацию выразительной многосторонней речи и обработку разговорного аудио. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Для подключения README описывает установку из исходного кода до включения токенизатора в официальный релиз Transformers.

VideoLLaMA2-7B-16F — диалоговая мультимодальная модель для понимания видео, разработанная командой DAMO-NLP-SG. Она сочетает визуальный энкодер CLIP ViT-Large/14 с разрешением 336 и языковой декодер Mistral-7B-Instruct-v0.2; версия 16F использует 16 кадров при обучении. Модель предназначена для ответов на вопросы о содержании видео и диалоговых сценариев с видео. В карточке указаны 7,1 млрд параметров и контекст 32 768 токенов. Метаданные заявляют английский язык и задачи генерации текста и визуальных вопросов и ответов. Веса опубликованы в формате safetensors по лицензии Apache-2.0. Карточка не уточняет обработку аудиовхода, поэтому не следует считать поддержку аудио подтверждённой только по названию проекта.

mlr2000 выпустил VocBulwark HiFi-GAN — нейронный вокодер на базе генератора BigVGAN с архитектурой HiFi-GAN. Он преобразует логарифмическую мел-спектрограмму из 96 каналов в монофоническую аудиоволну с частотой 24 кГц, используя заранее рассчитанный эмбеддинг голоса размерностью 768 для управления тембром. Это компонент набора из шести репозиториев с отдельными моделями кодирования говорящего и обнаружения водяного знака. Вокодер предназначен для синтеза речи по акустическим признакам и эмбеддингу говорящего. Каждый созданный фрагмент автоматически получает фиксированный 50-битный водяной знак происхождения, который нельзя отключить или изменить через интерфейс модели. Для корректного управления голосом нужен эмбеддинг от энкодера говорящего, с которым обучали вокодер; несовместимый энкодер может нарушить это управление. Обучение проводилось на многоязычных наборах Multilingual LibriSpeech и Common Voice. Модель распространяется по лицензии CC BY 4.0.

Wav2Vec2-Large-LV60 — базовая модель Facebook для предварительного обучения на речевом аудио без текстовых расшифровок. Она построена на архитектуре wav2vec 2.0 и содержит 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц; предобучение использует маскирование представлений речи и контрастивную цель. Модель предназначена для получения представлений речи и как основа для систем распознавания речи после добавления токенизатора и дообучения на размеченных аудиозаписях. В карточке описаны результаты экспериментов wav2vec 2.0 на английском корпусе LibriSpeech, в том числе при ограниченном объёме размеченных данных; эти результаты относятся к экспериментам статьи, а не к распознаванию непосредственно этой базовой моделью. Без дообучения модель не выдаёт текст: у неё нет токенизатора, и она обучена только на аудио. Для использования в распознавании речи необходимы токенизатор и дообучение на размеченных текстом аудиоданных. Модель распространяется по лицензии Apache-2.0.

wav2vec2-xls-r-300m-rinpoche — модель распознавания тибетской речи, разработанная GarchenArchive для транскрибирования выступлений Гарчена Ринпоче. Это дообученная на базе facebook/wav2vec2-xls-r-300m модель с CTC-выходом и символьным словарём из 129 токенов; для декодирования также доступна языковая модель KenLM на 5-граммах. На вход принимает монофоническое аудио с частотой 16 кГц, на выходе формирует текст без заданного максимума длины. Модель обучена на записях одного диктора и специфическом речевом регистре. На тестовом наборе из 1 394 высказываний CER составляет 0,1867 при жадном декодировании и 0,1856 с KenLM; качество выше на длинных фрагментах, чем у сравниваемой Whisper-модели, и ниже на коротких. KenLM построена на более ранних расшифровках, а часть тибетских символов отображается в неизвестный токен; модель также склонна к близким по написанию ошибкам. Лицензия в предоставленных данных не указана.

GarchenArchive разработала эту модель для распознавания тибетской речи учителя Гarchен Ринпоче. Это дообученная версия Whisper large-v3-turbo от OpenAI: модель типа encoder-decoder с 32 слоями кодировщика и 4 слоями декодировщика, мультиязычным BPE-словарём на 51 866 токенов. Репозиторий содержит объединённые веса в формате safetensors с точностью fp16; для распознавания используется Transformers. Модель принимает монофонический звук 16 кГц и выдаёт текст на тибетском языке. Модель рассчитана на транскрибирование речи Ринпоче в характерном для обучающих данных регистре. В тестировании на 1 394 высказываниях CER составила 0,2022 при beam search ширины 5; предварительная нарезка аудио на фрагменты до 9 секунд дала CER 0,1957. Лицензия в предоставленных данных не указана.

BigVGAN — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Репозиторий содержит предварительно обученные веса для синтеза аудиосигнала из мел-спектрограммы; эта конфигурация предназначена для частоты дискретизации 22 кГц и 80 мел-полос. Её применяют как компонент систем синтеза речи и аудио, преобразующий акустические признаки в звуковую волну. Модель работает с аудио на входе и выдаёт аудио. В BigVGAN-v2 предусмотрены обучающие данные с речью на нескольких языках, окружающими звуками и музыкальными инструментами; архитектура включает антиалиасинговую активацию, а для ускорения вывода доступно CUDA-ядро. Для его сборки требуются nvcc и ninja, а README указывает на проверку с CUDA 12.1. Репозиторий распространяется по лицензии MIT.