I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиInfiGUI-R1-3B — мультимодальная модель на базе Qwen2.5-VL-3B-Instruct, представленная в рамках статьи InfiGUI-R1. Она дообучена по Actor2Reasoner с подкреплением для планирования и рефлексии при выполнении задач в графическом интерфейсе. Модель предназначена для анализа скриншотов и решения задач GUI, включая grounding элементов интерфейса и работу с траекториями действий. Это плотная архитектура Qwen2.5-VL с 3,1 млрд параметров и контекстом до 128 000 токенов; карточка указывает поддержку английского языка. Вход включает изображения и текст, а модель формирует текстовые ответы и вывод для взаимодействия с интерфейсом. Модель распространяется по лицензии Apache-2.0. Для установки в README приведён вариант использования Transformers и qwen-vl-utils.
Thorsten-Voice/Kokoro — это немецкая дообученная версия Kokoro-82M, созданная на датасете Thorsten-Voice с открытой лицензией CC0. Модель основана на архитектуре StyleTTS2 и синтезирует немецкую речь голосом Торстена. В репозитории есть чекпойнты обучения и голосовой пакет; по умолчанию используется чекпойнт эпохи 5. Модель предназначена для преобразования немецкого текста в речь. Благодаря компактному размеру базовой модели — 82 млн параметров — она рассчитана на локальный запуск на CPU в реальном времени или быстрее, в том числе офлайн. Для немецкой фонемизации нужны форки библиотек misaki и kokoro, а также espeak-ng. Известные ограничения: короткое немецкое ü может некорректно обрабатываться без специальной подстановки в G2P-фронтенде; дефисные сложные прилагательные иногда звучат неестественно. Очень длинные предложения могут обрезаться, поэтому рекомендуется разбивать текст по границам предложений. Модель распространяется по лицензии Apache-2.0.
daekeun-ml/ko-trocr-base-nsmc-news-chatbot — экспериментальная корейская модель распознавания текста на изображениях, созданная для проверки концепции на основе архитектуры TrOCR. Это модель типа VisionEncoderDecoder: в энкодере использованы веса facebook/deit-base-distilled-patch16-384, а в декодере — klue/roberta-base. Для обучения синтезировали изображения текста и собрали 637 401 текстовый пример из данных для суммаризации новостей, классификации тональности отзывов о фильмах и чат-бота. В README рекомендовано расширить обучающие данные и продолжить обучение или выполнить дообучение; гиперпараметры подбирались эвристически, без отдельной настройки. Модель выпущена под лицензией MIT.
MaMMUT2 ViT-B/32 — исследовательский чекпойнт модели сопоставления изображений и текста с генерацией подписей. Карточка связывает его с экспериментом по сравнению архитектур и функций потерь на CC12M; модель разработана автором репозитория rwightman и реализована с помощью open_clip. Архитектура включает визуальный энкодер и трансформерный текстовый декодер с перекрёстным вниманием к изображению через каждый второй блок. Декодер использует BPE-словарь на 49 408 токенов и контекст длиной 77 токенов. Модель обучалась 32 эпохи на pixparse/cc12m-wds с точностью bf16 и сочетанием контрастивной функции потерь InfoNCE и функции потерь генерации подписей. Она предназначена для классификации изображений по текстовым описаниям без дообучения, поиска соответствий между изображениями и текстом и генерации подписей к изображениям. В сравнении автор отмечает преимущество MaMMUT2 в поиске изображений по тексту относительно приведённых CLIP-базовых запусков, но предупреждает, что различия в оптимизаторе и размере пакета затрудняют прямое сравнение. Абсолютные метрики генерации подписей низки, в том числе из-за различия стиля CC12M и эталонных подписей COCO. Лицензия — Apache-2.0. Карточка представляет чекпойнт как исследовательский, а не производственный; перед применением в реальных сценариях следует отдельно оценить качество на целевых данных.
MMaDA-8B-Base — мультимодальная диффузионная модель семейства LLaDA, представленная разработчиками Gen-Verse. В карточке описана унифицированная архитектура для текстовых рассуждений, мультимодального понимания и генерации изображений по тексту; указаны смешанное дообучение с длинными цепочками рассуждений и алгоритм UniGRPO для постобучения. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель предназначена для задач, сочетающих текст и изображения, включая понимание мультимодального содержимого и генерацию изображений по описанию. Размер 8B отражён в названии модели. В карточке не приведены сведения о поддерживаемых языках, длине контекста и точном составе входных и выходных модальностей. Лицензия — MIT.
MOSS-TTS-v1.5-GGUF — это конвертированная в формат GGUF версия модели MOSS-TTS-v1.5, разработанной командой OpenMOSS-Team, вместе с аудиокодеком MOSS-Audio-Tokenizer. Репозиторий предназначен для использования в backend moss-tts проекта CrispASR и задач синтеза речи из текста. В основе модели находится backbone Qwen3-8B, который генерирует 32 аудиокодовые книги RVQ по схеме с задержкой; дополнительный transformer-кодек имеет размер 1,6B параметров. Доступны вариант Q4_K с размером около 7 ГБ, где аудиотаблицы сохранены в F16, полноточный вариант F16 размером около 17 ГБ и companion-кодек F16 размером около 3,5 ГБ. README не указывает поддерживаемые языки, максимальный контекст или набор модальностей, поэтому эти характеристики неизвестны. Q4_K-вариант проверен на CUDA с GPU P100: после цикла синтеза и последующего распознавания получалась разборчивая и точная речь. Ключевые ограничения — необходимость использования CrispASR с соответствующим backend и отдельной моделью кодека, а для F16-варианта требуется более 20 ГБ VRAM либо CPU. Репозиторий содержит только конвертацию и/или квантизацию исходных весов без обучения, дообучения или изменения архитектуры и возможностей. Модель распространяется по лицензии Apache-2.0, унаследованной от исходных моделей OpenMOSS-Team.
simran14/mr-val-j — дообученная модель распознавания речи на архитектуре Whisper с 153,1 млн параметров. Она создана на основе simran14/mr-val-i и обучена на Common Voice 17.0; основная задача — преобразование аудио в текст, в частности для языка маратхи. Модель подходит для автоматической расшифровки речи и оценки систем распознавания на данных Common Voice. В README приведены результаты на оценочной выборке: loss 0,2062 и WER 0,9319. Высокое значение WER указывает на значительное количество ошибок распознавания, поэтому качество транскрипций следует проверять. Модель использует библиотеку Transformers и опубликована в формате safetensors. Лицензия в предоставленных данных не указана.
Nawah-VL-25M — компактная мультимодальная модель oddadmix для автоматического создания подписей на современном литературном арабском языке по одному изображению. Она собрана из готовых компонентов: использует замороженную визуальную башню SigLIP2 NaFlex из LiquidAI/LFM2.5-VL-450M, обученный мультимодальный проектор и языковую модель Emhotob-25M-v2. Общий размер — 118 млн параметров; языковая часть содержит 25,3 млн параметров и имеет контекст 2048 токенов. Модель предназначена для генерации краткого описания основного объекта и его цвета. В README приведены результаты оценки на отложенной выборке: chrF++ 27,4, BLEU 8,2 и perplexity 12,2. Обучение проводилось на арабских подписях к изображениям, автоматически полученных в два этапа из английских описаний, поэтому качество эталонных подписей ограничено. Модель слабо распознаёт текст внутри изображений, может выдумывать правдоподобные названия брендов и иногда ошибается в согласовании арабских слов. Лицензия репозитория — CC-BY-NC-4.0; для визуальной башни также действуют лицензионные условия LiquidAI.
thangquang09/parler-tts-vietnamese-v1-stage2 — дообученная модель синтеза речи на архитектуре Parler-TTS, созданная на основе parler-tts/parler-tts-mini-v1. Она преобразует вьетнамский текст в речь, а текстовое описание голоса позволяет задавать региональный акцент, гендер, возраст, высоту и громкость голоса, темп и манеру речи. Модель рассчитана на управляемый синтез вьетнамской речи, эксперименты с голосовыми инструкциями, демонстрационные системы и быстрое прототипирование. Для работы подаются текст для озвучивания и инструкция с желаемыми характеристиками голоса; результатом служит аудио. Репозиторий содержит веса в форматах PyTorch и Safetensors. Контроль голоса зависит от формулировки инструкции и может быть неодинаково точным для разных акцентов, возрастов и стилей; качество также может зависеть от длины текста. Модель не предназначена для клонирования голоса. Лицензия — Apache-2.0.
t-firefly/qwen3.5-2b-rknn3-rk1828 — вариант Qwen3.5-2B, подготовленный для запуска на устройстве RK1828 через LlamaPi. Исходную модель разработала команда Qwen; это компактная мультимодальная модель генерации текста по тексту и изображениям. В метаданных репозитория указан формат GGUF и связь с базовой моделью Qwen/Qwen3.5-2B. Модель предназначена для диалогов и задач понимания изображений на периферийных устройствах, а также для прототипирования и дообучения под отдельные задачи. Исходная архитектура объединяет обработку зрения и языка и использует гибридный подход с Gated Delta Networks и разреженной Mixture-of-Experts. Для исходной модели заявлены поддержка 201 языка и диалекта и контекст до 262 144 токенов. Карточка предлагает запуск через LlamaPi, но не приводит измерений производительности или качества именно на RK1828. Лицензия репозитория — Apache-2.0.
Модель dealignai/Qwen3.5-VL-35B-A3B-JANG_4K-CRACK — мультимодальная версия Qwen 3.5 VL, подготовленная Jinho Jang. Это MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров на токен; в архитектуре сочетаются слои GatedDeltaNet SSM и полного внимания, а также 256 экспертов, из которых активны четыре. Модель предназначена для диалогов и обработки изображений с текстовыми запросами; поддерживает английский, китайский и корейский языки и интерфейс вызова инструментов. Веса преобразованы в смешанный формат JANG_4K для MLX: заявлены 8-, 5-, 4- и 3-битные уровни точности, общий размер около 18 ГБ. Также применена CRACK-обработка, удаляющая отказы на уровне весов; автор сообщает результат 315 из 320 на HarmBench. Для запуска требуется Apple Silicon и поддержка JANG в MLX Studio либо пакете jang-tools; README рекомендует vMLX. Лицензия — Apache-2.0. Модель может отвечать на вопросы по изображениям и вести диалог, однако после удаления защитных отказов она рассчитана на выдачу потенциально вредных инструкций. Результаты тестов и скорости приведены автором и не являются независимой оценкой; README не сообщает длину контекста.
cstr/qwen3-tts-0.6b-base-GGUF — это GGUF-конверсия базовой мультиязычной модели синтеза речи Qwen3-TTS 12Hz 0.6B Base, разработанной командой Qwen. Репозиторий подготовлен для использования с C++/ggml-бэкендом qwen3-tts в проекте CrispASR; в него входят модели talker, code-predictor и speaker-encoder, но не входит отдельный токенизатор/аудиокодек, который требуется устанавливать дополнительно. Модель предназначена для синтеза речи и клонирования голоса по паре «референсная аудиозапись и её точная расшифровка», а также для работы с заранее подготовленными voice-pack в формате GGUF. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную multi-codebook языковую модель и отдельный кодек с частотой 12 Гц. Доступны варианты F16 размером около 1,7 ГБ, Q8_0 размером около 940 МБ и Q4_K размером около 508 МБ. Вариант Q8_0 рекомендуется как оптимальный баланс размера и качества и, согласно проверкам CrispASR, обеспечивает хорошее звучание при сквозном синтезе. F16 лучше подходит, когда важна максимальная точность. Q4_K экономит место, но заметно снижает сохранение содержания, особенно на коротких фразах, и не является полноценной заменой Q8_0. Для работы необходим совместимый tokenizer/codec GGUF; контекстное окно и другие характеристики, не указанные в карточке, неизвестны. Модель распространяется по лицензии Apache-2.0.
Карточка модели gdang333/Qwen3-VL-8B-GLM-4.7-Flash-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/Qwen3-VL-8B-GLM-4.7-Flash-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. Qwen3-VL-8B-GLM-4.7-Flash-Heretic-Uncensored-Thinking — мультимодальная модель на базе Qwen3-VL-8B-Instruct-heretic, дообученная автором DavidAU на наборе TeichAI/glm-4.7-2000x с помощью Unsloth. Это плотная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration: она принимает текст и изображения и генерирует текст. Автор заявляет, что дообучение добавляет стиль рассуждений GLM 4.7 Flash, сохраняя основные возможности Qwen, включая анализ изображений; указана длина контекста 256 тысяч токенов. Модель предназначена для диалога, визуального анализа, ответов на вопросы по изображениям и генерации текста, в том числе художественных историй и ролевых диалогов. В карточке также приведены результаты нескольких тестов и сведения о проверке отказов, но они не подтверждают качество на широком наборе практических сценариев. Модель опубликована в формате safetensors по лицензии Apache-2.0. Автор позиционирует её как uncensored; поэтому она может выдавать ненормативный, взрослый или иной нежелательный контент.
REAL-TSE BSRNN Target Speaker Extraction — Core ML FP16 — это конверсия базовой модели REAL-TSE Challenge `spk_emb_100` в формат Core ML. Модель извлекает из монофонической речи голос заранее записанного целевого говорящего, подавляя перекрывающуюся речь других людей и сохраняя временную структуру аудио. Она включает кодировщик голоса ECAPA-TDNN с эмбеддингом размерности 192 и разделитель non-causal BSRNN с шестью повторяющимися блоками рекуррентной обработки по двум осям. На вход подаются аудио с частотой 16 кГц и запись для регистрации целевого голоса длительностью не менее 0,5 секунды; несколько секунд чистой речи рекомендуются для лучшего результата. В Core ML графах обработка разделена на получение эмбеддинга и выделение голоса из STFT-сигнала. Граф разделителя рассчитан на фрагменты по 8 секунд, поэтому длинные записи нужно обрабатывать с перекрытием и объединением фрагментов. Модель предназначена для работы на Apple silicon и macOS 15 или новее; автор рекомендует CPU-only для разделителя. В проверочном примере оценивалась речь на английском с помехой на немецком, однако это не устанавливает полный перечень поддерживаемых языков. В метаданных указана лицензия `other`; README отмечает, что отдельная лицензия исходного чекпойнта не предоставлена, и требует самостоятельно проверить условия upstream-моделей и данных.
RUPunct_small — компактная модель семейства RUPunct для восстановления пунктуации в русском тексте. В карточке она названа самой маленькой моделью семейства и предназначенной для несложных текстов, где важна высокая скорость работы на CPU. Модель построена на архитектуре BERT и решает задачу классификации токенов; её размер — 29 млн параметров, контекст — до 2048 токенов. Модель подходит для автоматической расстановки знаков препинания в текстах без пунктуации, например в результатах распознавания речи или коротких пользовательских сообщениях. Она распространяется с лицензией MIT. Карточка рекомендует её для простых текстов; качество на сложных текстах не описано.
S1-mini — компактная причинно-следственная языковая модель Superwhisper, дообученная на базе Qwen/Qwen3-0.6B для нормализации английских транскриптов распознавания речи. Она преобразует сырой текст ASR в чистый письменный: удаляет слова-паразиты, исправляет повторы и самоисправления, расставляет пунктуацию и заглавные буквы, а также записывает числа, даты, время, валюты и адреса электронной почты в подходящем письменном виде. Модель содержит около 508 млн параметров по метаданным (README указывает 596 млн уникальных параметров) и поддерживает контекст до 40 960 токенов. Она возвращает только отредактированный текст; стиль, оформление списков и формат письма задаются управляющей строкой во входе. На тестовом наборе из 7 519 английских примеров автор сообщает точность по токенам 94,8%. Модель рассчитана только на английский язык и не предназначена для диалога или выполнения общих инструкций. Для корректной работы нужно точно соблюдать описанный в README формат системного промпта и управляющей строки. Лицензия указана как other; перед использованием следует проверить её условия.
Vikhrmodels/salt-asr_wav-uni_1_tts_wav-uni_1-12k — экспериментальная унифицированная модель распознавания и синтеза речи, разработанная Vikhrmodels. По README, авторы расширили предварительно обученную LLM аудиотокенами и дообучили её для ASR и TTS; для представления речи использовался SpeechTokenizer. Модель имеет плотную архитектуру LlamaForCausalLM с 3,2 млрд параметров и контекстом 131 072 токена. Модель предназначена для преобразования аудио в текст и генерации коротких речевых фраз. README указывает поддержку генерации на английском, немецком и французском языках. В карточке приведены метрики качества речи и описано обучение на 150 часах вычислений A100, однако данных недостаточно, чтобы надёжно установить качество распознавания или синтеза в практических сценариях. Лицензия не указана в предоставленных источниках.
Sarashina2.2-TTS — японско-английская система синтеза речи на основе большой языковой модели, разработанная SB Intuitions. Модель преобразует текст в речь и поддерживает генерацию голоса без дообучения по короткому аудиофрагменту-образцу, перенося тембр и манеру речи говорящего. Модель ориентирована прежде всего на японский язык, также синтезирует английскую речь и смешанные японско-английские фразы. Она рассчитана на озвучивание повествования, вещания, разговорной речи и клиентского обслуживания; архитектура основана на Llama, содержит около 670 млн параметров и поддерживает контекст до 8192 токенов. В метаданных указана базовая модель sbintuitions/sarashina2.2-0.5b-instruct-v0.1, на которой выполнено дообучение. Разработчик заявляет о высокой точности японского произношения, естественности, стабильности и переносе голоса между японским и английским. Для генерации с заданным голосом требуется аудиофрагмент-образец. Модель обучалась на лицензированных и иным образом законно полученных аудиоданных. Лицензия в предоставленных данных не указана.
ScaleCUA-32B — мультимодальная модель компьютерного управления интерфейсами, разработанная OpenGVLab на базе Qwen2.5-VL-32B-Instruct и дообученная на наборе OpenGVLab/ScaleCUA-Data. Она предназначена для понимания экранов и выполнения пользовательских задач через графический интерфейс в разных операционных системах и прикладных сценариях. Модель принимает текстовые инструкции и изображения экрана, а в ответ формирует текст с рассуждениями, командами и действиями для интерфейса. Поддерживает прямой режим для определения цели и координат действия, а также пошаговый режим для сложных задач автоматизации. Архитектура Qwen2.5-VL имеет 32 млрд параметров и контекст длиной до 128 000 токенов; в метаданных указан английский язык. В описанных авторами тестах семейство ScaleCUA показывает высокие результаты на бенчмарках GUI-агентов, включая WebArena-Lite-v2, ScreenSpot-Pro, MMBench-GUI и OSWorld-G. Это специализированный агентный чекпойнт, поэтому качество действий может зависеть от платформы, интерфейса и корректной обработки координат. Модель распространяется по лицензии Apache-2.0.
SMT (Sheet Music Transformer) — модель, дообученная на наборе данных Camera GrandStaff для транскрибирования изображений нотных систем фортепианной музыки. Она объединяет визуальный энкодер ConvNeXt и классический Transformer-декодер: энкодер преобразует изображение в последовательность эмбеддингов, а декодер авторегрессионно генерирует текстовую транскрипцию. Модель предназначена для распознавания нотной записи на изображениях фортепианных партитур. Репозиторий содержит веса в формате safetensors и код модели. Лицензия — MIT. Модель специализирована на изображениях формата GrandStaff; заявленных сведений о поддержке иных типов нотных изображений нет.
t5-Flan-Prompt-Enhance — дообученная модель prithivMLmods на базе Google FLAN-T5-Small для улучшения текстовых запросов, подписей и аннотаций. Она расширяет короткие или расплывчатые формулировки, добавляет описательные детали и делает текст яснее и уместнее по контексту. Модель построена на архитектуре T5 и содержит 45,8 млн параметров; для генерации текста использует библиотеку Transformers. В репозитории представлены форматы ONNX и Safetensors. Основные сценарии — расширение промптов, уточнение подписей и редактирование аннотаций. Метаданные указывают английский и китайский языки, а максимальный нативный контекст составляет 512 токенов. Модель доступна по лицензии Apache-2.0. Карточка заявляет генерацию структурированных и контекстно уместных формулировок, но не приводит количественных оценок качества или подробностей обучающих данных; результат может требовать проверки и редактирования.
THAI-BLIP-2 — модель для создания текстовых описаний изображений на тайском языке, разработанная дообучением Salesforce/blip2-opt-2.7b-coco на тайских подписях к изображениям MSCOCO2017. Она использует архитектуру BLIP-2 с языковой частью OPT-2.7B и предназначена для генерации подписи по изображению. Модель работает с изображениями и выдаёт текст; для использования предусмотрена библиотека Transformers, веса опубликованы в формате safetensors. Лицензия — MIT.
cyttic/trocr-small-BY5-bridgeinit-selfinit — дообученная модель cyttic на базе cyttic/trocr-hebrew-small-untrained. Это модель архитектуры VisionEncoderDecoder для преобразования изображения в текст; репозиторий содержит веса в формате Safetensors. В README приведены результаты оценки: loss 6,0410, CER 0,7729 и WER 1,1879; описание обучения и набора данных отсутствует. По названию модели можно предположить связь с письмом BY5, но README и метаданные не раскрывают целевую задачу или поддерживаемый язык достаточно надёжно для такого вывода. Условия лицензии в предоставленных данных не указаны.
UGround-V1-2B — мультимодальная модель для визуального поиска элементов графического интерфейса. Её разработали совместно OSUNLP и Orby AI; модель основана на Qwen2-VL-2B и дообучена для задачи GUI visual grounding. Она принимает изображение экрана и текстовый запрос, указывающий нужный элемент, и формирует текстовый ответ, который помогает определить его расположение. Модель предназначена для поиска текстовых и графических элементов в интерфейсах мобильных устройств, настольных приложений и веб-сайтов, а также для использования в системах управления интерфейсом по визуальным наблюдениям и инструкциям. Архитектура — Qwen2-VL, плотная мультимодальная модель класса Qwen2VLForConditionalGeneration; число параметров — 1,5 млрд, контекст — до 32 768 токенов. Карточка указывает английский язык; базовая модель также поддерживает многоязычное понимание текста на изображениях, но отдельный перечень языков для этой версии не приведён. Модель выпущена в форматах PyTorch и Safetensors и доступна по лицензии Apache-2.0. В README отмечены ограничения базовой визуальной модели: слабое пространственное рассуждение, подсчёт объектов и выполнение сложных многошаговых инструкций; она также не обрабатывает аудио в видео. Практическую точность поиска следует оценивать на целевых интерфейсах и устройствах.
UI-TARS-72B-DPO — разработанная ByteDance модель-агент для взаимодействия с графическими интерфейсами. Она объединяет в одной мультимодальной модели восприятие экрана, рассуждение, привязку команд к элементам интерфейса и память, чтобы выполнять задачи автоматизации без заранее заданных рабочих процессов. Модель основана на архитектуре Qwen2-VL, содержит 71,5 млрд параметров и принимает изображения интерфейса вместе с текстовыми инструкциями, выдавая текстовые ответы и команды для агента. В карточке указаны поддержка английского языка и контекст длиной 32 768 токенов. Модель предназначена для автоматизации веб-интерфейсов, настольных и мобильных приложений; README приводит оценки восприятия, grounding и работы агента. Репозиторий содержит DPO-вариант UI-TARS-72B, однако базовая модель для обучения в метаданных не указана. Лицензия Apache-2.0.
DrishtiSharma выпустила модель автоматического распознавания речи, дообученную на основе facebook/wav2vec2-xls-r-300m на конфигурации ab набора Mozilla Common Voice 7.0. Это архитектура Wav2Vec2ForCTC с 402,7 млн параметров, принимающая аудио и выдающая распознанный текст; модель предназначена для транскрибирования речи на языке абазинском. На тестовом наборе карточка сообщает значение WER 0,5651 и loss 0,5620. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Показатель WER указывает на заметные ошибки распознавания, поэтому перед применением для конкретных записей качество стоит оценить на собственных данных.
Whisper-Medium + Adaptive Layer Attention — модель распознавания речи на хинглише, разработанная автором репозитория ajju3513 на основе openai/whisper-medium. Она предназначена для расшифровки речи со смешением хинди и английского, включая речь взрослых и детей, особенно при наличии аддитивного шума. Модель использует Whisper-medium с 455,8 млн параметров и дополнительной головой Adaptive Layer Attention, которая объединяет акустические представления нескольких слоёв энкодера. Обучение включало дистилляцию знаний от учителя, обрабатывающего чистую запись, к модели, обучаемой на шумной версии той же записи. Поддерживаются входное аудио и вывод текстовой расшифровки на хинди и английском; исходная модель Whisper рассчитана на аудио до 30 секунд в данном сценарии. Модель показывает устойчивость к синтетически добавленному шуму и обучена не выдавать текст на аудио без речи. Она специализирована для конкретного корпуса хинглиша, микрофона и профиля шума; реальные реверберации, перекрывающаяся речь и длинные записи не проверены, а ошибка распознавания на шумной речи остаётся заметной. Для загрузки пользовательского модуля ALA требуется trust_remote_code=True. Лицензия — Apache-2.0.
YarnGPT2b — дообученная модель Saheed Azeez для синтеза речи с нигерийским акцентом на английском, йоруба, игбо и хауса. Она основана на HuggingFaceTB/SmolLM2-360M и использует языковую модель для генерации речи; размер составляет 365,7 млн параметров, архитектура — плотная LlamaForCausalLM, формат весов — safetensors. Модель принимает текст и может генерировать аудио; в карточке также заявлено распознавание речи. Модель предназначена для озвучивания текста голосами с нигерийским акцентом, в том числе для новостного чтения. В README приведены идентификаторы голосов для четырёх языков и отмечено, что подсказка голосом улучшает работу и стабильность синтеза. Контекст модели — до 8192 токенов. Совместное обучение синтезу и распознаванию не дало заметного улучшения распознавания, поэтому качество ASR ограничено. Модель опубликована по лицензии Apache-2.0.
BAGEL — открытая мультимодальная модель ByteDance Seed с архитектурой Mixture-of-Transformer-Experts (MoT). В репозитории размещены веса версии с 7 млрд активных и 14 млрд общих параметров; в качестве основы использована Qwen/Qwen2.5-7B-Instruct. Модель обучалась на чередующихся текстовых, графических и видеоданных и использует отдельные энкодеры для визуальных признаков на уровне пикселей и семантики. BAGEL предназначена для мультимодального понимания и генерации: отвечает на вопросы по изображениям, создаёт изображения по текстовым описаниям, редактирует изображения по инструкциям, а также поддерживает генерацию будущих кадров, многоракурсный синтез и задачи навигации в визуальной среде. В README заявлены результаты, сопоставимые с ведущими открытыми моделями в тестах понимания изображений и генерации, однако эти заявления относятся к оценкам разработчика. Модель принимает текст, изображения и видео, а выдаёт текст и изображения. Карточка не сообщает о поддерживаемых естественных языках и длине контекста. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Для установки и использования разработчик направляет к отдельному репозиторию GitHub.
Модель prince4332/CosyVoice2-0.5B-Akan-Bible — дообученная версия CosyVoice2-0.5B для синтеза речи на языке акан, вариант асанте-тви. Её подготовил автор репозитория prince4332 на основе модели FunAudioLLM; обучение проводилось на наборе ghananlpcommunity/asante-twi-bible-speech-text из 34,2 тыс. высказываний 10 дикторов, охватывающем библейскую тематику. Дообучены модули LLM и Flow, чтобы освоить отображение фонем акан на речевые токены и улучшить просодию; вокодер, речевой токенизатор и энкодер диктора оставлены без изменений. Базовая модель поддерживает потоковую генерацию и клонирование голоса, однако README не уточняет, насколько эти функции сохранены или проверены в этой версии. Модель предназначена для преобразования текста на асанте-тви в речь, в первую очередь для материалов библейской тематики. В репозитории указаны форматы ONNX и safetensors. Лицензия — Apache-2.0.