I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиCohere Transcribe Arabic — открытая модель распознавания речи на 2 млрд параметров, разработанная Cohere и Cohere Labs. Она предназначена для преобразования аудио в текст и оптимизирована для арабского языка, его диалектов и английской речи; также заявлена поддержка арабско-английской речи со смешением языков. В основе — архитектура Conformer encoder-decoder, модель поддерживается библиотекой Transformers и подходит для офлайн-инференса и обслуживания запросов через vLLM. Модель применима для транскрибации арабских аудиозаписей, распознавания диалектной речи и транскрибации английского аудио. Разработчики отмечают высокую точность на арабском и английском и эффективный инференс. Лицензия Apache-2.0. Модель лучше работает с одним заранее выбранным языком; автоматического определения языка нет, а качество на смешанной арабско-английской речи может быть нестабильным. Она не выдаёт временные метки и не выполняет диаризацию говорящих. На тишине и фоновых шумах может генерировать текст, поэтому перед распознаванием полезны шумовой фильтр или VAD.
Elva-Phi3-3.8B — мультимодальная модель семейства LLaVA-Phi, представленная в работе «On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning». Она предназначена для диалогового понимания изображений, включая чтение текста на изображениях и рассуждения по визуально представленным данным. Модель содержит 3,7 млрд параметров, использует плотную архитектуру LlavaPhiForCausalLM и принимает контекст длиной до 4096 токенов. Репозиторий содержит веса в формате safetensors. Лицензия в доступных данных не указана.
english-image-caption-blip — дообученная модель BLIP на основе Salesforce/blip-image-captioning-base для генерации англоязычных подписей к изображениям. Она принимает изображение и выдаёт текстовое описание его содержимого; архитектура реализована классом BlipForConditionalGeneration и использует визуальный энкодер ViT Base. Модель предназначена для автоматического создания кратких подписей к изображениям и может использоваться в системах каталогизации и поиска по визуальному содержимому. Карточка не раскрывает обучающий датасет и не приводит подробностей о качестве, поэтому результаты оценки из README (loss 2.0130 и token accuracy 0.0696) сами по себе не позволяют судить о практической точности подписей. Лицензия — BSD 3-Clause.
FastVLM-0.5B-Captions — визуально-языковая модель, дообученная Риддхиманом Раной на основе FastVLM-0.5B Stage 3 от Apple. Она предназначена для создания подробных структурированных описаний изображений, в том числе на мобильных и встроенных устройствах. Архитектура — LlavaQwen2ForCausalLM с визуальным модулем MobileCLIP-S0; модель содержит около 494 млн параметров, поддерживает контекст до 32 768 токенов и работает с изображениями и текстом. Основной язык — английский. Модель дообучена с LoRA на 2 000 изображениях из COCO 2017 Validation; веса также представлены в 4-битном варианте. Автор сообщает о тестировании на iPhone 12 и более новых моделях, с потреблением памяти около 1 ГБ. Лицензия — apple-amlr. Модель рассчитана на описания изображений, а не на общие мультимодальные рассуждения или текстовые задачи; описания могут быть многословными и повторяющимися, а точность — снижаться на абстрактных или незнакомых сценах.
FireRedASR2-AED GGUF — это модель автоматического распознавания речи, разработанная командой FireRedTeam и преобразованная в формат GGUF для использования с CrispASR. Репозиторий содержит варианты исходной точности F16 и квантованные версии Q8_0 и Q4_K; преобразование не изменяет обучение, архитектуру, словарь или возможности исходной модели. Модель предназначена для транскрибации аудио на стандартном китайском языке, английском и более чем 20 китайских диалектах. Она использует Conformer-энкодер из 16 слоёв с размерностью 1280 и 20 головами внимания, относительным позиционным кодированием, macaron FFN и глубинно разделимой свёрткой с ядром 33, а также CTC-голову. Размер модели составляет около 1,1 млрд параметров. Заявленная средняя CER для мандаринского китайского — 3,05% по данным публикации. Сильными сторонами являются поддержка нескольких вариантов квантования, возможность работы через GGML/CPU и сопоставимое качество транскрипции между доступными вариантами на тестовых аудиозаписях. Ограничения включают вывод английского текста в верхнем регистре, использование только CTC-декодирования без beam search decoder и необходимость применения совместимого инструмента, например CrispASR. Модель распространяется по лицензии Apache 2.0; конвертация не предоставляет прав сверх лицензии исходной модели.
Модель oliverguhr/fullstop-punctuation-multilingual-sonar-base разработана для восстановления знаков препинания в тексте, в том числе в расшифровках устной речи. Это многоязычная модель XLM-RoBERTa для классификации токенов с 305,2 млн параметров и контекстом до 514 токенов. Она предсказывает точки, запятые, вопросительные знаки, дефисы и двоеточия для английского, немецкого, французского, итальянского и нидерландского языков. Модель подходит для расстановки пунктуации в транскриптах и текстах без пунктуации. В карточке приведены F1-оценки для отдельных классов и отмечено, что качество зависит от знака препинания: дефисы и двоеточия часто можно заменить запятой или точкой. Обучение проводилось на политических выступлениях из Europarl, а для нидерландского использовался SoNaR, поэтому на текстах других тематик результаты могут отличаться. Лицензия — MIT.
sapkotapraful/FullyOCR-2-dev — дообученная с помощью TRL модель на базе unsloth/Qwen3.5-0.8B. По метаданным это плотная мультимодальная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration, предназначенная для обработки изображений с формированием текстового ответа. В карточке Hugging Face указана задача image-text-to-text и возможность работы с изображениями. Модель можно применять для извлечения текста и сведений из изображений, а также для вопросов и ответов по визуальным материалам. README содержит пример диалоговой генерации текста, но не описывает специализированные OCR-возможности, обучающие данные, качество распознавания, поддерживаемые языки или длину контекста. Репозиторий использует формат safetensors и библиотеку Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.
Fun-ASR-Nano-2512-hf — версия модели распознавания речи Fun-ASR-Nano от FunAudioLLM, подготовленная для работы с библиотекой Transformers. Это плотная end-to-end модель, принимающая аудио и генерирующая текстовую транскрипцию. Она поддерживает китайский, английский и японский языки; для китайского заявлена поддержка семи диалектных групп и 26 региональных акцентов. Обучение проводилось на десятках миллионов часов реальной речи. Модель предназначена для транскрибирования аудио, в том числе китайской речи с региональными особенностями, а также английской и японской речи. Для этого HF-чекпойнта README описывает запуск через нативную поддержку Transformers и генерацию текста. Указанная в карточке лицензия — Apache-2.0. Экспорт не содержит ветвь CTC и поэтому не предоставляет зависящие от неё временные метки и диаризацию говорящих. Проверки README охватывают короткие примеры и отдельные пакетные сценарии; они не являются оценкой точности, скорости или минимальных требований к памяти. Стандартный pipeline automatic-speech-recognition в описанной версии Transformers завершался ошибкой индексации токенов; автор рекомендует использовать указанный в README маршрут через any-to-any или нативные processor/generate API.
Gemma 3n E4B it MLX 8bit — 8-битная квантизированная версия мультимодальной модели gemma-3n-E4B-it, разработанной Google и адаптированной командой LM Studio с использованием MLX и mlx_vlm. Модель оптимизирована для запуска на устройствах с Apple Silicon и предназначена для задач преобразования изображений, аудио и видео в текст, включая распознавание речи, автоматический перевод речи и обработку мультимодальных запросов. Модель использует архитектуру и возможности исходной gemma-3n-E4B-it, однако README не содержит подробностей о внутренней архитектуре, фактическом числе параметров, поддерживаемых языках или размере контекста. Ключевое преимущество этой версии — 8-битное представление, ориентированное на эффективный локальный запуск на Apple Silicon. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от оборудования и отсутствие в предоставленных данных точных характеристик мультимодальных возможностей. Модель распространяется по лицензии Gemma. Для доступа к исходной модели на Hugging Face требуется ознакомиться с лицензией Google и принять её условия. LM Studio не является создателем или владельцем модели и не гарантирует её точность, безопасность или пригодность для конкретных задач.
GIT-base-COCO — модель Microsoft семейства GenerativeImage2Text, дообученная на наборе COCO для создания подписей к изображениям. Она использует декодер Transformer, который получает визуальные токены изображения от CLIP и предыдущие текстовые токены, а затем последовательно генерирует текст. Размер модели — 80,1 млн параметров; формат весов — PyTorch, лицензия — MIT. Модель предназначена прежде всего для генерации кратких текстовых описаний изображений. Архитектура GIT также подходит для визуальных вопросов и ответов, описания видео и классификации через генерацию метки, однако карточка рекомендует использовать этот исходный чекпойнт для подписей к изображениям. В метаданных указан контекст 1024 токена; язык карточки и языковой тег — английский. Модель обучалась на 10 млн пар изображение–текст, а затем дообучалась на COCO. Карточка не приводит результаты оценки, поэтому качество для конкретных сценариев следует проверять отдельно. Для других задач могут потребоваться специализированные версии GIT.
OpenGVLab/InternVL2_5-38B-MPO — мультимодальная чат-модель из семейства InternVL2.5-MPO, разработанная OpenGVLab. Она основана на InternVL2.5-38B и использует Mixed Preference Optimization (MPO), сохраняя архитектуру ViT-MLP-LLM: визуальный энкодер InternViT соединён с языковой моделью через MLP-проектор. Модель предназначена для диалога по изображениям, нескольким изображениям и видео, а также для генерации текста по визуальному контексту; среди поддерживаемых сценариев — ответы на вопросы по изображениям, анализ диаграмм и документов, распознавание текста на изображениях и мультимодальные задачи на понимание и рассуждение. Модель работает с динамическим разрешением: изображения разбиваются на фрагменты 448×448 пикселей, а pixel unshuffle сокращает число визуальных токенов. Карточка указывает мультиязычность, но не перечисляет отдельные языки. Для запуска приведены инструкции по Transformers и варианты bf16/fp16, 8-битной квантизации и распределению по нескольким GPU. Репозиторий использует safetensors и библиотеку Transformers. Лицензия — MIT. Размер контекста в предоставленных данных не указан.
OpenGVLab/InternVL3_5-2B-HF — мультимодальная модель семейства InternVL3.5 в формате Hugging Face Transformers. По архитектуре InternVLForConditionalGeneration она принимает изображения и текст, а отвечает текстом; поддерживает диалоговый режим. Семейство разработано OpenGVLab и использует каскадное обучение с подкреплением для улучшения рассуждений, а также динамическую настройку разрешения визуальных токенов для эффективной обработки изображений. Модель предназначена для вопросов по изображениям, визуального анализа, распознавания текста на изображениях и мультимодальных задач на рассуждение. Карточка описывает возможности семейства, включая взаимодействие с графическими интерфейсами и агентные сценарии, но не приводит отдельных подробностей для варианта 2B. Метаданные указывают дообучение на OpenGVLab/InternVL3_5-4B-MPO и лицензию Apache-2.0; доступный чекпойнт использует safetensors и библиотеку Transformers. Размер контекста и конкретный перечень поддерживаемых языков в предоставленных данных не указан.
InternVL-Chat-V1-1 — мультимодальная модель OpenGVLab для диалога по изображениям и тексту. Её архитектура объединяет визуальный энкодер InternViT-6B с разрешением 448 × 448, MLP-проектор и внутреннюю чат-версию LLaMA2-13B; общий размер составляет 19 млрд параметров. Изображение кодируется в 256 визуальных токенов после операции pixel shuffle. Модель предназначена для ответов на вопросы об изображениях, визуального диалога и распознавания текста на изображениях. В этой версии улучшены OCR и поддержка китайских разговоров; карточка также показывает поддержку многоязычности. Можно вести текстовый диалог без изображения. Модель работает через Transformers и требует значительных вычислительных ресурсов; авторы предупреждают, что 4-битная BNB-квантизация может ухудшить понимание изображений, а результаты при работе с несколькими изображениями и видео слабы из-за недостатка обучающих данных. Лицензия — MIT.
Kimi-VL-A3B-Thinking-2506 — мультимодальная модель Moonshot AI, обновлённая версия Kimi-VL-A3B-Thinking и дообучение Kimi-VL-A3B-Instruct. Она предназначена для диалогов с анализом изображений и видео, визуального восприятия и рассуждений, включая решение математических задач, понимание экранов и работу с изображениями высокого разрешения. Модель поддерживает изображение размером до 3,2 млн пикселей и может генерировать до 32 тыс. токенов при длинном декодировании. В README отмечены улучшения результатов на мультимодальных и видеобенчмарках, а также сокращение длины рассуждений в среднем на 20% относительно предыдущей версии. В метаданных указаны архитектура KimiVLForConditionalGeneration, библиотека Transformers и возможность диалогового взаимодействия. Для запуска авторы рекомендуют vLLM; также описан запуск через Transformers. Модель распространяется по лицензии MIT. Описание не указывает поддерживаемые естественные языки и точное число параметров.
MGP-STR base — модель распознавания текста на изображениях, разработанная Alibaba DAMO Academy. Это чисто зрительная архитектура на основе Vision Transformer (ViT) с модулями A³ и головами предсказания символов, подслов и слов; предсказания объединяются для распознавания текста. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и safetensors. Модель предназначена для OCR и распознавания текста в изображениях, в частности для scene text recognition. Она обучена на синтетических наборах MJSynth и SynthText. В основе ViT использованы веса DeiT-base, кроме слоя встраивания патчей; входное изображение имеет размер 32×128. Карточка не сообщает о поддержке нескольких языков или о длине контекста. Модель можно использовать для распознавания текста без дополнительной настройки; для прикладных задач README предлагает искать дообученные версии. Ограничение — обучение описано на синтетических данных, поэтому качество на реальных изображениях и вне этого распределения не гарантируется. Лицензия в предоставленных данных не указана.
MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.
Карточка модели abhi0127/moondream2 на Hugging Face совпадает с карточкой ThomasSimonini/Moondream2-streaming, поэтому описание составлено по ней. Moondream2-streaming — компактная плотная визуально-языковая модель семейства Moondream, опубликованная ThomasSimonini. Она предназначена для эффективного запуска на периферийных устройствах и отвечает на текстовые вопросы по изображениям, в том числе помогает читать документы и считать объекты. В карточке приведены результаты на VQAv2, GQA, TextVQA, DocVQA, TallyQA и POPE; репозиторий содержит варианты safetensors и GGUF F16. Модель принимает изображение вместе с текстовым запросом и выдаёт текстовый ответ. Для использования указан стек Transformers и einops. Версия модели обновляется, поэтому для воспроизводимости README рекомендует закреплять конкретный релиз. Лицензия — Apache-2.0.
mPLUG-Owl3-7B-241101 — мультимодальная модель семейства mPLUG-Owl3, разработанная командой авторов проекта mPLUG-Owl. Она предназначена для диалога и понимания изображений, последовательностей изображений и видео. Архитектура — плотная модель с 7,1 млрд параметров; заявленная длина контекста составляет 32 768 токенов. Ключевая особенность семейства — механизм Hyper Attention: авторы сообщают об ускорении понимания длинных визуальных последовательностей в шесть раз и обработке последовательностей до восьми раз длиннее. README также заявляет сохранение качества на задачах с одним и несколькими изображениями и видео. В карточке указана поддержка английского языка и чат-возможности. Лицензия — Apache-2.0.
laion/mscoco_finetuned_CoCa-ViT-L-14-laion2B-s13B-b90k — модель LAION, основанная на архитектуре CoCa с визуальным энкодером ViT-L/14 и дообученная на MS COCO. Она предназначена для создания текстовых описаний изображений, а также может использоваться для классификации изображений без дообучения по текстовым меткам. Конфигурация задаёт размер изображения 224 пикселя и длину текстового контекста 76 токенов; модель доступна в формате safetensors и используется через OpenCLIP. Вход — изображение, выход — текст или представления для сопоставления изображений и текста. Карточка не уточняет языковой охват и ограничения качества. Лицензия — MIT.
AMAImedia выпустила NOESIS-Qwen3-Forced-Aligner-0.6B-112LANG-BF16 как компонент платформы автоматизации многоязычного дубляжа. Это дообученная версия Qwen3-ForcedAligner-0.6B от Alibaba: модель принимает аудио вместе с готовым текстом и определяет временные метки слов или символов, а не распознаёт речь с нуля. Она рассчитана на выравнивание фрагментов длительностью до пяти минут и, согласно карточке, обучена для 112 языков. Модель предназначена для подготовки субтитров, караоке-разметки и синхронизации реплик в многоязычных системах дубляжа. В README сообщается о тестировании на 112 языках; для части языков с более низкими строгими метриками автор рекомендует применять постобработку временных меток. Заявленные результаты тестирования и оценка готовности приведены разработчиком модели. Модель использует архитектуру Qwen3 ASR и распространяется в формате safetensors. Лицензия — Apache-2.0. Для аудио длиннее пяти минут требуется обработка окнами; сама модель не предназначена для получения транскрипции из аудио без исходного текста.
Amazon Nova Lite 1.0 — недорогая мультимодальная модель Amazon, предназначенная для быстрого анализа изображений, видео и текста с выдачей текстовых ответов. Она подходит для сценариев, где нужно обрабатывать визуальные и текстовые входные данные и получать по ним текстовый результат. В доступных сведениях не приведены размер модели, длина контекста, поддерживаемые языки и условия лицензии.
Open-Sarika — модель распознавания и перевода речи, созданная как открытая реализация по мотивам Sarika от Sarvam AI. Она дообучена на базе Whisper large-v3 от OpenAI и предназначена для транскрибации речи на хинди, гуджарати и маратхи, а также перевода речи между этими языками. Модель использует архитектуру Whisper и содержит около 905,2 млн параметров; для запуска применяется библиотека Transformers, веса доступны в формате safetensors. При обучении использовались набор IndicVoices от AI4Bharat, проект Project Vaani и другие записи на индийских языках. Для более быстрой обработки рекомендуется GPU; в README указано минимальное требование в 8 ГБ RAM и размер модели около 1,5 ГБ. Лицензия — MIT. Описание не приводит оценок качества или подробностей о поддержке перевода в текстовом режиме.
Ovis2.5-2B — компактная мультимодальная модель семейства Ovis2.5 от команды Ovis. Она сочетает визуальный энкодер NaViT для обработки изображений в исходном переменном разрешении и языковую модель Qwen3-1.7B. Модель рассчитана на диалоговые сценарии с изображениями и мультимодальные рассуждения; контекст составляет 40 960 токенов. Модель умеет анализировать изображения, распознавать текст и структуру документов, таблиц и форм, отвечать на вопросы по диаграммам и выполнять визуальные рассуждения. Опциональный режим thinking с бюджетом рассуждений добавляет самопроверку и пересмотр ответа, повышая потенциальную точность на сложных запросах ценой дополнительной задержки. В карточке также заявлены результаты на задачах понимания видео и grounding, однако основной интерфейс описан как ввод изображения и текста с текстовым ответом. README отмечает высокие результаты для модели такого размера и пригодность для сценариев с ограниченными ресурсами, но конкретное оборудование или скорость не указаны. Доступны веса safetensors; модель рассчитана на Transformers. Лицензия — Apache-2.0.
Palmyra Vision — мультимодальная модель семейства Palmyra от Writer для диалога и генерации ответов по изображениям. Она принимает изображение и текстовый запрос и предназначена для визуальных вопросов и ответов, включая анализ диаграмм, документов, инфографики, распознавание текста на изображениях, подсчёт объектов и визуальные задачи по математике. В README указано обучение на наборе PixMo объёмом 1 млн примеров; метаданные описывают плотную архитектуру Palmyra_visionForCausalLM на 12,8 млрд параметров, контекст до 4096 токенов и формат safetensors. Модель поддерживает английский язык и использует Transformers. В README приведены результаты на 11 академических бенчмарках: средняя оценка 78,3 и рейтинг человеческих предпочтений Elo 1056. Для обработки изображений требуется RGB; на прозрачных изображениях модель может работать хуже, поэтому рекомендуется предварительно добавить фон. Лицензия в предоставленных данных не указана. Метаданные связывают модель слиянием с openai/clip-vit-large-patch14-336 и Writer/Palmyra-Large.
parakeet-primeline-gguf — это квантизированная GGUF-версия модели primeLine/parakeet-primeline, подготовленная handy-computer для работы с transcribe.cpp. Модель основана на NVIDIA parakeet-tdt-0.6b-v3 и предназначена для автоматического распознавания речи с преобразованием аудио в текст. Модель содержит около 0,6 млрд параметров и использует архитектуру FastConformer с декодером TDT/RNNT. Она принимает монофонический WAV со частотой 16 кГц и возвращает расставленный по регистру и пунктуации текст, при необходимости — токенизированные временные метки. Поддерживаются 25 языков, включая английский, немецкий, русский, украинский, французский, испанский, итальянский и другие европейские языки. Модель особенно настроена на немецкий, но сохраняет многоязычные возможности базовой версии; также доступно автоматическое определение языка. Сильными сторонами являются локальная работа через transcribe.cpp, несколько вариантов квантизации размером примерно от 485 МБ до 2,51 ГБ и близкие результаты различных вариантов по качеству. На тесте FLEURS для немецкого заявлен WER около 6%, для LibriSpeech test-clean — около 2,2%, для русского — 7,81%. Модель не поддерживает потоковое распознавание и перевод, а немецкий вывод может использовать написание ss вместо ß, что влияет на оценку качества. Модель распространяется по лицензии CC-BY-4.0, унаследованной от базовой модели. Для использования требуется transcribe.cpp; аудио при необходимости нужно предварительно привести к формату моно WAV 16 кГц.
Parakeet TDT 1.1B GGUF — это преобразованная в формат GGUF и количественно сжатая версия модели automatic speech recognition nvidia/parakeet-tdt-1.1b. Оригинальную модель разработала команда NVIDIA NeMo, а конвертацию и поддержку запуска через ggml-совместимый CrispASR выполнил CrispStrobe. Репозиторий содержит варианты F16, Q8_0 и Q4_K; последний рекомендован как вариант по умолчанию и занимает около 808 МБ. Модель предназначена для транскрибации англоязычной речи из монофонического аудио с частотой 16 кГц, включая обработку длинных фрагментов и распознавание редкой или специализированной английской лексики. Она использует 42-слойный FastConformer-энкодер примерно на 1,1 млрд параметров, 2-слойный LSTM-предиктор и TDT-декодер с пятью длительностями. Поддерживаются встроенные временные метки на уровне слов и английский словарь из 1024 SentencePiece-токенов. Сильными сторонами являются высокое качество распознавания английской речи, особенно для редкой лексики, встроенные временные метки и несколько вариантов квантования с компромиссом между размером и точностью. Ограничения — поддержка только английского языка, вывод в нижнем регистре без пунктуации и более высокие вычислительные требования по сравнению с версией 0.6B; для восстановления регистра и пунктуации нужен отдельный постпроцессор. Модель распространяется по лицензии CC-BY-4.0.
Это GGUF-квантизированная версия модели parakeet-tdt_ctc-110m, разработанной совместно командами NVIDIA NeMo и Suno.ai и адаптированной для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования английской речи в текст с пунктуацией и капитализацией. Она поддерживает обработку аудио в формате 16 кГц, моно WAV и может использоваться для локальной транскрипции записей без внешней языковой модели. Модель построена на архитектуре FastConformer с полным механизмом внимания и содержит около 110 млн параметров. В исходной гибридной модели применяются TDT/RNNT-транзьюсер и вспомогательная CTC-голова; при конвертации в GGUF CTC-голова удалена. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 90 до 457 МБ. Заявленная точность на LibriSpeech test-clean составляет 2,43% WER для F32, F16 и Q8_0 и до 2,53% для Q4_K_M. Модель поддерживает только английский язык, не предназначена для перевода, определения языка или потокового распознавания. Полное внимание позволяет обрабатывать до 20 минут аудио за один проход, однако модель работает в офлайн-режиме. Лицензия унаследована от базовой модели и указана как CC-BY-4.0; подробные условия следует уточнять в карточке исходной модели NVIDIA.
Perception Encoder Language G14-448 — визуальный энкодер Meta из семейства Perception Encoder, обученный для мультимодальных языковых сценариев. Модель извлекает визуальные признаки и предназначена для подключения к языковому декодеру, например Llama или Qwen; в карточке приведены результаты связки с Llama 3.1 8B. Особенно хорошо энкодер показывает себя в задачах OCR и анализа документов, а также в визуальном поиске и понимании изображений и видео. Чекпойнт G/14 с разрешением 448 пикселей использует контрастивное предварительное обучение и дополнительное выравнивание для языкового моделирования. В сравнении с L14-448 в описанном авторами тестировании с замороженным энкодером он показал более высокие результаты на DocVQA, InfoQA, TextVQA и ряде видеобенчмарков. Для практического применения как мультимодальной языковой модели нужен совместимый языковой декодер. Модель опубликована под лицензией Apache-2.0.
bofenghuang/phonemizer-wav2vec2-ctc-french — модель распознавания французской речи, построенная на архитектуре wav2vec2 с выходной CTC-головой. В метаданных указано 402,7 млн параметров; модель опубликована в формате safetensors и использует аудио на входе. Модель предназначена для преобразования аудиозаписей на французском языке в текст. В карточке указан датасет Mozilla Common Voice 13.0. Лицензия — MIT. README содержит только краткое указание на инференс аудио и не описывает подробности качества или ограничения.
POINTS-1.5-Qwen-2.5-7B-Chat — двуязычная визуально-языковая модель WeChat AI, дообученная на базе Qwen/Qwen2.5-7B-Instruct. Она предназначена для диалогов по изображениям и генерации текстовых ответов: понимает изображения высокого разрешения, отвечает на вопросы по их содержимому и поддерживает сценарии распознавания текста на изображении. В README указаны английский и китайский языки; среди обучающих данных есть наборы для OCR и общего визуального диалога. В модели используется визуальный энкодер в стиле NaViT, который обрабатывает изображения разных разрешений без разбиения на фрагменты. README также сообщает о применении техники model soup и приводит результаты на MMBench, MMStar и MMMU. Модель опубликована в формате safetensors по лицензии Apache-2.0. Метаданные каталога указывают чат и интерфейс вызова инструментов; фактические результаты и надёжность этих возможностей зависят от сценария применения.