I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиMasriSwitch-Gemma3n-Transcriber-v1 — модель автоматического распознавания речи, разработанная oddadmix на архитектуре условной генерации Gemma 3n и дообученная на египетском арабском и речи с переключением между арабским и английским. Она предназначена для преобразования коротких и средних аудиозаписей в текст, в том числе голосовых заметок, звонков поддержки, встреч, интервью и материалов для соцсетей. В карточке указаны датасет арабско-английской речи с переключением языков и частный набор разговорных египетских записей. Модель принимает аудио и выдаёт текст; форматы весов — safetensors. Лицензия — Apache-2.0. Модель ориентирована на египетский диалект и естественное переключение арабского и английского в одной фразе. Для длинных записей рекомендуется разбивать аудио на отрезки примерно по 20–30 секунд. Лучше всего работает с чистой речью одного говорящего; качество может снижаться при сильном шуме, одновременной речи и быстром темпе. Она не оптимизирована для диалектов Персидского залива и Леванта или только литературного арабского; транскрипции чувствительных записей требуют осторожного обращения и проверки человеком.
Megrez-3B-Omni — разработанная Infinigence AI компактная мультимодальная модель для понимания изображений, текста и аудио. Она расширяет Megrez-3B-Instruct и предназначена для диалогов и анализа запросов, содержащих текст, изображения или речь, включая вопросы по изображениям, распознавание текста на изображениях и ответы на устные инструкции. Для аудиоввода используются энкодеры Qwen2-Audio или Whisper large-v3, а для изображений — SigLIP-400M; модель поддерживает китайский и английский языки и многоходовой диалог. В карточке указано около 2,6 млрд параметров и контекст 4096 токенов; веса представлены в формате safetensors. Модель рассчитана на локальное и серверное применение, в том числе на устройствах с ограниченными ресурсами. В README приводятся результаты сравнительных тестов для визуального, языкового и речевого понимания, однако они зависят от условий оценки. Известные ограничения включают возможность галлюцинаций; для OCR авторы предупреждают, что сэмплирование может менять распознанный текст, а его отключение способно вызвать повторения. Лицензия репозитория — Apache-2.0.
Ming-flash-omni 2.0 — мультимодальная модель семейства Ling-2.0 от InclusionAI с архитектурой Mixture-of-Experts: 100 млрд параметров суммарно и 6 млрд активных. Она принимает изображения, текст, видео и аудио, а генерирует текст, изображения и аудио; в метаданных также заявлен интерфейс для вызова инструментов. Модель предназначена для диалога и задач, где нужно переключаться между модальностями: анализа изображений и видео, распознавания речи, синтеза речи и музыки, генерации и редактирования изображений. В README отдельно отмечены распознавание растений, животных и культурных объектов, клонирование голоса с нулевым примером и управление характеристиками звучания, а также удаление объектов и композиция сцен. В README заявлены потоковый видеодиалог, распознавание речи, включая диалектную речь, и генерация изображений с управлением. Метаданные указывают английский язык. Модель опубликована по лицензии MIT. Заявления о лидерстве в бенчмарках и качестве приведены авторами модели; независимые результаты в предоставленных данных отсутствуют.
Ming-flash-omni Preview — мультимодальная модель от разработчиков семейства Ming, построенная на разреженной MoE-версии Ling-Flash-2.0. В модели заявлено 100 млрд параметров, из которых активны около 6 млрд на токен; она поддерживает входные изображения, текст, видео и аудио, а генерирует изображения, текст и аудио. Модель предназначена для мультимодального диалога и генерации: понимания изображений и видео, распознавания речи с учётом контекста и диалектов, синтеза речи, генерации и редактирования изображений. В карточке отдельно отмечены сегментация как часть редактирования, улучшенное сохранение сцены и идентичности при правках изображений, а также распознавание 15 китайских диалектов. Архитектура — разреженная Mixture-of-Experts; доступны интерфейсы чата и вызова инструментов. Модель опубликована как Preview, поэтому заявленные результаты стоит рассматривать с учётом предварительного статуса версии. Лицензия — MIT.
Ming-UniAudio-16B-A3B — аудиомодель от inclusionAI для совместного понимания, генерации и редактирования речи. Она использует архитектуру BailingMM и единый непрерывный аудиотокенизатор MingTok-Audio на основе VAE и каузального Transformer, объединяющий семантические и акустические признаки. Модель принимает и выдаёт аудио; единая языковая модель поддерживает задачи понимания и генерации речи, а Diffusion Head предназначен для синтеза с высоким качеством звучания. Модель подходит для распознавания и анализа речи, синтеза аудио и редактирования речи по инструкциям на естественном языке, включая семантические и акустические изменения без ручного указания временных отрезков. В карточке заявлены конкурентные результаты на тестах понимания и генерации речи. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. Описание не приводит размер контекста и перечень поддерживаемых языков.
MiniCPM-V 2.6 — мультимодальная модель OpenBMB для понимания изображений и видео. Представленная версия — GGUF-квантизация, подготовленная bartowski на основе llama.cpp, предназначенная для локального запуска, в частности через LM Studio версии 0.3.0 и выше. Модель сочетает визуальный компонент SigLip-400M и языковую модель Qwen2-7B, всего около 8 миллиардов параметров. Она поддерживает мультиязычные сценарии, обработку одного и нескольких изображений, диалоговое рассуждение по изображениям и анализ видео. Модель принимает изображения с произвольным соотношением сторон и разрешением до 1,8 млн пикселей, например 1344×1344, а также ориентирована на задачи OCR. Сильными сторонами заявлены улучшенное качество по сравнению с MiniCPM-Llama3-V 2.5, понимание нескольких изображений, работа с видео и высокое качество распознавания текста. README также заявляет превосходство в понимании одиночных изображений над рядом популярных моделей, однако эти результаты приведены без подробностей о методике оценки. Ограничения включают возможную неточность или неподходящее содержание ответов, характерные для генеративных моделей. Лицензия в README не указана.
MiniCPM-V 4.6 — компактная мультимодальная модель от команды OpenBMB для понимания изображений и видео, рассчитанная в том числе на запуск на мобильных устройствах. Она объединяет визуальный энкодер SigLIP2-400M с языковой моделью Qwen3.5-0.8B и использует смешанное сжатие визуальных токенов 4×/16×, позволяя выбирать баланс между скоростью и детализацией. Модель предназначена для диалога по одному или нескольким изображениям и видеороликам: она может отвечать на вопросы о визуальном содержимом, разбирать документы и распознавать текст на изображениях. README отмечает поддержку развёртывания на iOS, Android и HarmonyOS, а также интерфейс вызова инструментов и совместимость с несколькими фреймворками инференса. К заявленным сильным сторонам относятся низкая вычислительная нагрузка и высокая эффективность визуального кодирования. Качество может зависеть от выбранного режима сжатия и числа фрагментов изображения; для видео требуется декодирование, при этом README описывает возможные проблемы совместимости torchcodec с версиями CUDA. Репозиторий распространяется по лицензии Apache-2.0.
openbmb/MiniCPM-V-4.6-BNB — это квантованная в формате bitsandbytes NF4, 4-битная версия мультимодальной модели MiniCPM-V 4.6, разработанной командой OpenBMB. Модель предназначена для понимания изображений, нескольких изображений и видео, включая визуальный анализ, OCR и работу с мультимодальными запросами. Она ориентирована на эффективное развертывание на периферийных устройствах и мобильных платформах iOS, Android и HarmonyOS. В основе MiniCPM-V 4.6 используются визуальный энкодер SigLIP2-400M и языковая модель Qwen3.5-0.8B. Архитектура применяет смешанное сжатие визуальных токенов с коэффициентами 4x и 16x, что позволяет выбирать баланс между точностью и скоростью; вычислительная нагрузка визуального кодирования снижена более чем на 50%. README не указывает размер контекстного окна и полный список поддерживаемых языков. Доступна интеграция с Transformers, vLLM, SGLang, llama.cpp и Ollama, а также экосистемами дообучения SWIFT и LLaMA-Factory. К сильным сторонам относятся компактность, низкая стоимость инференса, высокая эффективность на мобильных устройствах и мультимодальные возможности, сопоставимые с более крупными моделями на ряде тестов. Ограничения включают потери, связанные с 4-битной квантизацией, а также отсутствие в README подробностей о точности на конкретных задачах, контекстном окне и языковом покрытии. Модель распространяется по лицензии Apache-2.0.
openbmb/MiniCPM-V-4.6-Thinking-BNB — это 4-битная NF4-квантизованная версия мультимодальной модели MiniCPM-V 4.6 Thinking, разработанная командой OpenBMB. Модель предназначена для эффективного понимания изображений и видео, включая сложные мультимодальные рассуждения, математические задачи и распознавание текста на изображениях с высокой нагрузкой на OCR. Она ориентирована в том числе на запуск на конечных устройствах и мобильных платформах: iOS, Android и HarmonyOS. Архитектура включает визуальный энкодер SigLIP2-400M и языковую модель Qwen3.5-0.8B, а также смешанное сжатие визуальных токенов 4x/16x. Вариант Thinking формирует явную цепочку рассуждений перед итоговым ответом, что повышает качество на сложных задачах. Поддерживаются изображения и видео, работа через Transformers, обработка нескольких изображений и использование Flash Attention 2 для ускорения и снижения потребления памяти. Точный размер контекстного окна и список поддерживаемых языков в предоставленных данных не указаны. К сильным сторонам относятся компактность, низкие требования к памяти благодаря 4-битной квантизации, пригодность для edge-сценариев и способность выполнять сложный визуальный анализ. Ограничения включают зависимость от совместимости программного окружения и видеодекодера с версией CUDA, а также потенциальные компромиссы в точности из-за квантизации; количественные результаты оценки в README не приведены. Модель распространяется по лицензии Apache-2.0.
openbmb/MiniCPM-V-4.6-Thinking-gguf — GGUF-квантизированная версия мультимодальной модели MiniCPM-V 4.6 Thinking, разработанной OpenBMB. Модель предназначена для эффективного понимания изображений и видео, включая сложное мультимодальное рассуждение, математические задачи и распознавание текста на изображениях (OCR). Она ориентирована на локальное использование, в том числе на мобильных устройствах и периферийных платформах iOS, Android и HarmonyOS. Модель использует архитектуру с визуальным энкодером SigLIP2-400M и языковой моделью Qwen3.5-0.8B, а также смешанное сжатие визуальных токенов 4x/16x. Thinking-вариант формирует явную цепочку рассуждений перед финальным ответом, что повышает качество на сложных задачах, но может увеличивать задержку и расход вычислительных ресурсов. Поддерживаются текстовые запросы совместно с изображениями и видео; сведения о полном перечне языков и размере контекста в карточке не указаны. К сильным сторонам относятся компактность, ориентация на устройства с ограниченными ресурсами, поддержка изображений и видео и улучшенное рассуждение на визуально сложных задачах. Ограничения включают зависимость производительности от используемого GGUF-квантизированного варианта и аппаратной конфигурации, а также возможные проблемы совместимости видеодекодера torchcodec с отдельными версиями CUDA. Репозиторий распространяется по лицензии Apache-2.0.
Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-52 — дообученная версия facebook/mms-1b-all для автоматического распознавания речи. Она основана на архитектуре wav2vec2, содержит 1,3 млрд параметров и принимает аудио, выдавая текст. Дообучение выполнено на наборе BEMGEN - BEM; на оценочном наборе указаны Loss 12.0449 и CER 0.0516. Модель предназначена для преобразования речи в текст. Базовая MMS-1B-All поддерживает более тысячи языков, однако языковой охват именно этой дообученной версии в карточке не уточнён. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
MolmoE-1B-0924 — открытая мультимодальная модель семейства Molmo, разработанная Allen Institute for AI. Это предварительная версия модели для анализа изображений и генерации ответов на текстовые запросы о них. Модель построена как Mixture-of-Experts на базе OLMoE-1B-7B-0924 и объединяет языковую модель с визуальной составляющей. В ней 1,5 млрд активных и 7,2 млрд общих параметров; контекст — до 32 768 токенов. Модель обучалась на тщательно отобранных парах изображений и текстов PixMo и предназначена для визуальных вопросов и ответов, понимания диаграмм, документов и изображений. README заявляет высокие результаты на академических тестах и в оценке людьми среди мультимодальных моделей сопоставимого размера. Это предварительный чекпойнт: сопутствующие артефакты обучения, код и оценки планировалось опубликовать позднее. Модель может испытывать трудности с прозрачными изображениями; рекомендуется предварительно добавлять белый или тёмный фон. Лицензия — Apache-2.0.
Onyx-Whisper-Tiny — компактная модель распознавания речи на базе Whisper Tiny от OpenAI, подготовленная для движка OnyxSTT на устройствах Apple с MLX. В модели 29,4 млн параметров; аудиоэнкодер квантован до 4 бит с размером группы 64, а декодер, эмбеддинги и свёрточные слои сохранены в fp16. Такой смешанный формат занимает около 66 МБ вместо примерно 151 МБ в fp32. Модель предназначена для преобразования аудио в текст, включая локальную транскрибацию записей. По данным карточки, смешанная точность сохраняет качество базовой версии на проверенных фрагментах с числами, именами и кодами; полная 4-битная квантизация декодера могла бы ухудшить их распознавание. Поддерживается мультиязычный режим. Лицензия — Apache-2.0, унаследованная от базовой модели.
Ovis2-1B — компактная мультимодальная модель семейства Ovis, построенная на визуальном энкодере aimv2-large-patch14-448 и языковой модели Qwen2.5-0.5B-Instruct. Её разработчики улучшили архитектуру структурного согласования визуальных и текстовых представлений, а также обучение на данных с инструкциями и предпочтениями. Модель предназначена для диалога по изображениям, видео и нескольким изображениям, визуального рассуждения, распознавания текста и извлечения структурированных данных из таблиц и графиков. В карточке заявлены многоязычный OCR, обработка видеокадров и улучшенное пошаговое рассуждение. Метаданные указывают поддержку английского и китайского языков; для работы используется библиотека Transformers. Ovis2-1B — плотная модель класса Ovis; в сравнительных таблицах README приведены результаты на наборах для оценки изображений и видео. Для некоторых видеобенчмарков результаты ниже, чем у более крупных моделей из сравнения. Модель доступна по лицензии Apache-2.0. Авторы предупреждают, что не гарантируют полного отсутствия проблемного или нарушающего авторские права контента.
mlx-community/parakeet-tdt-1.1b — версия модели NVIDIA Parakeet-TDT-1.1B, подготовленная сообществом mlx-community для библиотеки MLX. Она преобразует английскую речь в текст и предназначена для автоматической транскрипции аудио. В метаданных указана архитектура семейства FastConformer/Conformer и формат safetensors; базовая модель разработана NVIDIA NeMo и Suno.ai. Модель подходит для расшифровки записей и речевых потоков на английском языке. Карточка сообщества отсылает за подробностями к карточке исходной модели, поэтому дополнительные характеристики и ограничения исходной модели здесь не подтверждены. Лицензия — CC BY 4.0.
Parakeet TDT-CTC 110M — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует английскую речь в текст с пунктуацией и заглавными буквами и подходит для транскрибирования аудиофайлов, в том числе длинных записей и больших наборов файлов. Модель построена на гибридной архитектуре FastConformer-TDT-CTC примерно со 114 млн параметров и обучена в NVIDIA NeMo. Она принимает монофоническое аудио WAV с частотой 16 кГц и может обрабатывать до 20 минут аудио за один проход. Для декодирования доступны варианты TDT и CTC; разработчики сообщают о высокой скорости работы, но результаты зависят от оборудования и условий запуска. Модель обучена на англоязычных речевых данных, включая публичные наборы LibriSpeech, Fisher, VCTK, VoxPopuli, Europarl-ASR, Multilingual LibriSpeech и Common Voice, а также частную выборку. Карточка указывает лицензию CC-BY-4.0. Модель предназначена для английской речи; качество на других языках и в условиях, отличающихся от обучающих данных, не подтверждено.
Parakeet TDT-CTC 1.1B GGUF — это квантизированная версия модели автоматического распознавания речи parakeet-tdt_ctc-1.1b, разработанной совместно командами NVIDIA NeMo и Suno.ai и адаптированной для работы с transcribe.cpp. Модель предназначена для офлайн-транскрибации английской речи с восстановлением пунктуации и капитализации, включая обработку длинных аудиозаписей. Она принимает аудио, но не поддерживает потоковое распознавание, перевод или автоматическое определение языка. В основе лежит FastConformer-XL примерно на 1,1 млрд параметров с декодером TDT/RNNT; вспомогательная CTC-голова исходной гибридной модели удалена при конвертации. Поддерживается английский язык, выдаются токеновые временные метки. Доступны варианты GGUF от F32 и F16 до Q8_0, Q6_K, Q5_K_M и Q4_K_M объёмом примерно от 825 МБ до 4,28 ГБ. На тестовой выборке LibriSpeech test-clean показатель WER составляет 1,87% для большинства вариантов и 1,91% для Q4_K_M. Сильные стороны модели — высокое качество английской транскрибации, пунктуация и капитализация, возможность обработки до 11 часов аудио за один проход в исходной архитектуре, а также несколько вариантов квантизации для выбора между качеством и размером. Модель рассчитана на офлайн-обработку и требует запуска через transcribe.cpp; в практическом сценарии рекомендуется использовать монофонические WAV-файлы с частотой 16 кГц. Модель распространяется по лицензии CC-BY-4.0, унаследованной от базовой модели NVIDIA.
Pingala V1 Universal — модель автоматического распознавания речи, разработанная Shunyalabs. Она преобразует аудио в текст и предназначена для точной дословной транскрипции встреч, финансовых звонков, вещательных передач, учебных материалов и других записей. В карточке заявлена поддержка 204 языков, включая индийские и мировые языки; метаданные отдельно перечисляют языковые теги, среди которых русский и английский. Модель основана на архитектуре Transformer, принимает аудио с частотой 16 кГц и поддерживает обработку речи в реальном времени; в карточке также указана встроенная функция обнаружения речевой активности. Shunyalabs приводит средний показатель WER 3,10% и средний RTFx 146,23, однако описание результатов в основном посвящено английской речи. Для доступа требуется аутентификация в Hugging Face Hub. Лицензия обозначена как other и содержит ограничения на дискриминационное, военное и иное вредоносное применение; перед использованием следует ознакомиться с полным текстом лицензии.
PP-OCRv6_medium_rec_onnx — модель распознавания текста на изображениях из семейства PP-OCRv6, разработанная PaddlePaddle и предназначенная для использования в библиотеке PaddleOCR. Она преобразует визуальное содержимое текстовых областей в последовательность символов и подходит для OCR-сценариев, включая обработку документов и изображений с текстом. Модель представлена в формате ONNX и относится к варианту medium линейки PP-OCRv6. В README указано, что семейство включает модели размером от 1,5 до 34,5 млн параметров, однако точный размер данной модификации не приведён. Заявлена поддержка английского и китайского языков; модель работает с изображениями и выдаёт текст, но сведения о точных архитектурных компонентах, максимальном контексте и ограничениях по размеру входных данных отсутствуют. К сильным сторонам относятся специализация на распознавании текста, интеграция с PaddleOCR и переносимость благодаря формату ONNX. Ограничения и показатели качества для данной версии в README не указаны, поэтому её производительность на конкретных типах изображений следует проверять отдельно. Модель распространяется по лицензии Apache 2.0.
Qwen2.5-VL-32B-Instruct-4bit — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, разработанная командой Qwen и преобразованная сообществом mlx-community в формат MLX с помощью mlx-vlm. Модель содержит 32 млрд параметров и использует 4-битное квантование; работать с ней можно через библиотеку Transformers и инструменты MLX. Модель предназначена для обработки изображений вместе с текстовыми запросами: описания изображений, визуального вопросно-ответного диалога, извлечения и интерпретации информации с изображений. В метаданных заявлена поддержка английского языка, контекстное окно составляет 128 000 токенов. Pipeline-модель — image-text-to-text. К сильным сторонам относятся мультимодальное понимание и большой контекст, а 4-битное представление может снизить требования к памяти при локальном запуске. Квантование может повлиять на точность по сравнению с полной версией модели, а заявленная языковая поддержка ограничена английским. Модель распространяется по лицензии Apache-2.0.
Карточка модели Umbasa/Qwen3-Omni-30B-A3B-Captioner-UMBASA-V1 на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Captioner, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Captioner — модель для подробного описания аудио, созданная командой Qwen дообучением Qwen3-Omni-30B-A3B-Instruct. Она принимает только аудио и выдаёт текст; текстовые подсказки и несколько аудиовходов за один запрос не поддерживаются. Модель описывает речь, голоса и эмоции говорящих, а также музыку, окружающие звуки и звуковые эффекты. Она рассчитана на сложные записи с несколькими источниками звука и стремится давать подробные описания с меньшим количеством галлюцинаций. Для сохранения детализации рекомендуется подавать аудиоклипы длительностью не более 30 секунд. Модель использует архитектуру Qwen3 Omni MoE и запускается через Transformers; в репозитории указаны веса Safetensors. Карточка описывает поддержку многоязычной речи, но конкретные языки не перечисляет. Лицензия указана как other, поэтому условия использования следует проверить в материалах репозитория.
coder3101/Qwen3-VL-32B-Instruct-heretic-v2 — изменённая версия мультимодальной модели Qwen3-VL-32B-Instruct от Qwen. По README, модель прошла abliteration: в приведённом сравнении доля отказов снизилась с 99 до 9 из 100, а KL-дивергенция относительно исходной модели составляет 0,0977. Метаданные указывают плотную архитектуру Qwen3-VL с 32 млрд параметров и формат safetensors. Модель принимает текст и изображения и предназначена для диалога с визуальным контекстом, распознавания текста на изображениях, анализа видео и визуального рассуждения. README базовой модели заявляет контекст 256 тыс. токенов с возможностью расширения до 1 млн и OCR на 32 языках; это характеристики семейства, а не отдельные результаты оценки данной модификации. В карточке нет отдельного описания её качества по задачам. Модель выпущена под лицензией Apache-2.0. Снижение числа отказов может означать ослабление встроенных ограничений безопасности; приведённая таблица не описывает методику оценки и не позволяет судить о поведении во всех сценариях.
t-firefly/qwen3-vl-4b-rknn3-rk1828 — производная модель семейства Qwen3-VL, подготовленная для запуска на платформе Rockchip RK1828 через LlamaPi. В основе лежит Qwen3-VL-4B-Instruct от команды Qwen: плотная мультимодальная модель на 4 млрд параметров с архитектурой Qwen3VLForConditionalGeneration и интерфейсом диалоговой генерации. Репозиторий содержит веса в формате GGUF. Модель принимает текст и изображения и генерирует ответы на вопросы о визуальном содержимом. Она предназначена для визуального рассуждения, распознавания текста на изображениях, понимания пространственных отношений и анализа документов, а также для диалога с учётом текстового и визуального контекста. README указывает на запуск через LlamaPi на RK1828; метаданные также отмечают интерфейс вызова инструментов. Модель выпущена под лицензией Apache-2.0. В карточке производной модели не приведены отдельные сведения о контекстном окне и поддерживаемых языках; её возможности и языковое покрытие в значительной степени определяются базовой моделью Qwen3-VL-4B-Instruct.
Røst-Wav2Vec2-315m-v1 — модель распознавания датской речи, разработанная Alexandra Institute в рамках проекта CoRal. Это дообученная для распознавания речи модель Wav2Vec2ForCTC на основе facebook/wav2vec2-xls-r-300m; метаданные указывают 402,7 млн параметров, а в README версия названа 315-миллионной. Модель принимает аудио и выдаёт текстовые транскрипции. Для декодирования используется отдельная n-граммная языковая модель, обученная на датской Википедии, Common Voice и Reddit. Модель предназначена для автоматической транскрипции датской речи, в том числе чтения вслух с разными диалектами, акцентами и голосами. В оценке CoRal она показала CER 6,6% и WER 17,0%; на тесте Danish Common Voice 17 — CER 6,6% и WER 16,7%. README сообщает о более новой версии v2. Лицензия — OpenRAIL; биометрическая идентификация с использованием CoRal и производных моделей запрещена условиями лицензии.
Карточка модели Hitelcy/Sarvix_handwriting_AI на Hugging Face совпадает с карточкой microsoft/trocr-base-handwritten, поэтому описание составлено по ней. TrOCR base handwritten — модель Microsoft, дообученная на наборе IAM для распознавания рукописного текста на изображениях отдельных строк. Она использует архитектуру encoder-decoder: Transformer-кодировщик изображений, инициализированный весами BEiT, и авторегрессионный Transformer-декодер текста, инициализированный весами RoBERTa. Изображение разбивается на патчи размером 16×16 пикселей, по которым модель генерирует последовательность текстовых токенов. Модель предназначена для OCR рукописных строк; её можно применять, например, для оцифровки рукописных заметок и строк документов. В карточке указана лицензия MIT. Доступны веса PyTorch и Safetensors. Ограничение, указанное в карточке: модель рассчитана на отдельные текстовые строки, поэтому для распознавания страниц или сложной структуры документов потребуется предварительно выделить строки. В предоставленных данных не описана поддержка конкретных языков.
SeaLLMs-Audio-7B — мультимодальная аудиоязыковая модель семейства SeaLLMs, разработанная для языков Юго-Восточной Азии. Она построена на Qwen2-Audio-7B с заменой языковой модели на Qwen2.5-7B-Instruct и полным дообучением на 1,58 млн диалогов с аудио и текстом. В метаданных указана архитектура Qwen2-Audio и формат safetensors. Модель принимает аудио, текст или их сочетание и предназначена для распознавания речи, описания аудио, перевода речи в текст, анализа эмоций, ответов на вопросы по аудио, краткого пересказа и голосового общения. Основные языки — индонезийский, тайский и вьетнамский, также поддерживаются английский и китайский. Разработчики сообщают о результатах на собственном бенчмарке SeaBench-Audio; руководство по эксплуатации включает Transformers и vLLM. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой модели. README не приводит явных ограничений качества или безопасного применения.
SpeechLMM-v2.0-L-7B — мультимодальная инструкционная модель на 7 млрд параметров из семейства SpeechLMM 2.0, разработанного командой Meetween и участниками консорциума Meetween. Она дообучена на Qwen/Qwen2.5-Omni-7B для задач, связанных с речью и виртуальными совещаниями. Архитектура авторегрессионная; аудио-, видео- и визуально-речевые признаки поступают в представление Thinker через адаптеры, а для чтения по губам добавлен путь AutoAVSR. Модель принимает текст, речь и видео и может выдавать текст или речь. Она предназначена для распознавания и перевода речи, вопросов и ответов по устному или письменному содержанию, суммаризации, определения намерений, деления аудио на главы, диаризации говорящих с аудиовизуальным контекстом, чтения по губам и генерации речи. Поддерживаются чешский, нидерландский, английский, французский, немецкий, венгерский, итальянский, португальский, испанский и шведский языки. Модель рассчитана на отдельные задачи и на использование как компонента системы помощи при совещаниях. Лицензия CC-BY-NC-SA 4.0 ограничивает коммерческое использование. Качество может зависеть от языка, качества записи и конкретной задачи; README не приводит количественных оценок качества. Для обработки записей совещаний следует учитывать согласие участников и применимые правовые основания.
NVIDIA FastConformer-Hybrid Large для арабского языка — модель автоматического распознавания речи, разработанная NVIDIA и доступная для работы через NeMo. Она преобразует аудио в текст и поддерживает знаки пунктуации: точки, арабские запятые и вопросительные знаки. Модель построена на архитектуре FastConformer с гибридным декодером Transducer (RNNT) и CTC и содержит около 115 млн параметров. Она обучена на примерно 760 часах арабской речи из MASC, Common Voice 17.0 и Fleurs. На вход подаются монофонические WAV-файлы с частотой 16 кГц; модель работает в нестриминговом режиме. На выходе — арабский текст без диакритических знаков, которому может потребоваться обратная нормализация. Модель предназначена для транскрибирования арабской речи и разрешена для коммерческого и некоммерческого использования по лицензии CC BY 4.0. Точность зависит от шума, акцента, типа речи и контекста; качество может снижаться на диалектной речи и незнакомой терминологии. Она не предназначена для критически важных сценариев.
srikantp/svara-tts-v1-fp8 — FP8-квантизированная версия Svara TTS v1, разработанной Kenpath. Это многоязычная модель преобразования текста в речь на базе архитектуры Llama с 3,3 млрд параметров; репозиторий указывает контекст 131 072 токена. Она предназначена для синтеза речи на 12 индийских языках и английском: поддерживает мужские и женские голоса, выбираемые идентификатором вида «код_языка_пол». FP8 снижает потребление видеопамяти примерно до 6–8 ГБ; заявлен интерфейс, совместимый с OpenAI Audio Speech API. Для запуска README указывает NVIDIA GPU с 8 ГБ или более видеопамяти, CUDA, Transformers и PyTorch. Модель основана на kenpath/svara-tts-v1 и распространяется по лицензии Apache-2.0.
swin-gpt-NWPU-captioning — модель для создания текстовых описаний изображений, опубликованная пользователем swadhindas324 на Hugging Face. Она построена на архитектуре VisionEncoderDecoderModel и дообучена для задачи image-text-to-text; репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель принимает изображение и генерирует текстовое описание. В README приведены результаты оценки: Loss 0,5339, Accuracy 85,19, BLEU-1 0,8630, BLEU-4 0,6472, METEOR 0,7734, ROUGE-L 0,7624 и CIDEr 1,8392. Карточка не раскрывает базовую модель, обучающий набор данных, поддерживаемые языки, контекст или условия лицензии, поэтому область применения и качество за пределами указанной оценки определить нельзя.