I.15Доступность и ассистивные технологии

SeamlessM4T Large — крупная модель семейства SeamlessM4T, разработанная Meta и реализованная в библиотеке Hugging Face Transformers. Это единая плотная модель на 664,9 млн параметров для перевода речи и текста между языками и распознавания речи; в Transformers доступны как универсальная модель, так и специализированные варианты для отдельных задач. Модель поддерживает речевой ввод на 101 языке, текстовый ввод и вывод на 96 языках и генерацию речи на 35 языках. Она предназначена для перевода речи в речь, речи в текст, текста в речь и текста в текст, а также для автоматического распознавания речи. Можно выбирать голос синтеза с помощью идентификатора говорящего. Для синтеза речи SeamlessM4T v2 предлагает улучшенную по сравнению с этой версией архитектуру, качество и скорость. Репозиторий содержит веса PyTorch, модель рассчитана на контекст до 1024 токенов и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель объединяет несколько языковых задач в одном решении, но для генерации речи поддерживает меньше языков, чем для речевого ввода или текстовых операций.

LFM2.5-VL-1.6B — компактная мультимодальная модель Liquid AI для понимания изображений и диалога по визуальному содержимому. Это дообученная версия LFM2.5-1.2B-Base: языковая основа дополнена визуальным энкодером SigLIP2 NaFlex на 400 млн параметров. Модель содержит 1,6 млрд параметров и имеет контекст 32 768 токенов. Модель принимает изображения и текст, а отвечает текстом. Она подходит для описания изображений, распознавания текста на изображениях и документах, ответов на вопросы по визуальному содержимому и работы с несколькими изображениями. Поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Обрабатывает изображения до 512×512 пикселей без масштабирования; более крупные изображения делит на фрагменты с дополнительным обзорным изображением. Для локального запуска и адаптации доступны Transformers и vLLM. К сильным сторонам относятся следование инструкциям, обработка изображений высокого разрешения, OCR и многоязычное понимание изображений. Модель не предназначена для задач, требующих обширных знаний. В карточке Hugging Face лицензия обозначена как other; конкретные условия следует сверить с файлами репозитория Liquid AI.

Lite-Whisper large-v3-acc — сжатая версия мультиязычной модели распознавания речи Whisper large-v3 от OpenAI, разработанная с использованием LiteASR. Она предназначена для преобразования речи в текст. В оценке на наборах данных ESB модель показала средний WER 10,1 — такой же, как у Whisper large-v3; размер энкодера составляет 429 млн параметров против 635 млн у исходной модели, а декодера — 907 млн. Модель построена на архитектуре LiteWhisperForConditionalGeneration и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; базовая модель поддерживает многоязычную транскрибацию и перевод аудио в текст. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

Lite-Whisper large-v3-turbo-acc — сжатая версия мультиязычной модели распознавания речи OpenAI Whisper, разработанная авторами LiteASR. Модель предназначена для преобразования аудио в текст и доступна для запуска через библиотеку Hugging Face Transformers. В карточке приведено сравнение на наборах ESB: вариант acc показывает средний WER 10,1 при размере энкодера 429 млн параметров и декодера 907 млн; у Whisper large-v3 указаны тот же WER и энкодер 635 млн. По метаданным модель содержит 905,2 млн параметров и основана на openai/whisper-large-v3-turbo. Репозиторий распространяется в формате safetensors под лицензией Apache-2.0.

facebook/mms-1b-all — многоязычная модель автоматического распознавания речи, разработанная Vineel Pratap и соавторами в рамках проекта MMS. Она построена на архитектуре wav2vec2 с CTC-выходом и содержит около 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в карточке указана поддержка 1162 языков, а частота дискретизации аудио составляет 16 кГц. Модель предназначена для транскрибации речи на большом числе языков, в том числе малоресурсных, например для расшифровки записей и создания многоязычных систем распознавания речи. Опубликованные веса доступны в форматах PyTorch и safetensors. Лицензия CC-BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование. Качество распознавания может различаться в зависимости от языка, диалекта и условий записи.

Moondream 2 — компактная модель зрения и языка от разработчиков Moondream, предназначенная для эффективного запуска на широком спектре устройств. В репозитории размещён выпуск от 21 июня 2025 года; это предыдущее поколение после Moondream 3 Preview. Модель принимает изображение и текстовый запрос и отвечает текстом, поддерживая визуальные вопросы и ответы, описание изображений, распознавание текста и таблиц, подсчёт объектов, обнаружение объектов и элементов интерфейса, а также понимание диаграмм и документов. В выпуске заявлены пошаговое рассуждение с привязкой к пространственным позициям, улучшенное обнаружение объектов и понимание интерфейсов, а также ускоренная генерация. Поддерживаются веса SafeTensors и библиотека Transformers. Репозиторий часто обновляется, поэтому для производственного приложения README рекомендует фиксировать конкретную ревизию. Лицензия — Apache-2.0. Размер модели, длина контекста и перечень поддерживаемых языков в предоставленных данных не приведены.

NaijaVox-2.0 — модель распознавания речи с открытыми весами, разработанная Axiveri для нигерийских языков и вариантов английского. Она дообучена методом PEFT LoRA на базе OpenAI Whisper large-v3 и предназначена для преобразования аудиозаписей в текст на йоруба, хауса, игбо, нигерийском пиджине и нигерийском английском. Модель содержит около 905,3 млн параметров; в репозитории веса представлены в формате Safetensors. Обучение проводилось на 25 866 примерах из семи наборов данных с применением SpecAugment и добавлением фонового шума. По данным карточки, модель подходит для транскрибации разговоров, интервью, эфиров и голосового ввода, в том числе в шумных условиях и при переключении между языками. Для йоруба заявлена поддержка диакритики. В тестах на небольших выборках WER составил 14,7% для нигерийского пиджина, 19,6% для нигерийского английского, 22,3% для йоруба, 25,8% для хауса и 30,5% для игбо. Модель принимает аудио и выдаёт текст. Качество может зависеть от языка, акцента, шума и условий записи; опубликованные метрики получены на тестах по 50 примеров на язык и не гарантируют аналогичных результатов в других сценариях. Лицензия — Apache-2.0.

olmOCR-2-7B-1025-FP8 — мультимодальная модель для оптического распознавания документов, разработанная Allen Institute for AI (Ai2). Она дообучена на базе Qwen2.5-VL-7B-Instruct с использованием набора данных olmOCR-mix-1025 и дополнительно оптимизирована методом GRPO для обработки математических формул, таблиц и других сложных случаев OCR. Версия FP8 квантизована с помощью llmcompressor. Модель предназначена для преобразования изображений страниц документов, включая PDF, в структурированный текст. Она подходит для распознавания научных статей, старых сканов, многостолбцовых документов, таблиц, колонтитулов и мелкого текста. Рекомендуемый сценарий использования — через olmOCR toolkit, который выполняет рендеринг, поворот и повторную обработку страниц и поддерживает масштабный инференс с помощью vLLM. На вход подаётся одно изображение документа; рекомендуемый размер — 1288 пикселей по длинной стороне. README указывает английский язык модели. Ключевые характеристики: визуально-языковая архитектура на основе Qwen2.5-VL-7B-Instruct, около 7 млрд параметров, обработка изображений и текста, FP8-квантизация. По данным olmOCR-Bench, общий результат составляет 82,4 ± 1,1. Ограничения включают зависимость качества от корректного рендеринга, ориентации и подготовки промпта, а также специализацию прежде всего на OCR документов; сведения о контекстном окне в README не указаны. Модель распространяется по лицензии Apache 2.0 и предназначена для исследовательского и образовательного использования в соответствии с принципами Responsible AI Ai2.

Карточка модели Jinstudio/Qwen3-ASR-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Qwen3-ASR-0.6B — плотная модель распознавания речи семейства Qwen3-ASR, разработанная командой Qwen. Она принимает аудио и выполняет транскрибацию с автоматическим определением языка. Модель поддерживает 30 языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский; работает в потоковом и офлайн-режимах и рассчитана в том числе на длинные записи. Модель предназначена для распознавания речи в разных акустических условиях, включая речь, пение и песни с фоновой музыкой. Для интеграции доступны пакет qwen-asr и бэкенды Transformers и vLLM; потоковый режим поддерживается через vLLM. В README версия 0.6B описана как компромисс между точностью и эффективностью, с высокой пропускной способностью при параллельной обработке. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README не приводит отдельные результаты оценки качества именно версии 0.6B; характеристики уровня state of the art и сравнение с коммерческими API относятся к версии 1.7B. В потоковом режиме недоступны пакетная обработка и возврат временных меток.

Карточка модели mig-ai/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Qwen3-ASR-1.7B-hf — плотная модель распознавания речи семейства Qwen3-ASR от команды Qwen. Она принимает аудио и преобразует речь в текст, одновременно поддерживая определение языка; работает с потоковой и офлайн-обработкой, длинными аудиозаписями и пакетной транскрибацией. Модель основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров. Модель предназначена для распознавания речи на 30 языках и диалектах, включая русский, английский, китайский и кантонский, а также китайские региональные диалекты. В README также заявлена поддержка пения и песен с фоновой музыкой. Можно указать язык распознавания и передать контекст или ключевые слова, чтобы улучшить распознавание терминов и имён. Для временных меток слов предусмотрена отдельная модель Qwen3-ForcedAligner; это не функция данного чекпойнта. В README модель характеризуется как высокоточная и устойчивая к сложной акустической обстановке; приведены результаты оценки на наборе речевых тестов. Репозиторий использует Transformers и формат safetensors. Лицензия Apache-2.0.

Qwen3-VL-32B-Instruct-Heretic — мультимодальная модель для диалога по тексту и изображениям, созданная как дообученная версия Qwen/Qwen3-VL-32B-Instruct. Она предназначена для ответов на вопросы об изображениях, визуального рассуждения, распознавания текста и анализа видео; архитектура Qwen3-VL dense содержит 32 млрд параметров. В карточке базовой модели заявлены контекст 256 тыс. токенов с возможностью расширения до 1 млн и OCR на 32 языках. Модель сохраняет возможности базовой версии для текстового и визуального понимания, включая пространственное рассуждение и разбор интерфейсов. Abliteration заметно снижает частоту отказов в указанном сравнении: 4 из 100 против 89 из 100 у исходной модели; это не гарантирует корректность или безопасность ответов. Доступна по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Thinking — версия весов Qwen3-VL-8B-Thinking, опубликованная Unsloth. Это плотная мультимодальная модель класса Qwen3VLForConditionalGeneration с режимом рассуждений Thinking; репозиторий содержит веса в формате safetensors и исправленный шаблон чата. Модель принимает текст и изображения и предназначена для ответов по визуальному содержимому, распознавания текста на изображениях, анализа видео и пространственных рассуждений. Среди сценариев применения — разбор документов и сцен, визуальные вопросы и ответы, понимание временных событий в видео, оценка взаимного расположения объектов и работа с интерфейсами через инструменты. В README заявлены контекст 256 тысяч токенов с возможностью расширения до 1 миллиона и OCR на 32 языках; эти характеристики относятся к описанию семейства Qwen3-VL. Указана лицензия Apache-2.0. Заявления о превосходстве по точности в карточке не сопровождаются результатами бенчмарков.

SeamlessM4T v2 Large — мультимодальная многоязычная модель перевода и речи семейства SeamlessM4T, разработанная командой авторов карточки. Репозиторий содержит вариант на архитектуре UnitY2, в метаданных указаны 664,9 млн параметров, контекст 4096 токенов и формат safetensors. Модель предназначена для распознавания речи и перевода между речью и текстом: поддерживает преобразование речи в текст, текста в речь, а также речевой перевод с речевым или текстовым результатом. По README, модель принимает речь на 101 языке и текст на 96 языках, а генерирует речь на 35 языках. Архитектура UnitY2 с иерархическим преобразованием символов в речевые единицы и неавторегрессионным декодированием ускоряет генерацию речи и повышает её качество по сравнению с первой версией. В метаданных репозитория указана лицензия CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

SeamlessM4T v2 Large — мультимодальная многоязычная модель перевода от Meta, построенная на архитектуре UnitY2. Она поддерживает распознавание речи, перевод речи в текст и текста в текст, а также перевод речи и текста с синтезом речи. По карточке модели, она принимает речь на 101 языке, текст на 96 языках и генерирует речь на 35 языках. Версия v2 улучшает качество и скорость генерации речи по сравнению с SeamlessM4T v1. Репозиторий содержит вариант на 664,9 млн параметров, доступный через Transformers; длина контекста — 4096 токенов. Лицензия CC-BY-NC-4.0 разрешает использование на условиях указания авторства и запрещает коммерческое применение.

NVIDIA Conformer-CTC Large (en-US) — модель распознавания речи, разработанная NVIDIA и обученная с помощью инструментария NeMo. Это крупный вариант архитектуры Conformer с CTC-декодированием, примерно 120 млн параметров; модель работает без авторегрессионной генерации и принимает монофоническое аудио WAV с частотой 16 кГц, выдавая транскрипцию в виде текста. Модель предназначена для транскрибирования английской речи, в том числе в пакетной обработке аудиофайлов и в серверных развертываниях через NVIDIA Riva. Она обучена на нескольких тысячах часов речи из LibriSpeech, Fisher, Switchboard, WSJ, VoxPopuli, Common Voice и других корпусов. В README приведены показатели WER на нескольких тестовых наборах; подключение внешней языковой модели при развертывании через Riva может улучшить точность. Распознавание может быть менее точным для технической лексики, разговорных вариантов речи и акцентов, недостаточно представленных в обучающих данных. Лицензия модели — CC BY 4.0.

Voxtral-Mini-3B-2507-GGUF — это конверсия 3-миллиардной мультимодальной speech-LLM-модели Voxtral-Mini-3B-2507, разработанной Mistral, в формат GGUF для запуска через C++ runtime CrispASR. Модель предназначена для автоматического распознавания речи, транскрибации, перевода и понимания аудио, включая ответы на вопросы по содержимому записи, суммаризацию и вызов функций по голосовым намерениям. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди, а также автоматическое определение языка. Она сочетает 32-слойный Whisper-large-v3 audio encoder, проектор и 30-слойную Llama 3 / Ministral 3B-подобную языковую модель с GQA; общий объём параметров составляет около 3 млрд. Поддерживается до 30 минут аудио для транскрибации и до 40 минут для понимания. Аудиообработка встроена в GGUF, поэтому во время инференса не требуются Python, PyTorch или librosa. Доступны варианты квантования Q4_K размером 2,5 ГБ, Q8_0 размером 4,6 ГБ и F16 размером 8,7 ГБ. Q4_K рекомендован для практического использования и, согласно приведённым измерениям, примерно в 2,2 раза быстрее F16 на CPU при сохранении идентичной транскрипции. Ограничения включают более высокие требования к ресурсам и меньшую скорость по сравнению с компактными ASR-моделями на коротких аудиофрагментах, а также необходимость подавать моно WAV в формате PCM 16 кГц, 16 бит. Модель распространяется по лицензии Apache-2.0.

whisper-large-v2-gguf — это конвертация мультиязычной модели автоматического распознавания речи OpenAI Whisper large-v2 в формат GGUF для использования с transcribe.cpp. Модель разработана OpenAI, а сборки и конвертация опубликованы handy-computer. Она предназначена для расшифровки аудио, определения языка и перевода речи с поддерживаемых языков на английский текст. Модель использует архитектуру encoder-decoder Transformer и обрабатывает аудио окнами по 30 секунд с чанковой декодировкой длинных записей. Поддерживается широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 6,18 ГБ. Предусмотрены сегментные временные метки, но потоковая обработка не поддерживается. Сильные стороны модели — широкая языковая поддержка, распознавание, определение языка и перевод, а также несколько вариантов квантования для компромисса между качеством и требованиями к памяти. На тесте LibriSpeech test-clean заявленная WER составляет от 2,46% до 2,97% в зависимости от варианта, однако качество заметно различается между языками и наборами данных. Производительность зависит от оборудования и режима вычислений, а отсутствие streaming ограничивает применение в сценариях с минимальной задержкой. Модель распространяется по лицензии Apache-2.0.

Модель OpenVINO/whisper-large-v3-turbo-fp16-ov подготовлена OpenAI на основе Whisper large-v3-turbo и преобразована в формат OpenVINO IR с весами FP16. Архитектура Whisper имеет около 905 млн параметров; в варианте large-v3-turbo число слоёв декодера сокращено с 32 до 4, что ускоряет распознавание при небольшом снижении качества. Модель предназначена для преобразования речи в текст на многих языках. Её можно использовать для расшифровки аудиозаписей и транскрибирования речи в приложениях на базе OpenVINO; совместимость указана для OpenVINO 2026.1.0 и выше и Optimum Intel 1.27.0 и выше. Модель принимает аудио и выдаёт текст. Поддерживает русский, английский и множество других языков. Распространяется по лицензии MIT. В README отмечено, что качество может быть несколько ниже, чем у полной Whisper large-v3; прочие ограничения отсылают к карточке исходной модели.

Это квантованная GGUF-версия мультиязычной модели распознавания речи OpenAI Whisper large-v3-turbo, подготовленная командой handy-computer для работы с transcribe.cpp. Модель предназначена для автоматической транскрибации аудио, определения языка и генерации сегментных временных меток. Поддерживается широкий набор языков, включая русский, английский, китайский и кантонский (yue). Режим перевода речи не поддерживается, потоковая обработка отключена. Модель использует архитектуру encoder-decoder Transformer, принимает аудио через 128-bin mel-представление и обрабатывает длинные записи фрагментами на основе 30-секундных окон. Доступны варианты F16 и квантования Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 536 МБ до 1,63 ГБ. На тесте LibriSpeech test-clean показатель WER составляет 2,01% для F16 и Q8_0, 2,03% для Q5_K_M и 2,04% для Q4_K_M. Квантованные варианты уменьшают размер файла при небольшом ухудшении качества, однако точность может существенно различаться между языками. Модель подходит для локальной транскрибации, субтитров, голосовых заметок и анализа аудиозаписей при использовании transcribe.cpp. Распространяется по лицензии Apache-2.0.

onnx-community/whisper-small — это ONNX-версия мультиязычной модели Whisper Small, опубликованная сообществом ONNX Community на основе модели openai/whisper-small, разработанной OpenAI. Она предназначена для автоматического распознавания речи и перевода речи в текст, включая транскрибацию аудио на исходном языке и перевод с разных языков на английский. ONNX-веса адаптированы для использования, в частности, с Transformers.js и сценариями запуска в браузере или локальных приложениях. Модель построена как Transformer encoder-decoder, или sequence-to-sequence, и содержит около 244 млн параметров. Конфигурация включает 12 слоёв энкодера и 12 слоёв декодера, 12 attention heads в каждом, 80 mel-частотных полос и максимальную длину выходной последовательности 448 токенов. Мультиязычная версия поддерживает 99 языков. Исходный Whisper обучался на 680 000 часах аудио с транскрипциями. Сильные стороны модели — обобщение без обязательной дообучки, устойчивость к акцентам, шуму и технической лексике, а также возможность распознавания и перевода речи. Ограничения включают неравномерную точность между языками, акцентами и диалектами, возможные галлюцинации и повторяющийся текст; качество следует отдельно проверять для конкретной области применения. Модель рассчитана на аудиофрагменты длительностью до 30 секунд без дополнительной обработки, а более длинные записи обрабатываются с помощью разбиения на части. Для базовой модели openai/whisper-small указана лицензия Apache-2.0; отдельная лицензия ONNX-репозитория явно не указана.

Cohere Labs Aya Vision 32B — мультимодальная модель с открытыми весами на 32 млрд параметров для работы с изображениями и текстом. Она принимает изображения и текст, а в ответ генерирует текст. Модель предназначена для распознавания текста на изображениях, создания подписей, визуальных рассуждений, суммаризации и ответов на вопросы по изображениям; также поддерживает сценарии с текстовым вводом и генерацией кода. Архитектура сочетает языковую модель Aya Expanse 32B с визуальным энкодером SigLIP2-patch14-384 через мультимодальный адаптер. Контекст составляет 16K токенов. Для обработки изображения используется до 12 фрагментов и миниатюра; разрешение фрагмента — 364×364 пикселя. Модель обучена работать с 23 языками, включая русский, английский, китайский, японский, арабский и хинди. Модель разработана Cohere Labs и опубликована как исследовательский релиз с открытыми весами. Для её запуска используется библиотека Transformers. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также требуется соблюдать Acceptable Use Policy Cohere Labs.

CrisperWhisper — дообученная Nyra Health версия Whisper large-v3 для дословного распознавания речи. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors для библиотеки Transformers. Она принимает аудио и выдаёт текстовую транскрипцию с точными временными отметками на уровне слов. Модель рассчитана на транскрибацию, где важно сохранять оговорки, заполнители пауз, повторы, запинки и незавершённые фразы, а также на сегментацию речи. Для выравнивания слов и временных отметок применяются модифицированная токенизация, Dynamic Time Warping по cross-attention и специальная функция потерь. В карточке отмечены результаты на verbatim-наборах AMI и TED; качество зависит от аудиоданных и задачи, а сама модель больше не поддерживается активно и заменена CrisperWhisper 2.0. Лицензия — CC BY-NC 4.0, допускающая использование с обязательной атрибуцией и ограничением на коммерческое применение.

CrisperWhisper 2.0 Turbo — вариант модели распознавания речи семейства Whisper, разработанный Nyra Labs. Он предназначен для быстрого преобразования аудио в текст с выбором режима: дословная запись слов и речевых особенностей или отредактированная запись предполагаемого смысла. Модель содержит 905,3 млн параметров; репозиторий предоставляет веса в формате safetensors, а библиотека crisperwhisper поддерживает запуск через PyTorch или CTranslate2. Модель рассчитана на распознавание речи, включая заполнители пауз, повторы, обрывы слов и вокальные события, и может выдавать временные границы слов. Вариант Turbo — самый быстрый из описанных стандартных вариантов, но README отмечает некоторое снижение качества относительно более крупных моделей. Заявлена поддержка большинства языков Whisper; метаданные карточки указывают английский и немецкий. Стандартные модели распространяются по некоммерческой исследовательской лицензии, коммерческое лицензирование доступно отдельно.

DeepSeek-AI выпустила DeepSeek-VL2 — семейство плотных по структуре Mixture-of-Experts моделей для мультимодального понимания изображений и текста. Полная версия построена на DeepSeekMoE-27B; для семейства также представлены варианты Tiny с 1,0 млрд и Small с 2,8 млрд активируемых параметров, а полная версия использует 4,5 млрд активируемых параметров. Модель принимает изображения и текст и предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, понимания документов, таблиц и диаграмм, а также визуального заземления. README сообщает о конкурентных результатах при сопоставимом или меньшем числе активируемых параметров по сравнению с рядом открытых плотных и MoE-моделей. Метаданные указывают архитектурное семейство DeepSeek-VL2, библиотеку Transformers и формат весов safetensors. Для входных изображений README рекомендует разрешение 384×384 без разбиения на фрагменты. Лицензия обозначена как other, поэтому конкретные права использования следует сверить с условиями репозитория.

Florence-2-base-Castollux-v0.5 — дообученная модель зрения на базе microsoft/Florence-2-base, созданная PJMixers-Images. Она предназначена для улучшения качества и формата описаний изображений; обучение проводилось примерно на 20 тысячах изображений из PJMixers-Images/Castollux-Dataset. Модель принимает изображения и по текстовому промпту генерирует подробные описания на английском языке. Примеры в карточке показывают описания людей, животных, одежды, фона и освещения; автор сравнивает их с краткими результатами базовой Florence-2-base. Модель использует архитектуру Florence2ForConditionalGeneration и распространяется в формате safetensors. В примерах видны возможные ошибки в деталях: модель неверно прочитала номер на бирке коровы и исказила имя в водяном знаке. Поэтому описания стоит проверять, особенно когда важны мелкие надписи и точные атрибуты. Условия лицензии в предоставленных данных не приведены.

SeamlessM4T Medium — мультимодальная модель перевода от Meta, представленная в реализации Hugging Face для Transformers. Вариант на 463,7 млн параметров поддерживает перевод речи и текста между языками, распознавание речи и синтез речи; для задач доступны общая модель и специализированные подмодели. В README указано, что модель принимает речь на 101 языке, текст на 196 языках и генерирует речь на 35 языках. Максимальная длина контекста по метаданным — 4096 токенов. Модель подходит для перевода речи в речь или текст, перевода текста в текст или речь, а также для автоматического распознавания речи. При синтезе можно выбирать голос с помощью идентификатора говорящего и настраивать стратегию генерации. README отмечает, что SeamlessM4T v2 улучшает качество и скорость генерации речи по сравнению с этой версией. Репозиторий содержит веса PyTorch; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Карточка модели indigoskyai/Molmo-72B-0924 на Hugging Face совпадает с карточкой allenai/Molmo-72B-0924, поэтому описание составлено по ней. Molmo-72B-0924 — модель «зрение–язык» семейства Molmo, разработанного Allen Institute for AI. Это плотная мультимодальная модель с 129,6 млрд параметров: текстовый компонент основан на Qwen2-72B, а визуальный использует OpenAI CLIP. Модель обучалась на наборе PixMo из миллиона тщательно отобранных пар изображение–текст и принимает изображения вместе с текстовыми запросами, выдавая текстовые ответы. В метаданных указан контекст 4096 токенов, библиотека Transformers и поддержка чата. Модель предназначена для диалога по изображениям, описания визуального содержимого и ответов на вопросы о нём. В карточке сообщается о высоких результатах на академических бенчмарках и в оценке людьми среди мультимодальных моделей сопоставимого размера. Это предварительная версия Molmo; README говорит о применении в исследованиях и образовании. Лицензия — Apache 2.0. Для базовой Qwen2-72B указана отдельная лицензия Tongyi Qianwen, поэтому условия использования базовой модели также следует учитывать.

fal/moondream2-docci-instruct — дообученная модель семейства Moondream для создания подробных описаний изображений. Она разработана на основе Moondream2 и обучена на наборах gokaygokay/random_instruct_docci и, согласно метаданным, google/docci. Модель принимает изображение и текстовый запрос, а в ответ генерирует текст; основное назначение — подробное описание визуальных сцен и объектов. Модель относится к архитектуре Moondream и распространяется в формате safetensors. Карточка указывает на использование Transformers и лицензию Apache-2.0. В README нет количественной оценки качества или описания предельного разрешения и контекста, поэтому эти характеристики здесь не приводятся.