I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиWav2Vec_VinData — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст. В README приведены результаты оценки: WER 0,3143, CER 0,1316 и loss 0,8569. Данные обучения и оценки, целевой язык и предполагаемые сценарии применения не описаны, поэтому эти результаты не позволяют определить качество модели для конкретного языка или условий записи. Модель распространяется по лицензии Apache-2.0.
Whisper Base LiteRT — это экспорт модели openai/whisper-base в формате LiteRT TFLite, разработанный OpenAI. Модель предназначена для автоматического распознавания речи и преобразования аудиосигнала в текст; её можно использовать в приложениях и на устройствах, поддерживающих выполнение LiteRT-моделей. В репозитории представлена модель whisper_base_30s_f32.tflite с вычислениями в формате FP32 и раздельными сигнатурами encode и decode. Энкодер принимает входной тензор float32 размерности [1,80,3000] и возвращает представление размерности [1,1500,512]. Декодер принимает это представление, последовательность токенов int32 размерности [1,128] и дополнительный тензор внимания, формируя выходные логиты размерности [1,128,51865]. По имени файла экспорт рассчитан на аудиофрагменты длительностью до 30 секунд. Сильной стороной модели является перенос Whisper в компактный формат LiteRT TFLite, подходящий для интеграции в среды с поддержкой этого формата. README не содержит сведений о точном перечне языков, требованиях к ресурсам, производительности, качестве распознавания или особенностях поддержки потоковой обработки, поэтому эти характеристики нельзя надёжно оценить. Репозиторий распространяется по лицензии Apache 2.0.
anuragshas/whisper-large-v2-bn — дообученная модель распознавания речи на основе Whisper Large-v2 от OpenAI. Она предназначена для преобразования аудио на бенгальском языке в текст и обучена на бенгальской части набора Mozilla Common Voice 11.0. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и представлена в формате PyTorch. В карточке указана оценка WER 11,1086 на тестовой выборке. Модель выпущена под лицензией Apache-2.0. Результаты на этой выборке не гарантируют сопоставимого качества для других условий записи, акцентов или языков.
whisper-large-v3-turbo-quantized.w8a8 — квантованная версия модели whisper-large-v3-turbo, разработанной OpenAI; квантование выполнила Neural Magic. Модель принимает аудио и генерирует текст, предназначена прежде всего для автоматического распознавания речи и эффективного инференса через vLLM. Она основана на архитектуре Whisper и совместима с библиотекой Transformers и vLLM версии 0.5.2 и выше. Модель использует INT8-квантование весов и активаций (формат W8A8), что может снизить требования к памяти и повысить эффективность развертывания по сравнению с полноразмерной версией. В README указана поддержка английского языка; размер модели, максимальная длина контекста и полный набор поддерживаемых языков не приведены. Для сервинга доступны интерфейсы vLLM, включая OpenAI-совместимый режим. К ограничениям относятся возможное снижение точности из-за квантования и отсутствие в предоставленных данных подробных результатов оценки качества: раздел Evaluation не содержит завершённой информации. Модель распространяется по лицензии Apache-2.0.
Whisper Medium TR — дообученная модель emre на базе мультиязычной OpenAI Whisper Medium для распознавания турецкой речи в текст. Она использует трансформерную архитектуру Whisper и содержит 455,8 млн параметров; обучение проводилось на начальных 10% обучающей и валидационной частей турецкого Common Voice 11.0 от Mozilla Foundation. Модель предназначена для транскрибирования турецких аудиозаписей; в README для оценочного набора указана WER 18,51. Модель принимает аудио и выдаёт текст. В обучении использовался weight decay 0,1 для снижения переобучения. Лицензия — Apache-2.0.
jlvdoorn/whisper-small-atco2-asr — дообученная модель распознавания речи на базе мультиязычной Whisper Small от OpenAI. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и принимает аудио для преобразования речи в текст. Репозиторий распространяет веса в форматах PyTorch и safetensors. Модель предназначена для автоматического распознавания речи. В README приведены результаты оценки: loss 0,8297 и WER 33,4520; описание набора данных, сценариев применения и ограничений не предоставлено. Лицензия — Apache-2.0.
Это англоязычная версия модели OpenAI Whisper small, преобразованная командой handy-computer в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования английской речи в текст, включая обработку длинных аудиозаписей с декодированием по фрагментам. Поддержка потоковой обработки, перевода и автоматического определения языка отключена; доступны сегментные временные метки. Модель построена на архитектуре Transformer encoder-decoder и обрабатывает аудио окнами длительностью 30 секунд. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 172 до 969 МБ. На тестовой выборке LibriSpeech test-clean заявленная частота ошибок слов составляет 2,97–3,11% в зависимости от варианта квантования. Квантованные версии требуют меньше памяти и могут быть удобнее для локального запуска, но точность зависит от выбранного формата и условий обработки. Модель ориентирована только на английский язык и не предназначена для перевода или мультиязычного распознавания. Для работы требуется transcribe.cpp; входные данные должны быть представлены как монофонический WAV с частотой 16 кГц либо предварительно преобразованы в этот формат. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Whisper Medium (Thai): Combined V3 — модель распознавания речи на тайском языке, разработанная Biodatlab на основе дообучения openai/whisper-medium. Она преобразует тайскую речь в текст и предназначена для автоматической транскрибации; в обучении использовались расширенные версии Common Voice 13.0 для тайского, Google FLEURS и подготовленные авторами наборы данных. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров. В README указана оценка WER 7,42 на тестовой части Common Voice 13 при использовании токенизатора Deepcut. Модель распространяется под лицензией Apache-2.0. Подробности об ограничениях и составе подготовленных авторами данных в карточке не раскрыты.
ihanif/whisper-turbo-ar-v2 — дообученная модель распознавания речи на основе openai/whisper-large-v3-turbo, созданная Hanif Rahman. Она предназначена для преобразования аудио в текст; обучение проводилось на наборе Common Voice 17.0. В карточке приведены результаты оценки: WER 39,2011 и орфографический WER 39,8068. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors для Transformers. Лицензия — MIT. В карточке нет сведений о целевом языке или специальной области применения; суффикс ar в имени репозитория сам по себе этого не подтверждает.
Это публичное зеркало модели Cohere Transcribe от Cohere и Cohere Labs, подготовленное для установки в настольное приложение Yap и локальной транскрибации речи. Модель предназначена для автоматического распознавания речи; базовая Cohere Transcribe — специализированная ASR-модель на 2 млрд параметров, поддерживающая 14 языков. Репозиторий зеркалирует CohereLabs/cohere-transcribe-03-2026 и содержит веса в формате Safetensors для использования с Transformers. Лицензия — Apache 2.0. Языки транскрибации и ограничения качества в карточке этого зеркала не перечислены.
ZAYA1-VL-8B — открытая vision-language модель Zyphra для диалога и ответов на вопросы по изображениям. Она использует ZAYA1-8B как текстовый декодер и визуальный энкодер Qwen2.5-VL; архитектура включает специализированные LoRA-параметры для обработки зрительных токенов и двунаправленное внимание к токенам изображения. В карточке указано 3 млрд параметров, контекст до 32 768 токенов и поддержка изображений и текста. Модель предназначена для анализа изображений, диаграмм и документов, а также визуальных вопросов и ответов. В README приведены результаты на наборах AI2D, ChartQA и DocVQA. Для запуска требуется форк Transformers с веткой zaya1-vl и дополнительные зависимости, включая qwen-vl-utils и flash_attn. Модель распространяется по лицензии Apache 2.0.
ZDTaichu5.0-9B — мультимодальная модель общего назначения от TaichuAI для визуального понимания, пространственных рассуждений и агентных задач. Она сочетает языковую основу Qwen3.5-9B с визуальным энкодером C-RADIOv4-H; модель относится к семейству ZDTaichu5.0 и имеет плотную архитектуру. В метаданных указан формат safetensors. Модель принимает текст, изображения и видео, включая изображения высокого разрешения, и поддерживает контекст до 128 тысяч токенов. Модель предназначена для ответов на вопросы по изображениям и видео, чтения документов и графиков, визуальной математики, анализа пространственных отношений и сцен, а также многошагового использования инструментов. Она также рассчитана на исследования и адаптацию для embodied AI и VLA-сценариев. В README заявлены сильные результаты среди сравниваемых моделей масштаба около 10 млрд параметров, включая пространственное понимание и агентные задачи; это утверждения авторов для описанных ими условий оценки. Самостоятельно инструменты модель не выполняет: их запуск и проверка должны обеспечиваться приложением. Лицензия в предоставленных данных не указана.
360VL-70B — мультимодальная чат-модель компании 360, дообученная на основе Meta Llama 3 70B Instruct для работы с изображениями и текстом. Она использует авторегрессионную трансформерную архитектуру и глобально ориентированный многоветвевой проектор для обработки изображений; число параметров — 69,5 млрд, контекст — 8192 токена. Модель принимает текст и изображения и генерирует текстовые ответы. Она поддерживает многоходовые диалоги с одним изображением, визуальные вопросы и ответы, распознавание текста на изображениях, извлечение, упорядочивание и краткое изложение визуальной информации. Заявлена поддержка китайского и английского языков; изображения обрабатываются с разрешением до 672×672. Модель распространяется под лицензией Apache 2.0. Качество ответов может зависеть от содержания и разрешения изображения; заявленный режим визуального диалога рассчитан на одно изображение.
Карточка модели nuresens/ALL_PAD_merge на Hugging Face совпадает с карточкой nuresens/ALL_PAD_MERGE_v2, поэтому описание составлено по ней. nuresens/ALL_PAD_MERGE_v2 — дообученная мультимодальная модель семейства Mistral3 на базе aitf-komdigi/KomdigiITS-3B-PAD-CPT. Разработчик — nuresens; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель принимает изображения и текст и предназначена для диалоговых сценариев с визуальным содержимым, включая ответы на вопросы по изображениям. В карточке также заявлен интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Количество параметров и длина контекста в предоставленных источниках не указаны.
nuresens/ALL_PAD_MERGE_v2 — дообученная мультимодальная модель семейства Mistral3 на базе aitf-komdigi/KomdigiITS-3B-PAD-CPT. Разработчик — nuresens; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель принимает изображения и текст и предназначена для диалоговых сценариев с визуальным содержимым, включая ответы на вопросы по изображениям. В карточке также заявлен интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Количество параметров и длина контекста в предоставленных источниках не указаны.
Arabic-OCR-DeepSeek-OCR-2 — модель loay, дообученная на базе unsloth/DeepSeek-OCR-2 для распознавания арабского текста на изображениях и анализа структуры страниц. Она принимает изображения сканированных книг и выдаёт структурированные транскрипции; для обработки страниц использует динамическое разбиение на фрагменты с сохранением высокого разрешения. В README указано обучение на 35 921 изображении арабских книг и адаптация LoRA с последующим объединением адаптера с базовой моделью. Метаданные указывают архитектуру DeepseekOCR2ForCausalLM, 559,7 млн параметров и контекст 8192 токена. Модель ориентирована на OCR арабских документов, в частности на сценарий инструкции «Free OCR». В карточке также заявлена поддержка английского языка. Репозиторий распространяется под лицензией Apache-2.0. Практическое качество зависит от чёткости изображения и особенностей исходной разметки; подтверждённые оценки качества в предоставленной карточке не приведены.
Arabic Small Nougat — модель OCR, разработанная Mohamed Rashad для преобразования изображений страниц арабских книг в структурированный текст, в том числе в формате Markdown. Она использует архитектуру VisionEncoderDecoderModel на базе facebook/nougat-small и дообучена на наборе Fakhraddin/khatt и пользовательском наборе данных. Модель рассчитана на оцифровку арабской литературы и извлечение текста из печатных материалов; в карточке указаны арабский и английский языки. Максимальная длина контекста составляет 2048 токенов. Модель распространяется по лицензии GPL-3.0. При распознавании возможны повторы и ошибки в тексте, а также нерелевантные пути к изображениям в выводе. Длинные страницы могут транскрибироваться не полностью, поэтому результат следует проверять, особенно когда точность критична.
CASA-Helium1-VL-2B — модель «зрение и язык» (VLM) от Kyutai, дообученная на базе Helium1-2B с визуальным энкодером Qwen2.5-VL-3B. Она использует перекрёстное внимание: визуальные признаки поступают в текстовый поток через отдельные слои и не добавляют токены изображений в KV-кэш языковой модели. Веса содержат 1,9 млрд параметров, контекст — 4096 токенов; модель работает с изображениями и текстом, основной язык — английский. Модель предназначена для понимания изображений и ответов на вопросы по визуальному содержимому. Среди подходящих сценариев — чтение текста и документов на изображениях, анализ диаграмм и визуальные вопросы и ответы. Архитектура CASA также разработана с расчётом на потоковую обработку видео, однако README описывает применение на потоковом видео для другой модели коллекции, поэтому эту возможность нельзя считать подтверждённой для данного чекпойнта. Модель не выровнена по предпочтениям людей и может выдавать ошибочные, предвзятые, вредные или бесполезные ответы; перед использованием в прикладных системах нужны дополнительное выравнивание и оценка рисков. README рекомендует дообучение для большинства прикладных сценариев. Лицензия — CC-BY-NC-SA-4.0; поскольку в составе есть замороженные веса визуального энкодера Qwen2.5-VL-3B, также применимо соглашение Qwen Research License Agreement.
coco-research/coco-voice-models — репозиторий-зеркало моделей распознавания речи, используемых приложением Coco Voice. Владелец репозитория указывает, что файлы побайтно скопированы из проекта Handy и не переконвертировались и не перепаковывались при переносе в это зеркало. В репозитории собраны модели разных разработчиков, включая OpenAI, MediaTek Research, Useful Sensors и NVIDIA; среди примеров — Whisper, Breeze ASR и Moonshine. Модели предназначены для преобразования речи в текст. В репозитории есть файлы GGUF-квантований Q5_K_M и Q8_0, однако конкретный формат, размер и лицензия зависят от отдельной модели и указаны рядом с её файлами. Лицензии различаются; README рекомендует сверяться с лицензией и атрибуцией каждой модели. Репозиторий предоставляется без гарантий.
thwri опубликовал дообученную версию Florence-2-large от Microsoft. Модель обучена на подмножестве из 38 000 изображений датасета Ejafa/ye-pop; обучающие подписи были созданы с помощью THUDM/cogvlm2-llama3-chat-19B. Модель предназначена для создания текстовых описаний изображений и может использоваться для автоматического составления подписей к изображениям. Она основана на архитектуре Florence-2, работает с изображениями и выдаёт текст. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия — MIT. Карточка не приводит оценок качества или подробностей о контексте применения; описание не позволяет судить о надёжности модели на разных типах изображений.
CogVLM-Chat-HF — открытая визуально-языковая модель от команды Zhipu AI. Она принимает изображение вместе с текстовым запросом и ведёт диалог о содержимом изображения: описывает сцены, отвечает на вопросы и находит объекты или детали по текстовому указанию. В README описана архитектура с визуальным энкодером ViT, MLP-адаптером, языковой моделью и модулем Visual Expert; репозиторий содержит вариант для Transformers с весами Safetensors и примерно 6,6 млрд параметров. Контекст составляет 2048 токенов. Модель предназначена для визуального вопросно-ответного диалога, описания изображений и задач, требующих связать текст с визуальным содержимым. README сообщает о высоких результатах на ряде мультимодальных бенчмарков, включая локализацию объектов и визуальные вопросы, но приведённые там результаты относятся к CogVLM-17B и не гарантируют те же показатели для этой версии. Для вывода требуется около 40 ГБ видеопамяти либо распределение модели между несколькими устройствами. Лицензия — Apache-2.0; README также описывает бесплатное коммерческое использование после регистрации через анкету.
CKHO/cohere-asr-ja-GGUF — это квантованная версия модели efwkjn/cohere-asr-ja для автоматического распознавания речи на японском языке. Модель предназначена для преобразования японской речи в текст, включая диалоги, вокал и аудио в стиле ASMR. Для работы используется backend cohere в CrispASR. Модель распространяется в формате GGUF и доступна в вариантах F16, Q8_0, Q6_K, Q5_0 и Q4_K размером от 1,51 до 4,14 ГБ. По неформальным локальным тестам на системе с RTX 3080 вариант F16 показал эталонное качество, Q8_0 — почти такое же качество при меньшем размере, а Q6_K предлагает наиболее сбалансированное сочетание качества и размера. Более сильное квантование уменьшает требования к диску, но может снижать точность распознавания. Модель рассчитана на использование с CrispASR; generic llama.cpp runtimes не поддерживают архитектуру cohere_asr. В README указана лицензия Apache-2.0. Контекст, дополнительные языки, архитектурные детали исходной модели и ограничения качества, не отражённые в локальных тестах, не указаны.
Это порт модели Cohere Transcribe Arabic от CohereLabs в формат OpenVINO, подготовленный для запуска распознавания речи на Intel NPU. Базовая модель содержит 2 млрд параметров и предназначена для транскрибации арабской, диалектной и английской речи. В комплект входят варианты FP16 и INT8 для Conformer-энкодера и декодера, декодер с кэшем KV и NumPy-раннер для инференса без PyTorch. Для INT8-пайплайна с кэшем KV автор приводит результат 9,03% WER на 150 арабских аудиозаписях FLEURS; разница с исходной моделью на GPU составила 0,07 процентного пункта. На Intel Core Ultra 7 255H указана скорость обработки примерно в 3,5 раза выше реального времени. Порт также поддерживает запуск на других устройствах OpenVINO, но INT8-энкодер не компилируется CPU-плагином; для CPU рекомендуется FP16. Лицензия — Apache 2.0, как у базовой модели.
OpenASR/firered2-llm — это модель автоматического распознавания речи FireRedASR2-LLM, разработанная FireRedTeam и упакованная проектом OpenASR для нативного локального запуска. Она предназначена для преобразования аудиозаписей в текст, прежде всего на нормативном мандаринском китайском, китайских диалектах и акцентах, а также на английском языке. Модель использует архитектуру Encoder-Adapter-LLM с декодером масштаба большой языковой модели и содержит более 8 млрд параметров. Доступная сборка q4_k распространяется в формате .oasr, имеет размер около 5,10 ГБ и пиковое потребление оперативной памяти около 9,39 ГБ. Она работает на CPU и GPU через OpenASR, без Python во время инференса и без передачи аудио в облако. Заявленная средняя CER составляет 2,89% на четырёх общедоступных мандаринских тестах и 11,55% на 19 тестах китайских диалектов и акцентов. К сильным сторонам относятся высокая точность для китайской речи, поддержка диалектов и акцентов, двуязычность и полностью локальное выполнение. Ограничения — крупный размер модели и значительные требования к памяти; в README не указаны поддерживаемая длительность контекста, полный перечень вариантов английской речи и показатели для других языков. Модель и её упаковка распространяются по лицензии Apache-2.0.
yayayaaa/florence-2-large-ft-moredetailed — дообученная модель на основе microsoft/Florence-2-large-ft для получения более подробных текстовых описаний изображений. Она принимает изображение и генерирует текст; README показывает сценарии обработки одного изображения и пакетной обработки. Модель построена на архитектуре Florence-2 и распространяется в формате safetensors через Transformers. Модель подходит для детального описания изображений и пакетной генерации подписей. README указывает, что на GPU с 24 ГБ видеопамяти можно использовать размер пакета до 28 изображений. Язык карточки — английский; лицензия — MIT. Базовая Florence-2-large-ft также предназначена для обнаружения объектов, OCR и ответов на вопросы по изображению, однако карточка этой производной модели не подтверждает отдельно качество этих задач.
Fun-ASR-MLT-Nano-2512 — мультиязычная модель распознавания речи из семейства Fun-ASR, разработанного командой FunASR. Чекпойнт содержит около 800 млн параметров и обучен на сотнях тысяч часов многоязычной речи. Он предназначен для преобразования аудио в текст на 31 языке, с особым вниманием к языкам Восточной и Юго-Восточной Азии. Модель поддерживает управление языком распознавания; интерфейс FunASR также предоставляет настройку горячих слов и обратную текстовую нормализацию (ITN). В README приведены результаты для семейства Fun-ASR, но они не относятся непосредственно к этому чекпойнту. Возврат временных меток, диаризация говорящих и обучение модели отмечены как пока не поддерживаемые функции. Для запуска используется библиотека FunASR. Модель распространяется по лицензии Apache-2.0.
cstr/funasr-nano-GGUF — это GGUF-версия модели Fun-ASR-Nano-2512, разработанной Alibaba и FunAudioLLM и перепакованной для работы с backend funasr в CrispASR. Модель предназначена для автоматического распознавания и транскрибации речи на китайском (мандарин и кантонский), английском, японском и корейском языках. Архитектура включает 70-блочный SANM-энкодер SenseVoiceSmall, двухблочный Transformer-аудиоадаптер и декодер на базе Qwen3-0.6B с 28 слоями и GQA. Речь передаётся в языковую модель через ChatML-промпт, а генерация выполняется авторегрессионно с использованием KV-кэша. В репозитории доступны варианты F16, Q8_0 и Q4_K; последний имеет размер около 897 МБ и рекомендован как вариант по умолчанию. Опубликованные веса используют только путь через LLM-декодер, без рабочего CTC-декодера. Модель подходит для локальной транскрибации аудиозаписей и интеграции в приложения через CrispASR. Сильными сторонами являются компактный размер, поддержка нескольких языков и близкое к исходному качество у квантованных вариантов. Ограничение — английский вывод может быть в верхнем регистре и без пунктуации; для нормализации регистра и расстановки знаков препинания требуется отдельная модель. Код распространяется по Apache-2.0, а веса — по FunASR Model License v1.1: коммерческое использование разрешено при указании авторства Alibaba и FunAudioLLM.
GLM-5.2-Vision-NVFP4 — мультимодальная модель для понимания изображений и генерации текста. Этот чекпойнт опубликован под идентификатором baseten/GLM-5.2-Vision-NVFP4 и объединяет текстовую модель GLM-5.2 от zai-org с визуальным энкодером MoonViT-3d из Kimi-K2.6 от Moonshot AI. Модель предназначена для описания изображений, визуального анализа и диалогов в формате image-text-to-text, включая работу через OpenAI-совместимый API. В основе используется замороженная MoE-модель GLM-5.2 размером 744B параметров, из которых активно около 40B, с механизмами MLA и DSA sparse attention. Визуальная часть MoonViT-3d содержит 27 слоёв и имеет размерность 1152, а обучаемый PatchMerger-проектор преобразует визуальные признаки в токены размерности 6144; его размер — 49,5 млн параметров. Текстовые веса представлены в формате NVFP4, модель поддерживает до 4096 токенов изображения и максимальный контекст до 1 048 576 токенов. Главные преимущества — сочетание сильного reasoning-бэкенда GLM-5.2 с обработкой изображений, длинный контекст и возможность локального развёртывания через SGLang или Baseten. Ограничения — очень большой объём весов около 466 ГБ и высокие требования к оборудованию: рекомендованы 8 GPU B200 для контекста 1M или 4 GPU B200 для 256K; заявлена совместимость только с архитектурой Blackwell. Для SGLang требуется внешний плагин архитектуры модели. Лицензия указана как MIT; при этом входящие веса GLM-5.2 и Kimi-K2.6 сохраняют условия лицензирования исходных проектов.
granite-4.0-1b-speech-gguf — это GGUF-квантизированная версия Granite-4.0-1b-speech, разработанного IBM Granite и адаптированного для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и двунаправленного перевода речи между английским и французским, немецким, испанским, португальским и японским языками. Перевод выполняется только через английский язык, поэтому прямые направления между неанглийскими языками не поддерживаются. Модель представляет собой audio-LLM с Conformer-энкодером, block-local Shaw attention, проектором BLIP-2 Q-Former и авторегрессионным Granite-4.0-1b-base в роли декодера. На вход подаётся монофонический WAV с частотой 16 кГц. Поддерживаются английский, французский, немецкий, испанский, португальский и японский языки; автоматическое определение языка, потоковая обработка и временные метки не поддерживаются. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,60 до 4,63 ГБ. Сильные стороны модели — компактность, возможность локального запуска на устройствах с ограниченными ресурсами, высокая точность английского распознавания и поддержка многоязычного ASR и перевода. На наборе LibriSpeech test-clean заявленная WER составляет 1,41–1,48% в зависимости от квантизации, однако фактическое качество зависит от языка, аудио и выбранного варианта. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Granite-Speech-4.1-2B-NAR — это мультиязычная модель автоматического распознавания речи, разработанная IBM и преобразованная в формат GGUF проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой дискретизации 16 кГц. Поддерживаются английский, французский, немецкий, испанский и португальский языки. Модель использует архитектуру Conformer для аудиоэнкодера, специальный MLP-проектор с механизмом внимания и Granite-4.0-1B в роли двунаправленного редактора. Это non-autoregressive подход: полный текст формируется за один проход без последовательной генерации токенов. Доступны варианты в форматах BF16, F16 и квантизациях Q8_0, Q6_K, Q5_K_M и Q4_K_M; размер файлов составляет примерно от 1,56 до 4,52 ГБ. На LibriSpeech test-clean показатель WER заявлен на уровне 1,28–1,34% в зависимости от варианта. Сильными сторонами являются офлайн-работа, поддержка пяти языков, отсутствие токен-за-токеном декодирования и близкое к эталонному качество при квантизации. Ограничения: потоковая обработка, перевод, определение языка и временные метки не поддерживаются; модель ориентирована только на ASR. Производительность зависит от аппаратной платформы и выбранной квантизации. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.