I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиGranite Speech 4.0 1B Loom — экспорт речевой модели IBM Granite 4.0 1B Speech, подготовленный для запуска в loom.cpp. Репозиторий содержит веса в формате GGUF; по README, параметры модели не изменялись при экспорте, а сама модель перенесена в формат упаковки loom.cpp. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст. Она поддерживает английский, французский, немецкий, испанский, португальский и японский языки. Запуск предусмотрен через библиотеку loom-py-rt, которая предоставляет высокоуровневый интерфейс с настройками оконной обработки, сэмплирования и сборки результата. Модель основана на IBM Granite 4.0 1B Speech; размер 1B указан в названии, однако точное число параметров в метаданных отсутствует. Репозиторий распространяется по лицензии Apache-2.0. Указанный формат GGUF и связка с loom.cpp ориентированы на работу в соответствующей программной среде.
Это MLX-порт модели IBM Granite Speech 4.1 2B NAR, подготовленный mlx-community для запуска на компьютерах Apple Silicon через mlx-audio. Модель предназначена для автоматической транскрибации речи; поддерживаемые языки — английский, французский, немецкий, испанский и португальский. Репозиторий распространяется по лицензии Apache-2.0. Архитектура — плотная нерегрессионная ASR-модель примерно на 2,25 млрд параметров в формате bf16: 16-слойный Conformer-энкодер строит гипотезу CTC, Q-Former-проектор формирует аудиопредставления, а 40-слойный двунаправленный редактор уточняет гипотезу за один проход. Для работы нужны macOS 14 или новее и Apple Silicon. Ограничения: пакетная обработка ограничена размером 1, потоковая транскрибация не поддерживается; доступны только веса bf16, без вариантов с квантизацией.
Higgs Audio v3 STT — модель распознавания речи в текст от автора репозитория erik-at-boson. Она объединяет энкодер Whisper-Large-v3 с дообученными в версии v2 слоями внимания и декодер Qwen3-1.7B; всего в модели 2,68 млрд параметров. Модель принимает монофонические WAV-аудиозаписи с частотой 16 кГц и предназначена для транскрибации речи. Для повышения точности поддерживается режим Thinking. Карточка описывает обновлённые веса и обновлённый набор данных для дообучения, включающий публичные обучающие части AMI, VoxPopuli, SPGISpeech, LibriSpeech, TED-LIUM, GigaSpeech и Earnings22. В репозитории также приведён скрипт транскрибации с детерминированным подавлением повторов слов и фраз. Для загрузки требуется включить trust_remote_code=True и установить библиотеку boson_multimodal для предварительной обработки аудио. Модель распространяется по лицензии Apache-2.0.
facebook/hubert-xlarge-ls960-ft — модель распознавания речи от Facebook на базе архитектуры HuBERT. Это версия HuBERT Extra-Large, дообученная на 960 часах LibriSpeech; базовая модель — facebook/hubert-xlarge-ll60k. Архитектура использует самонаблюдаемое обучение речевых представлений с маскированным предсказанием и офлайн-кластеризацией, а для распознавания применяет CTC. Модель преобразует аудиозаписи английской речи в текст и предназначена для задач автоматического распознавания речи. Для входа требуется аудио с частотой дискретизации 16 кГц. В карточке упоминаются LibriSpeech и Libri-Light, но дообучение этой версии проводилось на LibriSpeech. Модель выпущена по лицензии Apache-2.0.
Это совместимая с Hugging Face Transformers версия модели AI4Bharat IndicConformer для автоматического распознавания речи. Репозиторий основан на ai4bharat/indicconformer_stt_hi_hybrid_ctc_rnnt_large и адаптирует модель для использования со стандартными средствами Transformers вместо NeMo. Архитектура относится к семейству IndicConformer; метаданные указывают класс IndicConformerForCTC и форматы весов Safetensors. Модель преобразует аудиозаписи речи в текст и рассчитана на языки Индии. README перечисляет хинди, телугу, бенгальский, тамильский, гуджарати и малаялам; теги метаданных содержат также ассамский, каннада, маратхи, ория, пенджаби, урду, непали, санскрит и другие языки региона. Для обучения указаны наборы Shrutilipi и Bhashini. Репозиторий распространяется по лицензии Apache-2.0. Число параметров в предоставленных данных отсутствует; заявленный контекст — 5000 токенов.
InternVL3.5-14B — мультимодальная модель OpenGVLab из семейства InternVL3.5, представленная в архитектуре InternVLChat. Она принимает изображения и текст и формирует текстовые ответы; версия на 14 млрд параметров является дообучением OpenGVLab/InternVL3_5-14B-MPO. Модель предназначена для диалогов по изображениям и мультимодальных задач, включая визуальное рассуждение, ответы на вопросы по изображению и распознавание текста в изображениях. В семействе InternVL3.5 применяются Cascade RL для улучшения рассуждений и Visual Resolution Router для динамического выбора разрешения визуальных токенов. В README также описаны взаимодействие с графическим интерфейсом и embodied-задачи как возможности семейства. Модель распространяется в формате safetensors и использует библиотеку Transformers; лицензия — Apache-2.0. README не приводит отдельные показатели качества или длину контекста именно для версии 14B.
Модель reazon-research/japanese-hubert-base-k2-rs35kh — акустическая модель для автоматического распознавания японской речи. Её разработала команда Reazon Research: HuBERT Base дообучена на корпусе ReazonSpeech v2.0 с использованием фреймворка k2. Модель содержит около 117,3 млн параметров, реализована как HubertForCTC и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для преобразования японской речи в текст, включая длинные записи. В тестах авторов она показала CER 11,23% в среднем по указанным наборам и 27,05% на JSUT-BOOK; результаты зависят от данных и условий распознавания. Модель принимает аудио и выдаёт текст. Лицензия Apache-2.0.
KB-Whisper Large — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab). Это дообученная версия Whisper large-v3 от OpenAI с архитектурой Whisper и примерно 905 млн параметров; модель принимает аудио и генерирует текстовые транскрипции. Она предназначена прежде всего для шведской речи: обучение проводилось на более чем 50 000 часах шведского аудио с текстовыми расшифровками, а в оценках на FLEURS, CommonVoice и NST авторы сообщают о среднем снижении WER на 47% относительно исходной Whisper large-v3. Доступны варианты транскрипции с разной степенью подробности: стандартный Stage 2, более сжатый Subtitle и более дословный Strict. Модель можно использовать через Transformers, а также в форматах ONNX и CTranslate2; карточка также описывает применение с WhisperX для получения временных меток слов. Лицензия — Apache-2.0. Основное назначение — транскрибация шведской речи; карточка не приводит отдельных ограничений качества для других языков.
keep_it_simple — англоязычная модель генерации текста на базе GPT-2, опубликованная Philipp Laban. Она предназначена для упрощения абзацев: модель принимает исходный текст, после которого подаётся токен начала последовательности, и генерирует упрощённый вариант. Репозиторий содержит веса PyTorch и Safetensors; модель создана 2 марта 2022 года и распространяется по лицензии Apache-2.0. Модель подходит для подготовки более простых версий англоязычных текстов. Контекст ограничен 1024 токенами, а README предупреждает о короткой длине последовательности при работе через Hosted Inference API. Карточка не приводит конкретный размер модели или подробные оценки качества.
Карточка модели erenyeager-1/Kokoro-82M на Hugging Face совпадает с карточкой hexgrad/Kokoro-82M, поэтому описание составлено по ней. Kokoro-82M — открытая модель синтеза речи, разработанная и обученная участниками проекта Kokoro. Модель содержит 82 млн параметров и основана на архитектурах StyleTTS 2 и ISTFTNet; для генерации речи она использует текст и фонемные представления. В README указано, что модель компактна, работает быстрее и дешевле многих более крупных систем и при этом обеспечивает сопоставимое качество. Модель предназначена для преобразования текста в аудио, включая локальное использование, интеграцию в приложения и коммерческие сервисы. В версии 1.0 заявлены 8 языков и 54 голоса; метаданные подтверждают английский язык. README описывает обучение на нескольких сотнях часов аудио и IPA-разметке. Веса распространяются по лицензии Apache-2.0, что допускает коммерческое применение при соблюдении условий лицензии.
Карточка модели Jamestown34854/Kokoro-82M на Hugging Face совпадает с карточкой hexgrad/Kokoro-82M, поэтому описание составлено по ней. Kokoro-82M — открытая модель синтеза речи, разработанная и обученная участниками проекта Kokoro. Модель содержит 82 млн параметров и основана на архитектурах StyleTTS 2 и ISTFTNet; для генерации речи она использует текст и фонемные представления. В README указано, что модель компактна, работает быстрее и дешевле многих более крупных систем и при этом обеспечивает сопоставимое качество. Модель предназначена для преобразования текста в аудио, включая локальное использование, интеграцию в приложения и коммерческие сервисы. В версии 1.0 заявлены 8 языков и 54 голоса; метаданные подтверждают английский язык. README описывает обучение на нескольких сотнях часов аудио и IPA-разметке. Веса распространяются по лицензии Apache-2.0, что допускает коммерческое применение при соблюдении условий лицензии.
LongCat-Flash-Omni — открытая мультимодальная модель, разработанная Meituan для понимания текста, изображений, видео и аудио, а также взаимодействия с аудио и видео в реальном времени и потоковой генерации речи. В карточке описана архитектура Mixture-of-Experts с 560 млрд параметров и 27 млрд активируемых параметров; метаданные репозитория указывают 17,7 млрд параметров. Модель принимает контекст до 128 тыс. токенов и рассчитана на диалоговые и многомодальные сценарии. Модель предназначена для анализа изображений и видео, распознавания речи, перевода речи в текст и аудиовизуального диалога. В README приведены результаты сравнительных оценок по мультимодальным, визуальным и аудиозадачам. Для запуска описаны адаптации SGLang; указаны требования Python 3.10+, PyTorch 2.8+ и CUDA 12.9+. Репозиторий распространяется по лицензии MIT. Авторы отмечают, что модель не была специально разработана и всесторонне проверена для всех прикладных сценариев.
MIO-7B-Base — базовая мультимодальная авторегрессионная модель, разработанная командой M-A-P и соавторами из исследовательских организаций. Она предназначена для генерации и понимания текста, изображений, речи и видео в единой последовательности токенов. В основе — плотная архитектура LLaMA с 5,8 млрд параметров; модель использует дискретные представления разных модальностей и контекст до 4096 токенов. Исследовательская работа описывает сценарии визуальных вопросов и ответов, распознавания и синтеза речи, создания подписей к видео, редактирования изображений и смешанной генерации текста с изображениями. Модель основана на Yi-6B-Base и дообучена для мультимодальных задач; переданные метаданные также связывают её с Yi-6B-Chat. Для этой версии в карточке указана лицензия Apache-2.0. Публикация сообщает о конкурентных результатах в ряде тестов, но отмечает сложности с вычислительной стоимостью длинных мультимодальных контекстов и разрешением генерируемых изображений. Указанный в метаданных pipeline_tag — text-generation; мультимодальные задачи и характеристики описаны в публикации о семействе MIO.
moona3k подготовил 8-битную квантованную версию Qwen/Qwen3-ASR-1.7B для библиотеки MLX и компьютеров Apple Silicon. Модель предназначена для автоматического распознавания речи и транскрибации аудио; при использовании mlx-qwen3-asr поддерживаются временные метки слов и HTTP-сервер. Архитектура — плотная Qwen3-ASR с аудиоэнкодером и текстовым декодером; линейные слои и эмбеддинги квантованы до 8 бит с размером группы 64, остальные указанные в README тензоры хранятся в float16. Размер загрузки — около 2 ГБ. Модель поддерживает английский, китайский, японский, корейский, немецкий, французский, испанский, русский, арабский и хинди. В описанном тесте на 100 аудиофрагментах LibriSpeech test-clean её гипотезы и показатели WER/CER совпали с версией fp16, однако эти результаты ограничены данным набором и настройками оценки. Для запуска требуется пакет mlx-qwen3-asr версии 0.4.1 или новее; лицензия — Apache-2.0.
Карточка модели OpenMOSS-Team/MOSS-Audio-4B-Thinking на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-Audio-4B-Instruct, поэтому описание составлено по ней. MOSS-Audio-4B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Это вариант Instruct с аудиоэнкодером MOSS-Audio-Encoder и языковой основой Qwen3-4B; общий размер составляет около 4,6 млрд параметров. Аудио преобразуется в временные представления с частотой 12,5 Гц, которые объединяются с представлениями языковой модели для генерации текста. Модель принимает аудио и выполняет инструкции на его основе. Модель предназначена для распознавания речи с временными метками, ответов на вопросы и составления резюме по аудио, анализа говорящих, эмоций и звуковых событий, описания окружающей обстановки и понимания музыки. Архитектура с передачей признаков между слоями энкодера и временными маркерами поддерживает анализ акустических деталей и последовательности событий. В карточке семейства заявлена поддержка английского и китайского языков; результаты оценки относятся к семейству моделей и не гарантируют такое же качество именно для варианта 4B. Модель распространяется по лицензии Apache-2.0. Карточка описывает возможности семейства, но не приводит отдельные результаты оценки, требования к ресурсам или конкретные ограничения варианта 4B-Instruct.
Это преобразованная сообществом mlx-community версия NVIDIA Nemotron 3.5 ASR Streaming — модели распознавания речи с архитектурой FastConformer-RNNT и примерно 600 млн параметров. Веса представлены в формате bfloat16; библиотека запуска — mlx-audio. Модель преобразует аудио в текст и рассчитана на потоковую транскрипцию. Она использует подсказку с идентификатором языка, поддерживает 40 языковых локалей, а распознанный текст оформляет с пунктуацией и заглавными буквами. Параметр размера контекста позволяет выбирать компромисс между задержкой и использованием будущего аудиоконтекста; конфигурация [56,13] рекомендована в README для наилучшей точности в офлайн-режиме. README указывает на оригинальную модель NVIDIA и её карточку как источник сведений об архитектуре и назначении. Репозиторий содержит конверсию весов в MLX, а не отдельное дообучение. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с карточкой оригинальной модели и репозитория.
nemotron-3.5-asr-streaming-0.6b-gguf — это квантованные GGUF-версии модели NVIDIA nemotron-3.5-asr-streaming-0.6b, подготовленные проектом handy-computer для transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования речи в текст в офлайн- и потоковом режимах, включая приложения с пониженной задержкой и обработку аудио в реальном времени. Модель содержит около 0,6 млрд параметров и использует кэшируемый streaming FastConformer-энкодер с prompt-conditioned RNN-T-декодером. Поддерживаются 32 языковые локали, включая английский, испанский, французский, немецкий, русский, китайский, японский, корейский, арабский, хинди и другие европейские и азиатские языки. Доступны пунктуация и капитализация, автоматическое определение языка и токенные временные метки. Перевод речи не поддерживается. Для разных требований к памяти и скорости доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M; размер файлов составляет примерно от 496 МБ до 2,55 ГБ. Сильные стороны модели — потоковая работа, мультиязычность и близкая к эталонной NeMo точность. На тесте LibriSpeech test-clean заявленная частота ошибок слов составляет около 3,04% для F32, а на английской части FLEURS — около 7,9%; у более сильной квантизации точность снижается умеренно. Ограничения включают отсутствие перевода, зависимость качества от языка, квантизации и акустических условий, а также необходимость подачи аудио в формате 16 кГц, моно WAV либо предварительного преобразования. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели; для запуска используется transcribe.cpp.
Nemotron-3.5 ASR Streaming 0.6B MLX bf16 — потоковая модель распознавания речи от NVIDIA, перенесённая aufklarer на MLX для Apple Silicon и Metal GPU. Это конверсия исходной модели NVIDIA в формат MLX с весами bf16; архитектура — кэшируемый FastConformer с RNN-T и языковым промптом. Размер модели — 600 млн параметров. Модель принимает аудио чанками и выдаёт распознанный текст с пунктуацией и заглавными буквами. Она предназначена для потоковой транскрипции речи с низкой задержкой и поддерживает 40 языковых локалей; среди указанных языков — английский, испанский, немецкий, французский, итальянский, португальский, русский, хинди, китайский, японский, корейский и арабский. В README приведены результаты оценки на части языков и показатели потоковой производительности на Apple M5 Pro. Карточка описывает bf16-вариант как почти не теряющий точность относительно исходника fp32, но опубликованные показатели качества ограничены тестами на небольших выборках FLEURS и не характеризуют все 40 локалей. Для запуска требуется MLX; автор также указывает `parakeet-mlx` для модуля Conformer. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией исходной модели NVIDIA и репозитория.
omniASR-CTC-1B-v2 — конвертированная в формат Hugging Face модель распознавания речи на архитектуре Wav2Vec2, созданная автором репозитория на основе контрольной точки OmniLingual fairseq2 omniASR_CTC_1B_v2. Модель содержит 1,3 млрд параметров, использует 48 слоёв энкодера и скрытый размер 1280; она выдаёт CTC-логиты по словарю SentencePiece. Численное соответствие исходной контрольной точке проверено на аудиопримере. Модель предназначена для автоматической транскрипции речи на нескольких языках. Её можно применять для преобразования аудиозаписей в текст и для многоязычного распознавания речи. Карточка не приводит список поддерживаемых языков. Репозиторий содержит веса safetensors для Transformers; сведения о лицензии в доступных данных отсутствуют.
Это преобразованная в формат Hugging Face версия модели omniASR-CTC-300M-v2 на архитектуре Wav2Vec2, созданная из чекпойнта OmniLingual fairseq2. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт CTC-логиты по словарю SentencePiece, которые используются для получения текстовой расшифровки. В конфигурации указаны 24 слоя энкодера и размер скрытого представления 1024; в репозитории заявлено 413,2 млн параметров. Модель поддерживает распознавание речи на нескольких языках. Автор сообщает о совпадении выходов с исходным чекпойнтом fairseq2 на проверенном аудиофрагменте с точностью до atol=1e-4. Это конверсия чекпойнта, а не отдельное дообучение; файлы весов опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
iljab/omniASR-CTC-3B-v2 — преобразованный в формат Hugging Face чекпойнт omniASR-CTC-3B-v2 от Meta. Модель предназначена для автоматического распознавания речи и выдаёт текстовую расшифровку аудио. В Transformers используется класс Wav2Vec2ForCTC; энкодер содержит 60 слоёв со скрытым размером 2048. В репозитории указаны веса safetensors и лицензия Apache-2.0. Модель подходит для транскрибации аудиозаписей и интеграции распознавания речи в приложения на базе Transformers. README не сообщает поддерживаемые языки, ограничения по качеству, требования к аудио или длину контекста, поэтому эти характеристики здесь не уточняются.
Omnilingual-ASR-CTC-300M-CoreML-INT8-10s — это экспорт модели Meta Omnilingual ASR CTC-300M в формате CoreML, подготовленный для локального распознавания речи на устройствах Apple. Модель предназначена для автоматической транскрипции аудио на более чем 1600 языках и не требует указания языка при инференсе, что делает её подходящей для многоязычных приложений и сценариев с неизвестным языком входной речи. Модель построена по архитектуре в стиле wav2vec 2.0: энкодер с семислойным свёрточным экстрактором признаков, 24 слоями Transformer и линейной CTC-головой. Она содержит около 326 млн параметров, использует словарь из 10 288 SentencePiece-токенов и принимает моноаудио в виде нормализованной 16-кГц PCM-волны. Выходом являются логиты CTC. Данная сборка рассчитана на фрагменты длительностью до 10 секунд; более длинные записи необходимо разбивать на части или экспортировать модель с другим ограничением длительности. Веса подвергнуты INT8-палетизации методом k-means, при этом вычисления выполняются в FP16. Формат MLProgram поддерживает развёртывание на iOS 17 и macOS 14 с использованием CPU и Apple Neural Engine, что уменьшает размер модели примерно до 312 МБ и подходит для офлайн-инференса на Apple Silicon. Ограничениями являются фиксированная длина входа, необходимость самостоятельного CTC-декодирования и потенциальные ошибки распознавания, зависящие от языка и качества аудио. В README приведены ориентировочные показатели WER для пяти языков; заявленные характеристики скорости для Neural Engine являются ожидаемыми, а не подтверждёнными результатами тестирования этой сборки. Модель распространяется по лицензии Apache 2.0.
jadasdn/open-ai-small-1 — дообученная версия мультиязычной модели распознавания речи Whisper Small от OpenAI. Модель предназначена для преобразования аудио речи в текст; в метаданных указаны архитектура Whisper и 153,1 млн параметров. Карточка сообщает результат оценки: WER 26,8582 и loss 0,3844, однако без описания набора данных и протокола оценки эти значения трудно интерпретировать. Модель принимает аудио и выдаёт текст. Она основана на openai/whisper-small и опубликована в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0. Сведения о целевых языках и конкретной области применения дообучения не приведены.
OpenCaption-4B-VL-SFT-v1.0-i1-GGUF — это мультимодальная vision-language модель примерно на 4 млрд параметров, разработанная на базе prithivMLmods/OpenCaption-4B-VL-SFT-v1.0 и представленная в GGUF-квантизованном формате пользователем mradermacher. Модель дообучена методом supervised fine-tuning и предназначена для обработки изображений и генерации текста на их основе. Основные сценарии применения — создание подписей к изображениям, включая детализированное и мелкозернистое описание визуального содержимого, а также visual question answering, то есть ответы на вопросы об изображениях. В обучении использовались наборы OpenCaption-FineGrained, SuperFlickr-30K-LARGE-Remastered, OpenCaption-UHD и OpenCaption-Unified-10K. В карточке указана поддержка английского языка. Модель относится к классу conditional-generation и vision-language систем; сведения о максимальном контексте, точной архитектуре, поддержке дополнительных языков и характеристиках визуального энкодера не приведены. GGUF-представление доступно в нескольких вариантах квантизации с различным размером, скоростью и качеством. Более компактные варианты требуют меньше ресурсов, но могут заметно терять в качестве; в README рекомендованы некоторые варианты среднего размера, включая i1-Q4_K_M, как компромисс между скоростью и качеством. Для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Лицензия модели указана как Apache-2.0.
OWSM v4 base 102M — открытая мультиязычная модель распознавания речи из серии Open Whisper-style Speech Model, разработанная командой ESPnet под руководством Yifan Peng из CMU. Это encoder-decoder модель с 102 млн параметров, обученная на 320 тысячах часов публичных аудиоданных. Она предназначена для распознавания речи, определения языка, перевода речи и предсказания временных меток высказываний; поддерживает также длинные записи и перевод. Модель принимает аудио с частотой 16 кГц, обрабатывает его фрагментами до 30 секунд и доступна для запуска через ESPnet. OWSM v4 улучшает качество определения языка и мультиязычного распознавания по сравнению с OWSM v3.1. Она использует восьмикратное прореживание log-Mel-признаков, что даёт разрешение энкодера 80 мс. В карточке модели не перечислены отдельные поддерживаемые языки, поэтому конкретные языки здесь не указаны. Лицензия — CC BY 4.0.
PaliGemma — компактная модель «зрение—язык» на 3 млрд параметров, основанная на визуальном энкодере SigLIP и языковой модели Gemma. Она принимает изображение и текст, а в ответ генерирует текст; в README описаны входные изображения 224 × 224 и последовательности текста длиной до 128 токенов. Модель представлена в формате safetensors и предназначена прежде всего для дообучения под конкретные задачи, а не для диалога. После настройки под задачу PaliGemma подходит для описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. README также приводит примеры специализированных сценариев: вопросы по снимкам дистанционного зондирования, помощь незрячим пользователям в понимании изображений и анализ элементов интерфейса. Упомянута поддержка нескольких языков, но конкретные языки для этой модели не перечислены. Модель может ошибаться в фактических ответах и испытывать трудности со сложными открытыми запросами, нюансами языка и здравым смыслом. Качество без дообучения под конкретную задачу может уступать специализированным моделям; PaliGemma рассчитана на один раунд ввода изображения и текста. Указана лицензия Gemma.
mlx-community/parakeet-ctc-0.6b — версия модели Parakeet-CTC-0.6b, подготовленная сообществом mlx-community в формате MLX из nvidia/parakeet-ctc-0.6b. Это модель распознавания речи на архитектуре FastConformer с CTC, предназначенная для преобразования аудио в текст и доступная через библиотеки parakeet-mlx и mlx-audio. Базовая модель от NVIDIA NeMo и Suno.ai распознаёт английскую речь. Репозиторий использует библиотеку MLX и содержит веса в формате safetensors; в карточке указана лицензия CC BY 4.0. Подробности об условиях работы и характеристиках распознавания приведены в карточке исходной модели.
mlx-community/parakeet-ctc-1.1b — версия модели NVIDIA Parakeet CTC 1.1B, подготовленная сообществом mlx-community для запуска через MLX. Это модель распознавания речи на архитектуре семейства FastConformer/Conformer с CTC-декодированием: она принимает аудио и преобразует речь в текст. В карточке указаны поддержка MLX и формат весов safetensors; для использования предлагаются библиотеки parakeet-mlx и mlx-audio. Модель предназначена для автоматической транскрипции речи. Она распространяется по лицензии CC BY 4.0. README отсылает к исходной карточке NVIDIA за подробностями, поэтому конкретные сведения о языках, длине аудио и ограничениях качества здесь не подтверждены.
Модель ctaguchi/parakeet-hf-ctc-110m-en — англоязычная модель автоматического распознавания речи семейства Parakeet, преобразованная из nvidia/parakeet-tdt_ctc-110m в формат Transformers для Hugging Face. Она принимает аудио и преобразует речь в текст, поэтому подходит для транскрибирования англоязычных записей и интеграции распознавания речи в приложения на базе Transformers. Модель использует архитектуру CTC ParakeetForCTC и распространяется в формате safetensors. Лицензия — CC BY 4.0. Карточка указывает на преобразование формата; сведений о размере модели и поддерживаемой длине аудио в доступных данных нет.
Parakeet RNNT 0.6B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Это версия FastConformer Transducer примерно с 600 млн параметров; модель принимает монофоническое аудио WAV с частотой 16 кГц и возвращает текстовую расшифровку. Она распознаёт английскую речь и выдаёт транскрипт строчными буквами английского алфавита. Модель обучена на 64 тысячах часов английской речи, включая публичные наборы данных и частную подборку. Её можно использовать для расшифровки отдельных записей и пакетной обработки аудиофайлов, а также как предварительно обученный чекпойнт для дообучения в NeMo. Для оценки качества в карточке приведены показатели WER на нескольких тестовых наборах; результаты указаны для жадного декодирования без внешней языковой модели. Для запуска предусмотрены NeMo и Transformers. Модель распространяется по лицензии CC BY 4.0. Карточка описывает распознавание английской речи; пригодность для других языков не заявлена.