I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиUltravox — мультимодальная речевая языковая модель от Fixie.ai, объединяющая аудиовход с текстовой моделью Llama 3.2-1B-Instruct и Whisper large-v3-turbo. Она принимает речь и текст, например текстовую системную инструкцию и аудиосообщение пользователя, а ответ генерирует в текстовом виде. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи между языками. В README указана версия Ultravox 0.5 с обозначением 1B; метаданные каталога указывают 4,8 млрд параметров. Модель построена на архитектуре Ultravox и поддерживает аудиовход, чат и интерфейс вызова инструментов. Для обучения использовались наборы данных распознавания речи и речевого перевода, а также продолжения, сгенерированные Llama 3.1 8B. Метаданные перечисляют широкий набор языков, включая русский; конкретные языки карточки охватывают более узкий перечень. Модель выдаёт текст и не генерирует аудио. В README отмечено, что к этой версии не применялась настройка предпочтений; качество перевода может зависеть от языковой пары и ограниченности модели версии 1B. Лицензия — MIT.
VibeVoice ASR Streaming 1.5B GGUF — это сборка модели автоматического распознавания речи Microsoft VibeVoice ASR Streaming 1.5B, подготовленная в формате GGUF для работы с audio.cpp. Модель предназначена для офлайн-транскрибации аудио и потокового распознавания речи в реальном времени, включая серверные сценарии. Указана поддержка английского, китайского, испанского, португальского, немецкого, японского, корейского, французского, русского и итальянского языков. Модель содержит около 1,5 млрд параметров и поддерживает потоковый режим ASR. Доступны варианты BF16, Q8_0 и Q4_K с различным соотношением качества и размера: примерно 5,64 ГБ, 3,34 ГБ и 2,12 ГБ соответственно. Для потоковой обработки требуется монофонический PCM-аудиосигнал с частотой 16 кГц и 16-битным знаковым форматом. В README также заявлена поддержка транскрибации с атрибуцией говорящих, однако подробности этой функции не приведены. Сильными сторонами являются нативная интеграция с audio.cpp, автономный формат GGUF и наличие нескольких вариантов квантования. На небольшом наборе из четырёх фрагментов LibriSpeech указанный WER составил 4,35% для BF16, 5,80% для Q8_0 и 7,25% для Q4_K при CUDA; результаты зависят от backend и размера тестовой выборки, поэтому не характеризуют качество во всех сценариях. Модель распространяется по лицензии MIT.
ctl/wav2vec2-large-xlsr-cantonese — модель распознавания речи, дообученная на базе facebook/wav2vec2-large-xlsr-53 на кантонском языке с использованием корпуса Common Voice. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; указана архитектура Wav2Vec2ForCTC с 406,3 млн параметров. Для оценки использовалась тестовая часть Common Voice для китайского (Гонконг); в карточке приведён результат 15,51%, но не уточнена метрика. Модель распространяется по лицензии Apache-2.0.
Jonatas Grosman подготовил модель распознавания испанской речи, дообучив facebook/wav2vec2-xls-r-1b на обучающих и проверочных выборках Common Voice 8.0, MediaSpeech, Multilingual TEDx, Multilingual LibriSpeech и VoxPopuli. Это плотная модель Wav2Vec2ForCTC на 1,3 млрд параметров для автоматического преобразования речи в текст; она принимает аудио, записанное с частотой дискретизации 16 кГц, и предназначена для испанского языка. Модель подойдёт для транскрибации испанской речи в аудиозаписях и оценки систем распознавания речи. Для работы нужны веса PyTorch; модель распространяется по лицензии Apache-2.0. Карточка не приводит численных результатов оценки качества.
qanastek/whisper-base-french-cased — модель автоматического распознавания речи на основе Whisper Base, дообученная на французской части набора Mozilla Common Voice 11.0. Она преобразует французскую речь в текст и подходит для транскрибации записей и аудио с французской речью. Архитектура — WhisperForConditionalGeneration; модель содержит 51,7 млн параметров и опубликована в формате PyTorch. В карточке приведены результаты оценки: WER 24,0648 на тестовой выборке Common Voice 11.0 для французского языка, 24,20 на FLEURS fr_fr и 23,66 на VoxPopuli fr. Модель распространяется по лицензии Apache-2.0. Оценки относятся к указанным наборам данных и не гарантируют аналогичного качества на иных аудиозаписях.
Это модель автоматического распознавания речи на венгерском языке, созданная сообществом на основе openai/whisper-base. Она объединяет взвешенным усреднением параметров две венгерские дообученные версии: 90% весов whisper-hu-base-finetuned-V2 и 10% whisper-base-hungarian_v4. Модель содержит 51,7 млн параметров и доступна в формате safetensors для Transformers. Модель предназначена для преобразования венгерской речи в текст, в том числе для записей с фоновым шумом. В тестах авторов она показала более низкий WER на FLEURS hu_hu, чем обе исходные версии, и лучшее распознавание на зашумлённых записях; на Common Voice 17.0 немного уступила V2, обучавшейся на его обучающей и валидационной выборках. Результаты зависят от условий записи и настроек декодирования. Для живой речи, телефонных разговоров и сильных акустических искажений качество может быть ниже, чем на подготовленных записях. README указывает, что коммерческое использование без согласия не разрешено; для личного использования применяются исходные условия лицензии Whisper.
Whisper Small Italian — модель распознавания речи на архитектуре Whisper, дообученная автором whispy на базе openai/whisper-base на наборе Common Voice 11.0. Она преобразует итальянскую речь в текст и подходит для транскрибирования записей и голосовых сообщений. Модель содержит 153,1 млн параметров; доступные веса представлены в формате PyTorch. На оценочной выборке указаны loss 0,1185 и WER 17,3916. Лицензия — Apache-2.0.
whisper-medium-luganda — дообученная на базе OpenAI Whisper Medium модель для автоматического распознавания речи на языке луганда. Она принимает аудио и преобразует речь в текст; архитектура Whisper содержит 455,8 млн параметров. В метаданных указаны наборы Common Voice 16.1 и FLEURS, а также формат весов safetensors. Модель опубликована под лицензией Apache 2.0.
rifailabs выпустила дообученную версию OpenAI Whisper Small для автоматического распознавания речи на шикомори и суахили. Модель принимает аудио и генерирует текстовую транскрипцию; в карточке указано 153,1 млн параметров и формат весов safetensors. Она основана на мультиязычной архитектуре Whisper и распространяется по лицензии Apache-2.0. В README приведены результаты оценки: WER 39,50 и CER 13,76 на тестовом наборе. Датасет и подробности оценки не описаны, поэтому эти показатели не позволяют уверенно судить о качестве на других записях или языках.
Карточка модели NVEagle/Eagle-X5-13B на Hugging Face совпадает с карточкой NVEagle/Eagle-X5-13B-Chat, поэтому описание составлено по ней. Eagle-X5-13B-Chat — мультимодальная языковая модель семейства Eagle, разработанного NVIDIA. Это плотная Transformer-модель архитектуры EagleLlamaForCausalLM с 12,9 млрд параметров, предназначенная для диалога и анализа изображений вместе с текстом. Контекст модели составляет 4096 токенов. Модель использует комбинацию визуальных энкодеров CLIP+X и рассчитана на обработку изображений высокого разрешения, включая задачи распознавания текста и понимания документов. Она принимает изображения и текст, а выдаёт текст; авторы отмечают сильные результаты на мультимодальных тестах, особенно в задачах, чувствительных к разрешению. Основные сценарии применения — исследование мультимодальных LLM и создание чат-ботов. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README не уточняет языковой охват и подробные ограничения качества; перед применением в конкретной отрасли следует оценить пригодность модели для этого сценария.
Eagle-X5-13B-Chat — мультимодальная языковая модель семейства Eagle, разработанного NVIDIA. Это плотная Transformer-модель архитектуры EagleLlamaForCausalLM с 12,9 млрд параметров, предназначенная для диалога и анализа изображений вместе с текстом. Контекст модели составляет 4096 токенов. Модель использует комбинацию визуальных энкодеров CLIP+X и рассчитана на обработку изображений высокого разрешения, включая задачи распознавания текста и понимания документов. Она принимает изображения и текст, а выдаёт текст; авторы отмечают сильные результаты на мультимодальных тестах, особенно в задачах, чувствительных к разрешению. Основные сценарии применения — исследование мультимодальных LLM и создание чат-ботов. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README не уточняет языковой охват и подробные ограничения качества; перед применением в конкретной отрасли следует оценить пригодность модели для этого сценария.
GigaChat Audio MLX — независимый порт модели ai-sage/GigaChat3.1-Audio-10B-A1.8B в формате BF16 для запуска на компьютерах Apple Silicon с библиотекой MLX. Модель принимает аудио вместе с текстовой инструкцией и формирует текстовый ответ: расшифровку речи, перевод, ответы на вопросы об аудио, анализ эмоций, поиск событий с временными отметками и сводки с таймкодами. Архитектура основана на DeepSeek V3; в метаданных указано 1,5 млрд параметров и контекст длиной 262 144 токена. Модель поддерживает русский и английский языки. Репозиторий содержит веса safetensors в BF16; для работы требуется среда Apple Silicon. Разработчики порта сообщают о завершённой обработке тестового аудиофрагмента длительностью 5 минут 17 секунд за 10,41 секунды на Apple M4 Pro с 48 ГБ памяти, однако совместимость с другими конфигурациями не подтверждена. Порт создан независимо от авторов исходной модели. Лицензия модели — MIT. Модель не выполняет диаризацию, потоковое распознавание с микрофона или синтез речи; факты, метки эмоций, сводки и временные отметки могут быть ошибочными и требуют проверки по аудио.
InternVL3.5-241B-A28B-HF — мультимодальная модель семейства InternVL, разработанная OpenGVLab и представленная в формате Hugging Face Transformers. Она принимает изображения и текст и генерирует текстовые ответы; предназначена для диалога по изображениям, визуального и математического рассуждения, распознавания текста на изображениях, анализа видео, а также GUI- и агентных задач. В README описаны Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптивной обработки визуальных токенов. Метаданные указывают архитектуру InternVLForConditionalGeneration и формат safetensors. Модель дообучена на основе OpenGVLab/InternVL3_5-241B-A28B-MPO и распространяется по лицензии Apache-2.0. Для запуска требуются значительные вычислительные ресурсы: в README говорится, что модель семейства на 235B параметров требует восьми GPU A100; точные требования для этой версии отдельно не приведены. Длина контекста и конкретный набор поддерживаемых языков в предоставленных данных не указаны.
InternVL3-78B-hf — мультимодальная модель OpenGVLab, представленная в реализации для Hugging Face Transformers и функционально эквивалентная оригинальному выпуску InternVL3-78B. Это плотная архитектура класса InternVLForConditionalGeneration с 78 млрд параметров; репозиторий содержит веса Safetensors и поддерживает инференс через Transformers. Модель предназначена для диалогов и генерации текста по текстовым запросам, изображениям и видео. Она может отвечать на вопросы по визуальному содержимому, выполнять визуальные рассуждения и обрабатывать чередующиеся текстовые, графические и видеоданные; семейство также ориентировано на сценарии использования инструментов, GUI-агентов, промышленный анализ изображений и 3D-восприятие. Карточка указывает многоязычную поддержку, но не перечисляет конкретные языки. Репозиторий основан на OpenGVLab/InternVL3-78B-Instruct и помечен как дообучение. Доступны варианты attention eager, SDPA и FA2, а также пакетный инференс. Модель создана для работы с Transformers; конкретная длина контекста в предоставленных данных не указана. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория и оригинального чекпойнта.
KarantaOCR — мультимодальная модель распознавания и обработки документов, созданная разработчиками проекта KarantaOCR на основе Qwen/Qwen2.5-VL-3B-Instruct. Модель содержит 3,1 млрд параметров и дообучена по двухэтапной схеме: сначала на общих OCR-данных, затем на PDF-документах на африканских языках. Модель извлекает текст из PDF, включая таблицы и документы со сложной вёрсткой, несколькими колонками, колонтитулами и сочетанием сканируемого и цифрового текста. Её ключевой акцент — точная передача диакритики и специальных символов в африканских языках; также заявлена поддержка английского и других распространённых языков. Для распознавания страницы PDF её нужно представить модели как изображение и использовать структурированный запрос. Модель использует архитектуру Qwen2.5-VL и поддерживает контекст до 128 000 токенов. README приводит результаты на OCR-бенчмарках, но они зависят от типа документа и не гарантируют точность на конкретных данных. Репозиторий распространяется по лицензии Apache-2.0.
KLOCR — модель для извлечения текста из изображений, основанная на архитектуре VisionEncoderDecoder. Это дообучение корейской модели TrOCR team-lucid/trocr-small-korean. Модель предназначена для распознавания текста на изображениях. В метаданных указаны английский и корейский языки; карточка не содержит дополнительных сведений о размере, контексте или конкретных сценариях распознавания. Распространяется в формате safetensors по лицензии CC BY-NC-SA 4.0, которая предусматривает некоммерческое использование и распространение на тех же условиях.
Карточка модели ShaunGves/LocateAnything-3B на Hugging Face совпадает с карточкой nvidia/LocateAnything-3B, поэтому описание составлено по ней. LocateAnything-3B — разработанная NVIDIA в рамках семейства Eagle vision-language модель для визуальной локализации по изображениям и текстовым запросам. Она предназначена для разработчиков и исследователей, которым нужны обнаружение объектов, поиск областей по описанию и другие задачи пространственного понимания в приложениях Enterprise Intelligence и Physical AI. Модель основана на трансформерной VLM с визуальным энкодером MoonViT, языковой частью Qwen2.5-3B-Instruct и MLP-проектором; содержит около 3 млрд параметров. Принимает RGB-изображения исходного разрешения до 2,5K и текстовые запросы; заявлена поддержка промптов до 24K токенов. Модель выполняет поиск одного или нескольких объектов, плотное обнаружение в сложных сценах, привязку выражений к областям, локализацию элементов GUI и текста, а также выдаёт рамки и точки. Механизм Parallel Box Decoding предсказывает координаты блоками параллельно, что, по данным карточки, обеспечивает до 2,5 раза более высокую пропускную способность по сравнению с предшествующими подходами. Обучение охватывает природные сцены, робототехнику, вождение, GUI и документы; заявленный масштаб обучающих данных — 12 млн изображений и более 138 млн запросов. Карточка позиционирует релиз для исследований и разработки. Лицензия указана как other, поэтому конкретные права использования следует сверять с условиями репозитория.
Это 8-битная версия модели MOSS-Transcribe-Diarize, подготовленная для запуска через MLX. В README указано, что квантизован текстовый блок модели методом affine quantization с bits=8 и group_size=64; аудиоэнкодер Whisper и VQ-адаптер не квантизованы. По метаданным архитектура обозначена как плотная модель MossTranscribeDiarizeForConditionalGeneration, библиотека — MLX. Модель предназначена для распознавания речи и диаризации говорящих в аудиозаписях. Пример запуска из README принимает WAV-файл и сохраняет результаты в указанную папку. Метаданные также указывают поддержку генерации текста. Модель распространяется по лицензии Apache-2.0. Квантизация затрагивает только текстовый блок; README не приводит измерений качества или требований к ресурсам.
OpenASR/moss-transcribe-diarize — модель MOSS-Transcribe-Diarize, разработанная командой OpenMOSS-Team и адаптированная OpenASR для локального запуска. Она объединяет автоматическое распознавание речи и диаризацию говорящих в одном проходе: формирует расшифровку, определяет говорящих и указывает временные интервалы их реплик. Модель предназначена для обработки аудиозаписей встреч, интервью, разговоров и других многоголосых сценариев, где важно понимать, кто и когда говорил. Модель содержит около 0,9 млрд параметров. Её архитектура сочетает аудиоэнкодер масштаба Whisper Medium, адаптер на базе MLP и LayerNorm и декодер масштаба Qwen3-0.6B. Основной фокус — китайский и английский языки; также заявлена поддержка ещё более 15 языков. Контекстное окно в README не указано. Для OpenASR доступны варианты fp16, q8_0 и q4_k в формате .oasr, позволяющие выбирать между качеством, размером и требованиями к памяти. Заявлены показатели 2,52% CER для китайского и 2,23% WER для английского на фиксированных оценочных наборах OpenASR. К сильным сторонам относятся совместная транскрипция и диаризация без отдельного конвейера, локальная работа на CPU и GPU без Python во время инференса и несколько уровней квантования. Ограничения включают отсутствие подробных данных о качестве на других языках и неуказанный контекст; приведённые метрики не следует автоматически распространять на любые аудиозаписи. Распространение выполняется по лицензии Apache-2.0, унаследованной от исходной модели; OpenASR выполняет конвертацию формата, квантование и адаптацию для локального инференса.
Это GGUF-сборка MOSS-Transcribe-Diarize от Luigi на основе модели OpenMOSS-Team/MOSS-Transcribe-Diarize. Репозиторий содержит варианты весов для запуска через движок RapidSpeech.cpp: основная версия q4mix-v2 занимает 759 МБ, также доступны варианты q8mix и F32. Базовая модель с 0,9 млрд параметров использует энкодер Whisper-medium и декодер Qwen3-0.6B; веса портированы в формат C++/ggml и проверены на соответствие исходному PyTorch-чекпойнту. Основная задача — транскрибирование аудио с временными метками и диаризацией говорящих; модель рассчитана на китайский и английский языки. Вариант q4mix-v2 дополнительно адаптирован QAT к распознаванию тишины: на полностью беззвучном входе он должен возвращать пустую расшифровку, сохраняя чувствительность к тихой речи. По приведённым тестам, точность на китайском наборе из пятиминутных записей улучшилась по сравнению с предыдущим q4-вариантом, а качество английской однопроходной расшифровки снизилось на 1,5 процентного пункта. Лицензия — Apache-2.0. Описание не подтверждает, что эта сборка сохраняет все функции диаризации базовой модели во всех вариантах весов.
zeromodels/qwen3.5-2b-base — конверсия модели Qwen3.5-2B-Base в реализацию на Keras 3, подготовленная zeromodels. Это мультимодальная модель «зрение—язык» с визуальным энкодером Qwen3-VL и плотным текстовым декодером, сочетающим Gated-DeltaNet и обычное gated attention; веса хранятся в bfloat16. Реализация запускается на TensorFlow, PyTorch и JAX. Модель предназначена для генерации текста по изображению и текстовому запросу; текстовую часть можно использовать отдельно, без визуального энкодера. Размер базовой модели — 2 млрд параметров. В метаданных указан английский язык, а лицензия — Apache 2.0. Карточка направляет к исходной модели Qwen за подробностями об использовании.
MLX-версия мультимодальной модели Qwen3.5-35B-A3B-4bit, преобразованная сообществом mlx-community из оригинальной Qwen3.5-35B-A3B с помощью mlx-vlm 0.3.12. Модель предназначена для задач, в которых требуется обработка текста и изображений, включая генерацию текстовых ответов по изображениям. Она ориентирована на запуск в экосистеме MLX и может использоваться через пакет mlx-vlm. Из доступных данных известно, что модель имеет размер 35B-A3B и представлена в 4-битном формате, однако подробности архитектуры, поддерживаемые языки, размер контекстного окна и точные модальности не указаны. README демонстрирует сценарий описания изображения с генерацией до 100 токенов. Модель распространяется по лицензии Apache-2.0; для полного описания возможностей следует обратиться к карточке исходной модели Qwen/Qwen3.5-35B-A3B.
Rukopys-OCR-4B — мультимодальная модель распознавания документов на изображениях, созданная для соревнования Handwritten to Data. Она обнаруживает области документа, классифицирует их и возвращает структурированный JSON с координатами и распознанным содержимым. Модель является полным дообучением Qwen3.5-4B и занимает третье место в финальном решении соревнования. Модель предназначена прежде всего для распознавания украинского рукописного текста; также обучалась на русских школьных тетрадях и данных распознавания рукописного текста. В результатах поддерживаются типы областей «рукописный текст», печатный текст, формулы, таблицы, примечания, изображения и графики. Координаты областей задаются в нормализованном диапазоне 0–1000; формулы записываются в LaTeX, а таблицы — с разделителями столбцов. Модель принимает изображения документов и выдаёт текстовую JSON-разметку. Используются архитектура Qwen3.5, 4 млрд параметров и библиотека Transformers. Лицензия — Apache-2.0. Для инференса README требует Transformers версии 5.8.1 или новее и сохранения обучающего промпта без изменений.
Sarvam-Translate — модель перевода, разработанная Sarvam AI совместно с AI4Bharat на базе Gemma 3 4B IT. Она предназначена для контекстного перевода документов целиком между 22 официальными языками Индии и английским, а не только отдельных предложений. Поддерживает входные материалы с разметкой Markdown, текст после OCR, математическими и химическими формулами, а также кодовые файлы, где переводятся комментарии. Модель использует плотную архитектуру Gemma 3 и доступна в формате safetensors для Transformers. README указывает максимальный контекст 8 тысяч токенов. Модель ориентирована на сохранение контекста, формата и стиля, включая формальный и неформальный тон и корректную гендерную атрибуцию. Лицензия репозитория — GPL-3.0.
trocr-barbados-fold1 — дообученная MusaNyaks модель Microsoft TrOCR base handwritten для распознавания рукописного текста на изображениях. Она использует архитектуру vision-encoder-decoder и предназначена для преобразования изображения с текстом в текстовую последовательность. В README указана оценка Loss 0.8971 на тестовой выборке; набор данных не описан. Модель подходит для распознавания рукописных записей в сценариях, соответствующих обучающим данным, однако их состав и качество модели в конкретных условиях по карточке оценить нельзя. Репозиторий распространяется по лицензии MIT.
kazars24 выпустил русскоязычную дообученную версию TrOCR base для распознавания рукописного текста на изображениях. Модель предназначена для OCR рукописных строк и фрагментов текста на русском языке. Это encoder-decoder архитектура Vision Transformer: BEiT-инициализированный визуальный энкодер разбивает изображение на патчи 16×16, а декодер на основе Transformer авторегрессионно генерирует текст. Модель дообучена на Cyrillic Handwriting Dataset, содержащем русские рукописные фрагменты; в README указаны CER 0,048542 и validation loss 0,120961. Модель основана на microsoft/trocr-base-handwritten и распространяется в формате safetensors для библиотеки Transformers. Подходит для распознавания рукописных строк и фрагментов; качество может зависеть от разборчивости почерка и отличий изображений от обучающих данных. Сведения о лицензии в предоставленных материалах отсутствуют.
Ultravox v0.4.1 70B — мультимодальная речевая языковая модель от Fixie.ai. Она построена на Llama 3.1 70B Instruct и использует Whisper Large v3 Turbo для обработки речи. Модель принимает аудио вместе с текстовым контекстом, например текстовую системную инструкцию и голосовое сообщение, а в ответ генерирует текст. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи. В README приведены результаты оценки перевода между английским и арабским, немецким и испанским языками. Версия не проходила preference tuning. Генерация аудио не поддерживается. Модель распространяется по лицензии MIT.
Ultravox v0.4.1 — мультимодальная речевая языковая модель компании Fixie.ai на базе Llama 3.3 70B Instruct и Whisper Large V3 Turbo. Она принимает речь и текст, объединяя текстовый запрос с аудиовходом, и генерирует текстовые ответы. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи между языками. Для этой версии не применялось preference tuning; README приводит скорость около 150 мс до первого токена и 50–100 токенов в секунду на GPU A100 40GB. В карточке указана лицензия MIT. В метаданных заявлена поддержка арабского, немецкого, английского, испанского, французского, хинди, итальянского, японского, нидерландского, португальского, русского, шведского, турецкого, украинского и китайского языков. Модель выдаёт текст, а генерация аудио в этой версии не поддерживается.
Карточка модели Zzo1312/ultravox-v0_5-llama-3_2-1b на Hugging Face совпадает с карточкой fixie-ai/ultravox-v0_5-llama-3_2-1b, поэтому описание составлено по ней. Ultravox — мультимодальная речевая языковая модель от Fixie.ai, объединяющая аудиовход с текстовой моделью Llama 3.2-1B-Instruct и Whisper large-v3-turbo. Она принимает речь и текст, например текстовую системную инструкцию и аудиосообщение пользователя, а ответ генерирует в текстовом виде. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи между языками. В README указана версия Ultravox 0.5 с обозначением 1B; метаданные каталога указывают 4,8 млрд параметров. Модель построена на архитектуре Ultravox и поддерживает аудиовход, чат и интерфейс вызова инструментов. Для обучения использовались наборы данных распознавания речи и речевого перевода, а также продолжения, сгенерированные Llama 3.1 8B. Метаданные перечисляют широкий набор языков, включая русский; конкретные языки карточки охватывают более узкий перечень. Модель выдаёт текст и не генерирует аудио. В README отмечено, что к этой версии не применялась настройка предпочтений; качество перевода может зависеть от языковой пары и ограниченности модели версии 1B. Лицензия — MIT.
MayBog/whisper-hebrew-nikud-v1 — модель автоматического распознавания речи, разработанная Maayan Bogin и дообученная на ivrit-ai/whisper-large-v3-turbo. Она преобразует речь на иврите в текст с диакритическими знаками никуд за один проход, объединяя транскрибацию и восстановление огласовок. Модель предназначена для транскрибации аудиозаписей и речевых фрагментов на иврите. Она использует архитектуру Whisper Large v3 Turbo и библиотеку Transformers; в репозитории указаны веса Safetensors. Лицензия — MIT. Для обработки длинных записей в примере предлагается разбиение на фрагменты по 30 секунд.