I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиChenShawn/DeepEyes-7B — мультимодальная модель для диалога и визуального рассуждения, дообученная авторами DeepEyes на основе Qwen/Qwen2.5-VL-7B-Instruct. Модель принимает изображения и текст и формирует текстовые ответы; в процессе обучения с подкреплением она научилась включать визуальную информацию в цепочку рассуждений и использовать инструменты визуального поиска, например увеличение фрагментов изображения для проверки ответа. Модель предназначена для анализа изображений, визуального заземления объектов, решения математических задач по изображению и снижения галлюцинаций в визуальных ответах. Архитектура — плотная Qwen2.5-VL для генерации текста по текстовым и визуальным входам; размер составляет 7,1 млрд параметров, контекст — до 128 000 токенов. В карточке указана поддержка английского языка. Модель распространяется в формате safetensors под лицензией Apache-2.0. README описывает обучение и заявляет улучшение результатов на задачах с изображениями высокого разрешения, однако не приводит численных оценок качества. Для запуска визуального поиска может требоваться интеграция с соответствующими инструментами; модель сама по себе не выдаёт изображения и её показатели на конкретных прикладных данных следует проверять отдельно.
AntonyG/fine-tune-wav2vec2-large-xls-r-1b-sw — модель распознавания речи на суахили, разработанная на основе wav2vec2. Согласно карточке, она дообучена на датасете Common Voice 11.0 для транскрибации речи на суахили. Архитектура — Wav2Vec2ForCTC; в метаданных указано 402,7 млн параметров и формат PyTorch. Модель предназначена для распознавания общей разговорной речи на суахили. На оценочной выборке Common Voice 11.0 указаны loss 1,2834 и WER 0,5834. Разработчики рассматривают дальнейшее дообучение для предметных сценариев, в частности разговоров в больницах; текущая карточка не подтверждает специализацию на медицинской речи. Лицензия — Apache-2.0.
OsaurusAI подготовила производный вариант Google Gemma 4 12B IT QAT в формате MLX MXFP4 для запуска на Apple Silicon. Это плотная мультимодальная модель семейства Gemma 4 с 48 текстовыми слоями: 8 используют full attention, 40 — sliding attention. Линейные слои декодера квантованы в MXFP4 с размером группы 32; эмбеддинги, нормализации и ранние объединяющие медиа-энкодеры сохранены в fp16. Модель предназначена для диалогов и генерации текста по текстовым и визуальным входам; в комплекте также сохранён аудиоэнкодер. Указанный основной сценарий — image-text-to-text, включая анализ изображений. Карточка не подтверждает рабочий путь обработки видео. Доступны интерфейс чата и совместимость с вызовом инструментов в поддерживающих это рантаймах. Для запуска нужен MLX/vMLX с поддержкой Gemma 4 MXFP4; пакет не подходит для GGUF-рантаймов. Модель основана на google/gemma-4-12B-it-qat-q4_0-unquantized. Лицензия и ограничения использования наследуются от условий Gemma.
OsaurusAI подготовила конвертированный MLX-пакет JANG_4M на основе мультимодальной Gemma 4 31B Instruct QAT от Google. Это плотная модель Gemma4ForConditionalGeneration с 60 текстовыми слоями, предназначенная для диалогов, генерации текста и анализа изображений в совместимой среде MLX или vMLX на Apple Silicon. Карточка сохраняет обработку изображений, но не заявляет поддержку аудио для этого варианта. Веса используют смешанную аффинную квантизацию: эмбеддинги, выходная проекция, нормализации и компоненты обработки медиа сохранены в FP16, проекции внимания и маршрутизатор MoE — в 8 битах, а основная часть MLP и экспертов — в 4 битах. Для запуска требуется загрузчик Gemma 4, совместимый с MLX и понимающий параметры quantization, jang_config.json, процессор и шаблон чата. Лицензия — Gemma.
Huihui-gemma-3n-E2B-it-abliterated-i1-GGUF — GGUF-квантизированная версия модели Huihui-gemma-3n-E2B-it-abliterated, разработанной Huihui-ai и подготовленной квантизатором mradermacher. Модель основана на Gemma 3n E2B и предназначена для локального запуска в форматах GGUF. В README она обозначена как мультимодальная vision-модель с поддержкой сценариев audio-text-to-text, video-text-to-text, автоматического распознавания речи и автоматического перевода речи. Указан английский язык; точный размер контекста, архитектурные детали и полный набор поддерживаемых языков не приведены. Доступно множество вариантов квантизации объёмом примерно от 2,0 до 3,8 ГБ, включая IQ- и Q-форматы. Это позволяет выбирать компромисс между размером, скоростью и качеством, однако низкобитные варианты могут заметно уступать по качеству, а для обработки изображений могут потребоваться отдельные mmproj-файлы из статического репозитория. Модель имеет пометку abliterated и uncensored, поэтому её поведение и защитные ограничения могут отличаться от исходной модели. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные дополнительные условия лицензии в README не раскрыты.
IndicTrans2 En-Indic 1.1B — модель перевода, разработанная AI4Bharat. Она предназначена для перевода с английского на индийские языки; карточка описывает вариант модели на 1,1 млрд параметров и приводит метрики этого чекпойнта. Модель относится к семейству IndicTrans2 и доступна в форматах PyTorch и Safetensors. В карточке указано, что отдельные версии IndicTrans2 с RoPE обрабатывают последовательности длиной до 2048 токенов; это ограничение не следует автоматически переносить на данный чекпойнт. Для подробностей об обучении, данных, оценке и рекомендациях карточка отсылает к приложению D препринта. Модель подходит для машинного перевода с английского на поддерживаемые индийские языки. Распространяется по лицензии MIT. Для сведений о конкретных ограничениях этого варианта карточка направляет к препринту.
kotoba-whisper-v2.2 CoreML — конвертированная версия модели kotoba-tech/kotoba-whisper-v2.2, подготовленная пользователем yslinear для работы с WhisperKit. Базовая модель разработана Kotoba Technologies на основе архитектуры OpenAI Whisper с использованием подходов Distil-Whisper и данных японской речевой выборки ReazonSpeech. Модель предназначена для автоматического распознавания японской речи и локальной транскрибации аудиофайлов на устройствах Apple. Она поставляется в формате CoreML (.mlmodelc) и оптимизирована для Apple Silicon и Apple Neural Engine. В комплект входят аудиоэнкодер, текстовый декодер и преобразователь Mel-спектрограммы; заявленная поддержка ANE составляет соответственно 100%, 98% и 72%. Это дистиллированная модель с двумя слоями декодера вместо 32 слоёв в оригинальной Whisper large, что ориентировано на более эффективное выполнение при сохранении возможностей распознавания японской речи. Точные сведения о размере модели, длине контекста и поддержке других языков в README не указаны. Токенные временные метки отключены из-за несовместимости конфигурации alignment heads с дистиллированной архитектурой. Модель распространяется по лицензии Apache License 2.0, как и исходная модель. Для использования требуется WhisperKit; формат и оптимизация ориентированы прежде всего на экосистему Apple.
Moonshine-MN — модель распознавания монгольской речи, созданная дообучением UsefulSensors/moonshine-base на аудиозаписях Mozilla Common Voice. Она предназначена для преобразования монгольской речи на кириллице в текст; карточка также описывает сценарий потокового распознавания. Модель использует архитектуру Moonshine и принимает аудио, выдавая текст. В метаданных указан контекст 194 токена, а для финального чекпойнта на шаге 15000 заявлен WER 11,88%. Модель распространяется в формате safetensors по лицензии Apache-2.0.
MoonViT-V2 — визуальный энкодер, представленный как нативный vision backbone Kimi K3; репозиторий AI4Industry содержит извлечённые веса из чекпойнта moonshotai/Kimi-K3. Модель предназначена для кодирования изображений и видео в визуальные токены для мультимодальной обработки. Метаданные относят её к задаче извлечения признаков изображений. Архитектура — 27-слойный Vision Transformer примерно на 453 млн параметров с размером скрытого состояния 1024, 12 головами и патчами 14 × 14. Для изображений и видео используется общий путь с пространственным и временным вниманием; сжатие токенов включает pixel shuffle 2 × 2 и временной pooling. README указывает на обработку видео последовательностью кадров, по умолчанию до четырёх кадров. В репозитории сохранены веса vision tower в формате safetensors, без языковой модели и проектора, поэтому это не самостоятельная мультимодальная чат-модель. Модель может служить визуальным энкодером для распознавания текста, анализа интерфейсов и понимания видео. Обучающие данные, согласно README, охватывают подписи, документы, OCR, видео, визуальный код, grounding, SVG, 3D-объекты, веб-страницы, игры и CAD. Лицензия указана как other; конкретные условия следует сверить с лицензией репозитория и исходного Kimi K3.
NB-Whisper Medium Verbatim — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper Medium. Это вариант, дополнительно обученный на 200 шагах: он выдаёт текст в нижнем регистре без пунктуации и точнее сохраняет формулировки говорящего, не исправляя грамматические ошибки. Модель содержит 455,8 млн параметров и работает с аудио; поддерживаемые языки — норвежский, букмол, нюнорск и английский. Модель подходит для дословной расшифровки речи, в том числе для лингвистического анализа. Она доступна для Transformers и в форматах PyTorch, Safetensors, ONNX и Flax; для эффективной работы с моделью среднего размера рекомендуется GPU. Для длинных записей README советует обрабатывать аудио частями. Лицензия — Apache 2.0.
Это GGUF-конверсия модели parakeet-ctc-1.1b, разработанной совместно командами NVIDIA NeMo и Suno.ai, подготовленная handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания английской речи и преобразования аудио в текст с использованием greedy CTC-декодирования, без внешней языковой модели. Она доступна для инференса и тонкой настройки в исходном формате через NeMo, а данная версия ориентирована на запуск в transcribe.cpp. Модель построена на 1,1-миллиардном FastConformer-XL encoder с линейной CTC-головой. Поддерживается английский язык; выходной текст формируется в нижнем регистре и не содержит пунктуации. Модель работает только в офлайн-режиме, не поддерживает потоковую обработку, перевод и автоматическое определение языка. Для временных меток доступны токеновые timestamps. Предполагается входной звук в формате WAV, 16 кГц, моно. Сильной стороной модели является высокая точность на LibriSpeech test-clean: WER составляет около 1,85% для F32 и большинства квантованных вариантов, 1,84% для Q5_K_M и 1,90% для Q4_K_M. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 818 МБ до 4,25 ГБ, что позволяет выбирать между качеством и требованиями к ресурсам. Ограничения включают поддержку только английской речи, отсутствие пунктуации, перевода и streaming-режима, а также необходимость предварительной конвертации аудио в совместимый формат. Лицензия модели — CC-BY-4.0, унаследованная от базовой модели.
DhruvalLabs/Qwen2.5-VL-3B-Instruct-GGUF — это квантованные версии мультимодальной модели Qwen2.5-VL-3B-Instruct, разработанной Qwen и подготовленные Dhptl с использованием quant-kit. Модель предназначена для работы с текстом и изображениями: она может отвечать на вопросы по изображениям, описывать визуальное содержимое и выполнять обычную генерацию текста. Поддерживаются llama.cpp, LM Studio, Jan и Ollama, что делает модель подходящей для локального запуска на устройствах с ограниченными ресурсами. Архитектура состоит из двух компонентов: текстовой основы Qwen2.5-VL-3B-Instruct в формате GGUF и отдельного vision encoder в файле mmproj. Доступны варианты квантования от Q2_K до Q8_0; рекомендуемым указан Q4_K_M, размер которого составляет 1,80 ГБ при потребности примерно в 3,3 ГБ RAM. Vision encoder всегда поставляется в формате F16 и требует около 1,25 ГБ. Для работы с изображениями необходимо скачать оба файла и разместить их в одной папке. Сильные стороны модели — мультимодальность, небольшие размеры квантованных файлов и возможность локального запуска через популярные инструменты. Более сильное квантование экономит память, но приводит к заметной потере качества; варианты Q6_K и Q8_0 ближе к качеству оригинала, но требуют больше RAM. В README не указаны точные характеристики контекстного окна и полный список поддерживаемых языков; заявлен английский язык. Модель распространяется по лицензии qwen-research.
OVOS Qwen3 Forced Aligner 0.6B Q4_K_M — квантизированный экспорт модели Qwen/Qwen3-ForcedAligner-0.6B в формате GGUF, подготовленный для использования на периферийных устройствах и в средах с CPU-инференсом. Модель предназначена для принудительного выравнивания речи и текста, а также используется в связке с системой автоматического распознавания речи для получения транскрипции и временных соответствий между текстом и аудиосигналом. Модель поддерживает широкий набор языков, включая китайский, английский, кантонский, арабский, немецкий, французский, испанский, португальский, русский, японский, корейский, хинди и другие языки, перечисленные в карточке. Архитектура и размер исходной модели указаны как 0.6B, а вариант Q4_K_M использует квантизацию для снижения требований к памяти и вычислительным ресурсам, что может быть преимуществом для CPU и edge-устройств, но потенциально ограничивает точность по сравнению с полной версией. Для работы рекомендуется пакет py-qwen3-asr-cpp; модель распространяется по лицензии Apache 2.0.
R1-Onevision — мультимодальная модель с 7,1 млрд параметров, разработанная Zhejiang University и дообученная на базе Qwen2.5-VL-7B-Instruct на наборе данных R1-Onevision. Она предназначена для понимания изображений и визуальных рассуждений в диалоговом формате; поддерживает обработку визуальных входов и генерацию текстовых ответов. Архитектура — плотная Qwen2.5-VLForConditionalGeneration, формат весов — safetensors, контекст — до 128 000 токенов. Модель подходит для ответов на вопросы об изображениях и решения задач, требующих визуального анализа и рассуждений. Разработчики также описывают работу над обучением с мультимодальными данными рассуждений, но карточка не приводит результатов бенчмарков. Лицензия — Apache-2.0.
artop79/rubaistt-uz-ft — дообученная модель на архитектуре Whisper Medium для автоматического распознавания речи. Она принимает аудио и преобразует узбекскую речь в текст; базовая модель ориентирована на транскрибирование узбекского языка с особым вниманием к ташкентскому диалекту. Модель содержит 455,8 млн параметров и распространяется в формате safetensors для Transformers. Модель подходит для транскрибирования записей и аудиопотоков на узбекском языке. В README приведены результаты на наборе оценки: loss 0,0290 и WER 1,4771; описание датасета и условий оценки отсутствует, поэтому эти показатели трудно интерпретировать. Лицензия — Apache-2.0.
Translate Gemma 4 Sub E2B — мультиязычная модель Google Gemma 4, дообученная автором 17slever17 для перевода текста и субтитров с учётом контекста. Она предназначена прежде всего для перевода разговорной и прямой речи, например субтитров к трансляциям: предыдущие исходные и переведённые фрагменты помогают учитывать смысл реплик, разделённых между сегментами. Модель также может следовать инструкциям о стиле, тоне, формальности, терминологии и глоссариях. Модель использует плотную архитектуру Gemma 4 E2B IT и принимает текстовые сообщения; тег image-text-to-text и поддержка vision в метаданных унаследованы от базовой архитектуры. В карточке заявлена языковая поддержка английского, русского, испанского, немецкого, японского, французского, португальского, китайского, нидерландского, итальянского и корейского языков. Наиболее тщательно настроены первые пять языков; для остальных качество оценивалось менее широко. Репозиторий содержит веса Safetensors, а лицензия — Apache 2.0. В независимой оценке на субтитрах E2B уступила варианту E4B по указанным метрикам, а результаты на FLORES-200 показывают, что общее качество перевода может отличаться от специализированных моделей. Контекстные фрагменты следует передавать отдельно от текущей реплики, которую нужно перевести.
ifesther/trocr-spanish-handwritten — модель распознавания рукописного текста на испанском языке, созданная дообучением microsoft/trocr-base-handwritten. Она предназначена для преобразования изображений отдельных рукописных строк в текст, включая современные испанские диакритические знаки и символы ñ, ¿ и ¡. Архитектура — vision encoder-decoder: визуальный энкодер ViT и авторегрессионный декодер RoBERTa. При обучении заморозили веса энкодера и адаптировали декодер на 3 000 синтетических строк, созданных с использованием 41 шрифта рукописного письма. Данные включали разные типы бумаги, цвет чернил, перспективные искажения и размытие. Модель рассчитана на распознавание строк, например в заметках, стихах, именах и датах. Лицензия — MIT. Модель работает с изображениями, где текст уже выделен в отдельные строки; страницы необходимо предварительно сегментировать. Она оптимизирована для современной испанской рукописи, а качество на исторической каллиграфии может различаться.
Typhoon Whisper Large v3 — модель распознавания тайской речи, разработанная командой Typhoon (SCB 10X) на архитектуре OpenAI Whisper Large v3. Это полная версия Whisper с 32 слоями декодера и примерно 905,2 млн параметров; модель дообучена на около 10 млн примеров тайской речи общей длительностью около 11 000 часов. Она принимает аудио и преобразует речь в текст, в том числе в сценариях офлайн-транскрибации, где важнее точность, чем скорость. При подготовке данных использовались GigaSpeech2, Common Voice и подборка общедоступных медиаматериалов; Typhoon сообщает о нормализации чисел, маркеров повторов и контекстных неоднозначностей. Модель рассчитана прежде всего на тайский язык и заявлена как устойчивая к разным акустическим условиям и манерам речи. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT. Модель специализирована на тайской речи: качество может снижаться для диалектов и акцентов, слабо представленных в обучающих данных. По сравнению с облегчёнными вариантами ей требуется больше вычислительных ресурсов; она лучше подходит для транскрибации без жёстких требований к задержке.
ISTNetworks объединила Ultravox v0.6 с языковой моделью Qwen3-32B и аудиокодировщиком Whisper-large-v3-turbo, адаптированным для диалектного арабского языка. Модель принимает аудио в сообщении пользователя и формирует текстовый ответ; карточка указывает поддержку арабского и английского языков, а архитектура относится к семейству Ultravox. Модель предназначена для диалоговых сценариев с аудио на диалектном арабском, включая распознавание речи и ответы на её содержание. В состав входят языковая модель, аудиокодировщик, мультимодальный проектор, токенизатор и экстрактор признаков Whisper. Для запуска весов bf16 требуется около 67 ГБ памяти; README приводит варианты с двумя GPU по 80 ГБ или одной такой GPU с квантизацией либо выгрузкой части вычислений на CPU. Лицензия — MIT.
facebook/wav2vec2-xls-r-1b-en-to-15 — модель Facebook для перевода устной английской речи в письменный текст на одном из 15 языков. Это связка речевого энкодера и текстового декодера: энкодер основан на facebook/wav2vec2-xls-r-1b, декодер — на facebook/mbart-large-50. Модель дообучена на 15 парах перевода из набора Covost2; для выбора языка перевода используются целевые токены. Модель принимает аудио на английском и генерирует текст на немецком, турецком, персидском, шведском, монгольском, китайском, валлийском, каталанском, словенском, эстонском, индонезийском, арабском, тамильском, латышском или японском. Она предназначена для перевода речи, а не только для распознавания английской транскрипции. В метаданных указан формат PyTorch и библиотека Transformers. Лицензия — Apache 2.0.
akuzdeuov/whisper-base.kk — модель распознавания речи на базе Whisper-base, дообученная для казахского языка на Kazakh Speech Corpus 2, содержащем более 1 000 часов размеченных аудиоданных. Модель предназначена только для распознавания казахской речи и выдаёт текстовую расшифровку аудио. Модель поддерживает транскрибирование коротких записей длительностью до 30 секунд; для более длинных записей в Transformers можно включить обработку фрагментами. В README указана доля ошибок WER 15,36% на тестовой выборке. Репозиторий содержит веса в формате safetensors; размер модели составляет 51,7 млн параметров. Модель распространяется по лицензии Apache-2.0.
Whisper-Hindi2Hinglish-Prime — дообученная Oriserve модель распознавания речи на архитектуре Whisper large-v3 от OpenAI. Она преобразует аудио с индийским произношением хинди в транскрипцию на хинглиш — разговорную смесь хинди и английского, записанную латиницей. Модель построена для работы с Transformers и имеет около 905 млн параметров. Для дообучения использовали примерно 550 часов шумных аудиозаписей на хинди с индийским акцентом; набор данных был специально собран и размечен с помощью автоматической транскрибации и последующей правки человеком. По данным README, модель снижает ошибки распознавания на тестах Common Voice, FLEURS и Indic-Voices относительно исходной Whisper large-v3 и предназначена для аудио с фоновым шумом. README также сообщает о снижении ложных транскрипций на записях с одним шумом. Модель подходит для транскрибации разговорной речи на хинглиш, в том числе в шумной обстановке. В README указано, что доступна более новая версия Whisper-Hindi2Hinglish-Apex. Лицензия — Apache-2.0.
Это дообученная модель автоматического распознавания речи на основе Whisper Large-v3 Turbo от OpenAI, адаптированная для кхмерского языка. Она преобразует аудио в текст и предназначена для транскрибирования с нормализацией числительных, денежных сумм и дат. Модель содержит 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса представлены в формате safetensors. Она рассчитана на кхмерскую речь, а в качестве лицензии указана MIT. Качество проверялось только на внутренних валидационных и тестовых наборах. Точность может снижаться на длинных аудиозаписях, акцентах вне обучающей выборки и записях с фоновым шумом.
sitwala/whisper-large-v3-turbo-anv-zul-250h — дообученная модель семейства Whisper, созданная на основе openai/whisper-large-v3-turbo и обученная на датасете dsfsi-anv/za-african-next-voices. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; для работы доступны веса в формате safetensors. В README приведены результаты оценки на тестовом наборе: loss 0,3412 и WER 24,8599. Название модели указывает на язык zul, то есть зулу; отдельного описания обучения, рекомендуемых сценариев и ограничений автор не предоставил. Лицензия модели — MIT.
Kiyan122/whisper-small-fa-commonvoice — дообученная модель распознавания речи на основе openai/whisper-small. Она предназначена для преобразования аудио в текст; название указывает на ориентацию на персидскую речь и Common Voice, однако README не подтверждает язык и набор данных. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и формат safetensors, запускается через Transformers. Лицензия — Apache-2.0. Подробности обучения, оценки качества и ограничения в карточке не приведены.
Whisper Small - Libyan Arabic — дообученная Tasneem Sheeha (Tass02) модель OpenAI Whisper Small для автоматического распознавания речи на ливийском диалекте арабского языка. Она основана на Whisper Small и обучена с применением LoRA, после чего адаптер объединён с весами базовой модели, поэтому модель можно запускать без отдельной загрузки адаптера. Репозиторий содержит веса в формате safetensors. Модель предназначена для преобразования аудио на ливийском арабском в текст, например для транскрибирования записей и голосовых сообщений. Для обучения использовалось 5 357 аудиопримеров; в карточке приведены значения тренировочной и валидационной функции потерь. Модель принимает аудио и выдаёт текст. Лицензия — Apache 2.0.
alikanakar/whisper-synthesized-turkish-8-hour — модель распознавания речи, полученная дообучением openai/whisper-small. Она принимает аудио и преобразует речь в текст; в карточке указана оценка WER 23,0527 на наборе оценки. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и распространяется в формате PyTorch. Модель предназначена для автоматической транскрипции речи на турецком языке. В названии указано, что для обучения использовались синтезированные турецкие аудиоданные длительностью восемь часов, однако README не содержит подробностей о датасете, условиях обучения и сценариях применения. Лицензия — Apache-2.0.
carlot/whisper-tiny-zh — дообученная carlot модель распознавания речи на основе openai/whisper-tiny. Она предназначена для преобразования аудиозаписей на китайском языке в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 29,4 млн параметров и дообучена на наборе Common Voice 11.0. Распространяется в формате PyTorch по лицензии Apache-2.0.
Ziya-BLIP2-14B-Visual-v1 — мультимодальная модель команды Fengshenbang для диалога и ответов на вопросы об изображениях. Она объединяет визуальный энкодер ViT и Q-Former из BLIP-2 с языковой моделью Ziya-LLaMA-13B-v1; в обучении обновляли визуальный проекционный слой, а параметры этих компонентов оставляли замороженными. В README указано 14 млрд параметров и поддержка китайского и английского языков. Модель предназначена для визуальных вопросов и ответов, описания содержимого одной или нескольких картинок и диалога с опорой на изображения. Команда сообщает об обучении примерно на 20 млн примеров и приводит результаты тестирования на китайских и английских наборах GQA. В репозитории находятся только параметры визуальной части, поэтому для работы также требуются веса Ziya-LLaMA-13B-v1. Лицензия — GPL-3.0.
Это 8-битная MLX-версия Whisper Medium, дообученной BengaliAI для распознавания региональных вариантов бенгальского языка. Автор карточки модели адаптировал веса для запуска на компьютерах Mac с Apple Silicon и не проводил дополнительного обучения. Указана аффинная 8-битная квантизация с размером группы 64; часть тензоров сохраняет плавающую точность. Лицензия — Apache-2.0. Модель преобразует бенгальскую речь в текст. Пример скрипта из карточки принимает WAV или FLAC, приводит звук к моно с частотой 16 кГц и обрабатывает фрагменты длительностью до 26 секунд; максимальный вывод на фрагмент — 440 токенов. В описанном тесте 8-битная версия обрабатывала пятиминутную запись быстрее и с меньшим пиковым потреблением памяти, чем MLX fp16, однако тест не измерял точность транскрипции. Модель может ошибаться на тишине и шуме; обнаружение пауз по энергии способно разрезать непрерывную речь внутри слова. Совпадение результатов с fp16 на 24 коротких клипах не подтверждает общую точность или качество на каждом диалекте. Работа на Android и Raspberry Pi не проверялась.