I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиЭто экспортированные в формат ExecuTorch модели Kokoro для библиотеки React Native ExecuTorch от Software Mansion. Репозиторий содержит программы `.pte` для синтезатора речи и предсказателя длительности, а также ресурсы для преобразования текста в фонемы и готовые эмбеддинги голосов. Варианты рассчитаны на синтез речи на восьми языках: английском, французском, испанском, итальянском, португальском, немецком, польском и хинди; для польского и немецкого указаны дообученные голоса. Модель предназначена для локального синтеза речи в приложениях React Native и других средах ExecuTorch. Компоненты поддерживают динамический размер входа от 1 до 128 токенов. Для запуска нужен совместимый ExecuTorch runtime версии 1.4.1; более старые версии могут не загружать модели. Репозиторий распространяется по лицензии Apache-2.0.
Supertonic — набор моделей синтеза речи, экспортированных компанией Software Mansion для библиотеки React Native ExecuTorch. Модели основаны на Supertone/supertonic-3 и представлены в виде программ ExecuTorch формата .pte, готовых к запуску непосредственно на устройстве через React Native ExecuTorch. Модель предназначена для преобразования текста в речь и поддерживает английский, испанский, французский, польский, греческий, индонезийский, китайский, японский, русский, турецкий и ряд других языков, включая немецкий, итальянский, корейский, арабский и украинский. В комплект входят компоненты duration_predictor, text_encoder, vector_estimator и vocoder, а также голосовые стили и данные для десяти вариантов голосов F1–F5 и M1–M5. Опубликованы варианты для бэкендов MLX и XNNPACK с точностью fp32, а также Vulkan с точностью fp16. Размеры компонентов зависят от варианта: например, для XNNPACK vector_estimator занимает около 245 МБ, а vocoder — около 96,7 МБ; Vulkan-варианты компактнее. Бэкенд Core ML экспортирован, но не опубликован из-за проблем, описанных в репозитории. Файлы рассчитаны на ExecuTorch версии 1.4.1; обратная совместимость с более старыми версиями не гарантируется, а гарантий прямой совместимости с будущими версиями нет. Лицензия указана как OpenRAIL. README не содержит количественных оценок качества, требований к производительности устройства или подробностей ограничений лицензии, поэтому эти характеристики требуют дополнительной проверки.
Ristretto-3B — компактная визуально-языковая модель, представленная разработчиками LiAutoAD. Она принимает изображения и текстовые запросы и формирует текстовые ответы, в том числе в диалоговом режиме. Архитектура Ristretto поддерживает динамическое число визуальных токенов: их количество можно адаптировать к задаче. В метаданных указаны архитектура Ristretto, размер базовой языковой модели Qwen2.5-3B-Instruct и поддержка английского и китайского языков. Модель предназначена для вопросов об изображениях и других сценариев, где нужно совместно обрабатывать визуальный материал и текст. В приведённой в README оценке Ristretto-3B превосходит указанные модели сравнения на MMBench-TEST-avg и MMStar, но уступает им на MMMU-VAL; результаты получены с VLMEvalKit, а сравнения взяты из OpenCompass. Модель собрана с использованием Qwen/Qwen2.5-3B-Instruct и google/siglip2-so400m-patch14-384; файлы опубликованы в формате safetensors. Лицензия — Apache-2.0.
Карточка модели OX-PIXL/SpatialThinker-7B на Hugging Face совпадает с карточкой hunarbatra/SpatialThinker-7B, поэтому описание составлено по ней. SpatialThinker-7B — мультимодальная модель Hunar Batra и соавторов из Оксфордского университета и Калифорнийского университета в Санта-Крузе для пространственного анализа изображений. Она основана на Qwen2.5-VL-7B-Instruct и дообучена методом GRPO с плотными пространственными наградами на наборе STVQA-7K из 7 587 примеров. Модель принимает изображения и текстовые вопросы, строит ориентированный на вопрос граф сцены с объектами, рамками и отношениями, а затем формирует текстовый ответ. Модель рассчитана на девять типов пространственных задач: отношения между объектами, досягаемость, размер, ориентацию, местоположение экземпляров, глубину, расстояние, подсчёт и определение наличия объектов. Имеет 7,1 млрд параметров и контекст до 128 000 токенов; формат весов — safetensors. В карточке заявлено превосходство над GPT-4o на бенчмарках пространственного понимания при обучении на небольшом наборе данных. Это заявление относится к результатам авторов и не гарантирует качество на других задачах. Лицензия — Apache-2.0.
sapinsapin/speecht5_tts-pld-ilo — модель синтеза речи из текста, созданная дообучением SpeechT5 от Microsoft на наборе данных sapinsapin/pld. Она предназначена для озвучивания текста на илокано; при синтезе используются векторное представление голоса говорящего для кондиционирования и вокодер microsoft/speecht5_hifigan. Обучение проведено на 1761 аудиофрагменте в течение 1000 шагов; в карточке приведено значение eval_loss 0,3924. Модель построена на архитектуре SpeechT5 и распространяется в формате safetensors через библиотеку Transformers. Лицензия — MIT. Карточка не приводит длину контекста или подробную оценку качества, поэтому результаты для других голосов и текстов могут различаться.
YouLiXiya/tinyllava-v1.0-1.1b-hf — мультимодальный чат-бот TinyLLaVA, разработанный на основе TinyLlama и дообученный на сгенерированных GPT данных для следования инструкциям с изображениями. Это авторегрессионная модель на архитектуре Transformer, использующая семейство LLaVA; репозиторий содержит веса SafeTensors и поддерживает чатовый формат запросов. Модель принимает текстовые запросы и одно или несколько изображений, а затем генерирует текстовые ответы: например, описывает содержимое изображения и отвечает на вопросы о нём. В карточке заявлена поддержка нескольких изображений и запросов в одном процессе. Указаны английский язык и лицензия Apache-2.0. Для запуска README приводит Transformers версии не ниже 4.35.3; также описаны варианты ускорения генерации с Flash-Attention 2 и загрузки в 4-битном режиме через bitsandbytes на совместимом CUDA GPU.
TalhaAhmed/Urdu_kaani_TTS — модель синтеза речи на урду, разработанная TalhaAhmed на основе KaniTTS 450M. Модель дообучена с помощью LoRA ранга 8 на наборе данных с парами урду-текста и речи; в метаданных указан набор mahwizzzz/UAT, а в README — TalhaAhmed/urdu-tts-nano-codec. Архитектура — плотная LFM2, около 460 млн параметров; формат весов — Safetensors. Метаданные указывают контекст до 128 000 токенов. Модель предназначена для выразительного озвучивания историй на урду в стиле каани, а также для аудиокниг, учебных материалов, закадрового голоса и разговорных голосовых интерфейсов. Она принимает текст и генерирует аудио; основным языком является урду. Лицензия — MIT. По README, лучше всего модель работает с текстом на урду в арабской графике, а выразительность может снижаться на длинных абзацах. Она не оптимизирована для пения и крайних эмоциональных интонаций.
VisCPM-Chat — открытая мультимодальная модель диалога с изображениями, разработанная командой OpenBMB. Она принимает изображение и текстовый вопрос и формирует текстовый ответ на китайском или английском языке. Модель содержит 13,2 млрд параметров; в её архитектуре VisCPM-Chat используется визуальный энкодер Q-Former и языковая модель CPM-Bee с 10 млрд параметров. Модель предварительно обучали на англоязычных парах изображение–текст, затем дообучали на инструкциях LLaVA-150K и их переводах на китайский. Она предназначена для диалога об изображениях, описания визуальных деталей и ответов на вопросы, требующие визуального рассуждения. В README также приведены оценки на англоязычном и переведённом китайском тестовых наборах LLaVA; конкретные результаты в карточке опущены. Для запуска требуется GPU с объёмом памяти не менее 40 ГБ согласно README. Репозиторий содержит веса PyTorch; метаданные указывают pipeline-тег feature-extraction, хотя описание модели в README относится к мультимодальному диалогу. Лицензия в предоставленных данных не указана.
Модель infinitejoy/wav2vec2-large-xls-r-300m-hindi — дообученная версия facebook/wav2vec2-xls-r-300m для распознавания речи на хинди. Она принимает аудио и выдаёт распознанный текст; обучение проводилось на наборе Mozilla Common Voice 7.0 для хинди. Архитектура основана на Wav2Vec2 и имеет около 402,7 млн параметров. Модель можно применять для транскрибации речи на хинди, например аудиозаписей или голосовых сообщений. В README приведён результат оценки на тестовом наборе: WER 1,0194, что указывает на существенные ошибки распознавания. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
cpierse/wav2vec2-large-xlsr-53-esperanto — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на эсперанто с использованием Common Voice. Она преобразует аудиозапись речи в текст и предназначена для транскрибирования речи на эсперанто; для входного аудио требуется частота дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Веса доступны в форматах PyTorch и Flax, включая safetensors. На тестовых данных Common Voice для эсперанто указана метрика 12,31%; README не уточняет название этой метрики, поэтому результат нельзя однозначно интерпретировать. Модель распространяется по лицензии Apache-2.0.
jonatasgrosman/wav2vec2-large-xlsr-53-japanese — модель автоматического распознавания японской речи, созданная Jonatas Grosman дообучением facebook/wav2vec2-large-xlsr-53. Это архитектура Wav2Vec2 с CTC-головой, содержащая 405,1 млн параметров. Модель принимает аудио и выдаёт распознанный текст; для входной речи требуется частота дискретизации 16 кГц. Модель обучена на обучающей и валидационной выборках Common Voice 6.1, а также на CSS10 и JSUT. В README приведена оценка на тестовых данных Common Voice: WER 81,80% и CER 20,16%; автор отмечает, что результаты могут различаться из-за особенностей используемых скриптов оценки. Модель предназначена для распознавания японской речи, но приведённые метрики указывают на существенные ошибки распознавания. Распространяется по лицензии Apache-2.0.
Iqrayaseen/whisper-small-te — модель распознавания речи на телугу, созданная автором на основе openai/whisper-small и дообученная средствами Mozilla.ai Blueprint speech-to-text-finetune. Для обучения использованы 99 аудиозаписей на телугу из корпуса Common Voice; архитектура — WhisperForConditionalGeneration, веса опубликованы в формате safetensors. Модель предназначена для преобразования телугуской речи в текст. В приведённой оценке после дообучения ошибки распознавания снизились относительно исходной Whisper Small: нормализованный WER составил 76,298, орфографический WER — 102,579, нормализованный CER — 47,274, орфографический CER — 64,387. Эти значения указывают на существенные ошибки, поэтому перед применением в продуктивных сценариях качество следует проверить на целевых аудиозаписях. Лицензия — Apache-2.0.
240801-wav2vec2-ASR-Global-All-Clients — модель распознавания речи на основе архитектуры Wav2Vec2, разработанная путём дообучения zainulhakim/240626-wav2vec2-ASR_Global. Она принимает аудио и предназначена для преобразования речи в текст. Размер модели — 113,3 млн параметров; веса представлены в формате safetensors. Модель опубликована под лицензией Apache-2.0. В README указаны результаты оценки: loss 3,0667 и WER 1,0. Такой WER указывает на крайне низкое качество распознавания в приведённой оценке; перед практическим применением модель следует проверить на целевых аудиозаписях. Данные обучения, поддерживаемые языки и дополнительные ограничения в доступных материалах не описаны.
saracen9/amoral-qwen3.5-9B — мультимодальная модель семейства Qwen3.5, дообученная автором saracen9. Изображения и текст подаются модели совместно: она анализирует изображение с рассуждением и формирует ответ в том же ходе. Автор удалил направления отказа и провёл QLoRA-дообучение на корпусе рассуждений, дополнив его примерами визуальных рассуждений, чтобы сохранить работу с изображениями. Репозиторий содержит GGUF-квантизацию Q4_K_M для текстовой модели и отдельный проектор зрения в формате F16; для обработки изображений нужны оба файла. Модель предназначена для диалогов и ответов на вопросы по изображениям, а также для запросов, где автор заявляет об отсутствии отказов на законный контент. По внутренней проверке автора, модель формирует переход от рассуждений к ответу и сохраняет визуальные рассуждения. Автор также сообщает о проверках соответствия на вредоносные запросы; эти заявления не являются независимой оценкой качества. Лицензия — Apache-2.0.
BLIP-2 OPT-2.7b — предобученная мультимодальная модель Salesforce, опубликованная на Hugging Face. Она объединяет визуальный энкодер типа CLIP, трансформер Q-Former и языковую модель OPT на 2,7 млрд параметров. Энкодер изображений и OPT используют замороженные предварительно обученные веса, а Q-Former связывает представления изображения с языковой моделью. Модель генерирует текст по изображению и при необходимости текстовой подсказке. Она предназначена для создания подписей к изображениям, визуальных ответов на вопросы и диалогов с учётом изображения. Модель принимает изображения и текст, а выдаёт текст; в карточке указана поддержка английского языка. Возможны предвзятые ответы, галлюцинации и ошибки, а разнообразие генерации может быть ограничено. Модель не оценивалась в реальных приложениях, поэтому перед использованием следует проверять её точность, безопасность и справедливость. Лицензия — MIT; в карточке также отмечено исследовательское назначение релиза.
Bunny-v1_0-3B — мультимодальная модель семейства Bunny, разработанная BAAI. Это объединённые веса bunny-phi-2-siglip-lora: модель построена на языковой основе Phi-2 с визуальным энкодером SigLIP и содержит около 3,5 млрд параметров. В карточке указаны предварительное обучение на LAION-2M и дообучение на Bunny-695K. Модель предназначена для диалогов и ответов на вопросы по изображениям. В описании разработчики сообщают, что Bunny-v1.0-3B показывает конкурентные результаты среди мультимодальных моделей сопоставимого и большего размера. Метаданные указывают задачу text-generation и контекст 2048 токенов; веса опубликованы в формате safetensors. Для использования нужны совместимые Transformers и обработка изображений. Указана лицензия Apache-2.0. Карточка не описывает ограничения по языкам и качеству на отдельных типах изображений.
В репозитории представлены три односпикерные модели синтеза речи на центральнокурдском языке (сорани), созданные на архитектуре F5-TTS в рамках инициативы TTS4All на семинаре JSALT 2025. Доступны женский голос, обученный на аудиокнигах, мужской голос с аудиокнижной манерой речи и мужской голос, обученный на студийных записях Giganet. Модели предназначены для синтеза центральнокурдской речи по тексту; их также применяли для клонирования голоса и генерации синтетических аудиоданных для систем перевода речи. В субъективной оценке с участием носителей языка вариант audiobook-F получил наивысшие оценки естественности и качества TTS, а studio-M показал лучшие объективные показатели качества сигнала. Репозиторий содержит веса PyTorch и примеры использования с аудио и текстом подсказки. Лицензия CC BY-NC-ND 4.0 запрещает коммерческое применение и распространение изменённых версий.
CoLLaVO — мультимодальная модель языка и зрения, представленная в работе «CoLLaVO: Crayon Large Language and Vision mOdel». Репозиторий содержит веса модели; архитектура основана на InternLM и имеет 7,4 млрд параметров. Для работы с изображениями модель принимает изображение и инструкцию, затем генерирует текстовый ответ. Указанный размер контекста — 32 768 токенов. Модель предназначена для сценариев, где нужно задавать вопросы об изображениях и получать ответы на естественном языке. Для запуска автор README отсылает к коду CoLLaVO на GitHub и описывает загрузку изображения, подготовку инструкции, предобработку, генерацию и декодирование. Лицензия — MIT. В карточке нет сведений о поддерживаемых языках или сравнительных оценках качества.
mrzenin/Decka-4B — мультимодальная модель семейства Qwen3.5, дообученная mrzenin для диалоговых сценариев с текстом и изображениями. Она принимает текстовые запросы и изображения и генерирует текст, поэтому подходит для вопросов по изображениям и визуального диалога. В метаданных указаны архитектура Qwen3_5ForConditionalGeneration, плотная структура и формат safetensors; модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Карточка указывает лицензию Apache-2.0. Модель ориентирована на английский язык. Опубликованные сведения не описывают её точный размер, длину контекста или результаты оценки качества.
DevQuasar/deepreinforce-ai.Ornith-1.0-35B-GGUF — GGUF-версия модели Ornith-1.0-35B от deepreinforce-ai. По метаданным, модель предназначена для диалоговой работы с текстом и изображениями и поддерживает возможности vision. В репозитории представлены веса в формате GGUF F16. Модель основана на deepreinforce-ai/Ornith-1.0-35B, указанной как базовая дообученная модель. README не сообщает дополнительных сведений об архитектуре, языках, длине контекста, условиях лицензии или ограничениях применения.
Карточка модели hustvl/DiffusionVL-Qwen2.5VL-3B на Hugging Face совпадает с карточкой hustvl/DiffusionVL-Qwen2.5VL-7B, поэтому описание составлено по ней. DiffusionVL-Qwen2.5VL-7B — модель зрения и языка на основе Qwen2.5-VL, представленная исследователями Huazhong University of Science and Technology. Авторы применили к предварительно обученной авторегрессионной модели метод diffusion fine-tuning, преобразовав её в vision-language-модель с диффузионной генерацией. Модель содержит 7,1 млрд параметров, использует архитектуру DiffusionVL_Qwen2_5_VL_ForConditionalGeneration и поддерживает контекст до 128 000 токенов. Модель предназначена для диалоговых сценариев с изображениями и текстом, включая ответы на вопросы по изображениям и генерацию текста по визуальному контексту. DiffusionVL использует блочное декодирование, допускающее генерацию произвольной длины и повторное использование KV-кэша; авторы сообщают об ускорении инференса в 2 раза по сравнению с рассматриваемыми ими существующими diffusion vision-language-моделями. Репозиторий предоставляет веса safetensors для Transformers. Лицензия — Apache 2.0.
dkingtutcd/gemma-E4B-mt-b-split1 — дообученная мультимодальная модель семейства Gemma 4 на базе unsloth/gemma-4-e4b-it-unsloth-bnb-4bit, разработанная dkingtutcd. Она предназначена для диалогового взаимодействия с текстом и изображениями и относится к архитектуре Gemma4ForConditionalGeneration. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка сообщает, что обучение проводилось с использованием Unsloth и библиотеки TRL от Hugging Face. Модель поддерживает визуальный ввод и интерфейс вызова инструментов. Описание не уточняет целевую специализацию дообучения, размер модели, длину контекста или конкретные языковые возможности; в метаданных указан английский язык.
Карточка модели KLATY/Huihui-Qwen3-VL-8B-Instruct-abliterated на Hugging Face совпадает с карточкой huihui-ai/Huihui-Qwen3-VL-8B-Instruct-abliterated, поэтому описание составлено по ней. Huihui-Qwen3-VL-8B-Instruct-abliterated — мультимодальная модель huihui-ai, созданная abliteration текстовой части Qwen/Qwen3-VL-8B-Instruct. Она принимает текст и изображения и отвечает в диалоговом формате, поддерживая анализ изображений и визуальные вопросы. Вариант предназначен для сценариев, где требуется меньше отказов при описании или анализе изображений; изменения затронули текстовую часть, а не визуальную. Модель построена на плотной архитектуре Qwen3-VL с 8 млрд параметров и доступна в формате safetensors для Transformers. В README также приведён запуск через Ollama. Репозиторий распространяется по лицензии Apache-2.0. Из-за существенно ослабленных защитных фильтров модель может выдавать чувствительные, спорные или неподходящие ответы; результаты следует проверять. README предупреждает, что изменения касаются текстовой части, поэтому не следует считать, что снижены ограничения самой визуальной части.
InternVL2_5-2B-MPO-hf — версия в формате Hugging Face Transformers мультимодальной модели InternVL2.5-MPO от команды OpenGVLab. Это модель для диалога с изображениями: принимает изображения и текстовые запросы, отвечает текстом и предназначена, в частности, для визуального понимания и мультимодальных рассуждений. В официальной серии вариант 2B указан как модель с 2,2 млрд параметров; MPO (Mixed Preference Optimization) добавляет этап оптимизации предпочтений, направленный на улучшение мультимодального рассуждения и CoT. Конфигурация репозитория указывает на архитектуру InternVL с языковой частью InternLM2 и максимальной длиной позиции 32 768 токенов. Модель подходит для описания изображений, визуальных вопросов и ответов, а также анализа изображений в диалоговом формате. Карточка репозитория автоматически сгенерирована и не содержит конкретных сведений о лицензии, поэтому условия использования по доступным данным определить нельзя. Разработчик отмечает улучшение результатов после MPO на мультимодальных тестах; конкретная точность для этой HF-копии не приводится.
LFM2.5-VL-1.6B-4bit — мультимодальная vision-language модель на 1,6 млрд параметров, разработанная Liquid AI. Она предназначена для задач image-text-to-text, в частности для анализа и описания изображений по текстовым запросам. Модель преобразована в формат MLX из LiquidAI/LFM2.5-VL-1.6B с использованием mlx-vlm 0.3.10 и оптимизирована в 4-битном представлении для запуска в экосистеме MLX, включая устройства Apple Silicon. В карточке указана поддержка английского, японского, корейского, французского, испанского, немецкого, арабского и китайского языков. К сильным сторонам относятся сочетание обработки изображений и текста, компактный размер и 4-битное представление, облегчающее локальный запуск. Сведения о точной архитектуре, размере контекстного окна, ограничениях качества и конкретных сценариях применения в README не приведены. Модель распространяется по лицензии lfm1.0; подробные условия находятся в файле LICENSE.
Карточка модели lmms-lab/llava-onevision-qwen2-72b-ov-sft на Hugging Face совпадает с карточкой lmms-lab/llava-onevision-qwen2-72b-si, поэтому описание составлено по ней. LLaVA-OneVision — мультимодальная модель семейства LLaVA, разработанная LMMS-Lab и основанная на языковой модели Qwen2. Версия с 71,5 млрд параметров сочетает визуальный энкодер SO400M с языковой моделью и принимает текстовые запросы вместе с изображениями, несколькими изображениями или видео для диалогового взаимодействия и генерации текста. Модель предназначена для описания и анализа визуального содержимого в сценариях с одним или несколькими изображениями, а также с видео. Модель обучалась на наборах данных LLaVA-OneVision в несколько этапов, включая обучение на данных изображений, нескольких изображений и видео. Она поддерживает английский и китайский языки, использует контекстное окно в 32 768 токенов и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Для запуска модели такого размера требуются значительные вычислительные ресурсы; README не приводит оценки качества или подробностей ограничений распознавания отдельных типов визуального содержимого.
Llava-v1.5-7B-GGUF — мультимодальная модель семейства LLaVA v1.5, разработанная liuhaotian и преобразованная в формат GGUF компанией Second State Inc. Модель основана на liuhaotian/llava-v1.5-7b и предназначена для совместного анализа изображений и текста с последующей генерацией текстовых ответов. Она может использоваться в сценариях визуального вопросно-ответного взаимодействия и других задачах, где требуется учитывать содержимое изображения и текстовый запрос. Модель имеет размер 7B параметров, поддерживает визуальные и текстовые входы и рассчитана на контекст до 4096 токенов при запуске через LlamaEdge. Для обработки изображений используется отдельный мультимодальный проектор llava-v1.5-7b-mmproj-model-f16.gguf. Доступны варианты квантования GGUF от Q2_K до Q8_0 размером примерно от 2,53 до 7,16 ГБ; более сильное квантование уменьшает требования к памяти, но может заметно снижать качество. В README не указаны поддерживаемые языки. Преимущество модели — возможность локального мультимодального запуска и выбор между несколькими уровнями квантования; вариант Q4_K_M обозначен как сбалансированный, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Ограничениями являются ограниченный контекст, зависимость визуального ввода от отдельного проектора и возможное ухудшение качества у компактных вариантов квантования. Указанная лицензия — Llama 2.
Это чекпойнт LLaVA 1.5 7B в формате Hugging Face, опубликованный nnethercott. В README указано, что в репозитории размещены дообученные веса llava-hf/llava-1.5-7b-hf для проведения бенчмаркинга LLM. LLaVA — авторегрессионная модель на архитектуре Transformer, основанная на LLaMA/Vicuna и обученная следовать мультимодальным инструкциям. Модель предназначена для диалога и ответов на вопросы по изображениям, включая визуальные вопросы и академические задания. В обучающие данные входили пары изображение–текст, мультимодальные инструкции, данные VQA и ShareGPT. Размер модели — 6,6 млрд параметров, контекст — 4096 токенов; в репозитории указаны веса safetensors. Лицензия — Llama 2. README не уточняет языковой охват и не приводит отдельные ограничения качества или безопасности.
SurfaceData/llava-v1.6-mistral-7b-sglang — форк LLaVA-v1.6-Mistral-7B, адаптированный для инференса с SGLang; в README указано, что других изменений не вносили. Это плотная авторегрессионная мультимодальная модель на архитектуре Transformer с классом LlavaLlamaForCausalLM и 7,1 млрд параметров. Базовая языковая модель — mistralai/Mistral-7B-Instruct-v0.2; модель разработана на основе LLaVA, обученной в декабре 2023 года. Модель предназначена для диалогов по изображениям и выполнения мультимодальных инструкций: например, для ответов на визуальные вопросы, описания изображений и решения задач компьютерного зрения на естественном языке. Она принимает текст и изображения и формирует текстовые ответы. Максимальная длина контекста — 32 768 токенов. В README перечислены обучающие данные с подписями к изображениям, мультимодальными инструкциями, наборами VQA и диалогами ShareGPT. README позиционирует LLaVA прежде всего для исследований мультимодальных моделей и чат-ботов, а также для работы исследователей и энтузиастов в компьютерном зрении и машинном обучении. Репозиторий содержит веса safetensors и опубликован по лицензии Apache-2.0. Форк заявлен как совместимый с SGLang для инференса.
Matoub-82M — модель синтеза речи на кабильском языке (Taqbaylit), разработанная agbalu как дообучение StyleTTS2 на базе Kokoro-82M. В метаданных указано 11,1 млн параметров, тогда как README описывает модель как имеющую 82 млн параметров; поэтому размер модели по источникам расходится. Для запуска требуется Transformers с trust_remote_code=True. Модель преобразует кабильский текст в речь голосом kab_male с частотой дискретизации 24 кГц. Она предназначена для озвучивания кабильских материалов, экранных дикторов, учебных аудиозаписей и завершающего этапа языковых NLP-конвейеров. Фронтенд адаптирован к кабильской фонологии и сохраняет характерные согласные и диакритические символы. Опубликован один мужской голос; оценка качества синтеза самой модели в README ещё не приведена. Обучающие записи ограничены примерно 7,9 кГц, поэтому более высокие частоты в выходном сигнале не несут полезного звука. Модель обучена только для кабильского и не рассчитана на длинную связную речь с моделированием абзацной интонации. Лицензия Apache-2.0 допускает коммерческое использование.