I.15Доступность и ассистивные технологии

Gemma 4 26B A4B IT QAT GGUF — это мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем prithivMLmods. Она основана на разреженной Mixture-of-Experts архитектуре: содержит около 25,2 млрд параметров, из которых при генерации активны примерно 3,8 млрд. Модель поддерживает текст и изображения, но не аудио, и предназначена для диалогов, анализа изображений, OCR, анализа кадров видео, генерации текста и кода, вызова функций и задач, требующих рассуждений. Доступен настраиваемый режим reasoning. Модель использует около 550 млн параметров в vision encoder, контекстное окно до 256K токенов, скользящее окно 1024 токена и словарь примерно из 262 тысяч токенов для более чем 140 языков. Quantization-Aware Training помогает сохранить качество, близкое к bfloat16, при меньших требованиях к памяти. Репозиторий предоставляет варианты GGUF с квантованием от Q2_K до Q8_0, а также BF16, F16 и F32; размеры файлов составляют примерно от 10,6 до 101 ГБ, поэтому практическое использование зависит от доступной памяти и аппаратных ресурсов. К ограничениям относятся отсутствие аудиомодальности, высокие требования к ресурсам для полноразмерных вариантов и зависимость качества от выбранного уровня квантования. Лицензия — Apache 2.0.

unsloth/gemma-4-31B-it — это инструкционно настроенная мультимодальная модель семейства Gemma 4, представленная Unsloth на базе google/gemma-4-31B-it. Она предназначена для диалогов, рассуждений, программирования, агентных сценариев и анализа изображений. Модель принимает текст и изображения и выдаёт текст; поддерживает интерфейс вызова инструментов. В основе лежит плотная архитектура Gemma4ForConditionalGeneration с чередованием локального скользящего и глобального внимания. Для версии 31B заявлено контекстное окно до 256 тысяч токенов. Семейство поддерживает более 35 языков, но основной язык именно этой модели отдельно не выделен. Заявленные сценарии работы с изображениями включают OCR, извлечение данных из документов, понимание диаграмм и интерфейсов, распознавание объектов и анализ видеокадров; аудиовозможности относятся только к моделям E2B и E4B. Модель подходит для составления ответов по изображениям и документам, суммаризации, генерации и исправления кода, а также построения диалоговых и агентных приложений. Ответы могут содержать фактические ошибки; качество зависит от формулировки запроса и обучающих данных, а тонкие языковые нюансы могут быть сложны для модели. Лицензия — Apache 2.0.

unsloth/gemma-4-E4B-it — мультимодальная инструкция-следующая модель от Unsloth на базе Google Gemma 4 E4B Instruct. Она предназначена для диалога, рассуждений, программирования и анализа изображений, а для варианта E4B также заявлена обработка аудио. Модель принимает текст и изображения и генерирует текст; поддерживает вызов инструментов и длинный контекст до 128 тыс. токенов. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального оконного и глобального внимания. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, понимания графиков и интерфейсов, генерации и исправления кода, суммаризации и разговорных помощников. В карточке семейства заявлена поддержка более 35 языков, однако точный перечень для этой копии не приведён. Ответы могут содержать фактические ошибки, а качество зависит от обучающих данных, формулировки запроса и сложности задачи. Репозиторий содержит веса safetensors; лицензия — Apache-2.0.

BinxNet/gemma-4-26B-A4B-it-heretic — мультимодальная разговорная модель BinxNet на базе Google Gemma 4 26B A4B. Это дообученная версия с изменениями, обозначенными автором как heretic, uncensored и decensored; подробности этих изменений в карточке не описаны. Модель принимает текст и изображения и предназначена для диалогов, рассуждений, генерации и исправления кода, а также визуального анализа. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания. Для исходной Gemma 4 26B A4B заявлен контекст до 256K токенов; отдельное значение для этой версии в карточке не приведено. Семейство Gemma 4 поддерживает более 35 языков, но карточка этой производной версии не уточняет языковое покрытие отдельно. Визуальные сценарии включают распознавание текста, разбор документов, понимание диаграмм и интерфейсов, а также анализ последовательностей видеокадров. Карточка указывает формат safetensors и библиотеку Transformers. Возможны фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами. Лицензия — Apache-2.0.

Карточка модели marcus230/gemma-4-E4B-it-ultra-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic — производная от Google Gemma 4 E4B Instruct мультимодальная модель, дообученная независимым автором. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального оконного и глобального внимания. Модель рассчитана на диалог, рассуждения, программирование и понимание мультимодальных данных; для варианта E4B заявлено контекстное окно до 128 тыс. токенов. Модель принимает текст и изображения, а семейство E4B также поддерживает аудиовход для распознавания речи и перевода речи в текст. Gemma 4 заявлена как многоязычное семейство с поддержкой более 35 языков; конкретный языковой охват этой производной отдельно не описан. Возможны извлечение текста из документов и изображений, понимание диаграмм и интерфейсов, генерация и исправление кода, суммаризация и диалог. Название uncensored указывает на изменённое поведение отказов, но README не раскрывает точный объём изменений. Карточка предупреждает о возможных предвзятости, фактических ошибках, затруднениях с нюансами языка и сложными открытыми задачами. Модель распространяется по лицензии Apache-2.0.

CiscoKpanse/sp-DNM-4-26B-A4B-it_v0.1 — инструкция-настроенная мультимодальная модель семейства Gemma 4, созданного Google DeepMind. Вариант 26B A4B использует архитектуру Mixture-of-Experts: обрабатывает текст и изображения и генерирует текст; поддерживает диалог и визуальные задачи, включая ответы по изображениям, OCR, разбор документов, диаграмм и экранных интерфейсов. По карточке семейства Gemma 4 также предназначена для рассуждений, программирования, суммаризации и сценариев с вызовом инструментов. Для вариантов 26B A4B заявлено контекстное окно до 256 тысяч токенов и поддержка множества языков. Семейство использует гибридное внимание с локальными и глобальными слоями. Данная копия опубликована в формате safetensors и доступна по лицензии Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому не все заявленные возможности обязательно относятся к этому варианту: обработка аудио указана только для E2B и E4B, а видео — как возможность семейства. Ответы модели могут содержать ошибки; результаты распознавания и извлечения данных из изображений следует проверять.

Карточка модели ApocalypseParty/G4-31B-SFT-v6-3 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

Карточка модели eyentsign/gemma-4-31B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-31B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46 подготовил Gemma 4 31B IT Uncensored Heretic — дообученную версию мультимодальной Gemma 4 31B IT от Google DeepMind. В README указано изменение компонента attn.o_proj; модель предназначена для диалогов, рассуждений, агентных сценариев, программирования и понимания изображений. Она принимает текст и изображения, поддерживает вызов инструментов и может разбирать документы, графики и интерфейсы, извлекать текст с изображений и отвечать на вопросы по визуальному содержимому. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального скользящего и глобального внимания. Для исходной модели Gemma 4 31B IT заявлен контекст до 256 тысяч токенов и поддержка более 35 языков; метаданные указывают Transformers и формат safetensors. README также описывает видео и аудио для семейства Gemma 4, однако аудио заявлено только для вариантов E2B и E4B, поэтому здесь эти возможности не приписываются версии 31B. Карточка предупреждает о возможных фактических ошибках, предвзятости и трудностях с неоднозначностью и сложными открытыми задачами. Название «uncensored» указывает на изменённую фильтрацию, но карточка не описывает её конкретный эффект. Лицензия — Apache-2.0.

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

Карточка модели Iambackup/gemma-4-31B-it на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

Это квантованная в формате NVFP4 сборка Qwen3.8-27B от FreedomAISVR для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров языковой модели; репозиторий содержит GGUF-веса и отдельный F16-проектор изображений. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для диалогов, анализа изображений и документов, программирования, исследований и многошаговых агентных задач. Режим рассуждений включён по умолчанию и может настраиваться. NVFP4 уменьшает размер весов, но README отмечает, что на потребительских RTX 50 decode может быть медленнее, чем у MXFP4; для запуска рекомендованы Blackwell GPU с 16 ГБ или более видеопамяти. Лицензия — Apache-2.0.

coder3101/gemma-4-31B-it-heretic — дообученная версия Gemma 4 31B IT, основанная на google/gemma-4-31B-it. Модель создана сообществом coder3101; по меткам heretic, uncensored, decensored и abliterated она позиционируется как версия с ослабленными ограничениями на ответы. Архитектура — плотная мультимодальная Gemma4ForConditionalGeneration; репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель принимает текст и изображения и генерирует текст. Подходит для диалогов, ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа диаграмм, написания и исправления кода, суммаризации и задач с длинным контекстом. В README семейства заявлена поддержка более 35 языков и контекст до 256K токенов для версии 31B; аудиообработка описана только для меньших вариантов Gemma 4, поэтому к этой модели её не относим. Гибридное чередование локального и глобального внимания рассчитано на эффективную обработку длинных последовательностей. Модель может ошибаться в фактах, упускать языковые нюансы и отражать смещения обучающих данных; ослабленные ограничения могут повышать риск нежелательных ответов. Лицензия — Apache-2.0.

trohrbaugh/gemma-4-26B-A4B-it-heretic-ara — разговорная мультимодальная модель семейства Gemma 4, размещённая пользователем trohrbaugh. Это вариант Gemma 4 26B A4B с метками heretic, uncensored, decensored и abliterated; карточка не описывает, какие именно изменения внесены в веса. Архитектура использует чередование локального скользящего и глобального внимания. Модель принимает текст и изображения и предназначена для диалога, понимания изображений и документов, генерации и исправления кода, суммаризации и рабочих процессов с вызовом инструментов. В README для семейства Gemma 4 26B A4B заявлен контекст до 256K токенов и поддержка более 35 языков, однако эти сведения приведены для семейства, а не подтверждены отдельными тестами этого варианта. README также описывает для Gemma 4 понимание видео, но карточка именно этого репозитория и его метаданные подтверждают только задачу image-text-to-text и возможность vision, поэтому видео в назначение этой версии не включено. Аудиофункции в README отнесены только к моделям E2B и E4B. Модель может ошибаться в фактах и сложных запросах, а изменённая маркировкой heretic версия может отличаться по поведению и отказам от исходной Gemma 4. Лицензия репозитория — Apache-2.0.

Gemma 4 31B IT QAT Q4_0 Unquantized Uncensored Heretic — мультимодальная диалоговая модель на архитектуре Gemma 4, опубликованная llmfan46 как доработка Google Gemma 4. Она предназначена для общения, генерации и редактирования текста, программирования, рассуждений и агентных сценариев с вызовом инструментов, а также анализа изображений. Модель принимает текст и изображения и выдаёт текст; для семейства заявлена обработка видео через последовательности кадров, но поддержка этого варианта отдельно не подтверждена. В карточке описана гибридная схема внимания с локальными скользящими окнами и глобальными слоями; базовая модель рассчитана на контекст до 256K токенов. Семейство поддерживает более 35 языков, однако конкретный перечень для этой версии не приведён. Вариант заявлен как uncensored/abliterated; файлы репозитория указаны в формате safetensors. Лицензия — Apache-2.0. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, написания кода и диалоговых приложений. Возможны фактические ошибки, смещения и трудности с тонкими языковыми нюансами и сложными открытыми задачами. В README описание возможностей относится ко всему семейству Gemma 4, поэтому аудио и видео возможности именно этой версии не подтверждены.

unsloth/gemma-3-27b-it — мультимодальная инструктивная модель семейства Gemma 3, опубликованная Unsloth на основе Google/gemma-3-27b-it. Это плотная архитектура Gemma 3 с 27 млрд параметров, предназначенная для диалогов и генерации текста по текстовым и визуальным запросам; принимает изображения, отвечает на вопросы о них, а также поддерживает суммаризацию и рассуждения. Контекстное окно составляет 128 тыс. токенов, модель поддерживает более 140 языков; в метаданных карточки указан английский язык. Веса опубликованы в формате safetensors и доступны по лицензии Gemma. Модель подходит для чат-ботов и виртуальных помощников, составления и редактирования текстов, краткого пересказа документов, извлечения сведений из изображений и ответов на вопросы по визуальному содержимому. Карточка описывает базовые возможности Gemma 3 и инструменты Unsloth для дообучения и экспорта, но не приводит сведений об отдельном дообучении именно этой копии. Возможны фактические ошибки, трудности с языковыми нюансами и сложными открытыми задачами; результаты также зависят от обучающих данных и формулировки запроса.

Gemma 3 4B IT GGUF — квантизированное или иным образом подготовленное для формата GGUF представление instruction-tuned модели Google Gemma 3 4B IT. Разработчик — Google DeepMind. Модель относится к семейству лёгких открытых моделей, созданных на основе исследований и технологий Gemini, и предназначена для генерации текста и анализа изображений. Модель поддерживает текстовые и графические входные данные и генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и извлечения визуальной информации. Для версии 4B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого результата — до 8192 токенов; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, а обучающие данные также включали код и математические материалы. Ключевое преимущество — сочетание мультимодальности, большого контекста и относительно небольшого размера, что упрощает развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. README не содержит точных сведений об архитектуре, параметрах квантования GGUF, фактической производительности или ограничениях качества. Использование регулируется лицензией Gemma и условиями Google; конкретные условия необходимо проверять в Terms of Use.

GPT-3.5 Turbo 16k — вариант модели GPT-3.5 Turbo с увеличенным контекстным окном, разработанный OpenAI. Он предназначен для генерации текста и диалогов, в том числе для запросов, в которых нужно передать большой объём текста за один раз. По карточке модель обрабатывает примерно 20 страниц текста в одном запросе; использование обходится дороже, чем у стандартной версии GPT-3.5 Turbo.

DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная DeepSeek AI. Она создана на основе архитектуры DeepSeek-V4-Flash с добавлением визуальных модулей и дополнительным обучением для поддержки задач визуального понимания и мультимодальных агентных сценариев. Модель принимает текст и изображения; README также указывает поддержку OpenAI-совместимого формата сообщений и обработки изображений через специальные prompt-форматы. Модель предназначена для мультимодальных агентов, анализа изображений, графиков и других визуальных элементов, а также для текстовых агентных задач, включая работу с инструментами, репозиториями, терминалом и автоматизацией. По заявленным результатам она заметно превосходит DeepSeek-V4-Flash-0731 в ряде мультимодальных тестов, сохраняя сопоставимую производительность в текстовых агентных задачах. Среди технических компонентов упоминаются vision encoder, aligner, DFlash attention, Mixture-of-Experts, Hyper-Connections и DSpark; точные размер модели, длина контекста и перечень поддерживаемых языков в README не указаны. К ограничениям относятся экспериментальный статус, отсутствие в предоставленных данных подробных характеристик аппаратных требований, контекстного окна и языкового покрытия, а также неоднородные результаты на отдельных бенчмарках. Для запуска описаны минимальная реализация inference на PyTorch, интеграции с vLLM и SGLang; пример сервирования рассчитан на узел с четырьмя GPU GB300. Модель распространяется по лицензии MIT.

MuXodious/gemma-4-26B-A4B-it-ARA-heresy — дообученная версия мультимодальной Gemma 4 26B A4B IT от Google DeepMind. Автор применил к базовой модели движок Heretic с Arbitrary-Rank Ablation, чтобы сократить число отказов; в карточке указаны 3 отказа из 104 проверок против 103 из 104 у исходной модели. Это диалоговая модель с архитектурой Gemma4, которая принимает текст и изображения и генерирует текст. Её можно использовать для визуальных вопросов и ответов, разбора документов и изображений, диалогов, программирования и рассуждений. README описывает возможности семейства Gemma 4, включая длинный контекст до 256 тысяч токенов и поддержку многих языков, однако не подтверждает отдельными данными, что все эти характеристики проверены именно для этой производной версии. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Уменьшение отказов не гарантирует корректность ответов или пригодность для всех сценариев; результаты ограничены приведённой проверкой.

Gemma4 E4B 8B Heretic Ultra — версия Gemma 4 E4B Instruct от Google DeepMind, обработанная llmfan46 с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения склонности к отказам. Это плотная мультимодальная модель семейства Gemma 4 для диалога и генерации ответов по тексту, изображениям и аудио. В репозитории доступны исходные веса fp16 в формате safetensors; в отдельной ветке размещена конверсия MLX 4-bit для mlx-lm на Apple Silicon. Модель подходит для диалоговых сценариев, рассуждений, программирования, анализа изображений и обработки аудио. В приведённых автором тестах доля отказов составила 3 из 100 против 99 из 100 у исходной модели; точность на PIQA составила 85,85%, а на MMLU — 68,60%. Эти результаты относятся к указанным тестам и не гарантируют качество в других задачах. Ablation немного снизила результаты относительно исходной Gemma 4 E4B Instruct. Лицензия — Apache 2.0. Поскольку модель специально изменена для снижения отказов, она может отвечать на запросы, которые исходная модель отклоняла; следует учитывать это при выборе сценариев применения.

Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

RedHatAI/Qwen3.5-4B-quantized.w8a8 — мультимодальная модель, разработанная RedHatAI на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст; предназначена для диалоговых приложений, анализа изображений, ответов на вопросы, следования инструкциям и задач, требующих рассуждений. Модель оптимизирована для инференса через vLLM. В модели применена квантизация весов и активаций линейных операторов в трансформерных блоках до INT8 по схеме W8A8. Визуальный энкодер, токеновые эмбеддинги и слои linear attention сохранены в BF16. Размер модели на диске составляет около 6,1 ГБ против 8,8 ГБ у версии BF16, что уменьшает требования к памяти примерно на 31%. Для мультимодального и текстового режимов заявлена поддержка контекста до 262 144 токенов при запуске через vLLM. К сильным сторонам относятся значительное сокращение размера и требований к памяти при близких к исходной модели результатах на представленных тестах, а также поддержка текстовых и визуальных входов. Ограничения связаны с частичной, а не полной квантизацией и необходимостью совместимой инфраструктуры vLLM; конкретные поддерживаемые языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Meta разработала Llama 3.2 3B Instruct — мультиязычную авторегрессионную языковую модель на архитектуре Transformer для генерации текста. Версия Instruct дообучена с помощью контролируемой настройки и обучения с подкреплением на основе обратной связи от людей; модель оптимизирована для диалогов с ассистентом и задач, связанных с агентными приложениями. Модель подходит для ответов в чате, поиска сведений и суммаризации, а также для мобильных помощников по написанию текста и переформулированию запросов. Она принимает текст и генерирует текст, в том числе код. В карточке семейства указан контекст до 128 тысяч токенов, а среди официально поддерживаемых языков перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель использует Grouped-Query Attention и рассчитана в том числе на запуск в средах с ограниченными ресурсами. По сравнению с более крупными моделями у компактных вариантов могут отличаться баланс безопасности и полезности; разработчикам следует проверять поведение модели в своём сценарии. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Mistral-7B-Instruct-v0.3 — инструкционная языковая модель семейства Mistral, разработанная Mistral AI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.16.0. Модель содержит около 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для диалогового взаимодействия, генерации ответов на инструкции, написания и преобразования текста, суммирования и ответов на вопросы. Формат MLX ориентирован на запуск через библиотеку mlx-lm на совместимом оборудовании Apple. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-quantized.w4a16 — это квантованная мультимодальная языковая модель на базе Qwen/Qwen3.5-35B-A3B, опубликованная пользователем apolo13x. Базовая модель разработана командой Qwen. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа изображений, ответов на вопросы и других задач преобразования мультимодального ввода в текст. Модель использует архитектуру Qwen3.5 с разреженной MoE-конфигурацией 35B-A3B, где общий размер составляет около 35 млрд параметров, а активируется примерно 3 млрд параметров. Веса квантованы до INT4 в формате GPTQ с конфигурацией W4A16 с использованием llm-compressor. Это уменьшает размер модели с 67,0 до 20,4 ГБ, примерно в 3,3 раза, при среднем восстановлении точности 99,5% относительно исходной модели. В указанных тестах модель показала 81,31% на GPQA Diamond, 94,60% на IFEval и 91,95% на MMLU-Redux. Сильной стороной модели является существенное снижение требований к хранению и инференсу при сохранении близкой к исходной точности. Ограничения связаны с потерями, возможными при 4-битном квантовании, а также с тем, что на 27 февраля 2026 года модель поддерживалась в nightly-версии vLLM, что может означать менее стабильную совместимость по сравнению со стабильными релизами. Сведения о размере контекстного окна и поддерживаемых языках в README не указаны. Модель распространяется по лицензии Apache-2.0.

m8than/gemma-3-12b-it-lenientchatfix — мультимодальная разговорная модель сообщества на архитектуре Gemma 3, дообученная на предобученной модели Google google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; объём модели — 12 млрд параметров. Карточка описывает возможности семейства Gemma 3: контекст до 128 тыс. токенов и поддержку более 140 языков. Модель предназначена для диалогов, ответов на вопросы по изображениям и тексту, суммаризации и генерации текста. Её можно использовать для извлечения сведений из изображений, создания черновиков и разговорных интерфейсов. Название указывает на вариант с более lenient-настройкой поведения, но README не уточняет, как она реализована и оценивалась. К ограничениям относятся возможные фактические ошибки, смещения в ответах и трудности с неоднозначными запросами и сложными задачами. В метаданных указана лицензия Gemma; использование регулируется её условиями и политикой запрещённого использования Gemma.

ciocan/gemma-4-E4B-it-W4A16 — GPTQ-квантизированная 4-битная версия модели google/gemma-4-E4B-it, подготовленная с использованием auto-round в режиме RTN. Модель имеет 8 млрд параметров, из которых 4 млрд являются эффективными благодаря архитектуре PLE. Она предназначена для запуска и обслуживания через vLLM, включая использование OpenAI-совместимого API и вызов инструментов. Модель поддерживает текст, изображения, аудио и видео. Нативная длина контекста составляет 128K токенов, однако для видеокарт с 12 ГБ VRAM рекомендуется ограничивать её 8K токенами, а при нехватке памяти — 4K. Квантованию подвергнут только языковой модуль; vision- и audio-компоненты сохранены в полной точности BF16. Размер памяти при загрузке составляет около 9,65 GiB, что позволяет использовать модель на видеокартах уровня RTX 3080 Ti или RTX 4070 с 12 ГБ VRAM. К сильным сторонам относятся поддержка нескольких модальностей, совместимость с vLLM и OpenAI-совместимым интерфейсом, а также сниженные требования к видеопамяти. Ограничения связаны с необходимостью использовать vLLM и специфический GPTQ-совместимый формат: AutoAWQ и llm-compressor для этой архитектуры не поддерживаются. Модель распространяется по лицензии Apache 2.0.

GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

Это GGUF-квантизированная версия Mistral-Small-3.1-24B-Instruct-2503, разработанного Mistral AI и подготовленного пользователем bartowski. Модель предназначена для диалоговых задач и сценариев, где требуется обработка текста и изображений, и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 млрд параметров и поддерживает мультимодальный режим с входными данными в виде текста и изображений; для работы с изображениями требуется отдельный файл mmproj. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных форматов квантования GGUF размером примерно от 12,76 до 47,15 ГБ. В README размер контекста не указан. Основное преимущество — сочетание высокой точности исходной модели с выбором квантизаций, позволяющих адаптировать требования к памяти и качеству; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают значительный объём файлов, зависимость мультимодальной работы от mmproj и возможное снижение качества у более компактных вариантов. Лицензия — Apache-2.0.