I.4Обработка документов и форм

QuantTrio/Qwen3.5-122B-A10B-AWQ — квантизированная AWQ-версия модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий QuantTrio использует data-free quantization, то есть квантизацию без калибровочного набора данных. Модель предназначена для мультимодальных сценариев image-text-to-text, включая понимание изображений и текста, рассуждения, программирование и агентские задачи. Это causal language model со зрительным энкодером и гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Всего модель содержит 122B параметров, из которых при генерации активируются 10B; предусмотрены 48 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активируемый эксперт. Заявлена поддержка 201 языка и диалекта. В примере запуска через vLLM указан максимальный контекст 32768 токенов, а также поддержка tool calling, reasoning и speculative decoding. К сильным сторонам относятся мультимодальность, высокая параметрическая ёмкость при меньшем числе активируемых параметров и оптимизация для эффективного инференса через AWQ и Mixture-of-Experts. Ограничения включают значительные требования к GPU-памяти: размер файлов модели составляет около 77 GiB; для рекомендуемой конфигурации требуется vLLM с экспериментальными версиями зависимостей, CUDA 12.8 и настройка expert parallelism. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.5-35B-A3B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий QuantTrio содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантизация выполнена методом data-free, без калибровочного датасета. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и анализа изображений с текстовыми запросами. Модель представляет собой causal language model с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35B параметров, из которых при обработке активируется около 3B; указаны 40 слоёв, hidden dimension 2048 и контекст до 32768 токенов в рекомендуемой конфигурации vLLM. Поддерживаются 201 язык и диалект. Доступны вызовы инструментов, reasoning-режим и speculative decoding через соответствующие возможности vLLM. Ключевые преимущества — существенно меньшие требования к памяти по сравнению с полной версией модели, эффективный MoE-инференс и поддержка текстово-визуальных задач. Ограничения включают зависимость от очень новых версий vLLM и Transformers, CUDA 12.8, специальных параметров запуска и настройки expert parallelism при распределённом инференсе; README не содержит независимых результатов бенчмарков для этой AWQ-версии. Модель распространяется по лицензии Apache-2.0.

rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX — это мультимодальная MLX-сборка модели Qwen3.8-27B от Qwen, подготовленная в виде активационно-ориентированной смешанной квантизации. Модель поддерживает ввод изображений и текста с генерацией текста, а также может работать в текстовом режиме. Сборка рассчитана прежде всего на компьютеры Apple Silicon с unified memory и запускается через Rapid-MLX, совместимый с OpenAI API. Модель предназначена для диалогов, анализа изображений, работы со знаниями, математического рассуждения и генерации кода. Средний размер квантизации составляет 3,5 bits-per-weight: языковые Linear-слои распределены между 2-, 3- и 4-битными представлениями, а vision tower сохранён в 4-битном виде. Размер модели на диске составляет около 13 ГБ; заявлены языки English и Chinese. По приведённым измерениям, модель обычно укладывается в 24 ГБ памяти Apple Silicon, использует примерно 14,6–16,5 ГБ в зависимости от сценария и не помещается в 16 ГБ. Сильная сторона сборки — заметное сокращение размера и пикового потребления памяти при сохранении результатов, близких к 4-битной и исходной bf16-версиям в задачах знаний, рассуждения и кода. Поддерживается опциональное ускорение через Multi-Token Prediction, однако его эффект зависит от чипа Apple. Ограничение — качество работы с изображениями ниже 4-битной версии: в MMBench-EN указано 86,7 против 90,3 балла. Модель распространяется по лицензии Apache-2.0.

CyberNeurova разработала эту мультимодальную разговорную модель на основе Qwen/Qwen3.8-Flash-Next. Она принимает текст и изображения и предназначена для диалога, рассуждений, программирования, ответов на вопросы по изображениям и работы с инструментами. Модель использует разреженную MoE-архитектуру: заявлены 125 млрд параметров всего и около 6 млрд активных на токен; контекст — 262 тыс. токенов с возможностью расширения до 1 млн с помощью YaRN. Поддерживается явный режим рассуждений, а стиль ответа можно задавать системным промптом. Разработчик позиционирует модель как нейтрального помощника с уменьшенным числом встроенных отказов; заявлено, что рассуждения, программирование и общие знания сохранены. Для запуска в README приведена конфигурация vLLM с выделенным образом для этой архитектуры. Модель распространяется по лицензии Apache-2.0. Уменьшение числа отказов означает, что поведение и безопасность ответов сильнее зависят от системного промпта и приложения; заявленные характеристики производительности и качества в предоставленных материалах независимо не подтверждены.

Карточка модели nishti1024/DeepSeek-V4.1-Flash на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-V4.1-Flash, поэтому описание составлено по ней. DeepSeek-V4.1-Flash — мультимодальная модель DeepSeek для диалогов, рассуждений и агентных задач. Она принимает изображения и текст и авторегрессионно генерирует текст. По README, модель обучена с нуля и использует архитектуру Causal Encoder-Decoder с 40 слоями и Mixture-of-Experts; в ней 552 млрд параметров backbone, а при обработке токенов активируется 8 млрд параметров на этапе prefill и 16 млрд при генерации. Модель поддерживает контекст до одного миллиона токенов и управляемый уровень усилий рассуждения от 1 до 100. Среди заявленных архитектурных решений — сжатие KV-кэша, разреженное внимание, условная память Engram и спекулятивное декодирование. Модель ориентирована на сценарии с длинным контекстом и агентным выполнением задач, включая работу с кодом и визуальными данными. Метаданные указывают форматы safetensors FP8 и библиотеку Transformers; лицензия — MIT. README отмечает, что для релиза не предоставлен Jinja-шаблон чата, а для запуска локально предлагается обратиться к инструкциям в папке inference.

GaelicThunder/DeepSeek-V4-Flash-Vision-Exp-ablit-EXL3-Kalibrated — квантизированная версия DeepSeek-V4-Flash-Vision-Exp от DeepSeek, подготовленная GaelicThunder на основе MixedK-пака vcruz305 и abliterated-варианта drowzeys. Модель предназначена для мультимодальных задач «текст плюс изображение», включая анализ изображений и генерацию текста, а также для обычных сценариев работы с текстом, математикой и кодом. Это MoE-модель с 256 маршрутизируемыми экспертами в каждом слое, представленная в формате EXL3 с mixed-precision-квантизацией: экспертные веса распределены между 2- и 3-битным представлением, при этом 22 слоя дополнительно переквантизированы в калиброванный 3-битный формат. Остальные тензоры используют BF16 или FP8 в зависимости от компонента. Пакет занимает около 106 GB и рассчитан на запуск на одной NVIDIA DGX Spark с GB10 и 128 GB памяти. Поддерживаются контекст до 245 760 токенов, speculative decoding, CUDA graphs и обработка от одного до трёх изображений на запрос. Языки явно не указаны. По приведённым измерениям модель сохраняет около 90% вероятности токенов оригинальной модели в среднем, с особенно сильными результатами на математике; заявлены также показатели для прозы и кода. Ограничения включают высокие требования к памяти и специализированному стеку запуска, длительную первичную компиляцию ядер и известную ошибку декодирования, из-за которой иногда появляется токен «)Skip»; в рекомендуемом сценарии она подавляется прокси. Модель распространяется по лицензии MIT.

GRM-2.6-Plus-0628 — дообученная OrionLLM модель с 27 млрд параметров на архитектуре семейства Qwen3.5. Она предназначена для общего общения и сложных задач, включая структурированные рассуждения, программирование и длительные многошаговые агентные сценарии. Метаданные указывают поддержку изображений и интерфейса вызова инструментов; модель принимает текст и изображения и генерирует текст. В README также описана исправленная версия шаблона чата для передачи вызовов инструментов в некоторых движках инференса. Модель выпущена под лицензией Apache 2.0. Заявления о высокой производительности приведены в карточке, но численные результаты бенчмарков в доступном тексте отсутствуют.

Orion-14B-LongChat — многоязычная плотная авторегрессионная языковая модель компании OrionStarAI, обученная с нуля. Версия LongChat предназначена для диалогов и работы с очень длинными текстами; заявленная длина контекста составляет 200 000 токенов, а максимальная поддерживаемая длина — до 320 000 токенов. Размер модели — 14,1 млрд параметров, формат весов в репозитории — PyTorch. Модель рассчитана на генерацию текста и может применяться для диалогов, анализа длинных документов и работы с кодом. В карточке заявлена поддержка китайского, английского, японского и корейского языков; модель обучена на многоязычном корпусе объёмом 2,5 трлн токенов. OrionStarAI указывает на высокие результаты для длинных последовательностей, но качество ответов и фактическая точность могут зависеть от задачи и входного контекста. Условия лицензирования в предоставленной карточке не описаны.

FreedomAISVR подготовил GGUF-вариант мультимодальной инструктивной модели Qwen3.5-9B с квантизацией MXFP4. Модель содержит 32 трансформерных блока с гибридной архитектурой attention, FFN и SSM, дополнительную голову Multi-Token Prediction и проектор SigLIP для обработки изображений. Размер модели — 9 млрд параметров, контекст — до 262 144 токенов; веса представлены в 4-битном формате MXFP4, а проектор — в F16. Модель предназначена для генерации ответов и диалога на нескольких языках, понимания изображений и видео, вызова инструментов, рассуждений и задач по коду. Режим рассуждений в этой сборке выключен по умолчанию и включается параметром enable_thinking=true. Для мультимодального запуска требуется подключить файл проектора mmproj; использовать сборку можно через llama.cpp и совместимые инструменты для GGUF. Модель основана на Qwen/Qwen3.5-9B и распространяется по лицензии Apache-2.0. Квантизация уменьшает требования к памяти, но может повлиять на точность по сравнению с исходными весами. В README указана поддержка английского, китайского и кода; метаданные также отмечают многоязычность.

llmfan46/Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved — производная модель автора llmfan46 на основе Qwen/Qwen3.6-27B. Это мультимодальная причинная языковая модель с визуальным энкодером на 27 млрд параметров; в версии сохранены все 15 компонентов MTP, а параметры модели изменены для снижения числа отказов. Она предназначена для диалогов, работы с изображениями, программирования и агентных сценариев, включая вызовы инструментов. Модель принимает текст и изображения и генерирует текст; заявленный нативный контекст — 262 144 токена с расширением до 1 010 000. В README приведены результаты тестов на отказах и MMLU, однако они не гарантируют качество на других задачах. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным удалением отказов: по заявлению автора, модель не отказывается от запросов и сохраняет функциональность исходной модели, хотя иногда может добавлять короткие дисклеймеры. Подходит для диалогов, генерации и анализа текста, программирования, рассуждений, а также работы с изображениями и видео. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Она содержит 256 экспертов, из которых для каждого токена выбираются 8, включает 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст до 262K токенов. Поддерживаются текст, изображения и видео; в README указаны английский, китайский и многоязычный режимы. Для работы с изображениями требуется дополнительный файл mmproj. Основные преимущества — высокая заявленная устойчивость к отказам, мультимодальность, большой контекст и доступность множества GGUF-квантизаций, включая оптимизированные HauhauCS варианты K_P. Ограничения включают отсутствие встроенных защитных ограничений в Aggressive-варианте, значительные требования к памяти: размер файлов варьируется примерно от 11 до 44 ГБ, а также необходимость корректно настроить совместимый runtime, например llama.cpp или LM Studio. Для сохранения возможностей режима рассуждений рекомендуется использовать контекст не менее 128K токенов. Модель распространяется по лицензии Apache-2.0.

Mungert/gemma-4-31B-it-GGUF — это GGUF-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и преобразованной автором Mungert с использованием llama.cpp. Модель предназначена для локального запуска задач генерации и понимания текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текста. Модель имеет плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и контекстным окном до 256 тысяч токенов. Она поддерживает текст и изображения, но не аудио в варианте 31B. Gemma 4 заявлена как мультиязычная модель с поддержкой более 140 языков. В архитектуре используется гибридное внимание: локальное скользящее окно чередуется с глобальным вниманием; размер скользящего окна для 31B составляет 1024 токена. Модель поддерживает режимы рассуждений, системные инструкции и встроенный вызов функций. Главная особенность этой публикации — GGUF-квантизация, подготовленная на основе llama.cpp с выборочным повышением точности важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при заданном уровне квантизации, особенно у моделей с большим числом параметров, но увеличивает размер файлов. В README нет результатов бенчмарков, конкретных вариантов квантизации или требований к оборудованию, поэтому фактические скорость, качество и потребление памяти зависят от выбранного файла и среды запуска. Лицензия — Apache 2.0.

Inkbot — диалоговая языковая модель Tostino для генерации ответов по структурированным запросам, с дополнительным контекстом или без него. Модель построена на архитектуре Llama и содержит 12,9 млрд параметров; максимальный контекст составляет 4096 токенов. Доступны веса PyTorch, лицензия — Llama 2 Community License. Модель предназначена для ответов на вопросы, работы с контекстом в сценариях RAG, извлечения связей для представления знаний, рассуждений, перевода, суммаризации и творческого письма. Для лучших результатов автор рекомендует передавать дату, тип задачи и системное описание отдельно от диалога, а дополнительный контекст формулировать ясно. Модель стремится давать функциональные и лаконичные ответы. Среди ограничений — возможны повторяющиеся циклы текста при сложных задачах и заполнении контекста; при построении графа знаний модель может продолжать добавлять узлы и связи до исчерпания контекста. Влияние переданного пользовательского контекста обычно сохраняется лишь на один-два следующих запроса.

Карточка модели genevaquant/Inkling-Small на Hugging Face совпадает с карточкой thinkingmachines/Inkling-Small, поэтому описание составлено по ней. Inkling-Small — мультимодальная модель общего назначения от Thinking Machines, построенная на авторегрессионном трансформере с 42 слоями и разреженным MoE-блоком: из 256 экспертов для каждого токена выбираются 6, а 2 общих эксперта активны всегда. Всего модель содержит 276 млрд параметров, из которых активно 12 млрд. Она принимает текст, изображения и аудио, обрабатывая их в общем пространстве представлений, и генерирует текст. Поддерживаются форматы BF16 и NVFP4; для работы предусмотрена библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, мультимодальных запросов, программирования, чат-ботов, агентных систем с использованием инструментов и приложений с поиском по документам. Основной язык — английский; заявлены общие многоязычные возможности, но языки отдельно не перечислены. Для изображений рекомендован размер сторон 40–4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее двух минут. Модель может выдавать фактически неверные ответы, неточно следовать инструкциям и хуже работать в длинных диалогах; качество также может различаться по языкам и предметным областям. Для важных решений необходимы проверка человеком и дополнительные меры безопасности. Весы доступны по лицензии Apache-2.0.

Nex-N2.5-mini-Uncensored-APEX-GGUF — набор GGUF-квантизаций модели Nex-N2.5-mini от Nex-AGI, подготовленный на базе варианта orcarouter/Nex-N2.5-mini-Uncensored с использованием llama.cpp и localai-org/apex-quant. Модель позиционируется как abliterated, то есть с уменьшенной склонностью к отказам. Формат предназначен для локального запуска через llama.cpp и совместимые интерфейсы. Модель поддерживает текстовые и визуальные сценарии, включая анализ изображений, работу с английским и китайским языками, генерацию текста, программирование и задачи, требующие длинного контекста. Архитектура — Mixture-of-Experts примерно на 34 млрд параметров: 40 слоёв, 256 маршрутизируемых экспертов, выбор 8 экспертов на токен и один общий эксперт в каждом слое. Используется гибрид gated-delta-net и полноразмерного внимания, максимальный контекст заявлен до 262 144 токенов. Основное преимущество — MoE-архитектура и APEX-квантизация со смешанной точностью, которая позволяет выбирать разные уровни точности для слоёв и групп тензоров, обеспечивая несколько вариантов баланса между размером и качеством. Доступны профили Mini, I-Compact, I-Quality и I-Balanced, однако конкретные файлы могут присутствовать не все. Для работы с изображениями требуется отдельный F16-проектор mmproj. Реальное качество зависит от выбранного профиля, аппаратных ресурсов и клиента; приведённые в README внешние результаты APEX нельзя считать измерениями именно этих файлов. Для запуска рекомендуется современная версия llama.cpp, при этом возможна частичная выгрузка слоёв на GPU. Лицензия модели — Apache-2.0.

Qwen3.6-35B-A3B-Fable-Holo3.1 — мультимодальная модель для диалогов и следования инструкциям, опубликованная Nightmedia. Это слияние Qwen3.6-35B-A3B, Qwen3.6-35B-A3B-Fable-5-Distill и Holo3.1-35B-A3B; архитектура относится к семейству Qwen3.5 MoE. Модель принимает текст и изображения и выдаёт текст. В карточке также описаны варианты для текстового режима, включая сборку с контекстом 1 млн токенов; эти сведения не подтверждают такую длину контекста для основного репозитория. Модель предназначена для мультимодальных диалогов, анализа изображений, рассуждений, задач STEM и программирования. Автор сообщает об улучшении perplexity, скорости и результатов на отдельных тестах после слияния, но не приводит полного описания методики и воспроизводимых сравнений. Модель распространяется под лицензией Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модификация модели Qwen/Qwen3.6-35B-A3B, подготовленная HauhauCS. Это мультимодальная модель в формате GGUF для генерации текста, работы с изображениями и видео, а также для диалоговых, аналитических, творческих и программных задач. Версия Aggressive ориентирована на минимальное количество отказов: по данным README, она не содержит дополнительных изменений в датасетах или базовых возможностях, но отключает встроенные отказы модели. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8, 40 слоёв и гибридная схема внимания: линейное и полноразмерное softmax-внимание в соотношении 3:1. Нативное контекстное окно составляет 262 тысячи токенов. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется отдельный файл mmproj; доступны различные варианты квантования GGUF, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Сильными сторонами являются большое контекстное окно, мультимодальность, низкое число активных параметров при значительном общем объёме модели и широкий выбор квантований, включая оптимизированные K_P-варианты с повышенным сохранением качества. Ограничением является отсутствие или ослабление защитных механизмов: модель может генерировать нежелательный, небезопасный или потенциально вредный контент, поэтому требует дополнительного контроля в прикладных системах. Для сохранения возможностей рассуждения рекомендуется использовать контекст не менее 128 тысяч токенов; для vision-сценариев необходим mmproj-файл. Модель распространяется по лицензии Apache-2.0.

AEON-7/Gemma-4-26B-A4B-it-Uncensored-NVFP4 — инструкцияная мультимодальная модель семейства Gemma 4, разработанная AEON-7 на основе TrevorJS/gemma-4-26B-A4B-it-uncensored. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев, рассуждений, вызова инструментов и обработки изображений вместе с текстом. Заявлена поддержка английского языка. Архитектура — разреженная Mixture-of-Experts: 26 млрд параметров всего и около 4 млрд активных параметров. Веса квантизованы в NVFP4, используется формат safetensors. Для развёртывания предусмотрена интеграция с vLLM и OpenAI-совместимым API; в документации указана конфигурация с контекстом до 262 144 токенов, chunked prefill, prefix caching и speculative decoding через DFlash. Модель ориентирована на GPU-платформы NVIDIA Grace Blackwell, включая DGX Spark/GB10, а также на локальное или периферийное развёртывание. К сильным сторонам относятся сочетание мультимодальности, MoE-архитектуры с небольшим числом активных параметров, поддержки function calling и reasoning, а также оптимизации для высокопроизводительного инференса. Ограничения связаны с зависимостью от совместимого оборудования NVIDIA и специализированной конфигурации vLLM; заявленные параметры производительности относятся к конкретному серверному стеку и не гарантируют аналогичные результаты в других средах. Модель обозначена как uncensored/unfiltered, поэтому встроенные ограничения безопасности могут быть ослаблены. Лицензия указана как Gemma.

Arabic250/gemma-4-E4B-it-GGUF — это 4-битная GGUF-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной в формате GGUF командой Unsloth. Модель предназначена для локального запуска и дообучения, включая работу на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и средах на базе llama.cpp. Модель принимает текст и изображения, поддерживает аудио на нативном уровне и генерирует текст. Вариант E4B имеет около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Архитектура использует гибридное внимание: локальные скользящие окна чередуются с глобальным вниманием. Gemma 4 поддерживает более 140 языков, режимы рассуждения, генерацию текста, программирование, мультимодальное понимание, tool calling и агентские сценарии. К сильным сторонам относятся компактный размер, возможность эффективного локального развертывания, длинный контекст, мультимодальность и поддержка структурированных диалогов с системными инструкциями. Ограничением являются возможные потери точности из-за 4-битной квантизации, а также требования к совместимому программному обеспечению и оборудованию; конкретные показатели производительности для данной сборки в README не приведены. Модель распространяется по лицензии Apache 2.0.

Карточка модели RedHatAI/Inkling-Small на Hugging Face совпадает с карточкой thinkingmachines/Inkling-Small, поэтому описание составлено по ней. Inkling-Small — мультимодальная модель общего назначения от Thinking Machines, построенная на авторегрессионном трансформере с 42 слоями и разреженным MoE-блоком: из 256 экспертов для каждого токена выбираются 6, а 2 общих эксперта активны всегда. Всего модель содержит 276 млрд параметров, из которых активно 12 млрд. Она принимает текст, изображения и аудио, обрабатывая их в общем пространстве представлений, и генерирует текст. Поддерживаются форматы BF16 и NVFP4; для работы предусмотрена библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, мультимодальных запросов, программирования, чат-ботов, агентных систем с использованием инструментов и приложений с поиском по документам. Основной язык — английский; заявлены общие многоязычные возможности, но языки отдельно не перечислены. Для изображений рекомендован размер сторон 40–4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее двух минут. Модель может выдавать фактически неверные ответы, неточно следовать инструкциям и хуже работать в длинных диалогах; качество также может различаться по языкам и предметным областям. Для важных решений необходимы проверка человеком и дополнительные меры безопасности. Весы доступны по лицензии Apache-2.0.

Карточка модели eth-dl-rewards/internlm2-7b-mod на Hugging Face совпадает с карточкой internlm/internlm2-7b, поэтому описание составлено по ней. InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

MiniMax-M3 — мультимодальная модель семейства MiniMax M3, разработанная MiniMax. Она предназначена для диалогов с текстом и изображениями, анализа видео, программирования и выполнения длительных агентных задач. Модель имеет около 428 млрд параметров, из которых активируется около 23 млрд; заявлена поддержка контекста до 1 млн токенов. Архитектура использует разреженное внимание MiniMax Sparse Attention (MSA), призванное снизить вычислительные затраты и расход памяти при обработке длинного контекста. Модель обучалась одновременно на разных модальностях и рассчитана на семантическую работу с текстом, изображениями и видео. В карточке заявлены высокие результаты на длительных агентных сценариях, включая программирование и совместную работу; количественные показатели бенчмарков не приведены. Для использования указаны MiniMax Agent и MiniMax API, а также локальное развёртывание через Transformers и веса safetensors. Лицензия обозначена как other, поэтому перед применением следует проверить её условия в репозитории модели.

unsloth/MiniMax-M3 — производная версия MiniMax-M3 от MiniMax, представленная в формате safetensors. Это мультимодальная модель архитектуры MoE со Sparse Attention: около 428 млрд параметров, из которых активируются около 23 млрд. Она принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Модель предназначена для диалогов с визуальным содержимым, анализа изображений и видео, программирования и агентных сценариев с вызовом инструментов. В README заявлены ускорение обработки длинного контекста и сильные результаты в длительных агентных задачах, однако конкретные бенчмарки для этой копии не приведены. Для запуска README рекомендует SGLang, vLLM или Transformers. В метаданных указана лицензия other; дополнительные условия следует сверять с лицензией базовой модели. Карточка описывает модель как дообучение MiniMaxAI/MiniMax-M3, но не сообщает о собственном обучающем наборе или отдельных изменениях относительно базы.

FadedRedStar/Qwen3.5-4B-heretic-imatrix-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-4B-heretic. Базовая модель разработана командой Qwen компании Alibaba, исходные веса подготовлены coder3101, а GGUF-квантизацию с importance matrix выполнил FadedRedStar. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев, включая работу с изображениями при использовании vision-проектора. Модель представляет собой плотный transformer примерно на 4 млрд параметров с интегрированным vision encoder и поддержкой раннего объединения модальностей. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн, поддержка 201 языка и диалекта, tool calling и формат запросов ChatML. Основные варианты весов используют квантизации IQ4_NL, Q4_K_M и Q5_K_M, оптимизированные с помощью importance matrix; vision-тензоры доступны в Q8_0 и BF16. Предусмотрены дополнительные MTP-файлы для speculative decoding. Сильной стороной модели является сочетание мультимодальности, большого контекстного окна и относительно низких требований к ресурсам, а importance matrix должна улучшать сохранение качества при низкой разрядности. Существенное ограничение — модель прошла abliteration с подавлением направлений отказа, поэтому её поведение в части отказов отличается от исходной Qwen3.5-4B и может быть менее безопасным. Приведённые показатели отказов и расхождения KL являются самоотчётными и не подтверждены независимым тестированием. Для запуска требуются совместимые с GGUF инструменты, например llama.cpp, а точные возможности зависят от выбранной квантизации и vision-проектора. В метаданных указана лицензия Apache-2.0.

TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 — дообученная мультимодальная модель семейства Qwen3.6 от TeichAI на базе Qwen/Qwen3.6-27B. Для обучения использовались наборы примеров с рассуждениями Claude Opus 4.5 и 4.6. Модель предназначена для диалогов, программирования, творческого письма, общего назначения и понимания изображений; метаданные также указывают интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и принимает текст и изображения, выдавая текст. В README приведены результаты бенчмарков ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и WinoGrande в точности mxfp8, с небольшими улучшениями относительно базовой Qwen3.6-27B в части тестов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Результаты тестов не гарантируют качество на конкретных задачах; README рекомендует следовать инструкциям по настройке исходной модели Qwen.

RadixArk Qwen3.8-Flash-Next-NVFP4 — кандидатный релиз RadixArk, представляющий квантованную версию мультимодальной модели Qwen3.8-Flash-Next. Это гибридная архитектура Transformer с Mixture-of-Experts, объединяющая GDN и разреженное QSA-внимание, multi-hyperconnection streams и PLE n-gram injection. Модель содержит около 180 млрд параметров, 48 декодерных слоёв, до 512 маршрутизируемых экспертов на MoE-слой с маршрутизацией top-10, общий эксперт и один MTP-слой. Модель принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста — до 262 тысяч токенов. Она предназначена для оценки инференса Qwen3.8-Flash-Next в задачах агентных систем, диалогов, программирования и мультимодального рассуждения. Квантование выполнено с помощью NVIDIA Model Optimizer по схеме NVFP4 W4A4 преимущественно для маршрутизируемых экспертов; размер контрольной точки уменьшен примерно с 360 до 135 ГБ. Для запуска указана интеграция с SGLang и поддержка GPU NVIDIA Blackwell, включая GB300 и B300, в Linux. По приведённым оценкам, квантование сохраняет качество в однопроходных задачах GSM8K и AIME, однако длительные агентные генерации могут выполняться дольше, чем в BF16-версии. Модель может порождать неточные, неполные, избыточные или токсичные ответы и воспроизводить предвзятость обучающих данных. Лицензия обозначена как other; условия использования необходимо смотреть у исходной модели Qwen3.8-Flash-Next.

Qwen3.8-Flash-Next-oQ4e-100K-MTP — это нативно квантованная версия Qwen3.8-Flash-Next, разработанная jedisct1 для среды oMLX и OpenAI-совместимого API на базе MLX. Модель предназначена для coding agents, других агентных сценариев, работы с текстом и изображениями, а также tool calling через совместимые клиенты. Она сохраняет vision tower Qwen4, MTP-голову и нативную архитектурную настройку контекста 262 144 токена, однако для конфигурации с 128 ГиБ памяти рекомендован безопасный общий лимит контекста 100 000 токенов. Основной формат весов — аффинное квантование oQ4e с размером группы 64; крупная PLE-таблица использует 4-битное квантование с размером группы 32. Часть компонентов оставлена в BF16 для сохранения качества вывода и эффективности MTP, а отдельные маршрутизируемые проекции — в Q8. Размер весов составляет примерно 108,8 млрд байт в 22 файлах safetensors. Модель поддерживает визуальный ввод, а README подтверждает успешное распознавание изображений и проверку вызова инструментов, но точный набор поддерживаемых языков не указан. Сильными сторонами являются очень длинный контекст, поддержка изображений и инструментов, совместимость с OpenAI API, prompt caching через SSD и оптимизация для локального запуска на Mac с 128 ГиБ памяти. Ограничения — необходимость oMLX, SSD-offload для полного контекста, значительные требования к памяти и рекомендация отключать MTP для coding agents: при включении MTP в тестах один из десяти защитных сценариев tool calling не был пройден. Модель распространяется по лицензии qwen-community-1.0; это лицензия с обозначением other, а её полный текст находится в файле LICENSE.

C4AI Command R 08-2024 — языковая модель Cohere и Cohere For AI, представленная в этом репозитории в виде дообученной версии весов CohereLabs/c4ai-command-r-08-2024. Это плотный авторегрессионный трансформер с 32,3 млрд параметров и контекстом до 131 072 токенов; в обучении применялись supervised fine-tuning и обучение на предпочтениях, а для ускорения инференса используется grouped-query attention. Модель принимает текст и генерирует текст. Модель предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. Она поддерживает генерацию на 23 языках, включая русский, и обучена на задачах grounded generation: может отвечать по предоставленным фрагментам документов и добавлять ссылки на источники, что подходит для RAG. Также поддерживает выбор внешних инструментов и формирование вызовов по специальному шаблону. Для grounded generation и использования инструментов важно соблюдать рекомендованные шаблоны промптов: отклонение от них может снизить качество. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; README также требует соблюдать Acceptable Use Policy Cohere for AI.

RedHatAI/gemma-4-31B-it-FP8-block — квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанная RedHatAI на базе модели Google. Архитектура — Gemma4ForConditionalGeneration; модель принимает текст и изображения и генерирует текст. Поддерживаются генерация текста, выполнение инструкций и tool calling, включая function calling через vLLM. Режим рассуждений включён по умолчанию в настройках шаблона чата. Модель использует FP8-квантизацию весов и активаций: веса масштабируются поблочно блоками 128×128, активации — динамически группами размера 128. Квантизация применяется к линейным операторам трансформерных блоков, тогда как vision tower, embedding и output head сохраняют исходную точность. Это примерно вдвое сокращает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением, что делает её подходящей для эффективного инференса. Модель предназначена прежде всего для развёртывания с vLLM; заявлена проверка совместимости с vLLM 0.24.0, RHOAI 3.5 и RHAIIS 3.5. В примере развёртывания используется контекст до 32768 токенов и поддержка изображений. Среди ограничений — необходимость совместимой инфраструктуры и специальных параметров vLLM для рассуждений и вызова инструментов; влияние FP8-квантизации на качество зависит от задачи, хотя в README приведены оценки на наборах GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — Apple Silicon-версия мультимодальной модели GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса предоставлены dealignai, а смешанную квантизацию oQ8e подготовила Solstice-AI. Модель распространяется в формате MLX и предназначена для локального запуска на чипах Apple Silicon M2, M3, M4 и M5. Это разреженная MoE-модель общим объёмом 320 млрд параметров, из которых около 18 млрд активируются для каждого токена; используется 288 маршрутизируемых экспертов. Модель поддерживает текст, изображения и видео, заявлены языки English и Chinese, а также нативное контекстное окно до 1 048 576 токенов. В релиз включён DFlash2 speculative drafter, который, по данным README, может обеспечивать прирост пропускной способности генерации до 3 раз. Ключевая особенность — смешанная точность около 8,6 bpw: критичные для маршрутизации и вывода компоненты защищены 8-битным или полным представлением, а vision tower и мультимодальный aligner сохранены в BF16. Модель ориентирована на рассуждения, программирование, математические задачи, анализ изображений и видео, а также работу с длинным контекстом. README заявляет высокие результаты на MMLU, SWE-bench Pro, LiveCodeBench, MATH-500, MMMU и VideoQA, но эти показатели не подтверждены независимыми источниками. Пометка UNCENSORED указывает на отсутствие обычного поведения отказа, что расширяет спектр допустимых сценариев, но может повышать риски небезопасных ответов. Лицензия — MIT.