I.4Обработка документов и форм

Gemma4 E4B 8B Heretic Ultra — версия Gemma 4 E4B Instruct от Google DeepMind, обработанная llmfan46 с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения склонности к отказам. Это плотная мультимодальная модель семейства Gemma 4 для диалога и генерации ответов по тексту, изображениям и аудио. В репозитории доступны исходные веса fp16 в формате safetensors; в отдельной ветке размещена конверсия MLX 4-bit для mlx-lm на Apple Silicon. Модель подходит для диалоговых сценариев, рассуждений, программирования, анализа изображений и обработки аудио. В приведённых автором тестах доля отказов составила 3 из 100 против 99 из 100 у исходной модели; точность на PIQA составила 85,85%, а на MMLU — 68,60%. Эти результаты относятся к указанным тестам и не гарантируют качество в других задачах. Ablation немного снизила результаты относительно исходной Gemma 4 E4B Instruct. Лицензия — Apache 2.0. Поскольку модель специально изменена для снижения отказов, она может отвечать на запросы, которые исходная модель отклоняла; следует учитывать это при выборе сценариев применения.

Mamba2-primed-HQwen3-8B-Instruct — гибридная языковая модель, подготовленная командой Hybrid Model Factory на основе Qwen3-8B. В архитектуре 18 слоёв Attention и 18 слоёв Mamba-2; модель содержит 7,6 млрд параметров и поддерживает контекст до 131 072 токенов. Она instruction-tuned и предназначена для генерации текста и диалогов, следования инструкциям и работы с длинными контекстами. Сочетание Attention и Mamba-2 сокращает долю растущего KV-кэша, что помогает повысить пропускную способность и уменьшить расход памяти при длинных последовательностях. По данным карточки, модель может уступать базовой Qwen3-8B в качестве, особенно на длинном контексте; Mamba-2 описана как менее выразительная, чем некоторые другие SSM-слои. Модель не поддерживает вызов инструментов и не генерирует специальные токены рассуждений. Доступна под лицензией Apache 2.0.

Muse Glimmer 30B NVFP4 — квантизированная версия мультимодальной vision-language модели Muse Glimmer 30B с базовой моделью meta-models/Muse-Glimmer-30B. Конверсия выполнена в формат NVIDIA ModelOpt NVFP4 W4A4; публикация содержит модель примерно на 29,8 млрд параметров. Модель предназначена для задач, объединяющих обработку текста и изображений, включая диалоговые, агентские, программные, математические и мультимодальные сценарии. В 52 слоях квантизированы 416 линейных проекций декодера: компоненты attention и MLP. Веса и активации представлены 4-битными значениями с блочной обработкой по 16 элементов, тогда как vision tower, адаптеры и проекции зрения, эмбеддинги, нормализации и LM head сохранены в BF16. KV-кэш не квантизирован. Размер файлов safetensors составляет около 23,38 ГБ без учёта токенизатора и конфигурации. В калибровке использовались данные для программирования, агентских задач, рассуждений, математики, мультиязычных и мультимодальных запросов, однако точный список поддерживаемых языков README не указывает. По заявленным проверкам, на сопоставимом тесте MMLU-Pro квантизированная версия показала тот же результат, что и BF16, а рост perplexity на WikiText-2 составил 4,25%; средняя дивергенция распределений следующего токена — 0,091815 ната. Это указывает на высокую близость к исходной модели, но возможна некоторая потеря качества. Работоспособность квалифицирована на одной NVIDIA RTX PRO 6000 Blackwell с native vLLM, специальным NVFP4-ядром FlashInfer, CUDA graphs и speculative decoding через Muse Glimmer DFlash; совместимость с другими конфигурациями не гарантируется. Модель распространяется по лицензии Apache-2.0.

utautako/Qwen3.8-27B-NVFP4-MTP-Q8attn-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen. Конверсию выполнил автор репозитория с использованием NVIDIA ModelOpt: MLP-слои представлены в формате NVFP4, а проекции attention и линейного внимания DeltaNet сохранены в Q8_0 для повышения точности, особенно при работе с длинным контекстом. Модель предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии: для обработки изображений поставляется отдельный BF16 vision projector, совместимый с путём Qwen3-VL. Архитектура содержит 64 текстовых слоя и один MTP-слой для speculative decoding; общий размер основного файла составляет около 17,81 GiB, а плотность — примерно 5,60 бит на вес. Заявлена поддержка контекста до 213056 токенов в текстовом режиме и до 163840 токенов при подключённом vision projector на RTX 5090 с 32 ГБ видеопамяти. К сильным сторонам относятся сохранение качества attention-компонентов за счёт Q8_0, поддержка изображений и ускорение генерации с помощью MTP: на RTX 5090 производительность достигает примерно 120–130 токенов в секунду, что примерно вдвое выше авторегрессионного режима. Ограничения включают зависимость от совместимой версии llama.cpp, значительные требования к видеопамяти и снижение эффективности speculative decoding при глубине чернового предсказания четыре и более. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель на базе Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Она предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также задач с длинным контекстом. Aggressive-профиль ориентирован на прямые ответы без выраженного поведения отказа и с минимальным вступлением в сложных запросах. Модель представляет собой плотную языковую модель на 27 млрд параметров с vision encoder: 64 слоями, скрытым размером 5120, размером FFN 17408, словарём на 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. В текстовых GGUF сохранён встроенный MTP/NextN, а отдельный профиль HauhauCS FastMTP 32K предназначен для ускорения генерации; для обработки изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются мультимодальность, большой контекст, широкий набор квантованных вариантов и потенциальное ускорение за счёт MTP. Ограничения включают необходимость значительных аппаратных ресурсов для моделей размером до 31,46 ГБ, зависимость мультимодального ввода от отдельного проектора и возможное снижение надёжности в критически важных длинноконтекстных агентских сценариях из-за Aggressive-профиля. Модель распространяется по лицензии Apache-2.0.

AEON-7/Gemma-4-12B-it-AEON-Abliterated-MLX-8bit — это 8-битная MLX-квантизованная версия модели AEON-7/Gemma-4-12B-it-AEON-Abliterated-K4-BF16, созданная сообществом AEON-7 на базе Gemma 4. Модель предназначена для локального запуска на компьютерах с Apple Silicon через mlx-vlm и поддерживает диалоговые, агентские, программные и рассуждающие сценарии, а также вызов функций и инструментов. Модель содержит около 12 млрд параметров и использует формат mxfp8 с группами по 32 элемента для линейных слоёв языкового декодера; связанная выходная голова и проекторы для vision и audio сохранены в bf16. Поддерживаются текст, изображения и аудио, включая описание изображений и транскрибацию речи. В README явно указан английский язык. Для сервера MLX заявлен размер KV-кэша до 32768 токенов, однако точное максимальное контекстное окно модели не указано. Ключевое преимущество — высокая близость к исходной BF16-версии при существенно меньших требованиях к памяти: заявлены near-lossless качество, 0,924 совпадения top-1 токенов и медианный KL около 0,002 ната на собственной выборке. Модель рассчитана на Apple Silicon, оптимально с 24 ГБ и более unified memory; размер на диске около 13,4 ГБ, рекомендуемый объём памяти — от 32 ГБ, поэтому для Mac с 16 ГБ она может быть непрактична. Это abliterated-версия с удалёнными или ослабленными механизмами отказа, что может расширять диапазон ответов, но также снижать предсказуемость защитного поведения. Указана лицензия Gemma.

NobodyWho/Google_Gemma4-E2B-GGUF — это GGUF-квантизация инструкционно настроенной мультимодальной модели Gemma 4 E2B от Google DeepMind, переопубликованная для библиотеки NobodyWho. Квантизации BF16, Q8_0 и Q4_K_M предоставлены unsloth; базовая модель — google/gemma-4-E2B-it. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений и нативного tool calling с грамматически ограниченным выводом. Она поддерживает анализ изображений через дополнительную проекционную модель mmproj-BF16.gguf, работает с текстом и изображениями, поддерживает более 140 языков и рассчитана на контекст до 131 072 токенов. Эффективный размер составляет примерно 2,3 млрд параметров, что делает модель ориентированной на локальное и on-device использование. Для всех перечисленных вариантов квантизации заявлена успешная проверка tool calling: 14 из 14 тестов. К сильным сторонам относятся мультимодальность, длинный контекст, многоязычность, поддержка вызова инструментов и доступность компактной Q4_K_M-версии. Для работы с изображениями требуется отдельная проекционная модель, а характеристики качества могут зависеть от выбранной квантизации; конкретные результаты бенчмарков в README не приведены. Модель распространяется по лицензии Apache 2.0.

Hermes-2 Θ (Theta) 70B — языковая модель Nous Research, созданная совместно с Charles Goddard и Arcee AI. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, объединяющая Hermes 2 Pro и Llama 3 Instruct; после слияния модель дополнительно обучали с помощью RLHF. Репозиторий содержит веса Safetensors, а контекст модели составляет 8192 токена. Модель предназначена для многоходового диалога на английском языке и генерации текста. Она использует формат ChatML и обучена следовать системным инструкциям, вызывать функции и формировать структурированные ответы в JSON. Также заявлена возможность извлекать признаки из документов для сценариев RAG. Для вызова инструментов приложение должно распознавать сгенерированный вызов, выполнить соответствующую функцию и передать результат модели. В README приведены результаты нескольких оценок, включая IFEval и MTBench, однако они не гарантируют качество в конкретных приложениях. Лицензия — Llama 3 Community License (llama3); перед использованием следует учитывать её условия. Указанный размер 70B требует существенных вычислительных ресурсов при запуске без квантизации.

ErtasAI/Llama-3.2-1B-Instruct — это диалоговая языковая модель на базе Meta Llama 3.2, размещённая ErtasAI. Модель содержит около 1,2 млрд параметров и использует плотную авторегрессионную архитектуру Transformer; обучение включает настройку по инструкциям. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычного общения. Модель подходит для диалогового помощника, суммаризации, поиска сведений, переписывания запросов и помощи при написании текстов, в том числе в сценариях с ограниченными вычислительными ресурсами. В карточке базовой модели официально перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; качество на других языках не гарантируется. Это дообученная версия meta-llama/Llama-3.2-1B-Instruct, поэтому её специфические изменения и преимущества в карточке не описаны. Модель предоставляется по лицензии Llama 3.2 Community License, предусматривающей собственные условия коммерческого использования.

Mistral Medium 3 — корпоративная языковая модель от Mistral AI. Она предназначена для рассуждений и мультимодальных задач при сниженных эксплуатационных затратах; описание заявляет производительность передового уровня и стоимость в восемь раз ниже.

Qwen3.6-35B-A3B Uncensored Heretic MLX 8bit — мультимодальная версия модели Qwen, разработанной Alibaba Cloud, конвертированная пользователем froggeric в формат MLX для нативной работы на Apple Silicon. Базовая модель — llmfan46/Qwen3.6-35B-A3B-uncensored-heretic; для устранения отказов использовался Heretic v1.2.0 с вариантом метода Magnitude-Preserving Orthogonal Ablation, применённым с учётом гибридной архитектуры внимания Qwen 3.6. Модель предназначена для диалогов, генерации и анализа текста, задач с изображениями и видео, рассуждений и tool calling. Поддерживаются текстовые и визуальные входы, режимы с рассуждением и без него, а также языки English, Chinese и другие языки, обозначенные как multilingual. Указаны размер класса 35B-A3B и 8-битная квантизация. Исправленный chat template поддерживает современные роли, вызовы инструментов и переключатель thinking, а также устраняет проблемы обработки визуальных входов. Сильные стороны модели — мультимодальность, работа в экосистеме MLX, совместимость с MLX-LM, MLX-VLM, LM Studio, llama.cpp, vLLM и другими движками с HuggingFace Jinja templates, а также снижение частоты отказов при заявленной минимальной потере возможностей. Для работы требуются mlx-lm версии 0.31.2 или новее и mlx-vlm версии 0.4.4 или новее. Модель распространяется по лицензии Apache-2.0. README не содержит подробных независимых результатов бенчмарков и не уточняет фактический объём контекстного окна.

Chungulus/Qwen3.8-27B-Q3_K_M-GGUF — это независимая vanilla-квантизация модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp. Квантизация Q3_K_M выполнена без дообучения, слияния, изменения выравнивания или шаблона чата. Модель поддерживает генерацию текста, нативный tool calling, обработку изображений и видео, а также режимы управления рассуждением через параметры enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Hybrid Gated DeltaNet/full-attention, vision tower и проектор; в репозитории сохранены MTP-тензоры, однако ускорение speculative decoding не заявлено. Основной файл занимает около 13,5 ГБ, vision projector — в формате F16, общий размер репозитория — около 14,4 ГБ. Для запуска рекомендуется не менее примерно 18 ГБ доступной памяти, при этом KV-cache дополнительно увеличивает потребление в зависимости от контекста. К сильным сторонам относятся сохранённые возможности исходной модели, проверенная поддержка текста, инструментов, изображений и видео, а также совместимость с нативным форматом вызова инструментов Qwen. Ограничение — возможное снижение качества из-за низкобитной квантизации; заявленные проверки не позволяют делать выводы о максимальной длине контекста. Для работы требуется runtime с поддержкой архитектуры Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

eousphoros выпустил экспериментальную производную модели Qwen3.8-27B: к исходным весам BF16 применена слитая LoRA-калибровка с нормализацией и статическим YaRN-масштабированием. Модель предназначена для диалогов и мультимодальных задач с длинным контекстом; принимает текст, изображения и видео, а в ответ генерирует текст. В каталоге Hugging Face для неё указаны архитектура Qwen3.5, 27 млрд параметров у базовой модели и контекст до 1 048 576 токенов в конфигурации автора; библиотека — Transformers. Калибровка выполнена на 137 обновлениях с использованием текстовых, агентных и мультимодальных примеров. Метрики сходства слияния проверяют корректность экспорта, но не являются оценкой общих возможностей. Полная оценка на длинном контексте, включая RULER, ещё не завершена, поэтому пригодность для конкретной нагрузки нужно проверять отдельно. Статическое масштабирование YaRN применяется на любой длине последовательности. Лицензия — Apache-2.0.

Myric/Qwen3.8-Flash-Next-APEX-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста, мультимодального анализа изображений и агентного программирования с использованием llama.cpp. В комплект входят основной файл MIDDLE для инференса, BF16-файл как источник для квантования и отдельный vision projector для работы с изображениями. Архитектура представляет собой мультимодальную MoE-модель общим размером около 180 млрд параметров и примерно 6,8 млрд активных параметров. Она содержит 48 слоёв, 512 маршрутизируемых экспертов с выбором top-10, гибридную архитектуру gated-delta-net с полноценным attention в каждом четвёртом слое, разреженное QSA-внимание и n-gram embeddings на уровне слоёв. Заявленный контекст составляет до 262 144 токенов. Поддержка языков в README не указана. Сильные стороны модели — большой контекст, мультимодальные возможности, эффективная MoE-архитектура и хорошие результаты в описанном тесте агентного программирования: 9 из 9 задач и 154 из 154 тестов. Ограничения включают высокие требования к памяти: для MIDDLE требуется около 85,4 GiB под веса, а также дополнительная память под KV-кэш и вычислительные буферы. Для llama.cpp рекомендуется использовать f16 KV-кэш и один параллельный слот; q8_0 KV может приводить к сбоям или некорректным результатам. Параметр reasoning effort high не поддерживается, допустимы xhigh, medium и low. Для работы с изображениями требуется vision projector. Модель распространяется по лицензии Apache-2.0. Для запуска опубликованных файлов необходима актуальная версия llama.cpp с поддержкой qwen4exp; самостоятельная конвертация требует специальной ветки конвертера, поскольку соответствующее исправление ещё не включено upstream.

Jackrong/Qwopus3.6-27B-v2-GGUF — мультимодальная плотная модель на 27 млрд параметров, разработанная Jackrong на базе Qwen3.6-27B и представленная в формате GGUF. Модель дообучена методом supervised fine-tuning в рамках трёхэтапной учебной схемы с использованием наборов данных Jackrong/Claude-opus-4.6-TraceInversion-9000x и Jackrong/Claude-opus-4.7-TraceInversion-5000x. В заявленных возможностях указаны генерация текста, анализ изображений, рассуждения, tool use и function calling. Модель предназначена для диалоговых и агентных сценариев, решения задач, требующих структурированного рассуждения, работы с изображениями и взаимодействия с инструментами. Подход Trace Inversion используется для реконструкции подробных рассуждений и снижения логических упрощений, а форматирование с тегами <think> ориентировано на единообразную структуру вывода и последующее применение в reinforcement learning. Заявлены языки English, Chinese, Spanish, Russian и Japanese. К сильным сторонам относятся крупный размер, поддержка vision и инструментов, а также акцент на многошаговом рассуждении и совместимости с llama.cpp и Transformers. При этом README не содержит результатов бенчмарков, точного размера контекста, конкретных характеристик архитектуры, требований к ресурсам или подробностей о вариантах квантования, поэтому эти параметры нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache 2.0.

Ahadadada Jailbreak Qwen3.8-27B — модифицированная jailbreak-версия модели Qwen3.8-27B, опубликованная пользователем или организацией Ahadadada. Модель сохраняет исходные возможности базовой модели и ориентирована на диалоговые сценарии, генерацию текста, программирование, агентские задачи, рассуждения и обработку изображений, видео и документов. Заявлено отсутствие стандартных фильтров безопасности, поэтому модель обычно отвечает более прямо и редко отказывается от запросов. Модель содержит 27 млрд плотных параметров и использует архитектуру qwen35 с гибридом SSM и attention: 64 слоя, включая 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Размерность скрытого состояния составляет 5120, размерность FFN — 17408, словарь содержит 248 320 токенов. Заявлен нативный контекст 262K токенов с возможностью расширения через YaRN. Поддержка мультимодальности реализуется через отдельный файл mmproj, а MTP с параметром n_max=3 предназначен для ускорения инференса. Доступны GGUF-квантизации APEX-I-Mini, Q4_K_M, Q5_K_M, Q6_K и Q8_0. В приведённых тестах вариант APEX-I-Mini в среднем уступил базовой bf16-модели 1,9 процентного пункта по HellaSwag, Winogrande и ARC-Challenge, хотя результаты зависят от квантизации и настроек. Для работы с изображениями требуется отдельный mmproj-файл; рекомендуются llama.cpp с поддержкой шаблонов Jinja и достаточным объёмом контекста. Модель распространяется по лицензии Apache-2.0, однако снятие защитных ограничений повышает риски небезопасного или вредоносного применения.

airoboros-l2-13b-3.1.1 — экспериментальная инструктивная языковая модель на архитектуре Llama 2, дообученная автором jondurbin на наборе синтетических и других примеров airoboros-3.1. Она предназначена для выполнения инструкций и диалогов в формате чата Llama 2; модель содержит 12,9 млрд параметров и имеет контекстное окно 4096 токенов. Модель подходит для ответов на вопросы по предоставленному контексту, суммаризации, математических задач с формированием MathJSON, извлечения полей из журналов, анонимизации текста, программирования и планирования действий с инструментами. По описанию она сильнее ориентирована на точное следование инструкциям, чем на непринуждённый чат и ролевые диалоги. Для математических ответов автор рекомендует низкую температуру генерации; формат чата должен соответствовать шаблону Llama 2. Это дообученная модель, опубликованная в формате safetensors. В карточке указана лицензия Llama 2. Разработчик описывает её как экспериментальную; результаты могут быть нестабильными, а генерация MathJSON и вызовы функций требуют внешнего разбора и выполнения. Русский язык явно не заявлен.

DeepSeek-V4.1-Flash-EXL3-2.9bpw — это квантованная версия мультимодальной модели DeepSeek-V4.1-Flash, разработанной DeepSeek-AI. Квантование выполнено Mia’s AI Lab в формате EXL3 с использованием exllamav3 версии 1.4.2. Модель предназначена для задач генерации и анализа текста и изображений, включая сценарии с рассуждением и большим контекстом, при запуске в совместимых средах vLLM, ExLlamaV3 или TabbyAPI. В основе лежит MoE-архитектура с 552 млрд параметров и активацией 8–16 млрд параметров на токен. Поддерживаются мультимодальный ввод, зрительный модуль, DSpark, CED, CSA2 и Engram memory; заявлен контекст до 1 млн токенов. Средняя битность квантования декодера составляет 2,90 bpw, размер сборки — около 197 ГБ в 39 safetensors-частях. Включены vision-компоненты и DSpark, однако таблицы Engram не квантованы и требуют дополнительных оригинальных шардов 47 и 48 базовой модели общим объёмом около 190 ГБ. Сильными сторонами являются существенно сниженные требования к хранению по сравнению с полноразмерной моделью, поддержка длинного контекста, мультимодальность и встроенное спекулятивное декодирование DSpark. Ограничения связаны с необходимостью дополнительных Engram-шардов, использованием специализированного EXL3-совместимого стека и тем, что показатели качества из карточки базовой модели не относятся напрямую к этой квантованной сборке. Модель распространяется по лицензии MIT без дополнительных ограничений со стороны квантования.

Это GGUF-сборка Huihui-Nex-N2-mini-abliterated, подготовленная LocalAI с использованием APEX — смешанной MoE-квантизации с учётом роли и слоя тензоров. Модель основана на гибридной архитектуре Qwen3.5 с 40 слоями, 256 экспертами (8 активны одновременно), линейным вниманием SSM и полным вниманием; всего около 35,1 млрд параметров, из которых активно около 3 млрд. В сборках MTP сохранена встроенная черновая голова предсказания следующего токена для спекулятивного декодирования. Модель предназначена для диалогов и задач с изображениями. Вариант APEX I-Quality калиброван на разнообразных примерах чата, кода, рассуждений и вызова инструментов. MTP-варианты могут ускорять генерацию, но требуют свежей сборки llama.cpp с поддержкой встроенного MTP; вариант без MTP совместим с более широким диапазоном сборок. Репозиторий содержит несколько вариантов GGUF-квантования примерно по 22,8–24,5 ГБ. Это uncensored-производная: удаление направления отказов может приводить к ответам на запросы, от которых исходная модель отказалась бы. Лицензия — Apache-2.0.

Карточка модели Aregay01/Kimi-K2.6 на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.6, поэтому описание составлено по ней. Kimi K2.6 — открытая мультимодальная агентная модель компании Moonshot AI для сложных задач программирования, проектирования интерфейсов, автономного выполнения многошаговых задач и координации групп агентов. В карточке Hugging Face указана архитектура семейства Kimi K2.5 для условной генерации, а README описывает MoE-модель с 1 трлн параметров, из которых активны 32 млрд. Модель принимает текст, изображения и видео; заявленная длина контекста в описании испытаний составляет 262 144 токена. Модель предназначена для создания и изменения кода, генерации интерфейсов по текстовым и визуальным запросам, а также выполнения задач с инструментами и параллельными агентами. По данным README, она может координировать до 300 подагентов и 4 000 шагов и рассчитана на работу с языками программирования, включая Rust, Go и Python. Метаданные Hugging Face отмечают чат-возможность и задачи генерации текста и преобразования изображений в текст. Указана лицензия other; её конкретные условия следует проверять в репозитории модели. README сообщает о нативной INT4-квантизации и рекомендует vLLM, SGLang и KTransformers для запуска.

Kimi K2.6 — открытая мультимодальная агентная модель компании Moonshot AI для сложных задач программирования, проектирования интерфейсов, автономного выполнения многошаговых задач и координации групп агентов. В карточке Hugging Face указана архитектура семейства Kimi K2.5 для условной генерации, а README описывает MoE-модель с 1 трлн параметров, из которых активны 32 млрд. Модель принимает текст, изображения и видео; заявленная длина контекста в описании испытаний составляет 262 144 токена. Модель предназначена для создания и изменения кода, генерации интерфейсов по текстовым и визуальным запросам, а также выполнения задач с инструментами и параллельными агентами. По данным README, она может координировать до 300 подагентов и 4 000 шагов и рассчитана на работу с языками программирования, включая Rust, Go и Python. Метаданные Hugging Face отмечают чат-возможность и задачи генерации текста и преобразования изображений в текст. Указана лицензия other; её конкретные условия следует проверять в репозитории модели. README сообщает о нативной INT4-квантизации и рекомендует vLLM, SGLang и KTransformers для запуска.

Карточка модели 1024m/Llama-3.2-3B-Base на Hugging Face совпадает с карточкой alpindale/Llama-3.2-3B, поэтому описание составлено по ней. alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

MiniMax-M3-MXFP4 — это мультимодальная vision-language модель на базе MiniMax-M3, разработанная MiniMaxAI и представленная в виде производной 4-битной квантизованной версии от olka-fi с использованием qstream. Модель предназначена для обработки текста и изображений, генерации ответов, решения математических и других интеллектуальных задач, а также сценариев с большим контекстом и вызовом инструментов. Она использует разреженную MoE-архитектуру с 128 экспертами, выбором top-4 экспертов и одним общим экспертом, поддерживает контекст до 256K токенов и включает CLIP vision tower с проектором. Базовая архитектура также использует SwiGLU-OAI и block-sparse attention с lightning-indexer. Основное назначение версии MXFP4 — значительно уменьшить размер модели при сохранении качества. Около 95% весов, относящихся к маршрутизируемым MoE-экспертам, представлены в формате MXFP4 с 4-битными значениями и групповыми масштабами E8M0 для групп по 32 элемента; чувствительные к качеству компоненты сохранены в MXFP8, BF16 или F32. Размер контрольной точки составляет около 237 ГБ против 444 ГБ у исходной MXFP8-версии, а объём весов — примерно 221 ГиБ. В приведённых тестах модель показала perplexity 5,32 на чистом английском тексте и точность 92,9% на GSM8K. Модель рассчитана прежде всего на серверное развёртывание через совместимую экспериментальную сборку vLLM и требует специального патча для MoE-квантизации; для полной конфигурации необходимы GPU с памятью порядка 256–275 ГБ, например B300. Сильными сторонами являются большой контекст, сохранённая обработка изображений, существенное сокращение объёма и высокая скорость генерации на поддерживаемом оборудовании. Ограничения включают значительные требования к видеопамяти, экспериментальный статус поддержки MXFP4 в vLLM и необходимость специальной настройки. Модель распространяется по MiniMax Community License, унаследованной от базовой модели; лицензия допускает некоммерческое использование.

lued/Qwen3.8-27B-heretic-ara-INT8-W8A16-MTP — квантизированная версия модели heretic-org/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B от Qwen. Репозиторий lued содержит численную W8A16-квантизацию; исходная модель была изменена проектом Heretic с применением abliteration для устранения встроенного профиля отказов. Модель предназначена для диалоговых и мультимодальных задач, включая работу с изображениями, рассуждения и генерацию текста, и оптимизирована для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Модель имеет 27 млрд параметров, сохраняет vision tower, управление режимом рассуждений и нативный контекст до 262 144 токенов. Веса представлены в INT8 с форматом W8A16, активации поддерживают FP16 или BF16, а голова MTP сохранена в исходном BF16 для speculative decoding. Используется симметричная data-free RTN-квантизация с размером группы 128 и форматом compressed-tensors; проверенный профиль vLLM включает tensor parallelism на двух GPU, FP8 E4M3 KV-кэш и три draft-токена MTP. Расширение контекста до 1 млн токенов с YaRN относится к исходной модели и требует отдельной настройки и достаточного объёма KV-кэша. Сильными сторонами являются уменьшенный объём памяти, совместимость с Ampere без нативного FP8 tensor-core исполнения, сохранение мультимодальности и длинного контекста, а также устранение отказов на указанном наборе из 100 вредоносных запросов исходной abliteration-моделью. Ограничением является намеренное изменение поведения: abliteration привела к заметному сдвигу распределения, а отсутствие отказов не означает гарантии безопасного использования. Производительность и поведение могут зависеть от конфигурации vLLM и доступной памяти. Модель распространяется по лицензии Apache 2.0.

Joestar79/Qwen3.8-27B-OBLITERATED-NVFP4 — производный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, прошедший V3 abliteration авторами OBLITERATUS и квантование NVIDIA ModelOpt 0.45.0. Модель предназначена для текстовой генерации, работы с изображениями, рассуждений и вызова инструментов через vLLM. Поведение отказов удалено, поэтому модель выполняет запросы, которые исходная версия могла отклонять; ответственность за законность использования и настройку защитных ограничений лежит на операторе. Модель использует квантование NVFP4 W4A16: размер на диске составляет около 21,5 ГБ вместо 55,6 ГБ у исходной BF16-версии. Весовая часть упакована в FP4, а vision tower, MTP head, lm_head, embeddings и отдельные внутренние компоненты линейного внимания сохранены в BF16. MTP head подключён для speculative decoding, поддерживается контекст до 126 976 токенов, а шаблон чата включает диалект вызова инструментов qwen3_coder. В README не указаны полный список языков и точное число параметров сверх обозначения 27B. Чекпойнт рассчитан прежде всего на запуск на одной NVIDIA RTX 5090 с 32 ГБ памяти и совместим с другими картами Blackwell и FP4-совместимыми серверными GPU. На RTX 5090 заявлена пропускная способность около 40 токенов в секунду для одного потока и до 317 токенов в секунду суммарно для восьми потоков. Ограничения включают известную проблему с зацикливанием генерации при некоторых условиях, возможное снижение эффективности speculative decoding из-за несовпадения MTP head с abliteration-весами и отсутствие калибровки квантования под конкретные задачи. Модель не рекомендуется для публичного неаутентифицированного развёртывания; перед критически важным применением её следует сравнить с BF16-версией. Лицензия — Apache-2.0. Производная модель наследует знания, предубеждения и потенциальные ошибки базовой модели, а удаление отказов повышает риск небезопасных или нежелательных ответов.

Qwen3.8-3.6-27B-blend-GGUF — неофициальная производная модель JetBrains на основе моделей Qwen, разработанных Alibaba Cloud. Это GGUF-квантизированная версия базовой модели JetBrains/Qwen3.8-3.6-27B-blend, предназначенная для локального запуска через llama.cpp, включая сценарии программирования, рассуждений и работы с изображениями. Базовая модель представляет собой равное смешение параметров Qwen3.6-27B и Qwen3.8-27B; конфигурация, токенизатор, процессор и шаблон диалога унаследованы от Qwen3.8-27B. Модель имеет размер 27B параметров, поддерживает текстовый и визуальный ввод, встроенную MTP-голову для speculative decoding и отдельный vision encoder с проектором. Доступны квантизации IQ3_S, Q4_K_M и Q5_K_M размером примерно от 12,60 до 19,54 ГБ; для изображений требуется дополнительный файл vision GGUF объёмом 0,93 ГБ. В README языки и размер контекстного окна самой модели не указаны; в проверенной конфигурации использовался контекст 8192 токенов. Сильные стороны модели — локальный запуск, поддержка изображений, режима рассуждений и ускорения через native MTP, а также успешные функциональные проверки текста, изображений, потоковой выдачи и конкурентных запросов. Приведённые показатели принятия черновых токенов являются отдельными результатами smoke-тестов и не подтверждают качество или реальное ускорение. Модель тестировалась на llama.cpp с поддержкой Qwen3.5 native MTP; для работы рекомендуется сохранять указанные в README параметры семплирования. Распространение заявлено по Apache License 2.0 с сохранением исходной лицензии Qwen и атрибуции JetBrains.

Vontra/Qwen3.8-Flash-Next-MLX-oQ3-MTP — это квантованная MLX-версия Qwen3.8-Flash-Next, подготовленная разработчиком Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для запуска на Apple Silicon через совместимые среды MLX и oMLX, включая задачи генерации текста и обработки изображений благодаря архитектуре vision-language. Модель использует архитектуру qwen4_exp со sparse mixture-of-experts, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и n-граммными embeddings. Всего заявлено 125 млрд параметров языковой модели, из которых активно используется около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Контекст составляет 262 144 токена, а upstream-версия допускает расширение до 1 млн токенов. В состав включён native MTP-блок на 4 млрд параметров для speculative decoding. Квантование oQ3 использует 3-битную аффинную основу с размером группы 32 и 746 модулями повышенной точности: части весов представлены в 4-, 5-, 6- и 8-битном формате. Модель занимает около 92,5 ГБ и поставляется в формате MLX safetensors. В тесте на Apple M3 Studio включение native MTP повысило скорость генерации с 26,54 до 29,08 токена в секунду, однако фактическая производительность зависит от длины контекста, версии runtime, памяти и тепловых условий. Для работы требуется runtime с явной поддержкой qwen4_exp и native MTP; неподдерживаемые среды могут не загрузить модель. Модель распространяется по лицензии Qwen Community License 1.0. README не содержит полных сведений о результатах upstream-оценок, безопасности и ограничениях исходной модели; за ними следует обращаться к оригинальной карточке Qwen3.8-Flash-Next.

airoboros-l2-7b-2.2.1 — экспериментальная инструкция-настроенная языковая модель jondurbin на архитектуре Llama. Это обновлённая версия airoboros-l2-7b-2.2: в обучении использованы преимущественно синтетические данные набора airoboros-2.2.1, обновлены примеры написания текстов, добавлены более длинные контекстные блоки и удалены данные для ролевых сценариев. Модель содержит 6,6 млрд параметров, работает с контекстом до 4096 токенов и распространяется в формате PyTorch по лицензии Llama 2. Модель предназначена для следования инструкциям, ответов на вопросы по предоставленному контексту, суммаризации, написания текстов и кода. Также она может формировать JSON- или YAML-подобные аргументы и планы для сценариев вызова функций, но выполнение этих планов требует отдельной реализации. Карточка отмечает склонность к инструкциям вместо непринуждённого общения и ролевой игры. Для диалога используется формат с маркерами USER и ASSISTANT; для вопросов по источникам автор рекомендует явные разделители контекста и инструкции не выдумывать ответ при нехватке сведений. Модель может галлюцинировать, поэтому её ответы и планы следует проверять; для предотвращения продолжения от лица пользователя нужно настроить критерии остановки генерации.

bigstral-12b-32k-8xMoE — диалоговая языковая модель на архитектуре Mixtral с разреженной смесью экспертов (MoE), опубликованная bartowski. Она создана с помощью ветки MoE инструмента mergekit на основе Mistral-7B-Instruct-v0.2 и содержит 12,3 млрд параметров. Модель предназначена для генерации текста и ответов в диалоговом формате; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. В репозитории представлены веса Safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя.

Карточка модели imtoolonley/Gemma-4-12B-it-qat-JANG_4M-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-12B-it-qat-JANG_4M-CRACK, поэтому описание составлено по ней. Gemma 4 12B JANG4M CRACK — мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная dealignai. Это дообученная и квантизованная версия с плотной унифицированной архитектурой для обработки текста и изображений; в README также заявлена поддержка аудиовхода. Модель предназначена для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с визуальными входами. Квантизация JANG_4M использует 8-битные веса для attention и 4-битные для MLP. Авторы сообщают о сохранении возможностей базовой модели, включая vision и audio, и приводят результаты собственных проверок MMLU и HarmBench. Метаданные указывают библиотеку MLX и формат safetensors; для запуска README требует Apple Silicon и vMLX с поддержкой Gemma 4. Модель описана как abliterated: авторы заявляют об удалении отказов и высокой доле выполнения запросов из категорий HarmBench. Это важное ограничение для сценариев, где требуется безопасное ограничение ответов. Лицензия — Gemma; авторы указывают исследовательское назначение и возлагают на пользователей ответственность за соблюдение применимых законов.