II.9Статистика, эксперименты и причинный анализ

K2-Horizon-0.9B GGUF — набор общественных GGUF-квантизаций компактной плотной reasoning-модели класса 0,9 млрд параметров K2-Horizon-0.9B, разработанной IFM. Квантизации подготовлены сообществом; этот выпуск не является официальным релизом или одобрением IFM. Модель предназначена для локального запуска через llama.cpp. Модель рассчитана на англоязычные и китайскоязычные диалоги, рассуждения, программирование, научные задачи и сценарии с использованием инструментов. Она поддерживает контекст до 128K токенов и использует масштабирование RoPE методом YaRN. В выпуск входят варианты от Q8_0 до Q1_0 и IQ1_M/IQ2_XS; размер файлов составляет примерно от 0,21 до 1,07 ГиБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Высокобитные варианты обеспечивают более высокую точность, а Q4_K_M заявлен как рекомендуемый начальный вариант для общего применения. Агрессивные низкобитные варианты снижают требования к памяти, но могут заметно ухудшать рассуждения, следование инструкциям и надёжность вызова инструментов. Поддержка K2-Horizon в llama.cpp находится на стадии предварительного релиза: полнофункциональный шаблон для tool calling не разбирается используемой версией runtime, поэтому вызов инструментов этим выпуском не сертифицирован. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию и лицензию исходной модели при перераспределении.

QwQ-MathOct-7B — дообученная PrithivMLmods языковая модель на базе Qwen/Qwen2.5-7B-Instruct. Это плотная причинная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Она ориентирована на математические задачи, рассуждения, помощь с кодом, следование инструкциям и создание структурированных ответов; поддерживает контекст до 32 768 токенов и работает через Transformers. Модель подходит для пошагового объяснения решений, генерации и разбора кода, подготовки учебных материалов, многоязычного общения и создания содержимого. В карточке заявлена поддержка более 29 языков, включая русский и английский. Возможные ограничения — ошибки в неоднозначных задачах, устаревшие знания, унаследованные от обучающих данных смещения и необходимость проверки ответов, особенно в чувствительных сценариях. Указана лицензия Apache-2.0.

Sombrero-QwQ-32B-Elite11 — дообученная 32-миллиардная языковая модель prithivMLmods на базе Qwen/QwQ-32B, построенная на архитектуре Qwen2 и распространяемая в формате Safetensors. Модель предназначена для генерации текста и диалогов, с акцентом на программирование, математические задачи, логические рассуждения и подробные объяснения. Метаданные указывают контекст до 131 072 токенов; README заявляет поддержку входа до 256 000 токенов и генерацию до 12 000 токенов за ответ. Модель подходит для генерации и отладки кода, пошагового решения задач, подготовки технической документации, длинных ответов и многоязычных диалогов. README заявляет поддержку более 35 языков, включая русский, однако метаданные карточки подтверждают только английский. Также заявлен режим оптимизации памяти, но подробности реализации не приведены. Для работы с длинным контекстом требуются значительные ресурсы GPU или TPU; ответы могут содержать ошибки и предвзятость, качество зависит от формулировки запроса, а доступа к актуальным данным модель не имеет. Лицензия — Apache-2.0.

Это конверсия модели DeepSeek-R1-Distill-Qwen-7B в формат MLX для локального запуска на графическом процессоре Apple Silicon. Конверсию подготовил SirSahOl на базе архитектуры Qwen2ForCausalLM; модель содержит 7,1 млрд параметров и распространяется в формате safetensors с 16-битными весами bfloat16. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и помощи с программированием. Вариант 16-bit сохраняет исходную точность весов и ориентирован на оценивание, сравнение результатов и локальную работу на компьютерах Apple Silicon с достаточной объединённой памятью; для весов требуется около 15,2 ГБ, а README рекомендует не менее 24 ГБ памяти. Лицензия — MIT. Это преобразование весов в формат MLX, специализированный для Apple Silicon; README указывает, что репозиторий предназначен для GPU этих устройств. На длинных контекстах потребление памяти существенно возрастает, а скорость зависит от оборудования и длины контекста.

RedHatAI/diffusiongemma-26B-A4B-it-NVFP4 — это квантизированный вариант модели google/diffusiongemma-26B-A4B-it, подготовленный Red Hat AI. Модель предназначена для генерации текста и обработки задач image-text-to-text; поддерживает работу через Transformers и vLLM. Веса и активации квантизированы в формат NVFP4 с 4-битным представлением, а сохранение выполнено в формате compressed-tensors с использованием llm-compressor. Исходная модель содержит около 25,8 млрд параметров, включая примерно 22,8 млрд экспертных и 3 млрд неэкспертных параметров. В составе указаны текстовые и визуальные компоненты, включая vision tower, однако точные поддерживаемые языки и размер контекстного окна в карточке не приведены. Модель ориентирована на диалоговые сценарии, рассуждения, решение математических и научных задач, следование инструкциям и обработку мультимодальных запросов. Сильная сторона версии NVFP4 — существенное снижение требований к памяти и возможность эффективного развёртывания на совместимом оборудовании. По приведённым тестам на одной GPU B200 качество в большинстве задач близко к исходной неквантизированной модели: показатели сохранения качества составили около 97–100% на AIME 2025, GPQA Diamond, IFEval и GSM8K, а на MMLU 0-Shot результат оказался выше исходного. Ограничения включают возможные потери качества из-за квантизации и зависимость от совместимых версий Transformers, vLLM и параметров запуска; в карточке также не приведены подробные ограничения применения и результаты для языков. Модель распространяется по лицензии Apache 2.0. Для развёртывания заявлена проверка совместимости с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

Dolphin 2.9.2 Mixtral 8x22B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с архитектурой Mixtral MoE и классом MixtralForCausalLM; в репозитории веса представлены в safetensors. Всего указано 22 млрд параметров, базовая модель поддерживает контекст до 65 536 токенов, а дообучение выполнялось с длиной последовательности 16 000 токенов. Модель предназначена для диалогов и следования инструкциям, генерации кода и начальных агентных сценариев; также заявлена поддержка вызова функций. Обучение включало SystemChat 2.0, созданный для следования системным инструкциям в продолжительных беседах, и другие наборы диалоговых, кодовых и математических данных. Для взаимодействия используется шаблон ChatML. В карточке указан английский язык. Авторы характеризуют модель как uncensored и отмечают высокую готовность выполнять запросы, в том числе неэтичные; перед предоставлением пользователям может потребоваться собственный слой ограничений. Веса выпущены по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

QuantFactory/Llama3.1-8B-ShiningValiant2-GGUF — квантизированная версия чат-модели Shining Valiant 2, созданная QuantFactory с использованием llama.cpp на основе ValiantLabs/Llama3.1-8B-ShiningValiant2. Исходную модель разработала Valiant Labs; она дообучена на базе Meta-Llama-3.1-8B-Instruct, релиз от 6 августа 2024 года. Модель предназначена для диалогов и генерации текста, включая общие вопросы, объяснение научных и инженерных тем, технические задачи и структурированное рассуждение. Она ориентирована на дружелюбные, воодушевляющие, содержательные и познавательные ответы. Указан английский язык, текстовая модальность и архитектура Llama; размер — 8 миллиардов параметров. Модель использует формат промптов Llama 3.1 Instruct. Размер контекста в README не указан. К сильным сторонам относятся специализация на научно-технических знаниях, улучшенная согласованность ответов и гибкость общения. К ограничениям относятся зависимость качества от базовой модели и выбранного квантизированного формата; сведения о точности, конкретных вариантах квантования, системных требованиях и ограничениях безопасности не приведены. Лицензия указана как llama3.1.

Phi-4-QwQ — дообученная на базе Microsoft Phi-4 языковая модель для диалогов и генерации текста с акцентом на пошаговое рассуждение и ответственное решение задач. Модель содержит 14,1 млрд параметров, использует плотную архитектуру и доступна в формате safetensors для библиотеки Transformers; заявленный контекст — 16 384 токена. Модель предназначена для разложения сложных задач на этапы, логических и математических рассуждений, объяснений, учебного сопровождения, написания текстов и диалоговых помощников. В README описано дообучение методами SFT и DPO на синтетических и отфильтрованных данных. Карточка заявляет многоязычные возможности, однако метаданные указывают только английский язык. Модель может ошибаться при неоднозначных запросах, воспроизводить смещения и выдавать вредные или устаревшие ответы; для критически важных сценариев нужна проверка человеком. Для узкоспециализированных областей может потребоваться дополнительная настройка. Лицензия — MIT.

WaveCut/Qwen3.8-Flash-Next-REAM-288-Q8E-MLX — квантизированная MLX-версия модели WaveCut/Qwen3.8-Flash-Next-REAM-288, построенная на базе Qwen3.8-Flash-Next. Разработчик карточки — WaveCut; метод REAM создан исследователями Samsung SAIL Montréal. Модель относится к мультимодальному классу image-text-to-text, однако в README подробно описано преимущественно применение для текстовой генерации и agentic coding. Она предназначена для программирования, рефакторинга, математических и общих текстовых задач, а также работы с английским, русским, кодом и редкими сущностями. Точный размер базовой модели и длина контекста в README не указаны. Архитектура использует mixture-of-experts: сохранено 288 экспертных слотов, а 224 удаляемых эксперта не отбрасываются, а объединяются с наиболее похожими сохранёнными экспертами. Основная часть модели квантизирована до 4 бит, экспертные веса представлены в 8-битном формате с группировкой gs64; модель совместима с mlx-vlm и поддерживает стандартный runtime с qwen4_exp. По сравнению с REAP-288 объединение экспертов лучше сохраняет близость к исходной 512-экспертной модели по KL-метрике, а опубликованные 4-битные сравнения показывают сопоставимые или немного более высокие результаты на HumanEval, GSM8K и тесте редких имён, хотя различия статистически незначимы. Ограничение — большой размер текущей сборки: около 107 ГБ, из-за чего она не помещается на GPU с 80 ГБ памяти; генеративное тестирование именно этой сборки не проводилось. Для спекулятивного декодирования требуется отдельный MTP drafter. Лицензия указана как qwen-community-license-1.0.

KnutJaegersberg/Tri-21B-Think-gguf — GGUF-версия модели Tri-21B-Think-Preview, подготовленная на основе Tri-21B. Это причинная языковая модель с декодерным Transformer, RoPE, SwiGLU, RMSNorm и GQA, содержащая 20,73 млрд параметров. Она дообучена для диалогов, пошаговых рассуждений и использования инструментов. Контекст составляет 32 768 токенов, а с YaRN может расширяться до 262 144 токенов. Модель предназначена для генерации ответов в чат-сценариях, решения задач на рассуждение и работы с длинными текстовыми запросами. В первую очередь она оптимизирована для английского, корейского и японского языков; на других языках качество может снижаться. Это промежуточный чекпойнт, и README указывает на Tri-21B-Think как на финальную версию. Для базовой Tri-21B указана лицензия trillion, а для Think и Think-Preview — Apache 2.0; при этом метаданные репозитория обозначают лицензию как other, поэтому условия использования следует сверить с файлами лицензии в репозитории.

calcuis/deepseek-r1 — это квантованная версия DeepSeek-R1 в формате GGUF, основанная на модели deepseek-ai/DeepSeek-R1. Разработчик исходной модели — DeepSeek; репозиторий calcuis предоставляет её GGUF-представление. Модель предназначена для генерации текста и запуска через совместимые GGUF-коннекторы, включая gguf-connector, что подходит для локального или специализированного инференса. README отдельно отмечает исправленную загрузку и совместимость с архитектурой llama. Исходный DeepSeek-R1 — текстовая модель с архитектурой MoE, 671 млрд общих параметров и 37 млрд активируемых параметров. Указан английский язык; поддержка других языков, точный размер квантованного файла, допустимая длина контекста и конкретный вариант квантования для этой сборки в README не описаны. Приведённые результаты исходной модели показывают сильные стороны в математике, программировании, рассуждениях и китайских языковых тестах, однако эти показатели не обязательно полностью отражают характеристики данной квантованной версии. К ограничениям относятся зависимость от совместимого GGUF-коннектора и возможное снижение качества или точности из-за квантования; конкретные потери качества не представлены. Модель распространяется по лицензии MIT. Использование требует оборудования и программной среды, совместимых с GGUF и выбранным размером квантованного файла.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная версия модели Gemma 4 12B от Google DeepMind, модифицированная HauhauCS. Это GGUF-сборка с уменьшенным количеством отказов в ответах, предназначенная для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надёжность. Модель поддерживает текстовый ввод и изображения через отдельный mmproj-модуль; заявленный язык — английский. Модель имеет плотную архитектуру размером 12B параметров и контекстное окно 256K токенов. Основной файл использует QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; заявляется сохранение качества, близкого к полной точности. В комплект входит MTP-голова для speculative decoding, которая в llama.cpp, по данным автора, обеспечивает примерно на 60% более высокую скорость генерации без изменения проверенного результата. Поддерживаются llama.cpp, LM Studio, Jan, koboldcpp и другие GGUF-совместимые среды. К сильным сторонам относятся большое контекстное окно, поддержка изображений, оптимизация под 4-битную квантизацию, ускоренная генерация с MTP и настройка для кодинга, рассуждений и творческих задач. Ограничения включают зависимость визуального режима от отдельного mmproj-файла, экспериментальный характер заявлений об отсутствии отказов и ограниченность тестирования ускорения llama.cpp. Для LM Studio отмечена возможная нестабильность в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоёв. Модель распространяется по лицензии Gemma.

Ling-3.0-flash — разговорная языковая модель компании Inclusion AI для генерации текста, рассуждений и выполнения агентных задач. В README описана гибридная линейная архитектура MoE с чередованием Kimi Delta Attention и gated MLA; заявлены 124 млрд параметров всего и 5,1 млрд активных на токен. Метаданные Hugging Face указывают размер 3,5 млрд параметров, поэтому точный размер модели по источникам расходится. Модель предназначена для задач программирования, следования инструкциям, математических рассуждений, работы с длинным контекстом и агентных сценариев, включая исследование и многошаговые рабочие процессы. Заявленное контекстное окно — 262 144 токена. README сообщает о тестировании на бенчмарках для кодирования и агентов, но это не гарантирует аналогичное качество в конкретных приложениях. Модель принимает текст и генерирует текст; сведений о поддержке других модальностей нет. Лицензия — MIT.

JANGQ-AI/Nemotron-Cascade-2-30B-A3B-JANG_4M — квантованная версия NVIDIA Nemotron-Cascade-2-30B-A3B, подготовленная Jinho Jang с помощью открытого формата и движка JANG для MLX. Это языковая модель для диалогов и генерации текста с пошаговым режимом рассуждений и интерфейсом вызова инструментов. В основе — гибридная архитектура Nemotron-H: Mamba-2, смесь экспертов (MoE) и слои внимания; в README указаны 52 слоя и 128 экспертов с выбором шести. Квантование JANG_4M использует 4,1 бита и 8-битные веса внимания. Метаданные указывают 1,9 млрд параметров и контекст до 262 144 токенов. Модель ориентирована на рассуждения, в том числе решение математических задач, а также на обычные диалоги и агентные сценарии. По результатам теста MMLU на 200 вопросах, приведённым автором карточки, она набрала 93% в режиме рассуждений; это результат собственного тестирования, а не независимая оценка. Для запуска нужны Apple Silicon с не менее чем 24 ГБ объединённой памяти и совместимая среда MLX, например MLX Studio или пакет JANG для MLX; обычные загрузчики MLX могут не поддерживать отображение весов этой архитектуры. В карточке указана лицензия «other», конкретные условия следует проверять у автора базовой модели и производной версии.

Qwen2.5-Coder-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-Coder-32B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и работы с программным кодом, включая сценарии чат-взаимодействия и задачи, где требуется понимание или создание кода. В README указан английский язык, а для общения используется шаблон ChatML. Модель имеет размер 32 млрд параметров и поддерживает контекст до 128 000 токенов при запуске через LlamaEdge. Доступны варианты с разной степенью квантизации — от Q2_K до Q8_0, а также F16; размер файлов составляет примерно от 12,3 до 34,8 ГБ, причём варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между качеством и размером. Более сильная квантизация уменьшает требования к ресурсам, но может заметно снижать качество. Модель подходит для локального развёртывания и использования через LlamaEdge версии 0.14.14 или новее, включая запуск как сервиса или командного приложения. README не указывает мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Распространение осуществляется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-REAM-160-ru-agent — экспериментальная сжатая версия Qwen/Qwen3.6-35B-A3B, подготовленная автором WaveCut методом REAM: основные языковые MoE-слои и блок MTP сведены к 160 экспертам. Калибровка ориентирована на код, математику, агентное использование инструментов и сохранение ответов на русском языке. Модель предназначена для диалогов, работы coding-агента и анализа изображений; метаданные указывают на интерфейс вызова инструментов и поддержку vision. Модель принимает текст и изображения и генерирует текст. README описывает проверки структуры и пробные сценарии на русском языке, отладке кода и вызове инструментов, но не приводит результаты количественной оценки качества. Формат файлов — safetensors, библиотека — Transformers. Условия лицензии в предоставленных данных не указаны.

Qwen3.8-27B-Imatrix-Mtp-1m — это сборка модели Qwen3.8-27B в формате GGUF, подготовленная Brian6145 на основе официальных весов Qwen Team. Модель ориентирована на следование инструкциям, программирование, отладку и устранение неисправностей, а также на агентские сценарии и задачи с длинными последовательностями. В карточке указаны английский и китайский языки и модальность image-text-to-text. Модель имеет размер 27B параметров и поддерживает контекст до 1 000 000 токенов благодаря расширению RoPE по официальной схеме YaRN; исходный предел составлял 262 144 токена. В каждый файл встроена рабочая Multi-Token Prediction head, совместимая со speculative decoding в llama.cpp и LM Studio. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M, Q4_K_M с imatrix и Q3_K_M. MTP может заметно ускорять генерацию, особенно при длинном контексте. Для запуска требуется сборка llama.cpp с поддержкой draft-mtp либо LM Studio 2.28.2 или совместимая версия. Контекст в 1M токенов требует значительного объёма VRAM; рекомендуется использовать квантованный KV-кэш. Статическое масштабирование YaRN может немного ухудшать качество на коротких текстах, поэтому для таких задач предпочтительна официальная версия модели. Распространение разрешено по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 — квантованная и модифицированная версия модели Qwen/Qwen3.8-27B, разработанной командой Qwen компании Alibaba. Сборка johnnyeric предназначена для исследовательских задач, включая интерпретируемость, изучение механизмов отказа, red teaming, оценку устойчивости и контролируемые эксперименты. Она также поддерживает диалоговые сценарии, рассуждения, вызов инструментов и обработку изображений вместе с текстом. Модель содержит 27 млрд параметров и использует плотную гибридную архитектуру с 64 слоями: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв с полным вниманием. В состав входят vision-language модуль и MTP-голова для speculative decoding. Основные характеристики включают контекст до 262 тысяч токенов, поддержку английского и китайского языков, а также динамическую смешанную точность NVFP4 и FP8: большая часть feed-forward слоёв хранится в 4-битном NVFP4, а чувствительные к точности компоненты и KV-кэш — в FP8. Это позволяет снизить требования к памяти по сравнению с полноразмерной моделью при лучшем сохранении качества, чем при равномерном W4A4. Ключевое ограничение — удаление защитного направления отказа посредством abliteration: модель может выполнять вредоносные, незаконные и иные опасные запросы и практически не имеет встроенных защитных механизмов. Её не рекомендуется использовать напрямую в пользовательских или производственных системах без собственных средств модерации, безопасности и предотвращения злоупотреблений. Модель распространяется по лицензии Apache 2.0; применение также должно соответствовать законодательству и условиям лицензии базовой модели.

Qwythos-27B-v1 — открытая полноразмерная дообученная модель Empero AI на базе Qwen/Qwen3.5-27B. Это плотная мультимодальная модель с 64 текстовыми слоями, гибридным вниманием Gated-DeltaNet и полным модулем зрения; она принимает текст и изображения и генерирует текст. Модель прошла полнопараметрические этапы SFT, DPO и ESFT до обучения с подкреплением, сохранив штатную поддержку вызова инструментов и предсказания нескольких токенов. Модель предназначена для диалогов и рассуждений, задач STEM, работы с терминальными и инструментальными сценариями, а также технических вопросов в областях кибербезопасности и биомедицины. Заявлена конфигурация контекста до 1 048 576 токенов с расширением YaRN. Шаблон чата поддерживает нативный формат вызова функций Qwen3.5. Зрение унаследовано от базовой модели: параметры визуального модуля не дообучались, а понимание изображений не оценивалось. Большой контекст с YaRN может немного ухудшать качество на коротком контексте. Модель намеренно не ограничивает ответы на чувствительные технические темы, поэтому для использования нужны подходящие правила и проверка результатов. Лицензия — Apache-2.0.

coderavi/VibeThinker-3B-mlx-fp16 — преобразованная в формат MLX версия модели WeiboAI/VibeThinker-3B, подготовленная автором репозитория coderavi с помощью mlx-lm 0.31.2. Это плотная причинная языковая модель семейства Qwen2 на 3,1 млрд параметров для генерации текста в диалоговом режиме, следования инструкциям, программирования и STEM-рассуждений. Она принимает текст и генерирует текст; заявленная длина контекста составляет 131 072 токена. Метаданные указывают английский язык и лицензию MIT. Карточка подтверждает преобразование формата, но не приводит отдельные результаты оценки качества этой копии.

calme-2.2-qwen2-72b-GGUF — это квантизированная версия текстовой языковой модели calme-2.2-qwen2-72b, разработанной MaziyarPanahi на базе Qwen2-72B. GGUF-квантизации подготовлены пользователем bartowski с использованием llama.cpp и imatrix; модель предназначена для локального запуска, в частности через LM Studio, и поддерживает формат диалога ChatML. В README указано, что модель ориентирована на английский язык и задачи генерации текста, включая чат, следование инструкциям, рассуждения и решение математических и академических задач. Размер исходной модели составляет 72 млрд параметров. Доступны варианты квантизации от Q8_0 до более компактных Q3 и IQ4, с размером файлов примерно от 39,71 до 77,26 ГБ; некоторые варианты разделены на несколько файлов. Более высокие разрядности обычно сохраняют лучшее качество, тогда как компактные варианты снижают требования к памяти. Для ARM-платформ предусмотрена отдельная Q4_0_4_4. Размер контекста и мультимодальные возможности в README не указаны; по описанию это текстовая, а не мультимодальная модель. Сильными сторонами являются большой размер базовой модели, варианты квантизации для разного объёма доступной памяти и результаты на стандартных тестах, включая 80,08% строгой точности на IFEval, 56,8% на BBH и 41,16% exact match на MATH уровня 5. К ограничениям относятся высокие требования к оперативной или видеопамяти даже у компактных вариантов, возможное снижение качества из-за квантизации и относительно слабые результаты на отдельных сложных тестах, например GPQA и MuSR. Лицензия обозначена как other с названием tongyi-qianwen; условия следует уточнять по лицензии Qwen/Qwen2-72B.

QuantFactory/DeepSeek-Coder-V2-Lite-Instruct-GGUF — это квантизированная GGUF-версия инструкционной модели DeepSeek-Coder-V2-Lite-Instruct, подготовленная QuantFactory с использованием llama.cpp на основе разработки DeepSeek. Модель относится к классу генеративных языковых моделей для работы с текстом и кодом и предназначена для локального запуска и инференса в формате GGUF. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд параметров, из которых при обработке активируется около 2,4 млрд. Максимальная длина контекста составляет 128K токенов. DeepSeek-Coder-V2 поддерживает 338 языков программирования и ориентирована на генерацию, дополнение и вставку кода, решение задач программирования и математическое рассуждение, а также на диалоговое использование в формате instruct. README не содержит точного перечня естественных языков. К сильным сторонам относятся специализация на программировании, расширенная поддержка языков программирования, длинный контекст и сниженные вычислительные требования благодаря MoE и квантизации. Ограничения конкретного варианта, включая точный тип и уровень квантизации, размер файла и требования к памяти, в README не указаны; качество также может зависеть от используемого рантайма и аппаратной конфигурации. Модель распространяется по лицензии DeepSeek License; указан тип лицензии other и ссылка на файл LICENSE.

Это квантизированная версия мультимодальной модели Google Gemma 4 31B-it, опубликованная pearsonkyle в формате GGUF для llama.cpp, Ollama и LM Studio. Модель предназначена для генерации текста, программирования, работы с инструментами и function calling, агентских сценариев, а также анализа изображений. Поддерживается английский язык; заявлены текстовый и визуальный ввод. Доступны варианты IQ2_M, IQ3_M, IQ4_XS и Q5_K_S с размером примерно от 10,2 до 19,8 GiB и разной степенью сжатия. Версия IQ2_M использует 2-битную AWQ-квантизацию, настроенную на основе журналов задач программирования и tool use; автор заявляет повышение точности аргументов инструментов на 54% по сравнению с обычным вариантом при сопоставимом размере. Более качественные варианты используют hybrid imatrix. Модель также поддерживает MTP-драфтер для ускорения генерации, а для обработки изображений требуется отдельный vision-модуль mmproj размером около 772 МБ на базе SigLIP-подобного энкодера. Сильными сторонами являются сочетание программирования, tool use и vision, работа в стандартных локальных средах и возможность разместить конфигурацию Q5_K_S с текстовой моделью, MTP-драфтером и vision-модулем примерно в 24 ГБ видеопамяти. Ограничения связаны с потерями качества при низкобитной квантизации, особенно в варианте IQ2_M, необходимостью отдельного mmproj для изображений и отсутствием в предоставленных данных точного размера контекста и подробных результатов независимого тестирования. Лицензия указана как Gemma.

GigaChat 3.5 Ultra Base — базовая языковая модель семейства GigaChat, опубликованная ai-sage. Это предварительно обученный чекпойнт для продолжения обучения и генерации текста; для диалогового использования с выполнением инструкций в README рекомендуется отдельная instruct-версия. Модель предназначена для многоязычных сценариев, рассуждений, программирования и агентных систем с использованием инструментов. По README, архитектура — MoE с 432 млрд параметров всего и 28 млрд активных параметров, гибридным вниманием MLA и GatedDeltaNet и двумя головами Multi-Token Prediction. Указаны поддержка контекста до 131 072 токенов и языки русский и английский. Метаданные указывают 25 млрд параметров, поэтому размер модели в источниках расходится. Репозиторий содержит веса Safetensors; лицензия — MIT. Большой контекст, MoE и гибридное внимание рассчитаны на эффективную генерацию при длинных запросах, а README сообщает о сильных результатах на тестах кода, математики и рассуждений. Для запуска такой крупной модели требуется кластерная инфраструктура. Это базовая, а не выровненная instruct-модель: её поведение в диалоге и следование инструкциям может быть ограничено.

Nemotron-Cascade-8B-Thinking-GGUF — это квантизированная версия языковой модели Nemotron-Cascade-8B-Thinking, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста общего назначения и задач, требующих рассуждений; в метаданных также указано обучение с учителем (SFT) и усилением (RL). Поддерживается английский язык. Модель содержит 8 миллиардов параметров и поставляется в различных вариантах квантизации — от BF16 до Q3 и IQ4, с размером файлов примерно от 4,43 до 16,39 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. Версия BF16 обеспечивает исходное качество, тогда как варианты Q4–Q6 предлагают компромисс между качеством и требованиями к памяти; для запуска подходят llama.cpp, LM Studio и другие совместимые проекты. Формат взаимодействия использует специальные токены ролей и маркер /think. Сильными сторонами являются широкий выбор уровней квантизации, возможность локального запуска и ориентация на задачи рассуждения. Ограничения включают отсутствие в README сведений о длине контекста, точной архитектуре, мультимодальности, результатах оценивания и поддерживаемых языках помимо английского. Модель распространяется по NVIDIA Open Model License; конкретные условия следует уточнять в тексте этой лицензии.

Pareto 26.10 Preview — мультимодальная составная модель компании Unbiased для исследовательских задач, программирования, агентных сценариев и задач общего назначения. По данным страницы модели в OpenRouter, она принимает текст и изображения и генерирует текст; поддерживает вызов инструментов и контекст до 1 048 576 токенов с выводом до 131 072 токенов. Это предварительная версия, поведение которой может измениться без предупреждения; для стабильного поведения разработчик рекомендует Pareto 26.9. Подробности об архитектуре, размере, поддерживаемых языках и лицензии в использованных источниках не подтверждены.

Qwen3.9-245B-A29B — текстовая генеративная модель семейства Qwen3, опубликованная аккаунтом QwennAI. Карточка показывает использование через Transformers и чат-шаблон Qwen с режимом рассуждений; также приведены примеры запуска через vLLM и SGLang. Метаданные указывают архитектуру Qwen3ForCausalLM, формат safetensors и поддержку чата. Модель предназначена для диалогов и генерации текста, включая задачи, требующие пошагового рассуждения, например объяснение математического доказательства. В README для сервинга приведён параметр контекста 65 536 токенов, тогда как метаданные указывают native context 1 024 токена; доступные сведения о размере противоречивы: имя модели содержит 245B-A29B, а total_parameters указано как 798.7K. Метаданные указывают английский и китайский языки. Лицензия — Apache-2.0.

QwQ-32B-GGUF — это квантизированная в формате GGUF версия языковой reasoning-модели QwQ-32B, разработанной командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, в частности для задач, требующих рассуждений. Указанный вариант подготовлен quantized_by: bartowski на основе llama.cpp release b4792 и распространяется как community-модель для LM Studio. Модель имеет размер 32B параметров, поддерживает контекст до 128 тысяч токенов и ориентирована на работу с текстом на английском языке. README не указывает поддержку изображений, аудио или других модальностей, поэтому модель следует рассматривать как текстовую. Квантизация в GGUF делает её пригодной для локального запуска в совместимом программном обеспечении, однако конкретные требования к памяти, скорость и качество зависят от выбранного варианта квантизации и оборудования. Сильными сторонами модели являются специализация на рассуждениях, большой контекст и возможность локального использования через инструменты экосистемы llama.cpp и LM Studio. Ограничениями остаются английская языковая ориентация, необходимость значительных вычислительных ресурсов для модели такого размера и возможное снижение качества по сравнению с исходной моделью из-за квантизации. README предупреждает, что модель может генерировать неточный, вредный или неуместный контент, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

Step-3.5-Flash-GGUF-Q4_K_S — это квантизированная версия Step 3.5 Flash от команды StepFun, созданная на базе stepfun-ai/step-3.5-flash и распространяемая в формате GGUF с квантизацией Q4_K_S. Модель предназначена для локального развёртывания и ориентирована на задачи рассуждения, программирования, агентного взаимодействия и обработки длинных документов или больших кодовых баз. В основе модели лежит разреженная архитектура Mixture of Experts (MoE): всего модель содержит 196 млрд параметров, из которых при генерации каждого токена активируется около 11 млрд. Используется 3-way Multi-Token Prediction (MTP-3), обеспечивающий заявленную скорость генерации примерно 100–300 токенов в секунду в типичных сценариях и до 350 токенов в секунду в однопоточном программировании. Контекстное окно составляет до 256 тысяч токенов благодаря сочетанию Sliding Window Attention и полноразмерного внимания. Для локального запуска модель адаптирована под llama.cpp; на NVIDIA DGX Spark заявлена скорость около 20 токенов в секунду, а INT8-квантизация KV-кэша позволяет использовать контекст до 256 тысяч токенов. Сильные стороны модели — сочетание высокой эффективности, поддержки длинного контекста, задач программирования и многошаговых агентных сценариев, а также возможность обработки данных локально с сохранением приватности. В качестве ограничений следует учитывать значительный общий размер модели и высокие требования к оборудованию, несмотря на разреженную архитектуру и квантизацию. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому их нельзя подтвердить. Модель распространяется по лицензии Apache 2.0.

Zirel-3 — дообученная разговорная модель Daemontatox на базе cerebras/GLM-4.5-Air-REAP-82B-A12B. Она предназначена для генерации текста и кода, следования инструкциям, рассуждений, работы с агентными сценариями и вызова функций. Модель использует разреженную архитектуру Mixture-of-Experts; в README указаны 82 млрд параметров, около 12 млрд активных на проход и контекст до 128 тыс. токенов. Метаданные каталога указывают 8,5 млрд параметров, поэтому размер модели в источниках расходится. Модель рассчитана прежде всего на английский язык. Карточка указывает совместимость с Transformers и рекомендует vLLM для более быстрой генерации. Репозиторий содержит веса Safetensors. Метаданные указывают лицензию Apache-2.0, тогда как README заявляет MIT; лицензию следует уточнить по файлу лицензии репозитория.