II.1Анализ требований и архитектура ПО

Bagel-8b-v1.0-GGUF — квантизированная версия текстовой генеративной модели bagel-8b-v1.0, разработанной jondurbin на базе Meta-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ2_XXS. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, следование инструкциям, программирование, работу с математическими и естественно-научными задачами, суммирование, ответы на вопросы и function calling. Это одномодальная языковая модель: поддерживается только текстовый ввод и вывод. В README не указаны точный размер контекста, полный список поддерживаемых языков и подробные параметры архитектуры. Сильная сторона модели — выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти: Q6_K и Q5 рекомендованы для высокого качества, а более компактные варианты подходят для систем с ограниченными ресурсами, хотя могут заметно уступать по качеству. Ограничения включают возможное ухудшение результатов при низких уровнях квантизации, а также отсутствие в представленных данных независимых оценок качества и подробностей о поведении модели в специализированных задачах. Лицензия обозначена как other с именем llama3; применяется лицензия Meta Llama 3, ссылка на текст которой приведена в карточке модели.

Bonsai-2-27B-CRACK-Ternary-JANG — дообученная dealign.ai версия тернарно-квантованной модели PrismML Ternary-Bonsai-2-27B на архитектуре Qwen 3.5, предназначенная для генерации текста, диалога и агентных сценариев. Модель рассчитана на запуск в vMLX на компьютерах Apple Silicon; использует формат JANG с 2-битными аффинными весами, групповой квантизацией 128 и сохранённым Hadamard-преобразованием. В карточке указаны контекст до 262 тыс. токенов, режимы рассуждения low, medium и xhigh, XML-вызовы инструментов, а также поддержка изображений и видео. Модель ориентирована на англо-китайские сценарии, включая ответы на вопросы, кодирование и работу с инструментами. По заявлению автора, поведение отказов удалено на уровне весов; приведены результаты MMLU и HarmBench на данной сборке. Для запуска требуется vMLX с JANG-Hadamard runtime: стандартный путь загрузки MLX, согласно карточке, выдаёт некорректные результаты. Лицензия — Apache 2.0.

Brello Thinking — языковая модель Epic Systems из семейства Brello AI, предназначенная для генерации текста с акцентом на рассуждения, математику, программирование и творческие задачи. В README указана база Tencent Hunyuan; архитектура в метаданных обозначена как плотная причинная EpicBrelloV1ForCausalLM, размер модели — 1,8 млрд параметров. Модель принимает текст и генерирует текст. Заявлена поддержка контекста до 262 144 токенов, режимов быстрого и углублённого рассуждения, а также интерфейса вызова инструментов. README заявляет поддержку английского и китайского языков. Репозиторий содержит веса safetensors и помечен лицензией MIT в метаданных, однако README указывает проприетарную лицензию Epic Systems и запрет на распространение и крупномасштабный хостинг; условия лицензирования противоречат друг другу, их следует проверить перед использованием.

DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель с 7,6 млрд параметров, размещённая Unsloth и основанная на Qwen3 8B Base. По README, модель получена дообучением на цепочках рассуждений DeepSeek-R1-0528; метаданные указывают базовую модель deepseek-ai/DeepSeek-R1-0528-Qwen3-8B и архитектуру Qwen3ForCausalLM. Репозиторий содержит веса safetensors и поддерживает диалоги и интерфейс вызова инструментов. Модель предназначена для генерации текста и диалогов с многоэтапными рассуждениями, в частности для решения математических и логических задач, программирования и помощи при написании кода. Её контекст составляет до 131 072 токенов. README сообщает об улучшении результатов на отдельных математических и общих бенчмарках, но эти результаты не гарантируют качество на других задачах. Лицензия — MIT.

Текстовая модель семейства Llama, опубликованная Kunakornjack и дообученная на unsloth/DeepSeek-R1-Distill-Llama-8B с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалогов; базовая модель рассчитана на математические задачи, программирование и многошаговые рассуждения. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Модель может применяться для диалоговых помощников, генерации ответов, решения математических задач и помощи с кодом. Карточка не описывает отдельные результаты или специализацию этого дообучения, поэтому его влияние на качество по сравнению с базовой моделью оценить нельзя. Лицензия — Apache-2.0.

DeepSeek V4 Flash REAP K150 Mixed NVFP4 — производная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi на основе официального чекпойнта deepseek-ai/DeepSeek-V4-Flash. Это текстовая MoE-модель для генерации текста и диалогов. REAP удаляет наименее активные эксперты: в слоях 3–42 оставлено по 150 маршрутизируемых экспертов из исходного набора, что соответствует сокращению примерно на 41%; первые три слоя сохранены без такого сокращения. Дообучения не проводилось. Веса упакованы в смешанном формате: NVFP4 для gate/up проекций маршрутизируемых экспертов, Q2_K для down проекций, Q8_0 для внимания, общих экспертов и выходной головы; эмбеддинги сохранены в F16. Конверсия MXFP4 в NVFP4 описана как преобразование формата шкал без изменения значений весовых нибблов. Репозиторий содержит GGUF, однако для запуска требуется специальный движок ds4 с пользовательскими CUDA-ядрами; стандартные сборки llama.cpp и другие обычные GGUF-рантаймы модель не загружают. Калибровка ориентирована на код, вызов инструментов, исследования и поиск знаний. Карточка приводит бюджет памяти для DGX Spark, включая запуск с контекстом до 1 млн токенов при использовании FP8 KV-кэша, но точная длина контекста в метаданных не указана. Лицензия — MIT.

Deepthink-Reasoning-7B — дообученная PrithivMLmods языковая модель на базе Qwen2.5-7B-Instruct с 7,1 млрд параметров. Она предназначена для диалоговой генерации текста с упором на рассуждения, решение логических задач, математику и программирование; также подходит для творческого письма, следования инструкциям и формирования структурированных ответов, включая JSON. Модель использует архитектуру Qwen2 и принимает текстовые запросы, выдавая текст. В метаданных указан контекст до 32 768 токенов, тогда как README заявляет поддержку до 128 тысяч токенов и генерацию до 8 тысяч; это расхождение стоит учитывать при настройке. Карточка заявляет поддержку более 29 языков, включая русский и английский, но метаданные подтверждают английский. Модель распространяется по лицензии CreativeML Open RAIL-M. Заявления README об улучшениях в математике, коде, следовании инструкциям и длинном контексте не сопровождаются результатами оценивания, поэтому фактическое качество на конкретных задачах следует проверять отдельно.

Devstral Small 1.1 — языковая модель для агентной разработки программного обеспечения, созданная в сотрудничестве Mistral AI и All Hands AI. Эта версия представлена в формате GGUF и предназначена для работы с llama.cpp, LM Studio и другими совместимыми средствами локального запуска. Модель специализируется на задачах программной инженерии: исследовании кодовых баз, редактировании нескольких файлов, использовании инструментов и работе в составе coding-агентов, включая OpenHands. Это текстовая модель без поддержки изображений. Она содержит 24 миллиарда параметров, использует токенизатор Tekken с размером словаря 131 тысяча токенов и поддерживает контекст до 128 тысяч токенов. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского и ряда других языков. К сильным сторонам относятся ориентация на агентное программирование, большой контекст, поддержка формата function calling Mistral и возможность локального запуска; для GGUF доступны варианты BF16, Q8_0, Q5_K_M и Q4_K_M. Ограничением является текстовая специализация без vision-возможностей, а качество и требования к ресурсам зависят от выбранной квантизации. Согласно README, компактная версия может запускаться на одной RTX 4090 или Mac с 32 ГБ оперативной памяти. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию.

dolphin-2.9.1-mixtral-1x22b-IMat-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.9.1-mixtral-1x22b, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем legraphista. Модель предназначена для локального запуска и задач генерации текста, включая диалоговое взаимодействие, следование инструкциям, программирование, математические задачи, function calling и агентские сценарии, на которые указывают использованные при обучении наборы данных. Заявленный язык — английский. Модель основана на архитектуре Mixtral и имеет обозначение 1x22b; точные характеристики архитектуры и размер контекстного окна в README не указаны. Доступны варианты от BF16 и FP16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 с размером файлов примерно от 8,27 до 44,48 ГБ. Для ряда вариантов применена IMatrix-квантизация, предназначенная для более эффективного уменьшения размера при сохранении качества. Это позволяет выбирать баланс между требованиями к памяти и качеством вывода, однако квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно у компактных вариантов. Для запуска используются совместимые инструменты экосистемы llama.cpp. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, данных о поддерживаемых языках помимо английского, точного контекстного окна или подробных сведений о системных требованиях, поэтому эти характеристики нельзя надежно оценить.

Dolphin-4B — языковая модель, выпущенная roskosmos19 и дообученная на базе XHToken/Spark-X2.5-4B-Base. Она предназначена для диалогов, генерации текста, программирования, рассуждений и агентных сценариев с вызовом инструментов. Модель использует плотную архитектуру Spark2_5ForCausalLM и формат safetensors; размер по метаданным — 3,8 млрд параметров, а заявленная длина контекста составляет 1 048 576 токенов. Для работы доступны шаблон чата с поддержкой нескольких ролей, режима рассуждений и вызова инструментов; модель рассчитана на использование через Transformers и совместимые стеки инференса. В карточке заявлены сильные стороны в следовании инструкциям, программировании и многошаговых задачах. Эти характеристики представлены как утверждения автора и не сопровождаются в карточке результатами оценки. Язык модели явно не обозначен. Лицензия — Apache-2.0.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.

gaunernst/gemma-3-12b-it-int4-awq — инструкцияно дообученная мультимодальная модель семейства Gemma 3, разработанная Google DeepMind. Данный репозиторий содержит QAT INT4 Flax-чекпойнт, преобразованный в формат HF+AWQ для использования с Transformers; при этом квантование AWQ непосредственно не применялось. Базовая модель — google/gemma-3-12b-it. Модель принимает текст и изображения и генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений, включая описание визуального содержимого. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Контекстное окно составляет 128K токенов, максимальный объём генерируемого вывода — 8192 токена. Заявлена поддержка более 140 языков. Ключевые преимущества — мультимодальность, большое контекстное окно и сниженные требования к ресурсам благодаря представлению INT4, что может упростить развёртывание на локальной инфраструктуре или в облаке. Ограничения включают зависимость от совместимой версии Transformers и необходимость учитывать особенности формата конвертированного чекпойнта; README не содержит результатов бенчмарков или подробностей о качестве на отдельных языках и задачах. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия соответствующей лицензии.

LibertAIDAI/Gemma-4-12B-IT-NVFP4-GGUF — это текстовая GGUF-квантизация инструкционной модели google/gemma-4-12B-it, подготовленная LibertAI с использованием NVIDIA ModelOpt и предназначенная для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоговые приложения, локальное и серверное инференс-использование; по умолчанию формирует рассуждение перед ответом. Модель представляет собой плотный decoder примерно на 11,9 млрд параметров с 48 слоями и гибридным механизмом внимания: большинство слоёв используют локальное sliding-window attention, а каждый шестой слой — глобальное внимание. Квантизации NVFP4 подвергнуты 144 проекции плотных FFN-слоёв; attention, embeddings и lm_head используют отдельные форматы GGUF. Доступны варианты Q4_K_M размером около 6,5 GiB, Q8_0 размером 7,8 GiB и BF16 размером 10,8 GiB. Релиз текстовый: мультимодальные возможности исходной Gemma 4 не поддерживаются, поскольку конвертер llama.cpp пока не поддерживает используемый unified-вариант. Главное преимущество NVFP4 проявляется на видеокартах NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200: нативные tensor-core kernels могут повысить пропускную способность и снизить потребление VRAM по сравнению со стандартными квантизациями. На более старых GPU модель запускается, но преимуществ в производительности может не быть. Модель унаследовала лицензию Gemma от Google; для использования необходимо соблюдать условия этой лицензии.

systalyze/gemma-4-26B-A4B-it-ExpertsINT4-FP8 — это оптимизированная для инференса смешанно-точная квантованная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанной Google DeepMind. Квантование и выпуск модели выполнены Systalyze. Архитектура Gemma4ForConditionalGeneration принимает текст и изображения и генерирует текст; модель предназначена для мультимодального чата, следования инструкциям, рассуждений и работы с инструментами. Базовая модель представляет собой MoE-архитектуру с 30 слоями и 128 экспертами. Веса MoE-экспертов квантованы в INT4 методом GPTQ с размером группы 64, а остальные линейные слои Transformer используют динамическое FP8-квантование с активациями FP8 на уровне токенов. Router, эмбеддинги, lm_head и vision tower сохраняются без квантования. Чекпойнт занимает около 16 ГБ против 49 ГБ у BF16-версии, то есть примерно в 3,1 раза меньше, и загружается напрямую в vLLM через формат compressed-tensors. Сильная сторона модели — существенное снижение требований к памяти и высокая производительность при низкой и средней конкурентности: в приведённых тестах прирост относительно FP8 достигал 54,4% при concurrency 8. При высокой конкурентности 16–32 запросов обычная FP8-версия производительнее, поэтому выбор зависит от профиля нагрузки. Качество в целом близко к базовой модели, однако на отдельных задачах, включая GPQA Diamond, MMLU-Pro, HumanEval и DROP, наблюдается снижение результатов. Веса модели распространяются по лицензии Apache-2.0.

mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit — квантизированная MLX-версия модели Google Gemma 4, подготовленная сообществом mlx-community с помощью mlx-optiq. Модель основана на Google Gemma 4 26B A4B instruction-tuned QAT и предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачной инфраструктуры. Это разреженная MoE-модель с 26 млрд общих параметров, 128 маршрутизируемыми экспертами и примерно 4 млрд активных параметров на токен. Используется смешанная квантизация: преимущественно 4-битная, но чувствительные компоненты, включая часть экспертных тензоров, слои внимания и маршрутизатор, представлены в 8-битном формате. Достигнутая точность составляет 6,01 бит на вес, размер модели на диске — около 19 ГБ. Модель поддерживает генерацию текста, а также сценарии image-text-to-text через bf16 vision-модуль. Языки и размер контекстного окна в README не указаны. Модель ориентирована на рассуждения, следование инструкциям, генерацию кода, работу с инструментами и агентские сценарии. По сравнению с равномерной 4-битной квантизацией той же QAT-базы она немного улучшает средний Capability Score и результаты MMLU, GSM8K и IFEval, однако уступает в BFCL и HumanEval, поэтому характеристики зависят от задачи. Для использования требуются mlx-optiq и версия mlx-lm из основной ветки; запуск рассчитан прежде всего на Apple Silicon и требует значительного объёма памяти. Лицензия указана как Apache 2.0; также применяются условия лицензии Gemma от Google.

Это квантизированная версия мультимодальной модели Google Gemma 4 31B-it, опубликованная pearsonkyle в формате GGUF для llama.cpp, Ollama и LM Studio. Модель предназначена для генерации текста, программирования, работы с инструментами и function calling, агентских сценариев, а также анализа изображений. Поддерживается английский язык; заявлены текстовый и визуальный ввод. Доступны варианты IQ2_M, IQ3_M, IQ4_XS и Q5_K_S с размером примерно от 10,2 до 19,8 GiB и разной степенью сжатия. Версия IQ2_M использует 2-битную AWQ-квантизацию, настроенную на основе журналов задач программирования и tool use; автор заявляет повышение точности аргументов инструментов на 54% по сравнению с обычным вариантом при сопоставимом размере. Более качественные варианты используют hybrid imatrix. Модель также поддерживает MTP-драфтер для ускорения генерации, а для обработки изображений требуется отдельный vision-модуль mmproj размером около 772 МБ на базе SigLIP-подобного энкодера. Сильными сторонами являются сочетание программирования, tool use и vision, работа в стандартных локальных средах и возможность разместить конфигурацию Q5_K_S с текстовой моделью, MTP-драфтером и vision-модулем примерно в 24 ГБ видеопамяти. Ограничения связаны с потерями качества при низкобитной квантизации, особенно в варианте IQ2_M, необходимостью отдельного mmproj для изображений и отсутствием в предоставленных данных точного размера контекста и подробных результатов независимого тестирования. Лицензия указана как Gemma.

Mungert/GigaChat3-10B-A1.8B-GGUF — GGUF-квантизированная версия диалоговой модели GigaChat3-10B-A1.8B, созданная на основе ai-sage/GigaChat3-10B-A1.8B-bf16 с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с русским и английским языками, а также другими языками, добавленными в обучающий корпус. Модель использует архитектуру Mixture-of-Experts (MoE) с 10 млрд общих и 1,8 млрд активных параметров, Multi-head Latent Attention (MLA) для снижения требований к памяти и Multi-Token Prediction (MTP) для ускорения генерации. Обучение проводилось на 20 трлн токенов, включая данные по книгам, академическим материалам, программированию и математике, а также около 5,5 трлн токенов синтетических данных. Длина контекста в представленном описании не указана. GGUF-версия ориентирована на эффективный локальный инференс в экосистеме llama.cpp. В сборке применяется квантизация с выборочным повышением точности отдельных важных слоёв, что может улучшать качество при заданном уровне квантизации, но увеличивает размер файла. Ограничениями являются возможная потеря точности по сравнению с исходной bf16-версией и отсутствие в карточке подробностей о конкретных вариантах квантизации, размере файлов и измерениях качества именно этой GGUF-сборки. Лицензия — MIT.

GLM-4.7-heretic — версия GLM-4.7 от Z.ai, обработанная методом abliteration с помощью Heretic v1.1.0. По данным карточки, изменение снижает частоту отказов, сохраняя качество исходной модели; в выбранном испытании зафиксировано 4 отказа из 100, а KL-дивергенция составила 0,0181. Модель предназначена для генерации текста и диалогов, а базовая GLM-4.7 рассчитана на программирование, агентные задачи и рассуждения. Это модель семейства GLM-4 MoE с 23,4 млрд параметров и контекстом до 202 752 токенов; метаданные указывают английский и китайский языки. Доступны веса в формате Safetensors и интерфейс чата. Лицензия — MIT.

unsloth/GLM-4-9B-0414-GGUF — GGUF-квантизированная версия языковой модели GLM-4-9B-0414, подготовленная Unsloth на базе модели THUDM. Модель предназначена для локального текстового общения и генерации текста, включая выполнение инструкций, программирование, математическое и общее рассуждение, создание отчётов и работу в ресурсно-ограниченных средах. Она поддерживает китайский и английский языки и относится к классу text-generation. Модель содержит 9 миллиардов параметров; точная архитектура, длина контекста, доступные варианты квантования и поддерживаемые дополнительные модальности в представленном README не указаны. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Заявленные сильные стороны исходной GLM-Z1-9B-0414 включают математическое рассуждение, выполнение общих задач и баланс между эффективностью и качеством при небольших требованиях к ресурсам. Ограничения, результаты конкретных бенчмарков и требования к оборудованию не приведены. Лицензия — MIT.

RedHatAI/GLM-5.3-MXFP4 — текстовая генеративная модель, разработанная RedHatAI на основе zai-org/GLM-5.3. Она предназначена для задач генерации текста, следования инструкциям и решения математических и других reasoning-задач. Модель принимает текст и возвращает текст, поддерживает английский и китайский языки и реализует архитектуру GlmMoeDsaForCausalLM. Размер модели и длина контекстного окна в README не указаны. Это квантизированная версия GLM-5.3 для инференса через vLLM. Веса и активации линейных операторов внутри transformer-блоков представлены в формате FP4 по схеме MXFP4 с микромасштабированием OCP; для весов используются формат e2m1, группы размера 32 и масштабы E8M0, а для активаций — динамическое масштабирование по группам. По сравнению с контрольной версией FP8 такая оптимизация примерно на 50% уменьшает размер на диске и требования к памяти GPU, при этом на заявленных тестах сохраняет большую часть качества FP8-модели. Наибольшее относительное снижение показателей отмечено на AIME 2025 и GPQA Diamond. Модель предназначена для развёртывания с vLLM; в README приведена конфигурация с FP8 KV-cache, четырьмя устройствами в tensor parallelism и speculative decoding. Квантизация выполнена методом model-free post-training quantization без калибровочных данных с использованием LLM Compressor, а модель экспортирована в формате compressed-tensors. Лицензия обозначена как glm-5.3, тип лицензии — other; дополнительные условия в README не раскрыты.

GLM-Z1-Rumination-32B-0414 — диалоговая модель глубокого рассуждения от Z.ai, созданная на основе GLM-4-32B-0414. В ней сочетаются длительное пошаговое рассуждение и использование инструментов поиска для решения открытых и сложных задач; обучение дополнительно ориентировано на математику, код, логику, исследовательский стиль письма и задачи с извлечением информации. Модель содержит 32,2 млрд параметров, использует плотную архитектуру GLM-4 и работает с контекстом до 131 072 токенов. Карточка описывает поддержку китайского и английского языков, диалога и вызова инструментов поиска. Указаны сценарии сравнительного анализа, подготовки исследовательских текстов и комплексного поиска с последующим синтезом результатов. Модель распространяется под лицензией MIT. Доступные материалы не приводят отдельных результатов оценки качества или подробностей ограничений; ответы и результаты поиска следует проверять, особенно в задачах, требующих точности и актуальности.

Это версия модели OpenAI gpt-oss-20b, подготовленная Richard Young с помощью Heretic v1.4.0 методом abliteration для снижения частоты отказов. Модель построена на архитектуре GPT-OSS с разреженной смесью экспертов (MoE) и предназначена для генерации текста и диалогов; её можно использовать для рассуждений, задач разработчика и агентных сценариев с вызовом инструментов. Карточка сообщает о формате Harmony и возможности менять уровень рассуждений, а также приводит результат: 77 отказов из 100 запросов против 98 у исходной модели. Метаданные указывают 1,6 млрд параметров, контекст до 131 072 токенов и веса safetensors в формате MXFP4. Это производная модель от openai/gpt-oss-20b; лицензия Apache 2.0. Меньшее число отказов не означает их полного отсутствия и не гарантирует точность ответов. Для корректной работы следует использовать формат Harmony.

GRM-3.2-Sky — модель OrionLLM для длительных агентных задач и сложных рассуждений. Она предназначена для многошагового планирования, сложного программирования, математики и логических задач, включая продолжительные сессии работы с кодом и инструментами. Модель основана на дообученной Ornith-1.0-35B: это MoE-архитектура на 35 млрд параметров с примерно 3 млрд активных параметров. Метаданные указывают поддержку чата и изображений; задача модели в каталоге — image-text-to-text. Модель распространяется в формате safetensors по лицензии Apache 2.0. В README заявлены устойчивое следование цели в длинных рабочих процессах, планирование и решение сложных задач с кодом, математикой и логикой. Эти характеристики приведены разработчиком; в доступной карточке сравнительная таблица бенчмарков опущена. Длина контекста и поддерживаемые естественные языки не указаны в предоставленных данных.

HelixLM-CheckpointHub — текстовая авторегрессионная модель семейства HelixLM, поддерживаемого Nimbus AI Lab. Она предназначена для генерации ответов и диалогов, включая решение математических и логических задач, программирование и вызов функций. В карточке описаны улучшения рассуждений после дополнительной вычислительной подготовки и оптимизаций на этапе постобучения; заявлено повышение результата GPQA-Diamond с 58% до 76,5% по сравнению с предыдущей версией HelixLM. Модель доступна в формате PyTorch и использует библиотеку Transformers. README рекомендует температуру 0,6 и приводит системный промпт для ассистента. Также описаны сценарии вопросов по загруженным файлам и генерации с результатами веб-поиска. Размер модели и длина контекста в предоставленных данных не указаны. Для модели заявлена лицензия MIT. README отмечает улучшения в снижении галлюцинаций и поддержке вызова функций, но не приводит подробных оценок, методики сравнения или ограничений по применению; фактическое качество на конкретных задачах может отличаться от benchmark-результатов.

HelixLM — плотная авторегрессионная языковая модель семейства Helix, опубликованная dusersad12 в формате PyTorch для генерации текста. В карточке заявлены улучшения рассуждений и вывода, включая задачи по математике, программированию и логике; модель также позиционируется как чат-ассистент с поддержкой вызова функций. README сообщает об улучшении результата на AIME 2026 до 89,3% и увеличении среднего расхода токенов на вопрос с 14 тыс. до 27 тыс., а также о снижении галлюцинаций. Для локального запуска и взаимодействия предлагаются отдельные кодовый репозиторий, веб-интерфейс и API; для генерации рекомендована температура 0,6. Репозиторий распространяется по лицензии Apache-2.0. Размер модели, длина контекста и поддерживаемые языки в предоставленных данных не указаны.

Huihui-Qwen3.8-27B-abliterated-NVFP4 — квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная автором репозитория sakamakismile. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, переводов и следования инструкциям. Она также содержит необработанную vision tower, однако мультимодальная работа в README не тестировалась. Модель основана на архитектуре Qwen3.8 с 27 млрд параметров и использует NVFP4-квантизацию W4A4 с размером группы 16. Большинство весов представлены в NVFP4, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bfloat16. Поддерживаются speculative decoding через MTP и запуск в vLLM 0.22 на GPU с архитектурой Blackwell SM120. Размер весов уменьшен с 55,6 до 20,0 ГБ; рекомендуемый контекст — до 32 768 токенов. README не указывает полный список поддерживаемых языков, но результаты проверок включают английский, французский и японский. К сильным сторонам относятся заметное сокращение объёма модели, совместимость с двумя видеокартами по 16 ГБ при наличии запаса под KV-кэш, сохранение MTP-головы для ускоренного декодирования и отсутствие выявленного ухудшения на заявленном наборе проверок после более узкой абляции. Ограничения включают необходимость Blackwell и vLLM 0.22 для описанной конфигурации, неподтверждённую мультимодальную работу, а также периодические пропуски закрывающей скобки при генерации длинных файлов кода; рекомендуется использовать синтаксическую проверку. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит только квантизированные веса, а авторство исходной модели принадлежит huihui-ai.

Hyper-Yi-1.5-9B — объединённая плотная авторегрессионная языковая модель семейства Yi-1.5, опубликованная bunnycore. Она создана методом Model Stock с помощью mergekit на основе 01-ai/Yi-1.5-9B и объединяет веса четырёх вариантов Yi-1.5-9B, включая модели для инструкций и чата. Модель содержит 8,6 млрд параметров, построена на архитектуре LlamaForCausalLM и рассчитана на генерацию текста с контекстом до 4096 токенов. Модель предназначена для диалогов и генерации ответов по текстовым инструкциям; базовая модель также ориентирована на рассуждения, математику и программирование. В репозитории указаны веса safetensors и библиотека Transformers. Сведения о лицензии и языках в предоставленных источниках отсутствуют.

IQuest-Q1 — языковая модель от IQuest для агентного программирования, рассуждений и многошагового использования инструментов. В репозитории Hugging Face указана версия на 3,7 млрд параметров с архитектурой MoE семейства IQuest-Q1; README описывает вариант примерно на 320 млрд параметров, из которых около 15 млрд активируются на каждом токене. Это расхождение означает, что параметры конкретного загруженного чекпойнта не вполне согласуются с описанием карточки. Модель предназначена для генерации текста в диалоговом режиме и может использоваться в агентных сценариях, включая работу с кодом и инструментами через совместимые интерфейсы. Заявлено контекстное окно до 524 288 токенов; поддерживаются английский и китайский языки. По README модель не обладает мультимодальными возможностями. Весовой формат репозитория — safetensors, библиотека — Transformers. Лицензия указана как other, поэтому условия использования следует проверить в самой карточке модели.

primitive-ai/K2-Horizon-MoVA-36B-A4B-NVFP4 — это квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, подготовленная командой Primitive AI. Модель предназначена для генерации текста, рассуждений и сценариев с вызовом инструментов; поддерживает использование через Transformers и vLLM. Архитектура — MoE с 36B параметров и 4B активируемых параметров. Модель имеет контекст до 32 768 токенов и рассчитана на запуск на одной видеокарте без tensor parallelism. Языки и мультимодальные возможности в README не указаны. Веса 13 500 маршрутизируемых экспертных проекций представлены в формате NVFP4, остальные компоненты сохранены в BF16. Размер модели составляет 36,74 ГБ — примерно вдвое меньше BF16-версии и на 24% меньше официальной FP8-версии. По приведённым измерениям, уровень знаний и способность воздерживаться от неподходящих вызовов инструментов сопоставимы с BF16 и FP8, а пропускная способность при высокой конкуренции выше официальной FP8-версии. Слабее всего пострадала точность аргументов при выполняемых вызовах инструментов: она ниже FP8 примерно на 3,1 процентного пункта. Сборка совместима с GPU архитектур Ampere и Blackwell, включая проверенный запуск на NVIDIA A100 40 ГБ, и предназначена для компактного локального или серверного развертывания. Для работы требуется версия vLLM из main или nightly с поддержкой K2-Horizon; стабильные релизы до 0.28.1rc1.dev388 эту поддержку не содержат. Режим рассуждений выбирается на уровне сервера. Модель распространяется по лицензии Apache-2.0.