II.1Анализ требований и архитектура ПО

NVIDIA DeepSeek-V4-Pro-0813-NVFP4 — квантизированная версия модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и оптимизированной NVIDIA с помощью Model Optimizer. Это авторегрессионная текстовая языковая модель на архитектуре Transformer с Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 1,65 трлн параметров, из которых при генерации активируется 49 млрд. NVIDIA отдельно указывает, что модель не принадлежит ей и не была ею разработана как исходная модель. Модель предназначена для сложного рассуждения, агентных AI-приложений, использования инструментов и решения задач в математике, программной инженерии и корпоративных AI-ассистентах. Она принимает и генерирует текст, поддерживает многошаговые диалоги, системные инструкции, структурированный JSON-вывод, function calling и выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста заявлена на уровне 1 млн токенов; предусмотрен собственный конвейер кодирования encoding_dsv4 с уровнями усилий рассуждения low, high и max. В составе исходного чекпойнта также заявлен модуль спекулятивного декодирования DSpark. Модель распространяется по лицензии MIT и допускает коммерческое и некоммерческое использование. Для запуска указаны SGLang и vLLM, Linux и GPU NVIDIA Blackwell B200; практическая производительность ориентирована на ускорение NVIDIA. Ограничения включают требовательность к совместимой аппаратной инфраструктуре, неизвестные сведения об обучающих данных и необходимость дополнительного тестирования на прикладных данных для проверки качества, безопасности и соответствия требованиям конкретного сценария.

TeichAI Gemma 4 31B IT Claude Opus Distill v2 — мультимодальная модель для диалогов, дообученная методом SFT на базе unsloth/gemma-4-31B-it с использованием наборов рассуждений, созданных на основе взаимодействий с Claude Opus. Модель семейства Gemma 4 имеет плотную архитектуру и предназначена для сложных многошаговых задач, генерации и отладки кода, научного анализа, синтеза исследовательских материалов и повседневного следования инструкциям. Модель принимает текст и изображения; README также описывает работу с видео как последовательностью кадров, но метаданные указывают только задачу image-text-to-text. Карточка рекомендует Transformers и описывает режим рассуждений, а также настраиваемый бюджет визуальных токенов для задач от распознавания текста на изображениях до их общего анализа. Размер контекста и поддерживаемые языки в предоставленных данных не указаны. Бенчмарки пока не представлены, поэтому качество для конкретных задач следует оценивать самостоятельно. Лицензия — Apache-2.0.

NVIDIA Nemotron-3-Super-120B-A12B-BF16 — большая языковая модель с открытыми весами, разработанная NVIDIA Corporation. Представленная версия распространяется в формате GGUF и сгенерирована с использованием llama.cpp; исходная модель выпущена 11 марта 2026 года. Модель предназначена для агентских сценариев, рассуждений с длинным контекстом, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию IT-заявок. Архитектура LatentMoE объединяет Mamba-2, Mixture of Experts и механизмы внимания, а также Multi-Token Prediction. Всего модель содержит 120 млрд параметров, из которых 12 млрд активны при обработке запроса, и поддерживает контекст до 1 млн токенов. Доступны английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Режим рассуждений можно включать или отключать через шаблон чата. К сильным сторонам относятся сочетание большого контекста, разреженной MoE-архитектуры, поддержки инструментов и ориентация на агентские и корпоративные рабочие процессы. Ограничения включают значительный общий размер модели и высокие требования к инфраструктуре: для исходной версии указано минимум 8 GPU H100 с 80 ГБ памяти. GGUF-версия использует специальную настройку квантования с повышением точности отдельных слоёв, что может увеличить размер файла. Модель распространяется по лицензии NVIDIA Nemotron Open Model License.

TeichAI разработала Gemma 4 26B A4B IT Claude Opus Distill — мультимодальную диалоговую модель на базе unsloth/gemma-4-26B-A4B-it, дообученную методом SFT на примерах рассуждений Claude Opus и Sonnet. Модель ориентирована на сложные многошаговые задачи, где полезны структурированный анализ и подробное следование инструкциям. Модель предназначена для генерации и отладки кода, научных рассуждений, анализа сложных вопросов и исследовательского синтеза. Она принимает текст и изображения и формирует текстовые ответы; доступна в формате safetensors и поддерживает чат и работу с изображениями. В README отдельно описан режим рассуждений и приведены рекомендации для многоходовых диалогов и мультимодальных запросов. Качество и устойчивость исходной версии ограничены: автор рекомендует перейти на v2 из-за улучшенного качества данных и исправлений шаблона чата; окончательные результаты сравнительных тестов не приведены. Лицензия — Apache-2.0.

Kiel-2.2-Sol — языковая модель KielTech для диалогов и генерации текста. Это плотная причинная модель семейства Llama с 3,2 млрд параметров, дообученная на базе kiel2/Kiel-2.1-Sol. Веса представлены в формате Safetensors; модель работает через Transformers и поддерживает контекст до 131 072 токенов. Модель предназначена для чат-ассистентов, следования инструкциям, решения задач в разных предметных областях, логических рассуждений и генерации кода, включая асинхронные сценарии на Python. В карточке заявлена поддержка английского языка. Модель может использоваться как самостоятельный серверный бэкенд генерации текста. Карточка не приводит результаты независимых оценок качества. Модель распространяется под лицензией, указанной в метаданных Hugging Face; сведения о конкретной лицензии отсутствуют.

Qwen3-Next-80B-A3B-Thinking — языковая модель с открытыми весами от команды Qwen, предназначенная для сложных задач рассуждения и диалогового применения. Она работает только в режиме размышления и может формировать длинные цепочки рассуждений. Модель построена на причинной архитектуре Qwen3-Next с разреженной смесью экспертов (MoE) и сочетает Gated DeltaNet с Gated Attention для работы с длинным контекстом. Всего в ней 80 млрд параметров, из которых активны около 3 млрд; метаданные каталога указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000 токенов. Поддерживаются генерация текста, чат и интерфейс вызова инструментов. Модель подходит для многошагового анализа, решения сложных задач и работы с большими текстовыми контекстами. В README заявлены высокие результаты на тестах рассуждения и эффективность инференса, но эти сравнения приведены разработчиком. Для запуска нужны совместимые версии Transformers, SGLang или vLLM и значительные вычислительные ресурсы; README рекомендует несколько GPU и отмечает риск нехватки памяти при длинном контексте. Лицензия — Apache 2.0.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Thinking на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Thinking, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Thinking — языковая модель с открытыми весами от команды Qwen, предназначенная для сложных задач рассуждения и диалогового применения. Она работает только в режиме размышления и может формировать длинные цепочки рассуждений. Модель построена на причинной архитектуре Qwen3-Next с разреженной смесью экспертов (MoE) и сочетает Gated DeltaNet с Gated Attention для работы с длинным контекстом. Всего в ней 80 млрд параметров, из которых активны около 3 млрд; метаданные каталога указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000 токенов. Поддерживаются генерация текста, чат и интерфейс вызова инструментов. Модель подходит для многошагового анализа, решения сложных задач и работы с большими текстовыми контекстами. В README заявлены высокие результаты на тестах рассуждения и эффективность инференса, но эти сравнения приведены разработчиком. Для запуска нужны совместимые версии Transformers, SGLang или vLLM и значительные вычислительные ресурсы; README рекомендует несколько GPU и отмечает риск нехватки памяти при длинном контексте. Лицензия — Apache 2.0.

Signal-3.8-27B-NVFP4-Blackwell-DFlash2-Ultra-V1.0 — квантованная NVFP4-версия модели Signal-3.8-27B от agentionai, созданной на базе Qwen3.8-27B от Qwen. Это GGUF-сборка для запуска через llama.cpp CUDA на одной видеокарте RTX 5090 с 32 ГБ памяти и поддержкой спекулятивного декодирования DFlash2. Модель предназначена для рассуждений, программирования, агентских задач, структурированной генерации и диалогов; заявлена также поддержка изображений через отдельный vision-проектор. Основная модель занимает около 16,9 ГБ, включает NVFP4-квантованный корпус, высокоточные Q8_0-головы и MTP-голову. Доступен контекст до 262 144 токенов, а языковая поддержка обозначена как multilingual, без уточнения конкретного набора языков. Минимально изменённая тонкая настройка отличается от базовой модели только lm_head.weight, что позволяет использовать согласованный DFlash2-драфтер без изменения результатов декодирования. На заявленном оборудовании сборка показывает высокую точность в тестах GSM8K, хорошие результаты в кодовых агентских задачах и ускорение декодирования благодаря speculative decoding. Сильные стороны модели — эффективность на задачах рассуждения и программирования, большой контекст, совместимость с одной RTX 5090 и ускоренное декодирование. Ограничение — повышенная многословность в открытом диалоге по сравнению с альтернативной сборкой GAIN; для длинных генераций не рекомендуется жадное декодирование, а для сложных задач требуется не менее 4096 токенов вывода. Для обработки изображений необходим отдельный проектор mmproj-BF16, при этом повторное использование кэша промпта отключается. Распространяется по лицензии Apache-2.0.

Apriel-1.5-15b-Thinker-GGUF — это GGUF-версия мультимодальной модели рассуждений Apriel-1.5-15b-Thinker, разработанной ServiceNow AI и подготовленной в формате GGUF командой Unsloth. Модель предназначена для генерации текста, решения математических и научных задач, программирования, следования инструкциям, работы с API и функциями, диалоговых сценариев, а также понимания и рассуждений по изображениям и смешанным текстово-графическим данным. Модель содержит 15 млрд параметров и рассчитана на эффективное локальное развёртывание: по заявлению разработчиков, она помещается на одной GPU. Она обучалась с использованием продолжительного предварительного обучения на текстовых и мультимодальных данных, а также supervised fine-tuning более чем на 2 млн текстовых примеров. Для постобучения не применялись reinforcement learning и специализированное обучение на изображениях. Заявлены результаты 52 балла в Artificial Analysis, 68 в Tau2 Bench Telecom и 62 в IFBench, однако конкретные сведения о контекстном окне, поддерживаемых языках и архитектуре в README не указаны. Сильными сторонами модели являются сочетание компактного размера, развитого текстового рассуждения, возможностей работы с изображениями и ориентация на корпоративные задачи. Ограничениями могут быть повышенный расход токенов и более длительное время ответа из-за подробного рассуждения по умолчанию, а также отсутствие image SFT, что может влиять на отдельные визуальные сценарии. Модель распространяется по лицензии MIT.

TeichAI Gemma 4 26B A4B IT Claude Opus Distill v2 — мультимодальная диалоговая модель, дообученная на базе unsloth/gemma-4-26B-A4B-it с помощью Unsloth. Для дообучения использовались наборы с траекториями рассуждений Claude Opus; версия v2, по карточке модели, меняет параметры обучения и исправляет некоторые циклические или обрывающиеся ответы. Модель предназначена для генерации кода, отладки, планирования архитектуры программ, научного анализа, многошаговых исследовательских запросов и повседневных задач, требующих последовательных рассуждений. Архитектура Gemma 4 поддерживает диалог и обработку изображений; README также описывает обработку видео кадрами. Метаданные указывают формат safetensors и лицензию Apache-2.0. Карточка заявляет о применении модели в Cline, Codex и Cursor для создания веб-приложений и скриптов, однако сравнительные бенчмарки пока не приведены. Возможности базовой Gemma 4 не следует автоматически считать проверенными именно для этой дообученной версии; заявленные качества рассуждений основаны на описании автора.

NVFP4/Qwen3-30B-A3B-Thinking-2507-FP4 — квантизированная FP4-версия модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Модель относится к классу авторегрессионных языковых моделей и предназначена для генерации текста с акцентом на углублённое рассуждение. Модель подходит для сложных задач логического рассуждения, математики, науки, программирования, следования инструкциям, использования инструментов, генерации текста и агентских сценариев. Заявлена улучшенная работа с длинным контекстом, включая контекст длиной до 262 144 токенов, а также поддержка многоязычных задач. Модель работает только в режиме рассуждения; увеличенная длина рассуждений особенно рекомендуется для сложных запросов. Архитектура — causal language model на основе MoE: 30,5 млрд параметров всего, из которых активируется около 3,3 млрд; 48 слоёв, 128 экспертов и 8 активируемых экспертов, используется GQA с 32 головами Q и 4 головами KV. Квантизация FP4 может снизить требования к памяти и упростить развёртывание, однако точные требования к аппаратуре и влияние квантизации на качество в README не указаны. Ограничением является отсутствие режима без рассуждений и потенциально высокая длина генерируемого вывода. Модель распространяется по лицензии Apache 2.0.

ShiningValiant3 — дообученная Valiant Labs модель генерации текста на архитектуре GPT-OSS-20B с MoE. Она предназначена для научных рассуждений, проектирования систем искусственного интеллекта, решения сложных задач, общего и творческого reasoning, а также диалогов и следования инструкциям. В карточке указаны наборы данных с примерами рассуждений DeepSeek R1 0528; модель использует формат промпта gpt-oss-20b и обычно рекомендуется высокий уровень reasoning. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 131 072 токенов и 1,6 млрд параметров; доступен формат safetensors, а в README отмечены веса bf16 и возможность локального запуска на настольных и мобильных устройствах, а также быстрого серверного инференса. Основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. README позиционирует её для открытого использования; практические результаты зависят от сценария и вычислительных ресурсов, особенно при использовании bf16.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная версия модели Gemma 4 12B от Google DeepMind, модифицированная HauhauCS. Это GGUF-сборка с уменьшенным количеством отказов в ответах, предназначенная для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надёжность. Модель поддерживает текстовый ввод и изображения через отдельный mmproj-модуль; заявленный язык — английский. Модель имеет плотную архитектуру размером 12B параметров и контекстное окно 256K токенов. Основной файл использует QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; заявляется сохранение качества, близкого к полной точности. В комплект входит MTP-голова для speculative decoding, которая в llama.cpp, по данным автора, обеспечивает примерно на 60% более высокую скорость генерации без изменения проверенного результата. Поддерживаются llama.cpp, LM Studio, Jan, koboldcpp и другие GGUF-совместимые среды. К сильным сторонам относятся большое контекстное окно, поддержка изображений, оптимизация под 4-битную квантизацию, ускоренная генерация с MTP и настройка для кодинга, рассуждений и творческих задач. Ограничения включают зависимость визуального режима от отдельного mmproj-файла, экспериментальный характер заявлений об отсутствии отказов и ограниченность тестирования ускорения llama.cpp. Для LM Studio отмечена возможная нестабильность в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоёв. Модель распространяется по лицензии Gemma.

Qwen3.5-397B-A17B-Opus-4.6-Reasoning-Uncensored-GGUF — GGUF-версия модели, разработанная timteh673 на базе Qwen/Qwen3.5-397B-A17B. Модель предназначена прежде всего для генерации текста, сложного рассуждения, аналитических задач, многошагового решения проблем и диалоговых сценариев. Она прошла abliteration для снижения отказов и LoRA-дообучение на 12 842 образцах рассуждений, дистиллированных из ответов Anthropic Claude Opus 4.6, с использованием тегов <think> для явного отображения процесса рассуждения. Архитектура представляет собой гибридную Qwen3.5 MoE с GatedDeltaNet и Transformer-компонентами: 397 млрд параметров всего, 17 млрд активных параметров на токен, 60 слоёв, 32 attention-головы, 2 KV-головы, 512 маршрутизируемых экспертов и общий эксперт, из которых активны 10 на токен. Заявлена длина контекста до 262 144 токенов, словарь из 248 320 токенов и поддержка более 201 языка, включая английский, китайский, японский, корейский, русский и другие. Модель также сохраняет нативный vision encoder для работы с текстом, изображениями и видео, однако мультимодальные возможности после дообучения не тестировались. Сильными сторонами являются MoE-архитектура с большим общим числом параметров, улучшенное структурированное рассуждение и широкий контекст. Модель очень требовательна к ресурсам: размер доступных вариантов составляет примерно от 135 до 739 ГБ, а для рекомендованной квантизации Q4_K_M требуется около 230 ГБ оперативной памяти. Возможны отдельные отказы, поскольку routed-эксперты не были полностью обработаны при abliteration; режим рассуждения генерирует теги <think>, которые при необходимости следует удалять постобработкой. Лицензия — Apache 2.0.

HauhauCS/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP — мультимодальная версия Gemma 4, разработанная HauhauCS на основе Gemma 4 26B-A4B-it от Google DeepMind. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения, диалогов и задач, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и оптимизирован для минимизации отказов при сохранении исходных возможностей базовой модели. Модель использует MoE-архитектуру размером 26B параметров: из 128 экспертов для каждого токена активны 8. Поддерживается контекст до 256K токенов, английский язык и обработка изображений через отдельный vision mmproj-компонент. Распространяется в формате GGUF с 4-битной квантизацией Q4_K_M; основной файл занимает около 16,8 ГБ, vision-компонент — 1,2 ГБ. В комплект входит MTP-драфтер для speculative decoding, который в тестах автора ускорял генерацию примерно на 35% без заявленного изменения качества. К сильным сторонам относятся большой контекст, поддержка изображений, высокая эффективность MoE и ориентация на программирование, рассуждения и творческие задачи. Работа MTP и заявленное ускорение проверялись автором в llama.cpp; модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Ограничения включают зависимость vision-возможностей от отдельного mmproj-файла, возможные сбои Gemma 4 в LM Studio при multi-GPU tensor-split, а также то, что отсутствие отказов не гарантируется для всех пограничных запросов. Лицензия указана как Gemma. Для запуска рекомендуется использовать параметры temperature 0.6, top_k 64, top_p 0.9, min_p 0.05 и repeat_penalty 1.1.

Mihaiii/Pallas-0.4 — инструкционная дообученная языковая модель на архитектуре Llama, созданная на базе migtissera/Tess-34B-v1.4. Она содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для рассуждений и понимания текста, хорошо работает с длинными системными промптами. Её можно использовать для ответов на вопросы и анализа длинных текстовых материалов; для художественного повествования она не предназначена. Обучение выполнено на частном датасете. Лицензия указана как other.

Pallas-0.5-frankenmerge — 35,6-миллиардная плотная языковая модель семейства Llama, созданная Mihaiii с помощью mergekit на основе Mihaiii/Pallas-0.5. Она предназначена для генерации текста, рассуждений и понимания текста; автор отмечает, что модель хорошо работает с длинными системными инструкциями, но не подходит для универсального применения, например для написания художественных историй. Заявленная длина контекста — 200 000 токенов. Модель принимает текст и генерирует текст; для диалога используется формат SYSTEM / USER / ASSISTANT. Она обучена на частном наборе данных. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

Qwen3.8-27B-PaoAI-ROCmFP4-STRIX-BALANCED-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, подготовленная сообществом PaoAI и предназначенная для запуска через llama.cpp. Разработчики подчёркивают, что проект не связан с Alibaba или командой Qwen. Модель ориентирована на генерацию текста, включая программирование, анализ кода и выполнение задач с длинным контекстом. Модель использует гибридную архитектуру с 48 слоями линейного внимания gated-delta и 16 слоями полного внимания. Размер файла составляет около 15,01 ГБ. Веса сжаты преимущественно в ROCmFP4 примерно до 4,5 бит на параметр, а отдельные чувствительные компоненты, включая нормы, draft head и некоторые представления, сохранены в более высокой точности. Поддерживается контекст до 256K токенов по заявлению авторов, при этом модель оптимизирована для AMD Strix Halo, включая Ryzen AI Max+ 395 с графикой gfx1151, и рассчитана на работу на iGPU без offload-флагов. В карточке указан английский язык. К сильным сторонам относятся небольшие требования к памяти для модели такого размера, встроенное speculative decoding, сохранение качества после квантования и высокая производительность на совместимом оборудовании. Измерения авторов показывают близкие к исходной F16-версии результаты на стандартном тексте и успешное выполнение представленных задач по анализу и написанию кода. Ограничения связаны с узкой аппаратной специализацией ROCmFP4 и Strix Halo, зависимостью от совместимого движка и тем, что заявленные показатели производительности и качества получены авторами сборки на ограниченном наборе тестов; математически квантование является lossy. Распространяется по лицензии Apache-2.0.

mermaidGPT — компактная англоязычная модель, разработанная Houzeric для генерации кода диаграмм Mermaid.js по запросам на естественном языке. Она построена на GPT-подобной архитектуре GPT-2 и доступна в форматах PyTorch и safetensors; для работы и дообучения используется Transformers. Модель предназначена для создания блок-схем, диаграмм последовательностей и других диаграмм Mermaid по текстовым описаниям, например схемы взаимодействия пользователя с сервером. Вход — текст на английском языке, выход — текстовый код Mermaid. Репозиторий связан с датасетом Celiadraw/text-to-mermaid. Лицензия — MIT. Модель заявлена как небольшая и пригодная для запуска и обучения на одной GPU. Точные размер модели и длина контекста в предоставленных данных не указаны. Качество генерации, включая корректность Mermaid-кода для сложных запросов, может зависеть от формулировки запроса; подтверждённых оценок качества в карточке нет.

Mermaid-Llama-6.7B-RAG-Code-Instruct-GGUF — квантованная версия модели Mermaid-Llama-6.7B-RAG-Code-Instruct, разработанная TroyDoesAI и подготовленная в формате GGUF пользователем afrideva. Модель предназначена для генерации текста, анализа кода и преобразования информации в визуальные представления на синтаксисе Mermaid JS. Она ориентирована на создание блок-схем по Python-коду, визуализацию сюжетов и взаимодействий персонажей, построение карт процессов и проектов, а также формирование структурированных графов знаний для сценариев Retrieval-Augmented Generation (RAG). Дополнительно модель умеет генерировать исполняемые фрагменты кода по инструкциям пользователя. Модель содержит 6,7 млрд параметров; точная базовая архитектура, поддерживаемые языки и перечень модальностей в README не указаны. Контекст ограничен 4096 токенами, что затрудняет обработку больших системных диаграмм без предварительной агрегации. Для повышения следования контексту и снижения галлюцинаций используется специальный формат запросов с блоками контекста и инструкций, совместимый с подходом airoboros context-obedient. Сильными сторонами заявлены понимание Python, генерация Mermaid-диаграмм, работа со структурированными знаниями и генерация кода, однако заявленные превосходство над GPT-4 и точность результатов не подтверждены независимыми оценками. Лицензия модели — CC BY 4.0. README не содержит подробностей о конкретных вариантах квантования, требованиях к аппаратному обеспечению или рекомендуемом программном обеспечении для запуска GGUF-файлов.

Metis-0.4 — диалоговая текстовая модель семейства Mistral, разработанная Mihaiii. Она предназначена для рассуждений и понимания текста, особенно в сценариях с длинными системными инструкциями; модель не рассчитана на универсальную генерацию, например на сочинение историй. В README указано, что веса получены слиянием Metis-0.3 и Metis-0.1 с помощью mergekit, причём Metis-0.1 использовалась как базовая модель. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Для работы передайте системное сообщение, затем запрос. Модель обучена на частном наборе данных. Лицензия — Apache-2.0; качество за пределами задач рассуждения и понимания текста может быть ограничено.

MiroThinker-1.7-mini-GGUF — GGUF-квантизированная версия языковой модели MiroThinker-1.7-mini, разработанной командой MiroMind AI. Модель создана для агентных сценариев, глубокого исследования, сложных вопросов и многошагового анализа с использованием инструментов. Она ориентирована на выполнение длинных цепочек рассуждений и поддерживает до 300 вызовов инструментов в рамках одной задачи. Модель содержит 30 млрд параметров и имеет контекстное окно до 256 тыс. токенов. Указана поддержка английского языка; модальность — текстовая. В качестве базовой модели обозначена Qwen/Qwen3-235B-A22B-Thinking-2507. GGUF-версия была создана с использованием llama.cpp. К сильным сторонам относятся большой контекст, многошаговое рассуждение и ориентация на исследовательские агентные процессы. Ограничения включают зависимость качества от корректной интеграции инструментов и значительные требования к вычислительным ресурсам; конкретный вариант квантования в README не указан. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Qwen-7B-GGUF — это квантизированная в формате GGUF версия модели DeepSeek-R1-Distill-Qwen-7B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp, релиз b4514. Модель предназначена для генерации текста, прежде всего для задач рассуждения и сценариев, где требуется пошаговый анализ. Модель поддерживает контекст длиной до 128 тысяч токенов и ориентирована на использование дистиллированных возможностей reasoning-модели DeepSeek-R1. Формат GGUF и совместимость с llama.cpp упрощают локальный запуск, однако квантизация может влиять на качество и точность по сравнению с исходной моделью. Языки и точный вариант квантизации в README не указаны. Как и другие генеративные модели, она может выдавать неточные, вредные или вводящие в заблуждение ответы. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-0731-dwarfstar-q2-gguf — это 2-битная квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Сборка создана сообществом Rednalreden с использованием инструментов DwarfStar (ds4) и предназначена для запуска на машинах с 96 или 128 ГБ оперативной памяти, где 4-битная версия не помещается. Модель относится к задачам генерации текста и может применяться для написания кода, работы с длинным контекстом, агентских сценариев, вызовов инструментов, анализа исходного кода и подготовки связного текста. Модель использует архитектуру MoE с 43 слоями, 256 маршрутизируемыми экспертами, из которых для каждого запроса выбираются 6, а также одним общим экспертом. Файл GGUF занимает около 80,8 GiB, резидентная модель — около 80,76 GiB; при контексте 32 768 токенов требуется примерно 0,86 GiB дополнительной памяти. Маршрутизируемые эксперты квантизированы в 2 бита с использованием importance matrix, тогда как attention-проекции, общие эксперты и выходной слой используют Q8_0, а отдельные компоненты — F16. Заявлена поддержка контекста до 100 000 токенов при использовании ds4-server. Importance matrix улучшила среднюю оценку по отрицательной логарифмической правдоподобности на 1,42% относительно аналогичной Q2-сборки без importance matrix. Основное преимущество — существенная экономия памяти при сохранении большей части качества; ограничение — заметная потеря качества по сравнению с 4-битными или смешанными q2/q4-сборками. Модель требует runtime DwarfStar (ds4) и несовместима с llama.cpp. Лицензия — MIT, унаследованная от базовой модели.

Mermaid-Llama-6.7B-RAG — плотная авторегрессионная модель семейства Llama от TroyDoesAI, дообученная с помощью LoRA для генерации диаграмм Mermaid и структурированных графов знаний. Она предназначена для преобразования фрагментов Python-кода, текстовых описаний и контекста из RAG в схемы потоков, графы связей и визуальные планы. README описывает формат контекстных запросов airoboros и рекомендует использовать модель как автодополнение, а не как обычный чат. В репозитории указаны 6,6 млрд параметров, контекст до 16 384 токенов и формат safetensors. Модель подходит разработчикам для визуализации логики кода, построения графов знаний для поиска по документам и преобразования повествований в схемы персонажей и сюжетных связей. Автор заявляет о снижении галлюцинаций и высокой точности диаграмм, однако независимые подтверждения заявлений о превосходстве над GPT-4 не приведены. Лицензия — CC BY 4.0.

Mermaid-Llama-6.7B-RAG-Code-Instruct — дообученная автором TroyDoesAI плотная причинная языковая модель семейства Llama с 6,6 млрд параметров. Она предназначена для преобразования кода, инструкций и текстового контекста в текстовые ответы: Mermaid-диаграммы и графы знаний, пояснения логики Python, а также фрагменты кода. В README описаны шаблон контекста в стиле airoboros Context-Obedient и обучение с LoRA; контекст модели составляет 16 384 токена, формат весов — safetensors. Модель ориентирована на разработчиков, обучение Python, документирование кода, RAG и визуальное планирование историй и проектов посредством Mermaid-разметки. Она выдаёт текст с кодом и диаграммами Mermaid, а не готовые изображения. Автор предупреждает, что модель следует использовать как автодополнение, а не как чат-бот; README также заявляет о снижении галлюцинаций, но не приводит проверяемых результатов оценки. Лицензия — CC BY 4.0.

Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled — дообученная модель на базе google/gemma-4-E4B-it, разработанная пользователем arsovskidev. Она создана с использованием SFT и QLoRA в 4-битном режиме на наборе данных nohurry/Opus-4.6-Reasoning-3000x-filtered, содержащем около 2,3 тысячи отфильтрованных траекторий рассуждений, дистиллированных из Claude 4.6 Opus. Модель не связана с Anthropic и не одобрена этой компанией. Модель предназначена для текстовых задач, где важны пошаговое рассуждение и структурированный анализ: многошаговой математики, логики, декомпозиции и отладки кода, а также обработки сложных запросов. Она обучена формировать рассуждения внутри тегов <think> перед итоговым ответом. Указанная максимальная длина последовательности при обучении — 2048 токенов; язык обучения — английский. Доступны экспорты в формате GGUF с квантованием Q4_K_M и Q8_0. Сильные стороны модели — компактный размер порядка 4B параметров, ориентированность на более последовательное и обдуманное решение задач и возможность запуска через Ollama или llama.cpp. Ограничения включают небольшой объём обучающего набора, возможные галлюцинации и отсутствие обученных мультимодальных возможностей: несмотря на тег image-text-to-text и возможности базовой модели, этот вариант позиционируется как текстовый. Лицензия — Apache 2.0 с дополнительными Gemma Terms of Use.

Prometheus-Mistral-Nemo-12B — разговорная текстовая модель на архитектуре Mistral, созданная ApolloRaines на основе Mistral-Nemo-Instruct-2407. Авторы применили к весам модели автоматическую оптимизацию через систему jBlaze: модель оценивала свои поведенческие слабые стороны, предлагала изменения, а функциональные тесты определяли, сохранять ли их. Это дообученная версия размером 12,1 млрд параметров с контекстом до 131 072 токенов; доступны веса Safetensors. Модель поддерживает английский язык и интерфейс вызова инструментов. Модель предназначена для диалога и генерации текста с акцентом на проверку предположений, обозначение неопределённости, самокоррекцию, анализ альтернатив и распознавание вводящих в заблуждение формулировок. В README приведён результат 43 из 50 на наборе вопросов-ловушек; качество длинных ответов, по утверждению авторов, сопоставимо с базовой моделью. Эти результаты основаны на описанных авторами тестах и не гарантируют точность в других сценариях. Модель распространяется по лицензии Apache-2.0; система jBlaze, использованная для модификации весов, является проприетарной.

Sequelbox Qwen3-4B-Thinking-2507-DAG-Reasoning — экспериментальная специализированная языковая модель Sequelbox, созданная дообучением Qwen/Qwen3-4B-Thinking-2507. Она генерирует текст и предназначена для причинного анализа: выявляет связи между факторами, оценивает уверенность и формирует результат в виде структурированного ориентированного ациклического графа (DAG), представленного в JSON. Модель использует плотную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. Модель подходит для анализа причин и следствий в программировании, науке, бизнесе, экономике, финансах, праве, логистике и управлении, а также для подготовки графов к визуализации или дальнейшей обработке. Для получения структурированного DAG следует явно запросить граф или анализ; модель также может ответить в обычном стиле Qwen3. Карточка описывает её как ранний экспериментальный выпуск и рекомендует проверять структуру выходных данных перед продуктивным использованием. Доступна по лицензии Apache-2.0.

Qwopus3.6-27B-v1-preview — ранняя экспериментальная модель рассуждений от Jackrong, дообученная на базе Qwen/Qwen3.6-27B. Это плотная мультимодальная модель с 27 млрд параметров: причинная языковая модель с визуальным энкодером, поддерживающая чат, следование инструкциям, работу с изображениями и интерфейс вызова инструментов. В карточке базовой модели указано контекстное окно 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель дообучена на смеси наборов данных с примерами рассуждений; автор сообщает примерно о 12 тысячах отобранных обучающих примеров. Она предназначена для структурированных ответов, агентного рассуждения, программирования, фронтенд-разработки и творческих задач с canvas и WebGL. Указанные в метаданных языки карточки: английский, китайский, японский, корейский, испанский и русский. Это предварительный чекпойнт: опубликованная оценка охватывает лишь небольшую серию из 16 запросов, поэтому результаты не следует считать окончательным сравнением качества. Модель распространяется под лицензией Apache-2.0.