II.3Рефакторинг, миграция и модернизация

Open-Instruct SNI 7B — языковая модель на архитектуре LLaMA, дообученная исследователями Allen Institute for AI на наборе Super-Natural Instructions. Она предназначена для генерации ответов на инструкции и выполнения разнообразных текстовых задач, включая вопросы и ответы, рассуждения, задачи по математике и генерацию кода. Модель содержит 6,6 млрд параметров, использует формат PyTorch и имеет контекст длиной 2048 токенов. Модель обучалась в рамках исследования состояния instruction tuning на открытых ресурсах; в README приведены результаты на MMLU, GSM, BBH, TyDiQA, Codex-Eval и AlpacaFarm. Для качественной генерации следует соблюдать указанный в карточке формат запросов с переводами строк. Репозиторий содержит diff весов: для использования нужна доступная базовая модель LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model и исходной лицензией LLaMA.

Это конвертированная в ONNX модель Phi-3 Medium-128K-Instruct, подготовленная Microsoft для ускоренного инференса через ONNX Runtime на видеокартах NVIDIA с CUDA. В основе — плотная авторегрессионная архитектура Phi-3 с 13,8 млрд параметров; исходная модель обучена на синтетических данных и отфильтрованных общедоступных веб-данных, а затем прошла дообучение с учителем и оптимизацию предпочтений DPO для следования инструкциям и мер безопасности. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, рассуждения, математические задачи и код. Карточка исходной модели описывает варианты контекста 4K и 128K токенов, однако метаданные этого репозитория указывают native_context_tokens=4096, поэтому для данной версии подтверждён контекст до 4096 токенов. Репозиторий содержит варианты FP16 и INT4; INT4 использует квантизацию RTN. В README приведены замеры скорости на NVIDIA A100 и указано требование CUDA GPU с Compute Capability не ниже 7.0. Модель разработана Microsoft и распространяется по лицензии MIT. Это конверсия исходных весов для ONNX Runtime, а не самостоятельное дообучение; использование CUDA-варианта требует совместимой NVIDIA GPU, а характеристики и скорость зависят от конфигурации инференса.

Qwen3-24B-A4B-Freedom-HQ-Thinking-Abliterated-Heretic-NEOMAX-Imatrix-GGUF — модель от DavidAU, созданная на базе шести моделей Qwen3 4B и их производных, включая варианты с дистилляцией рассуждений из более крупных моделей. Это текстовая reasoning-модель с архитектурой dense Mixture of Experts: по умолчанию активен один эксперт, но доступны конфигурации с двумя–шестью экспертами, соответствующие заявленным уровням 4–24B параметров. Модель распространяется в формате GGUF с различными вариантами квантования и рассчитана на локальный запуск на GPU или CPU. Модель предназначена для широкого спектра задач: генерации и продолжения художественных текстов, ролевых сценариев, диалогов, написания кода, математики, обучения, исторических и научных объяснений, включая задачи высокого уровня. Заявлена поддержка контекста до 256K токенов и английского языка. Модель ориентирована на подробные рассуждения, планирование и точное следование инструкциям; увеличение числа активных экспертов может повысить доступную вычислительную мощность и качество ответов. К сильным сторонам относятся большой контекст, гибкая настройка числа активных экспертов, reasoning-возможности и сниженный уровень отказов благодаря применению Heretic и abliterated-подхода. При этом модель может требовать более явных указаний для получения желаемого уровня резкости, ненормативной лексики или откровенного содержания. Для локального запуска потребуются соответствующие вычислительные ресурсы, особенно при активации нескольких экспертов; заявленные показатели скорости зависят от оборудования и настроек. В README указана лицензия Apache-2.0.

Qwen3-32B-quantized.w4a16 — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen3-32B от Qwen. Она предназначена для рассуждений, function calling, мультиязычного следования инструкциям, перевода и создания специализированных экспертных решений после дообучения. Модель использует архитектуру Qwen3ForCausalLM, принимает текстовые входы и генерирует текст. Веса линейных операторов в трансформерных блоках сжаты до INT4 с применением GPTQ, симметричной поканально-групповой схемы и размером группы 128; остальные характеристики базовой модели, включая точный набор языков и исходный размер контекста, в README не указаны. Квантование уменьшает размер на диске и требования к памяти GPU примерно на 75% по сравнению с представлением весов в 16 бит. Для развёртывания рекомендуется использовать vLLM, включая режим совместимого с OpenAI API сервера. К сильным сторонам относятся существенное снижение потребления памяти и возможность эффективного запуска крупной модели на ограниченных GPU-ресурсах при сохранении назначения базовой модели. Ограничения связаны с потерями качества, возможными при квантовании, а также с тем, что README не содержит численных результатов оценки и подробностей о производительности. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3.5-4B-OptiQ-4bit — это квантизированная версия языковой модели Qwen/Qwen3.5-4B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска генеративных задач на компьютерах Apple Silicon через MLX, без PyTorch и облачной инфраструктуры: генерации и понимания текста, рассуждений, программирования, следования инструкциям, вызова инструментов и агентских сценариев. Модель использует смешанную чувствительно-ориентированную квантизацию: 173 слоя имеют точность 4 бит, а 75 наиболее чувствительных слоёв — 8 бит; всего квантизировано 248 слоёв. Размер группы составляет 64, размер модели на диске — около 3,0 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может обеспечивать примерно 1,4-кратное ускорение декодирования. Доступны текстовые сценарии; другие модальности, языки и размер контекста в README не указаны. По приведённым тестам модель превосходит равномерную 4-битную квантизацию на задачах общих знаний, математики, следования инструкциям, вызова функций, программирования и поиска в длинном контексте. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также потери точности, неизбежные при квантизации; заявленные результаты относятся к конкретной методике оценки. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-NVFP4 — это квантизированная версия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, опубликованная sakamakismile. Сама базовая модель разработана AEON-7 на основе семейства Qwen; данный репозиторий содержит только квантизированные веса. Модель предназначена для генерации текста, включая диалоговые сценарии, рассуждения, программирование и многоязычные задачи. Используется квантизация NVFP4 W4A4 с размером группы 16: большая часть параметров представлена в 4-битном формате, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bf16. Размер весов уменьшен с 55,6 до 20,58 ГБ. Сохранена MTP-голова для speculative decoding; модель рассчитана на GPU Blackwell SM120 и работу через vLLM. В README указана конфигурация с контекстом до 32 768 токенов и KV-кэшем FP8. Проверялись японское самопредставление, арифметика, проверка простоты чисел и генерация Python-кода; также приведены тесты на английском и французском языках. Сильные стороны модели — существенно меньший размер по сравнению с BF16-версией, возможность размещения на двух видеокартах по 16 ГБ с запасом для KV-кэша и ускорение за счёт speculative decoding. Для длинных запросов рекомендуется устанавливать reasoning_effort в medium: при максимальном уровне модель может чрезмерно долго генерировать блок рассуждений, зацикливаться и не выдавать итоговый ответ. В длинном одnofайловом коде иногда пропускается закрывающая скобка, поэтому рекомендуется использовать синтаксическую проверку. Модель лицензирована по Apache-2.0.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-FP8 — мультимодальная языковая модель, разработанная OptimizeLLM на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации и анализа текста, технических и диалоговых сценариев, работы с инструментами, а также обработки изображений и видео. Она ориентирована на использование через vLLM и поддерживает спекулятивное декодирование MTP. В основе лежит плотная модель размером 27,8 млрд параметров с 64 слоями и гибридной архитектурой, объединяющей линейное и полное внимание. Веса квантизированы в FP8 E4M3 с блочным масштабированием 128×128, при этом vision tower, MTP-головы, lm_head, embed_tokens и некоторые проекции сохранены в BF16. Размер модели составляет около 30 ГБ; используются официальный токенизатор Qwen3.8-27B и мультимодальные входы изображений и видео. Длина контекста в README не указана. Ключевая особенность — abliteration с помощью HERETIC, удаляющая склонность базовой модели отказывать в ответах. Поэтому модель подходит для сценариев, где требуется отвечать на технические вопросы, включая темы информационной безопасности, которые исходная модель могла бы отклонять. При этом abliteration не делает модель нейтральной: она может сохранять исходные мировоззренческие и политические склонности, а отсутствие отказов повышает требования к контролю применения. Для запуска рекомендуется GPU с достаточным объёмом памяти; заявлено размещение на одной карте 96 ГБ, а в vLLM требуется ограничить max-num-seqs до 32. Производительность измерялась на RTX PRO 6000 Blackwell и составляла около 122 токенов в секунду при MTP=4, но зависит от нагрузки. Модель распространяется по лицензии Apache-2.0. README не содержит полного перечня поддерживаемых языков и точного размера контекста.

R1-ImpishMind-8B — объединённая языковая модель, созданная сообществом mergekit-community из DeepSeek-R1-Distill-Llama-8B и Impish_Mind_8B. Для слияния применён метод SLERP с параметром t=0.5; архитектура — плотная LlamaForCausalLM, около 7,5 млрд параметров, веса опубликованы в формате safetensors. Модель предназначена для диалоговой генерации текста, включая решение задач и многошаговые рассуждения, унаследованные от базовой модели DeepSeek-R1-Distill-Llama-8B. Поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Карточка не описывает отдельную специализацию по языкам или прикладным областям. Качество и поведение результата зависят от задачи и могут отличаться от исходных моделей после слияния. Лицензия в предоставленных данных не указана.

Ring-mini-linear-2.0 — языковая модель компании inclusionAI для генерации текста и диалогов. Она построена на гибридной архитектуре, сочетающей линейное и стандартное внимание, и использует разреженную смесь экспертов (MoE). В репозитории указано 1,2 млрд параметров, а в карточке модели описана версия с 16,4 млрд параметров, из которых при генерации активируются 1,6 млрд; эти цифры расходятся, поэтому размер полной модели по доступным данным нельзя согласовать. Модель дообучена на основе inclusionAI/Ling-mini-base-2.0-20T на дополнительных 600 млрд токенов. Модель предназначена для генерации ответов в диалогах и решения сложных задач по математике, программированию и науке. Метаданные указывают поддержку интерфейса вызова инструментов. Для эффективной обработки длинного контекста заявлено окно до 512 тыс. токенов с расширением YaRN; метаданные указывают нативный контекст 131 072 токена. В карточке приведены англоязычные теги. Для запуска описана поддержка Transformers и SGLang, а также BF16 и FP8 в SGLang; инструкции по установке специальных зависимостей и сборок движков указывают на необходимость совместимой среды. Лицензия — MIT.

Swift-Qwen3.8-27B-GGUF — квантованная версия reasoning-эффективной производной модели Qwen3.8-27B, разработанная компанией UkisAI. Модель предназначена для задач рассуждения, включая общие вопросы, математику, следование инструкциям и программирование, где важны качество ответов и скорость генерации. По данным README, модель распространяется в формате GGUF и предназначена для использования с llama.cpp. Она сохраняет производительность, близкую к базовой Qwen3.8-27B: заявлено снижение качества менее чем на 1% при сокращении числа thinking-токенов в среднем на 58,3% и ускорении до 1,95 раза на ряде задач. В опубликованных тестах результаты Swift близки к базовой модели на GPQA-Diamond, MMLU-Pro, C-Eval, IFBench и математических бенчмарках, однако на некоторых из них качество ниже. Модель подходит для локального запуска и приложений, которым требуется эффективное рассуждение при ограниченных вычислительных ресурсах. Сведения о поддерживаемых языках, размере контекста и точном методе квантования в представленном README не указаны, поэтому эти характеристики нельзя определить достоверно. Модель распространяется по лицензии swift-open-license-1.0; README также содержит ссылку на условия доступа и enterprise-лицензирования.

Ternary Bonsai 27B — GGUF — это компактная модель для генерации текста и рассуждений, разработанная Prism ML на базе Qwen3.6-27B. Она предназначена для локального запуска через llama.cpp на CPU, CUDA- и Metal-устройствах, включая стандартные ноутбуки и отдельные GPU. Модель ориентирована на диалоговые сценарии, математические задачи, программирование, агентное использование инструментов и работу на устройствах с ограниченными ресурсами. Модель сохраняет архитектуру исходной 27B-классовой causal language model с гибридным вниманием: около 75% слоёв используют линейное внимание, а около 25% — полное. Она содержит примерно 27,3 млрд тернарных языковых весов и около 0,46 млрд параметров vision tower. Используются SwiGLU, RoPE и RMSNorm. Веса представлены в формате GGUF Q2_0_g128 с тернарными значениями −1, 0 и +1, что соответствует примерно 1,71 бита на вес. Размер развёрнутой модели составляет около 7,2 ГБ против примерно 54 ГБ у FP16-версии. Поддерживается контекст до 262 тысяч токенов, а KV-кэш квантизирован до 4 бит. Vision tower доступна в 4-битном формате и подключается при обработке изображений. К сильным сторонам относятся существенное снижение требований к памяти, сохранение рассуждений и агентного поведения при низкой битности, поддержка локального инференса и заявленное сохранение около 95% показателей FP16-версии на наборе из 15 тестов. Для CUDA доступен слой DSpark для спекулятивного декодирования с заявленным ускорением 1,34 раза. Ограничения включают зависимость от специализированных низкобитных ядер и совместимых форков llama.cpp, а также отсутствие в README точного перечня поддерживаемых языков. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-UD-2.0-GGUF — квантизированная GGUF-версия модели, опубликованная mfielding92 на основе дообученной модели hesamation Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled. Квантизация выполнена с использованием рецептов Unsloth Dynamic 2.0, imatrix и переопределений типов тензоров в llama.cpp. Базовая модель основана на архитектуре Qwen3.6 с разреженной Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке каждого токена, 256 экспертов и 8 маршрутизируемых плюс 1 общий активный эксперт. Модель предназначена для генерации текста, диалогов, рассуждений, агентного программирования и решения сложных задач в длинном контексте. Дообучение проводилось на текстовых данных с дистилляцией цепочек рассуждений, преимущественно связанных с Claude Opus 4.6, поэтому модель ориентирована на более структурированные рассуждения и стабильную работу с многошаговыми задачами. Указан английский язык. Хотя базовая архитектура включает vision encoder, это дообучение не использовало изображения или видео, поэтому мультимодальные возможности данной версии не подтверждены. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов согласно описанию базовой модели. Для большинства пользователей рекомендован вариант UD-Q4_K_XL как баланс качества и размера; также доступны варианты UD-Q5_K_M, UD-Q3_K_XL и UD-Q2_K_XL с разным уровнем сжатия. В ограниченной проверке MMLU-Pro модель получила 75,71% exact match на 70 вопросах, однако этот результат заявлен как сравнительный smoke-тест, а не полноценная оценка. Модель распространяется по лицензии Apache-2.0.

airoboros-dpo-110b-3.3 — экспериментальная чат-модель, дообученная Jon Durbin на базе Qwen 1.5 110B с дополнительным этапом DPO. Она предназначена для диалога, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода и структурированных ответов, включая вывод аргументов для вызова функций. Модель использует архитектуру Qwen2 с плотной сетью из 110 млрд параметров, формат диалога ChatML и контекст до 32 768 токенов. Карточка описывает настройку ответов по контексту, генерацию длинных ответов и планов выполнения, а также примеры задач на кодирование и ролевой диалог. Для ответов по заданному контексту рекомендуется низкая температура; качество следования таким инструкциям зависит от явного форматирования входных данных. Автор отмечает, что иногда в конце ответов появляются случайные лишние токены. Репозиторий содержит веса safetensors; лицензия в метаданных указана как other, без уточнения условий.

AbuYahya2/deepseek-marsad — объединённая текстовая модель, созданная автором репозитория с помощью mergekit и метода TIES на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B с включением NousResearch/Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная архитектура LlamaForCausalLM примерно на 7,5 млрд параметров; файлы представлены в формате safetensors, библиотека для работы — Transformers. Модель предназначена для диалоговой генерации текста и поддерживает контекст до 131 072 токенов. Модель подходит для чат-ответов, математических задач, программирования и многошаговых рассуждений — эти возможности связаны с базовой моделью DeepSeek-R1-Distill-Llama-8B. В метаданных также отмечен интерфейс вызова инструментов. README описывает способ слияния, но не приводит оценки качества или отдельные результаты тестирования именно этой объединённой версии. Условия использования определяются лицензиями базовых моделей; сведения о лицензии в предоставленных данных отсутствуют.

ELYZA-Thinking-1.0-llm-jp-4-33b — языковая модель с рассуждениями, разработанная ELYZA, Inc. на основе llm-jp/llm-jp-4-33b-base. Это плотная авторегрессионная модель семейства Llama с 32,2 млрд параметров и контекстом 65 536 токенов; веса доступны в формате safetensors, лицензия — Apache 2.0. Модель предназначена прежде всего для японского рассуждения и следования инструкциям, включая задачи по математике, программированию, STEM, японским знаниям и работе с инструментами. ELYZA провела промежуточное обучение, дообучение на инструкциях и обучение с подкреплением на проверяемых задачах, добавляя японские данные и сохраняя англоязычные материалы. Поддерживаются японский и английский языки. Модель подходит для диалоговых приложений, решения сложных задач и сценариев с вызовом инструментов. README отмечает ограничение формата Harmony: параллельные вызовы инструментов не поддерживаются. Для работы с моделью описаны варианты запуска через vLLM и Transformers.

FuseAI/FuseChat-Qwen-2.5-7B-Instruct — разговорная языковая модель FuseAI на архитектуре Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. Это целевая модель семейства FuseChat-3.0, обученная методом неявного слияния: сначала её дообучили на лучших ответах сильных языковых моделей, затем применили Direct Preference Optimization (DPO) к парам предпочтительных и менее предпочтительных ответов. В качестве источников использовались Gemma-2-27B-It, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct и Llama-3.1-70B-Instruct. Модель предназначена для диалога, следования инструкциям, решения математических задач и помощи с кодом; обучение также включало китайскоязычные данные. Подходит для локального запуска в формате Safetensors, а метаданные отмечают интерфейс вызова инструментов. README сообщает об улучшениях на ряде бенчмарков, однако приведённые там конкретные приросты относятся к версии с целевой моделью Llama-3.1-8B и не подтверждают такие же результаты для этой версии. Лицензия в предоставленных данных не указана.

MoonRide/gemma-4-31B-it-heretic-ara-custom-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и модифицированной MoonRide. Модель создана на основе google/gemma-4-31B-it с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA), направленного на снижение частоты отказов от ответов. По заявленным данным, она обрабатывает текст и изображения и генерирует текст. Модель предназначена для генерации и понимания текста, рассуждений, программирования, работы с длинным контекстом и мультимодальных сценариев с изображениями. Архитектура базовой модели — плотная Transformer-модель примерно с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальным окном 1024 токена и глобальными слоями. Максимальный контекст заявлен до 256K токенов, размер словаря — 262K; поддерживается более 140 языков. Формат GGUF ориентирован на локальный запуск в совместимых средствах инференса, однако конкретная степень квантования и требования к памяти в README не указаны. Главная особенность этой версии — существенно меньшее число отказов в приведённой оценке: 16 из 100 против 99 из 100 у исходной модели; при этом указано KL-расхождение 0,0417 относительно оригинала. Это может сделать модель более готовой к ответам на запросы, которые базовая версия отклоняет, но одновременно снижает гарантии встроенного безопасного поведения. Модель распространяется по лицензии Apache 2.0 согласно README; для Gemma также следует учитывать применимые условия лицензии Google Gemma 4.

ShiningValiant3 — дообученная Valiant Labs модель генерации текста на архитектуре GPT-OSS-20B с MoE. Она предназначена для научных рассуждений, проектирования систем искусственного интеллекта, решения сложных задач, общего и творческого reasoning, а также диалогов и следования инструкциям. В карточке указаны наборы данных с примерами рассуждений DeepSeek R1 0528; модель использует формат промпта gpt-oss-20b и обычно рекомендуется высокий уровень reasoning. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 131 072 токенов и 1,6 млрд параметров; доступен формат safetensors, а в README отмечены веса bf16 и возможность локального запуска на настольных и мобильных устройствах, а также быстрого серверного инференса. Основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. README позиционирует её для открытого использования; практические результаты зависят от сценария и вычислительных ресурсов, особенно при использовании bf16.

HelixLM-CheckpointHub — текстовая авторегрессионная модель семейства HelixLM, поддерживаемого Nimbus AI Lab. Она предназначена для генерации ответов и диалогов, включая решение математических и логических задач, программирование и вызов функций. В карточке описаны улучшения рассуждений после дополнительной вычислительной подготовки и оптимизаций на этапе постобучения; заявлено повышение результата GPQA-Diamond с 58% до 76,5% по сравнению с предыдущей версией HelixLM. Модель доступна в формате PyTorch и использует библиотеку Transformers. README рекомендует температуру 0,6 и приводит системный промпт для ассистента. Также описаны сценарии вопросов по загруженным файлам и генерации с результатами веб-поиска. Размер модели и длина контекста в предоставленных данных не указаны. Для модели заявлена лицензия MIT. README отмечает улучшения в снижении галлюцинаций и поддержке вызова функций, но не приводит подробных оценок, методики сравнения или ограничений по применению; фактическое качество на конкретных задачах может отличаться от benchmark-результатов.

Карточка модели TracNetwork/mayhem-catalog-prism-ml-Ternary-Bonsai-27B-MLX-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

mergekit-community/mergekit-linear-mocebtg — объединённая плотная языковая модель, созданная сообществом с помощью mergekit методом Linear из DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb. Она предназначена для генерации текста в диалоговом формате; интерфейс также поддерживает вызов инструментов. Модель построена на архитектуре Qwen2 и содержит 32 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. В метаданных указаны формат safetensors и библиотека Transformers. Базовая DeepSeek-R1-Distill-Qwen-32B дообучена для рассуждений и решения задач по математике и программированию, однако отдельные возможности и качество итогового слияния не описаны. Сведения о лицензии в предоставленных данных отсутствуют.

Abiray/MiniCPM5-2B-GGUF — набор квантованных весов модели MiniCPM5-2B, разработанной OpenBMB и входящей в серию MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, представленная в формате GGUF для локального запуска через llama.cpp, Ollama и LM Studio, включая сценарии on-device и edge AI. Модель ориентирована на генерацию текста и поддерживает английский и китайский языки. Модель предназначена для генерации кода и текста, решения математических задач, работы с длинным контекстом до 128 тысяч токенов, вызова инструментов и многошаговых агентских сценариев. Доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 1,29 до 2,68 ГБ; Q4_K_M указан как рекомендуемый баланс скорости, качества и занимаемой памяти, а Q8_0 — как вариант с минимальными потерями относительно исходных весов. Квантование уменьшает требования к памяти, но может влиять на точность, особенно в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

TheBloke/Mistral-7B-Instruct-v0.2-GGUF — это набор квантизированных файлов в формате GGUF для языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и квантизированной TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Для форматирования запросов используется шаблон Mistral: <s>[INST] {prompt} [/INST]. Модель содержит 7 миллиардов параметров; поддерживаются варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. Формат GGUF ориентирован на эффективный запуск с использованием CPU и GPU и совместим с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими перечисленными средствами. README не указывает языки, размер контекста или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. К преимуществам относятся возможность локального запуска, широкий выбор уровней квантования и поддержка различных программных инструментов. Более сильное квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; конкретные компромиссы зависят от выбранного файла. Модель распространяется по лицензии Apache-2.0.

Nemotron-Flash-3B-Instruct — инструктивная языковая модель семейства Nemotron-Flash, разработанного NVIDIA. Это плотная авторегрессионная модель с архитектурой NemotronFlashForCausalLM; в метаданных размер указан как 1,3 млрд параметров, а длина контекста — 29 000 токенов. Модель предназначена для диалоговой генерации текста и компактного развертывания с низкой задержкой. В карточке заявлены сильные результаты на задачах математики, программирования и рассуждений здравого смысла, а также эффективная генерация при небольшом и большом размере пакета. Для инференса описана интеграция с Transformers, CUDA Graph и TensorRT-LLM; веса доступны в формате safetensors. Для использования требуется учитывать поддержку CUDA и доверенную загрузку пользовательского кода через trust_remote_code. Лицензия указана как other, поэтому условия использования следует уточнить в карточке модели. Заявленные сравнительные результаты приведены разработчиком; независимая проверка в этих материалах не описана.

Hermes-4.3-36B-GGUF — это GGUF-квантизированная версия языковой модели Hermes-4.3-36B, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая ассистирование, рассуждения, ролевое взаимодействие, работу с JSON и структурированными ответами, function calling и использование инструментов. Модель содержит 36 млрд параметров и поддерживает текстовый ввод и вывод. В карточке заявлен английский язык; контекстное окно и точная архитектура не указаны. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и более компактные форматы. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее снижают качество ответов. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Рекомендуемые варианты позволяют выбирать баланс между качеством и потреблением памяти, однако крупные файлы требуют значительных аппаратных ресурсов. Лицензия — Apache-2.0.

unsloth/Qwen3.5-2B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и подготовленной Unsloth. Модель предназначена для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, агентских сценариев, вызова инструментов и работы с текстом и изображениями. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и поддерживает контекст до 262 144 токенов. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Поддерживается 201 язык и диалект. Вариант включает обучение для multi-step speculative decoding (MTP), заявленное ускорение генерации составляет примерно 1,5–2 раза при совместимом запуске через llama.cpp. К сильным сторонам относятся мультимодальность, большой контекст, компактный размер, возможность локального запуска и поддержка ускоренного декодирования, дообучения и улучшенного tool calling. Ограничения связаны с необходимостью совместимого ПО и сборки llama.cpp с поддержкой MTP; при таком режиме не поддерживаются параллельность запросов через -np > 1 и параметр --mmproj. В README также указано, что из-за масштаба модели она ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Распространение осуществляется по лицензии Apache 2.0.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP — мультимодальная модель генерации текста, разработанная AEON-7 на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16. Модель предназначена для диалогов, анализа и генерации текста, программирования и других сценариев, поддерживаемых Qwen3.6. Заявлены языки English, Chinese и multilingual. Модель опубликована в формате NVFP4 с поддержкой Multi-Token Prediction (MTP) и speculative decoding. Архитектура использует гибридный стек Gated DeltaNet (GDN) и attention, а также мультимодальный режим. Размер модели — 27B параметров. В конфигурации развертывания указан контекст до 229 376 токенов. Формат NVFP4 снижает требования к памяти и рассчитан на ускорители NVIDIA Blackwell, включая DGX Spark/GB10 и дискретные RTX, при использовании совместимого контейнера vLLM. Поддерживаются native MTP и внешний DFlash drafter; заявлены функции reasoning и вызова инструментов через соответствующие парсеры vLLM. К сильным сторонам относятся большой контекст, мультимодальность, оптимизация для Blackwell, ускоренное декодирование и uncensored/abliterated-настройка. Ограничения включают зависимость от специализированных версий vLLM, аппаратных и конфигурационных требований, а также то, что модель помечена как устаревшая: автор рекомендует вместо неё Qwen3.8 Ultimate Uncensored NVFP4-MIXED. Лицензия — Apache-2.0.

TeichAI/Qwen3-8B-Gemini-2.5-Flash-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-8B. Модель обучена методом дистилляции на крупном наборе данных TeichAI/gemini-2.5-flash-11000x, созданном на основе Gemini 2.5 Flash. Она предназначена для генерации текста общего назначения, включая программирование, научные задачи, юридические и исторические вопросы, а также маркетинговые сценарии. Модель содержит 8 миллиардов параметров. В README указана поддержка английского языка, однако сведения о точной архитектуре, модальностях, размере контекстного окна и дополнительных языках отсутствуют. К сильным сторонам относятся универсальная область применения и обучение на данных, связанных с Gemini 2.5 Flash; при этом качество и поведение модели могут зависеть от особенностей дистиллированного набора данных и базовой Qwen3-архитектуры. Лицензия — Apache-2.0.

RadixArk Qwen3.8-Flash-Next-NVFP4 — кандидатный релиз RadixArk, представляющий квантованную версию мультимодальной модели Qwen3.8-Flash-Next. Это гибридная архитектура Transformer с Mixture-of-Experts, объединяющая GDN и разреженное QSA-внимание, multi-hyperconnection streams и PLE n-gram injection. Модель содержит около 180 млрд параметров, 48 декодерных слоёв, до 512 маршрутизируемых экспертов на MoE-слой с маршрутизацией top-10, общий эксперт и один MTP-слой. Модель принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста — до 262 тысяч токенов. Она предназначена для оценки инференса Qwen3.8-Flash-Next в задачах агентных систем, диалогов, программирования и мультимодального рассуждения. Квантование выполнено с помощью NVIDIA Model Optimizer по схеме NVFP4 W4A4 преимущественно для маршрутизируемых экспертов; размер контрольной точки уменьшен примерно с 360 до 135 ГБ. Для запуска указана интеграция с SGLang и поддержка GPU NVIDIA Blackwell, включая GB300 и B300, в Linux. По приведённым оценкам, квантование сохраняет качество в однопроходных задачах GSM8K и AIME, однако длительные агентные генерации могут выполняться дольше, чем в BF16-версии. Модель может порождать неточные, неполные, избыточные или токсичные ответы и воспроизводить предвзятость обучающих данных. Лицензия обозначена как other; условия использования необходимо смотреть у исходной модели Qwen3.8-Flash-Next.

Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.