II.3Рефакторинг, миграция и модернизация

Qwen3.8-27B-mlx-uniform-4bit — MLX-версия модели Qwen3.8-27B, подготовленная caslca на основе unsloth/Qwen3.8-27B. Модель преобразована в равномерный аффинный 4-битный формат с группами по 64 значения; заявленный размер — около 27 млрд параметров, объём весов — 15,13 ГБ. В сборку также включены 333 визуальных тензора, поэтому модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями. В README не указаны полный перечень языков и точное максимальное окно контекста, однако тесты проводились с ограничением до 262 144 токенов. Основные сценарии применения — агентное программирование, исследовательская работа, проектирование, математические задачи, генерация и анализ кода, а также базовое описание изображений. Для ускорения декодирования рекомендуется использовать отдельный MTP-компаньон caslca/Qwen3.8-27B-mlx-uniform-4bit-mtp-drafter; одобренная конфигурация предполагает MTP ON, среднюю интенсивность рассуждений и temperature 0,6. Модель ориентирована на запуск через MLX/Metal, в частности на системах Apple Silicon. К сильным сторонам относятся компактное 4-битное представление, поддержка визуального ввода, высокая производительность в проверенных тестах программирования и математики, а также сохранение качества при включённом предикторе MTP в большинстве проведённых сравнений. Результаты имеют ограничения: сравнение на MBPPPlus признано неокончательным, визуальная проверка была небольшой и не подтверждает качество на произвольных изображениях, OCR или сложных диаграммах, а отдельные тесты были exploratory и не заменяют широкую сертификацию. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-NVFP4-GGUF — квантованная версия в формате GGUF модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, разработанной Empero AI на базе Qwen3.5-9B. Модель предназначена для рассуждений, диалогов, работы с изображениями и вызова инструментов. Она принимает контекст до 1 048 576 токенов с масштабированием YaRN и использует отдельный визуальный энкодер SigLIP; указанный в карточке основной язык — английский. По данным README, модель дообучали на более чем 500 млн токенов трасс Claude Mythos и Claude Fable. Среди заявленных сильных сторон — работа с длинными документами и кодовыми базами, математические задачи, кибербезопасность, биомедицина и клинические вопросы. В README также заявлены нативный вызов инструментов и улучшение результатов бенчмарков относительно базовой модели. Основные веса представлены в NVFP4, а визуальный энкодер — в F16; README рекомендует NVFP4 для ускорения на видеокартах NVIDIA Blackwell. Модель не проходила дополнительную настройку зрения: визуальные возможности унаследованы от базовой модели. Она может выдавать чрезмерно уверенные конкретные сведения, включая идентификаторы CVE и дозировки препаратов; для точных ответов рекомендуются проверка инструментами и прикладной защитный слой. Лицензия — Apache-2.0.

CaptainArni/Swift-Qwen3.8-27B-NInfer — артефакт модели Swift-Qwen3.8-27B, разработанной UkisAI на базе Qwen3.8-27B и преобразованной в однофайловый формат NInfer v3 проектом NInfer. Это мультимодальная модель для работы с текстом и изображениями, с поддержкой видео при включении vision-компонента. Она предназначена для диалогов, рассуждений, программирования и генерации структурированного вывода, а также для локального развёртывания через OpenAI-совместимый API. Модель содержит 27 млрд параметров исходной архитектуры, текстовые и vision-компоненты, MTP и опциональный speculative decoding через DFlash2. Используются квантование NVFP4 и FP8, а также форматы BF16 и Q4/Q5/Q6 для отдельных компонентов. Артефакт занимает около 21,2 GiB, веса требуют 18,9 GiB VRAM с MTP или 20,5 GiB с DFlash2. Заявлен максимальный контекст до 262 144 токенов; в примерах конфигурации используется 64 000 токенов. Поддерживается ускоренная генерация с MTP или DFlash2, причём DFlash2 демонстрирует преимущества на коде и структурированном выводе, но требует больше памяти. К сильным сторонам относятся сокращённое число токенов рассуждения, высокая скорость предварительной обработки и меньший объём памяти по сравнению с приведённым официальным NVFP4-артефактом. Ограничения включают зависимость от NVIDIA GPU, Linux и CUDA 12.8+, необходимость использования NInfer, а также ограниченную доказательность заявленных качественных результатов: README описывает лишь небольшое тестирование. DFlash2 обучался на скрытых состояниях базовой Qwen3.8, а не Swift-версии, поэтому его эффективность для этой модели может различаться. Модель распространяется по лицензии swift-open-license-1.0; точные условия следует уточнять по указанному лицензионному документу.

Calcium-Opus-14B-Elite2 — языковая модель на архитектуре Qwen2.5, разработанная prithivMLmods и дообученная на базе Qwen/Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, принимает текст и предназначена для диалогов, генерации ответов и решения задач, требующих рассуждений в несколько шагов. Метаданные указывают контекст до 131 072 токенов; README также заявляет генерацию ответов длиной до 8 тысяч токенов. Модель ориентирована на следование инструкциям, математические задачи, программирование, анализ таблиц и создание структурированных ответов, в том числе JSON. Карточка заявляет поддержку более 29 языков, включая русский и английский; качество может различаться между языками. Модель не имеет доступа к актуальным событиям, а длинные ответы могут содержать ошибки или терять связность. Для запуска требуются значительные вычислительные ресурсы, особенно при работе с длинным контекстом. Распространяется по лицензии Apache-2.0.

koreallmdev/deepseek70b-7816-merged-bf16 — самостоятельная версия DeepSeek-R1-Distill-Llama-70B, выпущенная koreallmdev. Модель получена слиянием LoRA-адаптера, обученного на 7 816 строках, с базовой моделью; после загрузки адаптер отдельно не требуется. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, работающая через Transformers и сохранённая в safetensors в формате BF16. Модель предназначена для диалоговой генерации текста, математических рассуждений, программирования и ответов на сложные вопросы — эти возможности указаны для базовой DeepSeek-R1-Distill-Llama-70B. Выпуск обозначен как Conditional Stable; README также сообщает о 200 отложенных оценочных примерах и наличии smoke-тестовых материалов, но не заявляет бездефектное качество. Модель распространяется по лицензии MIT.

dolphin-2.9.1-llama-3-70b-IMat-GGUF — GGUF-квантизированная версия текстовой модели dolphin-2.9.1-llama-3-70b, разработанной cognitivecomputations. Модель основана на Llama 3 с исходным типом данных BF16 и содержит около 70 млрд параметров. Квантизация выполнена с использованием llama.cpp версии b3003, а разработчиком сборки указан legraphista. Для калибровки применён IMatrix-набор данных. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При обучении исходной модели использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math Word Problems, Locutusque Function Calling ChatML и Agent-FLAN. Поддерживаются варианты квантизации от Q2_K и IQ3 до Q8_0, а также FP16 и BF16; доступны как цельные, так и разделённые файлы. Ключевое преимущество сборки — возможность запускать крупную модель в формате GGUF через совместимое программное обеспечение, выбирая компромисс между размером файла и сохранением качества. IMatrix применяется в ряде вариантов с более низкой разрядностью и может улучшать качество по сравнению с обычной квантизацией. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, особенно для вариантов высокого качества; сведения о конкретном контекстном окне, языках и мультимодальности в README не указаны. Лицензия указана как llama3.

Dolphin 2.9.1 Llama 3 8B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и Cognitive Computations на основе Meta Llama 3 8B. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, обученная полным дообучением всех весов и использующая шаблон диалога ChatML. Контекст модели составляет 8192 токена; в README указано, что полное дообучение проводилось с длиной последовательности 4K. Модель предназначена для следования инструкциям, диалогов, генерации кода и математических ответов; также поддерживает начальные агентные сценарии и вызов функций. В обучении использовались наборы данных для диалогов, кода, математики и вызова функций. Модель рассчитана на текстовый ввод и выдаёт текст. Авторы описывают Dolphin как модель без встроенных ограничений на содержание: она может охотно отвечать на небезопасные и неэтичные запросы, поэтому перед предоставлением пользователям авторы рекомендуют добавить собственный слой выравнивания. Лицензия — Meta Llama 3 Community License; коммерческое использование допускается в рамках её условий.

Dolphin 3.0 Mistral 24B — диалоговая инструкционная языковая модель семейства Dolphin, подготовленная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на базе Mistral Small 24B Base. Это плотная модель с архитектурой MistralForCausalLM, содержащая 23,4 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. Модель предназначена для локального применения в качестве помощника общего назначения: она отвечает на вопросы и следует системным инструкциям, помогает с программированием и математикой, а также поддерживает сценарии с агентными инструкциями и вызовом функций. В README отмечено, что поведение и тон можно задавать системным промптом; для этой модели авторы рекомендуют низкую температуру генерации 0,05–0,1. Модель дообучена на смесях инструкционных, математических, кодовых и диалоговых данных. В метаданных указан английский язык, поэтому уверенно описывать поддержку других языков нельзя. Это текстовая модель без заявленных возможностей обработки изображений или аудио. Для работы с ней нужны совместимая среда запуска и достаточные вычислительные ресурсы; качество ответов зависит от системного промпта и настроек генерации. Лицензия в предоставленных данных не указана.

gemma4-E2B-it-qat-Q4-unsloth-heretic — модифицированная instruction-tuned модель семейства Gemma 4 E2B. Базовую модель разработала Google DeepMind, веса подготовлены в формате Unsloth, а данная сборка опубликована MobiusDevelopment и обработана инструментом Heretic. Из модели удалено встроенное поведение отказа отвечать на отдельные запросы («abliteration» или decensoring), при этом заявлено сохранение общих возможностей базовой модели. Модель предназначена для генерации текста, диалоговых и агентских сценариев, программирования, дополнения и исправления кода, function calling и задач, требующих обработки длинного контекста. Gemma 4 E2B поддерживает текстовые и графические входы, а также аудио; выводом является текст. Заявлены понимание изображений, OCR, анализ документов и PDF, интерфейсов и графиков, распознавание речи и перевод речи в текст, встроенный режим пошагового рассуждения и мультиязычная работа более чем со 140 языками. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания, Per-Layer Embeddings и Proportional RoPE. Вариант E2B имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв, окно локального внимания 512 токенов, контекст до 128K токенов и словарь размером 262 тысяч токенов. Доступны bf16 safetensors для полной мультимодальной версии, текстовый GGUF Q4_K_M и отдельные vision/audio mmproj GGUF. Главная особенность и одновременно ограничение сборки — отсутствие встроенных отказов, поэтому её ответы требуют дополнительного контроля безопасности; качество после модификации может отличаться от базовой модели. Использование регулируется лицензией Gemma и условиями Google Gemma Terms of Use; в метаданных также указана лицензия Apache-2.0.

GLM-4.6-FP8 — языковая модель для генерации текста, разработанная командой zai-org, связанной с Zhipu AI. Модель предназначена для работы с агентами, рассуждениями, программированием, поиском и использованием инструментов, а также для задач, где важны качество текста и естественность ролевого взаимодействия. Модель поддерживает английский и китайский языки, работает через библиотеку Transformers и имеет контекстное окно до 200 000 токенов. По сравнению с GLM-4.5 заявлены улучшения в кодировании, рассуждениях, использовании инструментов и поисковых агентах, а также более качественная генерация визуально оформленных интерфейсов. В README не указаны архитектура, количество параметров и точные сведения о поддерживаемых модальностях; по заявленному pipeline_tag модель относится к генерации текста. К сильным сторонам относятся увеличенный контекст, улучшенная работа с кодом и агентскими сценариями, поддержка tool use во время вывода и более естественный стиль написания. Ограничения и результаты конкретных тестов в README подробно не приведены. Для общих оценок рекомендуется temperature 1.0, а для задач программирования дополнительно top_p 0.95 и top_k 40. Модель распространяется по лицензии MIT.

GLM-5.3-W4AFP8 — квантизированная версия языковой модели GLM-5.3, разработанной организацией zai-org и опубликованной PhalaCloud. Модель предназначена для генерации текста, программирования, агентских сценариев и задач с вызовом инструментов. Она основана на checkpoint zai-org/GLM-5.3-BF16 и сохраняет архитектуру GLM-5.2, включая механизм Mixture-of-Experts (MoE), EAGLE/MTP-спекулятивное декодирование и контекст до 1 млн токенов при использовании H200-класса GPU. Эксперты модели квантизированы в INT4 с группами по 128 весов и калибровкой AWQ на трассах coding-agent, а активации и неэкспертные слои представлены в FP8. Такой формат рассчитан на запуск через SGLang с CUDA CUTLASS W4A8 grouped GEMM на GPU Hopper и обеспечивает примерно вдвое большую ёмкость KV-кэша по сравнению с FP8 checkpoint при одинаковой пропускной способности. Поддерживаются текстовая генерация, рассуждения и tool calling; точный список языков в README не указан. По приведённым оценкам модель показывает 91,9 на GPQA-Diamond, 73,0 на AA-LCR и 82,2 на 45-элементной подвыборке BFCL, а также успешно извлекает информацию из промптов размером около 930 тысяч токенов. Ограничения включают зависимость от специализированной конфигурации SGLang и GPU Hopper, необходимость tensor parallelism на 8 устройствах для полного запуска, а также отсутствие заявленной поддержки этого формата в vLLM на момент публикации. Модель распространяется по лицензии MIT.

Hermes 3 — большая языковая модель общего назначения от Nous Research, дообученная на основе Meta Llama 3.1 70B. Эта версия содержит FP8-квантизированные веса NeuralMagic в формате safetensors и предназначена для запуска через vLLM. Модель использует архитектуру Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Модель рассчитана на диалог с инструкциями, многошаговые рассуждения, ролевые сценарии, генерацию кода и работу в качестве агента. Она поддерживает формат диалога ChatML, вызов функций и формирование структурированных ответов, включая JSON. В карточке указана поддержка английского языка. Модель предлагает длинный контекст и интерфейс для вызова инструментов, но качество может различаться в зависимости от задачи; README отмечает, что у неё есть разные сильные и слабые стороны относительно Llama 3.1 Instruct. Лицензия — Llama 3. Указанная версия квантизирована в FP8 и ориентирована на vLLM.

Ling-3.0-flash-heretic — производная модель на основе inclusionAI/Ling-3.0-flash, в которой применена abлитерация для снижения частоты отказов. В README приведено сравнение: 0 отказов из 100 запросов у этой версии против 87 из 100 у исходной модели; KL-дивергенция относительно оригинала составляет 0,0526. Модель предназначена для диалоговой генерации текста, рассуждений, работы с длинным контекстом и задач программирования и агентных сценариев. В метаданных указаны архитектура Bailing hybrid MoE и 3,5 млрд параметров; README описывает исходную Ling-3.0-flash как гибридную модель с MoE, 124 млрд общих и 5,1 млрд активных параметров. Заявленное окно контекста — 262 144 токена. Репозиторий содержит веса safetensors, интерфейс чата отмечен в метаданных. Лицензия — MIT. Указанное снижение отказов не гарантирует отсутствие отказов во всех ситуациях и может уменьшать встроенные ограничения исходной модели.

unsloth/Llama-3.1-8B-unsloth-bnb-4bit — это 4-битная версия языковой модели Llama 3.1 с 8 млрд параметров, подготовленная Unsloth на основе базовой модели Meta Llama 3.1 8B. Модель работает с текстом на входе и генерирует многоязычный текст и программный код. Архитектура — авторегрессионный Transformer с поддержкой Grouped-Query Attention (GQA), контекстное окно — до 128 тысяч токенов. Модель обучена на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, при этом семейство Llama 3.1 описано как многоязычное. Модель предназначена для генерации текста и кода, диалоговых сценариев, дообучения под прикладные задачи и запуска в условиях ограниченных вычислительных ресурсов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией и подходит для локального инференса и последующего fine-tuning, однако может сопровождаться компромиссами по точности и качеству генерации. README не содержит детальных результатов бенчмарков или характеристик аппаратных требований. Использование регулируется лицензией Llama 3.1; дополнительных условий для версии Unsloth в README не указано.

unsloth/llama-3-8b-Instruct-bnb-4bit — 4-битно квантованная версия инструкционно дообученной языковой модели Llama 3 8B, разработанной Meta и опубликованной в формате, подготовленном Unsloth. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также генерации кода; поддерживает только текстовые входы и выдаёт текст или код. Архитектура модели — авторегрессионный оптимизированный Transformer с Grouped-Query Attention (GQA), объёмом около 8 млрд параметров и контекстом до 8 тысяч токенов. Указанный язык — английский. Инструкционная версия обучалась с применением supervised fine-tuning (SFT) и reinforcement learning from human feedback (RLHF) для повышения полезности и безопасности. Квантование в формате bnb 4bit снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения, однако README не содержит точных показателей качества именно этой квантованной версии. Модель ориентирована на ресурсоограниченное развёртывание, чат-ботов, ассистентов, генерацию текста и кода, а также эксперименты и дообучение. Ограничения включают текстовую модальность, контекст до 8 тысяч токенов, статичный характер обучения на офлайн-данных и дату отсечения знаний — март 2023 года. Используется собственная коммерческая лицензия Meta Llama 3; её условия необходимо проверить в официальном тексте лицензии.

Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным причинным трансформером и отдельным энкодером восприятия; версия Unsloth дообучена на базе meta-models/Muse-Glimmer-30B. Модель содержит около 29,6 млрд параметров и предназначена для локального запуска, в том числе на потребительском оборудовании. Лицензия — Apache 2.0. Модель рассчитана на агентные сценарии: многошаговое планирование, вызов инструментов, восстановление после ошибок и длительное выполнение задач. Она принимает изображения вместе с текстом и подходит для анализа скриншотов, графиков и документов, а также для программирования, генерации синтетических данных и оценки ответов других моделей. Аудио не поддерживается; видео отдельно не оптимизировано и обрабатывается покадрово. Языковое покрытие неоднородно: качество может снижаться для языков, на которых модель недостаточно оценивали. Модель может ошибаться в многошаговых рассуждениях, особенно в новых сценариях, и выдавать предвзятые или нежелательные ответы. Для агентных применений разработчикам рекомендуется проводить проверки безопасности и добавлять защитные механизмы, включая подтверждение необратимых действий.

CallComply/openchat-3.5-0106-11b — дообученная компанией OpenChat чат-модель на архитектуре Mistral, представленная в формате Safetensors. Метаданные указывают 10,6 млрд параметров, контекст до 32 769 токенов и лицензию Apache 2.0. В README приведены сведения о варианте OpenChat-3.5-0106 на 7 млрд параметров с контекстом 8192 токена; поэтому заявленные там размеры и контекст расходятся с метаданными именно этого репозитория. Модель предназначена для диалогов, генерации текста, программирования и математических рассуждений. В README описаны общий режим и отдельный режим математических задач, а также экспериментальные возможности оценки ответов и предоставления обратной связи. Карточка рекомендует запускать её через OpenChat API-сервер с vLLM и указывает поддержку шаблона чата. README приводит результаты тестов на задачах кодирования, математики и общего рассуждения, но эти цифры не гарантируют качество в конкретных сценариях. Это текстовая модель: данные не подтверждают работу с изображениями или аудио. Лицензия репозитория — Apache 2.0.

unsloth/Qwen3-4B-Instruct-2507-bnb-4bit — 4-битная квантованная версия Qwen3-4B-Instruct-2507, подготовленная Unsloth на основе модели Qwen, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалогового взаимодействия; она ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, научные задачи, программирование, использование инструментов и открытые текстовые сценарии. Модель поддерживает только non-thinking режим и не формирует блоки <think></think>. Модель содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к embedding, имеет 36 слоёв и архитектуру Grouped Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Заявлены улучшения в многоязычных задачах и покрытии редких знаний, однако конкретный список поддерживаемых языков в README не приведён. Модель предназначена для text-generation и может использоваться через Transformers, а также разворачиваться с помощью SGLang или vLLM. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантованию, длинный контекст и улучшенные результаты в рассуждениях, кодировании, следовании инструкциям, творческом письме и агентских сценариях. Ограничения включают отсутствие режима reasoning с отдельными блоками размышлений, возможные потери точности из-за квантования и отсутствие в README подробностей о требованиях к оборудованию и фактической производительности именно квантованной версии. Лицензия указана как Apache-2.0.

Карточка модели Bloxyest/Qwen3.5-9B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Qwen3.8-9B MLX MXFP4 — это квантованная версия модели empero-ai/Qwen3.8-9B, подготовленная schsu для локального запуска на компьютерах Mac с Apple silicon. Исходная модель разработана Empero и представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B на основе примерно 70 000 отобранных трасс учителя, посвящённых математике, программированию, рассуждениям, следованию инструкциям и использованию инструментов. Модель предназначена для генерации текста, решения задач, программирования, рассуждений, выполнения инструкций и сценариев с tool use и function calling. Она поддерживает английский язык; в комплект входят токенизатор, конфигурация генерации и chat template. Модель содержит 9,65 млрд параметров, использует архитектуру Qwen3.5-9B и 4-битное weight-only-квантование MXFP4 (E2M1) с размером группы 32. Средний размер хранения составляет 4,251 бита на вес, размер квантованного checkpoint — около 4,5 ГБ, архитектурный предел контекста — до 262 144 токенов. К сильным сторонам относятся локальная работа на Apple silicon, поддержка явного режима рассуждений, вызова функций и многошагового взаимодействия с инструментами, а также компактный размер по сравнению с полноразмерными весами. Практические требования к памяти зависят от длины контекста и характеристик устройства, поскольку KV-кэш растёт вместе с активным контекстом; приведённые показатели скорости и потребления памяти являются лишь локальным smoke-тестом и не заменяют комплексные бенчмарки. Для работы требуются современная macOS, Python 3.10 или новее, mlx-lm версии 0.31.3 или новее и mlx версии 0.32.0 или новее. Модель распространяется по лицензии Apache-2.0.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-3x-TIES-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей EVA-Qwen2.5-32B-v0.2, Rombos-Coder-V2.5-Qwen-32b и Rombos-LLM-V2.5-Qwen-32b. Она предназначена для диалоговой генерации текста, математических рассуждений и программирования; поддерживает интерфейс вызова инструментов. Модель содержит 32 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Yi-1.5-34B-Chat-16K — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Она предназначена для генерации ответов в чате, следования инструкциям, понимания языка и чтения текстов; в семействе Yi-1.5 также заявлено улучшение навыков программирования, математики и рассуждений. Модель непрерывно предобучали на Yi на корпусе из 500 млрд токенов, а затем дообучили на 3 млн разнообразных примеров; для этой версии заявлен контекст до 16 384 токенов. Модель принимает и генерирует текст. README не уточняет список поддерживаемых естественных языков. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Практическое применение требует ресурсов, соответствующих модели с 33,9 млрд параметров; конкретные требования к оборудованию и сравнительные результаты для версии 16K в предоставленных данных не приведены.

BigBang-Aquila-35B-Merged — мультимодальная модель на базе Qwen/Qwen3.6-35B-A3B, созданная объединением DARE-TIES двух специализированных моделей: BigBang-v1 для формальных рассуждений, математики, программирования и исследований, и XYZ-Aquila-mini для веб-поиска, сбора данных и вызова инструментов. Веса объединены с коэффициентами 0,55 и 0,45 соответственно; доступны файлы BF16 Safetensors и GGUF. Модель предназначена для диалогов с изображениями и агентных сценариев, сочетающих рассуждения, код, веб-поиск и инструменты. Карточка сообщает об успешном прохождении 3 из 3 сложных тестов по математике и коду, 1 из 3 по веб-сценариям и 2 из 3 в смешанных задачах; это небольшая оценка и она не гарантирует качество в других условиях. Для запуска требуются Transformers версии не ниже 5.12, а также flash-linear-attention и causal_conv1d. В чекпойнт не включена исходная MTP-голова. Лицензия — Apache-2.0.

cyberneurova-gemma-4-26B-A4B-GGUF — квантизированная GGUF-версия модели cyberneurova-gemma-4-26B-A4B, разработанная CyberNeurova на базе google/gemma-4-26B-A4B. Модель предназначена для локального и self-hosted развертывания, генерации текста, диалоговых сценариев, программирования, tool calling, агентных приложений и задач, где требуется режим рассуждений. Она также поддерживает обработку изображений и относится к мультимодальным моделям. Архитектура модели — Gemma-4 MoE (mixture-of-experts): всего 26 млрд параметров, из которых при обработке активны 4 млрд. Доступны варианты квантизации от 2 до 8 бит, включая специализированный MXFP4_MOE; рекомендуемым универсальным вариантом указан Q4_K_M. Файлы рассчитаны на использование с llama.cpp и Ollama. В README приведён пример контекста 32 768 токенов, однако не уточняется, является ли это максимальным размером контекста модели. Ключевая особенность сборки — abliteration, то есть удаление из весов направления, связанного с типичным отказным поведением. Поэтому у модели снижены встроенные ограничения безопасности, и она может отвечать на запросы, которые стандартная Gemma-4 отклоняет. Это может быть полезно для red teaming, исследований безопасности, разработки управляемых агентов и контролируемых локальных ассистентов, но повышает риск вредоносных или небезопасных результатов; для публичного доступа рекомендуется прикладная модерация. Указан английский язык. Распространение осуществляется по Gemma Terms of Use; ответственность за соблюдение законодательства и условий лицензии несёт оператор.

mlx-community/DeepSeek-R1-Distill-Qwen-14B — конверсия в формат MLX модели DeepSeek-R1-Distill-Qwen-14B, выполненная сообществом mlx-community с помощью mlx-lm версии 0.21.1. Это плотная авторегрессионная языковая модель семейства Qwen2 на 14 млрд параметров для диалогов и генерации текста. Она рассчитана на контекст до 131 072 токенов и поддерживает чатовый сценарий и интерфейс вызова инструментов. Модель подходит для ответов на вопросы, задач с рассуждениями, включая математику, а также генерации и помощи с программированием. README указывает на конверсию исходной модели в MLX, а метаданные — на safetensors и задачу text-generation. Лицензия в предоставленных данных не указана.

puwaer подготовил сжатый вариант DeepSeek-V4-Flash-0731 методом REAP: в каждом MoE-блоке число маршрутизируемых экспертов сокращено с 256 до 132, при этом сохранены все 43 слоя и 6 экспертов на токен. Это причинная языковая модель с архитектурой DeepseekV4ForCausalLM и 10,7 млрд параметров в опубликованном чекпойнте; веса представлены в safetensors FP8. Модель предназначена для диалоговой генерации текста, рассуждений, решения математических задач и генерации кода. Поддерживает контекст до 1 048 576 токенов. По приведённым в карточке тестам, сжатый вариант сохраняет близкие к базовой модели результаты на математических и программных бенчмарках. Стандартная генерация работает, но модули многотокенного предсказания удалены, поэтому ускоренное спекулятивное декодирование на их основе недоступно. Результаты тестов получены при контексте 4096 токенов и отключённом thinking, что ограничивает переносимость этих показателей на другие настройки. Модель основана на deepseek-ai/DeepSeek-V4-Flash-0731; лицензия — MIT.

Dolphin-2.9.3-Mistral-7B-32k-GGUF — это квантизированная версия языковой модели Dolphin-2.9.3-Mistral-7B-32k, созданной Cognitive Computations на базе Mistral-7B-v0.3 от Mistral AI. Репозиторий GGUF подготовлен и квантизирован bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговом формате, выполнения инструкций, программирования, решения математических задач, function calling и агентских сценариев. Модель содержит около 7 млрд параметров, работает с текстовой модальностью и поддерживает контекст до 32 000 токенов. Для обучения или дообучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. README не указывает полный перечень поддерживаемых языков, поэтому языковые возможности нельзя надежно уточнить. Главное преимущество репозитория — широкий выбор GGUF-квантизаций с разным компромиссом между качеством и потреблением памяти: от высококачественных Q8_0 и Q6_K до более компактных вариантов Q4, Q3 и IQ3. Более низкие уровни квантизации экономят память, но могут заметно снижать качество ответов; некоторые варианты отмечены как экспериментальные. Для работы требуется совместимый inference-движок, например llama.cpp. Лицензия — Apache-2.0.

Dolphin-2.9-Llama3-70B-GGUF — это квантизированная версия языковой модели Dolphin 2.9 на базе Llama 3 с 70 млрд параметров. Исходную модель разработала cognitivecomputations, а квантизации в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, агентские сценарии и function calling. В README указан английский язык; модальность — текстовая. Размер контекстного окна не указан. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 16,75 до 74,97 ГБ. Более качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; варианты с меньшей разрядностью экономят память, но могут заметно снижать качество. Модель использует формат диалогового шаблона ChatML с ролями system, user и assistant. К сильным сторонам относятся большой размер модели, широкий набор обучающих данных для инструкций, кода, математики, диалогов и вызова функций, а также возможность локального запуска через llama.cpp при выборе подходящей квантизации. Ограничения — значительные требования к оперативной или видеопамяти, зависимость качества от выбранного варианта квантизации и отсутствие в README сведений о точной длине контекста и результатах стандартизированных оценок. Указанная лицензия — llama3.

Это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b-1m, созданной на базе Meta-Llama-3-8B. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix; исходная модель разработана командой Cognitive Computations. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, программирования, математических задач, function calling и агентских сценариев. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и использует формат диалоговых сообщений ChatML с ролями system, user и assistant. В обучении или дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Суффикс 1m указывает на вариант с очень длинным контекстом, однако точный размер контекстного окна в README не указан. Доступно множество вариантов квантизации с размером файлов примерно от 2,39 до 8,54 ГБ. Q6_K и Q5-серии обеспечивают высокое качество, а Q4 и более компактные варианты снижают требования к памяти и подходят для локального запуска; наиболее агрессивные Q2 и Q3-квантизации имеют заметно более низкое качество. Ограничения включают возможную потерю качества из-за квантизации, отсутствие мультимодальности и неуказанные в README показатели производительности. Лицензия обозначена как other, поэтому точные условия использования следует уточнять у разработчиков исходной модели.

AtomicChat/gemma-4-26B-A4B-it-assistant-GGUF — это GGUF-квантизированная версия модели Google Gemma 4 26B A4B It Assistant, подготовленная Atomic Chat на основе оригинальных весов google/gemma-4-26B-A4B-it-assistant. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых ассистентов, рассуждений, программирования, работы с математическими и визуальными задачами. Репозиторий содержит только текстовые варианты модели без vision projector. Модель имеет 25,2 млрд параметров, из которых 3,8 млрд активны на каждом токене, 30 слоёв и контекст до 256 тысяч токенов. Архитектура — decoder с гибридным вниманием: sliding-window attention с окном 1024 токена и глобальное внимание; используется 16 attention heads и 8 KV heads. Базовая модель поддерживает текст и изображения, однако данные GGUF рассчитаны только на текст. Доступны варианты квантизации Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; Q4_K_M указан как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся высокая эффективность MoE-подобной конфигурации с малым числом активных параметров, большой контекст, возможности рассуждения и хорошие заявленные результаты в тестах по знаниям, математике, программированию и мультимодальным задачам. Результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов; качество также зависит от выбранного уровня квантизации. Для корректной работы требуется применять чат-шаблон Gemma 4 Assistant, например через поддержку jinja. Модель распространяется по лицензии Apache 2.0.