II.9Статистика, эксперименты и причинный анализ

Qwen3-235B-A22B-Thinking-2507 — большая языковая модель семейства Qwen3 от команды Qwen, построенная на архитектуре причинной MoE-модели. В ней 235 млрд параметров всего, из которых активируются 22 млрд; модель имеет 94 слоя и использует 8 из 128 экспертов на шаг. Она работает только в режиме рассуждения и рассчитана на генерацию текста и диалоговое взаимодействие, включая использование инструментов. Модель предназначена для сложных задач логического рассуждения, математики, науки, программирования, следования инструкциям и работы с длинными текстовыми контекстами. Нативная длина контекста составляет 262 144 токена. По сравнению с предыдущей версией Qwen3-235B-A22B-Thinking в карточке заявлены улучшения качества рассуждений и общих возможностей; независимые результаты в предоставленных данных не подтверждены. Модель принимает текст и генерирует текст. Она выпущена под лицензией Apache-2.0. Режим рассуждения увеличивает длину ответов и может быть избыточен для простых запросов; предоставленные данные не описывают конкретные ограничения качества или перечень поддерживаемых языков.

Qwen3.6-27B-Jormungandr-i1-GGUF — это квантизированная в формате GGUF версия модели Qwen3.6-27B-Jormungandr, разработанной nightmedia и подготовленной пользователем mradermacher. Модель основана на архитектуре Qwen3.6 с 27 млрд параметров и распространяется в виде imatrix-квантов различных уровней точности и размера. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, рассуждений, творческого и художественного письма, а также ролевого взаимодействия. В метаданных заявлена поддержка английского, китайского, японского и испанского языков. README указывает, что это vision-модель; для работы с визуальными данными могут потребоваться mmproj-файлы из статического репозитория. Также заявлена поддержка контекста до 256 тысяч или 1 миллиона токенов, однако конкретные ограничения зависят от исходной модели и используемого программного обеспечения. Главное преимущество — широкий выбор квантов GGUF, позволяющий выбирать баланс между размером, скоростью и качеством: от вариантов примерно на 11 ГБ до 22,5 ГБ. Для части вариантов приведены рекомендации по качеству и скорости, но независимые бенчмарки в README отсутствуют. Ограничения включают возможную потерю качества из-за квантования, необходимость совместимого GGUF-движка и дополнительных mmproj-файлов для мультимодальной работы; точные возможности и производительность зависят от выбранного кванта и оборудования. Модель и квантизированные файлы распространяются по лицензии Apache-2.0.

Qwen3.6-27B-NEO-CODE-Di-IMatrix-MAX-GGUF — это набор GGUF-квантов модели Qwen3.6-27B, разработанной командой Qwen и дополнительно оптимизированной DavidAU. Кванты созданы с применением объединённых NEO и NEO-CODE imatrix-датасетов, а также дополнительных настроек тензоров, подобранных по результатам бенчмарков относительно полной BF16-версии. Модель предназначена для широкого круга задач: программирования, математики, решения задач, диалогов с длинным контекстом, многошагового взаимодействия, творческого письма, генерации сюжетов и сцен, сторителлинга и ролевых сценариев. Заявлена поддержка английского и китайского языков. Максимальный контекст составляет 256K токенов. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется совместимый файл mmproj, размещённый вместе с GGUF-файлом. Доступны варианты квантования от IQ2_M до Q8_0 с разным соотношением размера и точности. По данным README, Q8_0 сохраняет 98,38% показателя Same Top P относительно полной точности, IQ4_XS — 93,98%, а IQ2_M — 82,66%. Сильными сторонами заявлены качество при длинном контексте, кодировании, математике и стандартном решении задач, однако качество и требования к памяти зависят от выбранного кванта. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Seven-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-27B-Seven, подготовленная mradermacher. Модель предназначена для генерации и понимания текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма и ролевого взаимодействия. Доступны варианты квантования от Q2_K до Q8_0, что позволяет выбирать баланс между размером файлов, скоростью работы и качеством; размер файлов составляет примерно от 11 до 29,1 ГБ. Заявлена поддержка английского, китайского, японского и испанского языков. Для мультимодального использования предоставляются отдельные компоненты mmproj в форматах Q8_0 и f16. README не содержит точных сведений об архитектуре, числе параметров базовой модели помимо обозначения 27B, фактическом размере контекстного окна и поддерживаемых типах входных данных, поэтому эти характеристики нельзя уточнить. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди перечисленных. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежные компромиссы квантования: более компактные варианты могут уступать по качеству более крупным, а для мультимодальной работы требуется отдельный mmproj-файл. Указание долгого контекста в тегах README не подтверждено подробными техническими параметрами.

fraQtl Qwen3.6-35B-A3B-Hi-Fi-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B-Instruct, разработанной командой Qwen и подготовленной к квантизации fraQtl. Модель предназначена для локальной генерации текста, включая диалог, программирование, математические задачи, работу с инструментами и создание развернутых текстов. Заявлена поддержка английского и китайского языков. Модель использует архитектуру Mixture of Experts с общим размером около 35 млрд параметров, примерно 3 млрд активных параметров на токен и 256 маршрутизируемыми экспертами. Это стандартный Q4_K_M-файл для llama.cpp без необходимости в специальном runtime или измененных ядрах. Вариант Hi-Fi применяет распределение битов с учетом важности отдельных тензоров и калибровку imatrix, чтобы приблизить поведение к Q8-версии при сохранении размера обычной Q4_K_M-квантизации. К сильным сторонам относятся локальный запуск на Apple Silicon и потребительских GPU, совместимость с llama.cpp и оболочками на его основе, а также улучшенные по сравнению с некоторыми публичными Q4-квантами показатели близости распределения вывода и perplexity. Ограничения связаны с потерями точности, присущими квантизации, и значительным размером файла около 20 ГБ. На Apple M4 с 24 ГБ памяти подтвержден запуск в CPU-режиме, тогда как полная Metal-выгрузка для этой конфигурации не укладывается в доступную память; работа на системах с 32 ГБ и более обозначена как экспериментальная. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.

Solstice-AI Qwen3.8-27B-TTURBO-Cold-Fusion-709-L-Uncensored-mlx-oQ8e-1M — это релиз модели для Apple Silicon в формате MLX, созданный Solstice-AI на базе дообученной модели DavidAU Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored. Архитектурная основа принадлежит Qwen/Alibaba, дообучение выполнил DavidAU, а смешанную oQ8e-квантизацию подготовила Solstice-AI. В карточке указаны английский и китайский языки, лицензия Apache 2.0 и контекстное окно до 1 048 576 токенов. Модель предназначена для запуска на компьютерах Apple с unified memory и ориентирована на рассуждения, программирование, научные и многодисциплинарные задачи. Заявлены переменная глубина рассуждений через 10-уровневую систему управления thinking, нативная аппаратная Multi-Token Prediction и скорость 58–74 токена в секунду на потребительских и профессиональных чипах Apple Silicon. Формат oQ8e использует смешанную точность и повышенную разрядность для чувствительных компонентов, включая проекции внимания, матрицы MLP и нормализационные тензоры. К сильным сторонам относятся большой контекст, оптимизация под Metal и Apple Silicon, поддержка аппаратного MTP, гибкое управление глубиной рассуждений и ориентация на кодирование и reasoning. Ограничениями являются требование не менее 64 ГБ unified memory для конфигурации oQ8e, зависимость от MLX/mlx-lm и отсутствие в README подробностей о фактической мультимодальности, несмотря на заявленный pipeline image-text-to-text. Модель обозначена как uncensored и abliterated, поэтому её поведение в части отказов от потенциально вредных запросов может отличаться от стандартных версий.

Qwen3.8-9B MLX MXFP4 — это квантованная версия модели empero-ai/Qwen3.8-9B, подготовленная schsu для локального запуска на компьютерах Mac с Apple silicon. Исходная модель разработана Empero и представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B на основе примерно 70 000 отобранных трасс учителя, посвящённых математике, программированию, рассуждениям, следованию инструкциям и использованию инструментов. Модель предназначена для генерации текста, решения задач, программирования, рассуждений, выполнения инструкций и сценариев с tool use и function calling. Она поддерживает английский язык; в комплект входят токенизатор, конфигурация генерации и chat template. Модель содержит 9,65 млрд параметров, использует архитектуру Qwen3.5-9B и 4-битное weight-only-квантование MXFP4 (E2M1) с размером группы 32. Средний размер хранения составляет 4,251 бита на вес, размер квантованного checkpoint — около 4,5 ГБ, архитектурный предел контекста — до 262 144 токенов. К сильным сторонам относятся локальная работа на Apple silicon, поддержка явного режима рассуждений, вызова функций и многошагового взаимодействия с инструментами, а также компактный размер по сравнению с полноразмерными весами. Практические требования к памяти зависят от длины контекста и характеристик устройства, поскольку KV-кэш растёт вместе с активным контекстом; приведённые показатели скорости и потребления памяти являются лишь локальным smoke-тестом и не заменяют комплексные бенчмарки. Для работы требуются современная macOS, Python 3.10 или новее, mlx-lm версии 0.31.3 или новее и mlx версии 0.32.0 или новее. Модель распространяется по лицензии Apache-2.0.

Qwen3-Nemotron-32B-RLBFF — текстовая диалоговая модель NVIDIA на архитектуре Transformer Qwen3, дообученная на базе Qwen/Qwen3-32B для повышения качества ответов в режиме рассуждения. Она принимает многоходовый текстовый диалог и генерирует ответ на последнее сообщение пользователя; подходит для общих вопросов, анализа данных, планирования, программирования и творческих задач. В метаданных указано 29,7 млрд параметров и контекст до 40 960 токенов; README сообщает, что обучение велось на диалогах длиной до 4 тыс. токенов, хотя заявленный там максимальный вход — 128 тыс. токенов. Модель предназначена для запуска через Transformers или vLLM на GPU NVIDIA; README рекомендует один или несколько GPU с 80 ГБ памяти. В опубликованных оценках модель превосходит исходную Qwen3-32B на Arena Hard V2, WildBench и MT-Bench, однако эти результаты не гарантируют качество в конкретных сценариях. Карточка называет модель исследовательской и приводит результаты тестирования на общих диалоговых бенчмарках. Язык в метаданных — английский; лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория NVIDIA.

Smaug-Llama-3-70B-Instruct-32K — большая языковая модель Abacus.AI для диалогов и генерации текста, основанная на Meta Llama 3 70B Instruct. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 32 768 токенов. Версия 32K использует PoSE и перенос LoRA-адаптера; формат репозитория — safetensors, модель предназначена для работы с Transformers и сохраняет формат промптов Llama 3 70B Instruct. Модель подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и помощи с кодом. В README приведены результаты отдельных тестов, однако авторы отмечают, что на оценку Arena-Hard влияет многословность ответов; часть результатов бенчмарков отсутствует или помечена как предварительная. Модель распространяется по лицензии Llama 3 (llama3), условия которой следует учитывать при использовании и распространении.

InternScience/Agents-A1-4B-Q4_K_M-GGUF — квантизированная версия плотной языковой модели Agents-A1-4B, разработанная командой InternScience. Модель предназначена для агентных сценариев с длинной последовательностью действий: поиска, инженерных и научных задач, следования сложным инструкциям, профессионального вопросно-ответного взаимодействия и вызова внешних инструментов. Она поддерживает планирование, разбиение сложных задач на шаги, адаптацию по промежуточным результатам, function calling и интеграцию с API, интерпретаторами кода и поисковыми системами. Модель содержит около 4 миллиардов параметров и распространяется в формате GGUF с квантизацией Q4_K_M, что снижает требования к памяти и делает её подходящей для локального запуска. В карточке указаны теги vision и vlm, однако подробные сведения о поддерживаемых визуальных модальностях, языках и размере контекстного окна отсутствуют. По заявленным результатам Agents-A1-4B показывает высокую эффективность на BrowseComp, XBench-DS-2510, GAIA, FrontierScience-Research и IFEval, конкурируя с более крупными моделями при меньшем числе параметров. Ограничения модели включают неизвестные из README языковые и мультимодальные возможности, а также отсутствие подробностей о требованиях к оборудованию и точных условиях применения квантизированной сборки. Модель и её базовые компоненты распространяются по лицензии Apache-2.0; формат совместим с экосистемой GGUF и предназначен для использования с соответствующими локальными средствами инференса.

koreallmdev/deepseek70b-7816-merged-bf16 — самостоятельная версия DeepSeek-R1-Distill-Llama-70B, выпущенная koreallmdev. Модель получена слиянием LoRA-адаптера, обученного на 7 816 строках, с базовой моделью; после загрузки адаптер отдельно не требуется. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, работающая через Transformers и сохранённая в safetensors в формате BF16. Модель предназначена для диалоговой генерации текста, математических рассуждений, программирования и ответов на сложные вопросы — эти возможности указаны для базовой DeepSeek-R1-Distill-Llama-70B. Выпуск обозначен как Conditional Stable; README также сообщает о 200 отложенных оценочных примерах и наличии smoke-тестовых материалов, но не заявляет бездефектное качество. Модель распространяется по лицензии MIT.

mlx-community/DeepSeek-R1-Distill-Llama-8B — конверсия в формат MLX модели DeepSeek-R1-Distill-Llama-8B от deepseek-ai, выполненная Focused с помощью mlx-lm 0.21.1. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров для генерации текста и диалогового взаимодействия; заявленная длина контекста — 131072 токена. Базовая модель дообучена на данных рассуждений DeepSeek-R1 и предназначена для многошаговых рассуждений, решения математических задач и программирования. Репозиторий предлагает использовать модель через mlx-lm; метаданные указывают формат safetensors и интерфейс вызова инструментов. В README не приведены сведения о лицензии или языковом покрытии. Возможности и качество модели наследуют ограничения базового чекпойнта; характеристики использования MLX зависят от совместимой среды.

stelterlab/DeepSeek-R1-Distill-Qwen-14B-AWQ — квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанная сообществом stelterlab на основе оригинальных весов DeepSeek AI. Квантизация выполнена в формате INT4 GEMM с использованием AutoAWQ. Модель предназначена для задач рассуждения, решения математических и программных задач, генерации текста и других сценариев применения языковых моделей. Это плотная текстовая модель, дистиллированная из DeepSeek-R1 на базе Qwen2.5; заявлено, что дистилляция переносит эффективные паттерны рассуждений крупной модели в компактные модели. Размер данной версии — 14B параметров. Сведения о поддерживаемых языках и размере контекста в README не указаны. Ключевое преимущество версии AWQ — снижение требований к памяти и вычислительным ресурсам по сравнению с полноточными весами, что упрощает локальный запуск на совместимом оборудовании. Ограничения связаны с INT4-квантизацией: она может приводить к потере качества по сравнению с исходной моделью, а фактическая совместимость и производительность зависят от используемого ПО и оборудования. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731-CRACK-NVFP4 — дообученная и модифицированная версия deepseek-ai/DeepSeek-V4-Flash-0731, опубликованная Dealign.ai. Это текстовая генеративная MoE-модель для диалогов, рассуждений, программирования, вызова инструментов и многошаговых сценариев. Модель позиционируется как исследовательский артефакт с удалёнными защитными отказами, поэтому требует ответственного и законного применения. Архитектура включает 43 слоя, 256 маршрутизируемых и одного общего эксперта, MLA, sliding-window attention и контекст примерно до 1 млн токенов с YaRN. Сохранены native-квантизация FP8 для attention и общих экспертов, FP4 класса NVFP4 для маршрутизируемых экспертов, DSpark MTP head, управляемое усилие рассуждения и спекулятивное декодирование. Чекпойнт занимает около 167 ГБ и рассчитан на tensor parallel между двумя узлами NVIDIA GB10 или DGX Spark; в README также указана конфигурация обслуживания с контекстом до 393216 токенов. Заявлены английский и китайский языки, интеграция с vLLM и поддержка OpenAI-совместимых инструментальных вызовов. К сильным сторонам относятся сохранённые знания и способности к рассуждению, высокая заявленная точность на MMLU и HumanEval, производительность 45–49 токенов в секунду в однопоточном режиме, prefix caching и высокая ёмкость GPU KV cache. Основное ограничение — отсутствие защитных отказов: модель может согласиться с вредоносными, незаконными или опасными запросами. Для запуска требуются совместимые сборки vLLM, две системы GB10/DGX Spark, tensor parallel и специализированная инфраструктура. Модель распространяется по лицензии MIT с наследованием условий upstream DeepSeek-V4-Flash; перед использованием необходимо проверить применимые условия лицензии.

Dolphin 2.9.4 Llama 3.1 8B GGUF — это квантизированная версия текстовой генеративной модели cognitivecomputations/dolphin-2.9.4-llama3.1-8b, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель основана на Llama 3.1 с 8 млрд параметров и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на диалоговые и инструкционные сценарии, генерацию и анализ текста, программирование, математические задачи, работу с агентными данными и системными диалогами. При дообучении использовались наборы Dolphin-2.9, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, FineTome, agent_data, math-gpt-4o и SystemChat. Поддерживается текстовая модальность; сведения о точном контекстном окне и перечне языков в карточке не указаны. Доступно множество вариантов квантизации от F32 до Q2_K и IQ-серий, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Варианты Q5 и Q6 заявлены как высококачественные, Q4 — как компромиссные, а Q2–Q3 требуют меньше памяти, но заметно уступают по качеству. Качество и производительность зависят от выбранного варианта квантизации и аппаратной конфигурации. Лицензия указана как llama3.1.

Dolphin-2.9-Llama3-8B-GGUF — это квантизированная версия текстовой генеративной модели Dolphin 2.9 Llama 3 8B, созданной cognitivecomputations на базе Meta-Llama-3-8B. Квантизации в формате GGUF подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых ответов, следования инструкциям, генерации и анализа текста, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы данных Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие специализированные датасеты. Модель имеет текстовую модальность и около 8 миллиардов параметров. README не содержит точных сведений о поддерживаемых языках и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-классов размером примерно от 2,6 до 8,54 ГБ: более качественные варианты требуют больше памяти, а низкобитные позволяют запускать модель на менее производительном оборудовании с некоторой потерей качества. Для работы указан формат чата с ролями system, user и assistant. Сильными сторонами являются широкий набор инструкционных, кодовых, математических и агентских данных, поддержка локального запуска через llama.cpp и большой выбор компромиссов между качеством и требованиями к памяти. Версия устарела и помечена как deprecated из-за проблем с настройками токенизатора; рекомендуется использовать более новую переквантизированную версию dolphin-2.9-llama3-8b-GGUF. Лицензия указана как other, без подробностей об условиях использования.

FINAL-Bench_Darwin-28B-Opus-GGUF — GGUF-квантизации модели Darwin-28B-Opus, разработанной FINAL-Bench и подготовленной квантизатором bartowski. Модель создана как эволюционное объединение Qwen/Qwen3.6-27B и варианта Qwen3.6-27B с дистиллированным стилем рассуждений Claude Opus. Она предназначена для генерации текста, решения сложных задач и углублённого рассуждения, включая сценарии, требующие пошагового анализа и режима thinking. В основе лежит плотная архитектура поколения Qwen3.6 с гибридным сочетанием линейного и полноформатного внимания: 64 слоя, соотношение три линейных слоя к одному слою полного внимания, размер скрытого состояния 5120 и 27,6 млрд параметров в исходной BF16-версии. Заявлены поддержка английского, китайского, корейского и японского языков, а также многоязычных сценариев. Точная длина контекста в карточке не указана и унаследована от базовой модели. Для GPQA Diamond заявлена точность 88,89% по протоколу адаптивной оценки из трёх этапов, однако результат помечен как непроверенный. Сильные стороны модели — крупный объём параметров, ориентация на продвинутое рассуждение и сочетание возможностей Qwen3.6 с дистиллированным стилем Claude Opus. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, отсутствие точных сведений о длине контекста в данной карточке и то, что доступные GGUF-квантизации являются статическими, без imatrix. Модель распространяется по лицензии Apache 2.0.

Gemma-4-e4b-it-OptiQ-4bit — это локальная квантизированная версия языковой модели google/gemma-4-e4b-it, подготовленная сообществом mlx-community с помощью инструментария mlx-optiq для Apple Silicon. Модель предназначена для генерации текста, включая объяснения, рассуждения, программирование, выполнение инструкций, работу с агентскими сценариями и вызовами инструментов. Она запускается локально через MLX и не требует PyTorch или облачной инфраструктуры. Модель использует смешанную точность: 224 слоя представлены в 4-битном формате, а 155 наиболее чувствительных слоя — в 8-битном; всего квантизировано 379 слоёв, размер группы — 64. Калибровка выполнялась на данных из шести областей: обычный текст, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,1 ГБ. Для ускорения декодирования поддерживается speculative decoding с отдельной моделью-драфтером gemma-4-e4b-it-assistant-bf16. По заявленным оценкам, версия OptiQ превосходит равномерную 4-битную квантизацию на тестах MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop; средний Capability Score составляет 68,92 против 55,20. Ограничения включают привязку к экосистеме MLX и Apple Silicon, а также увеличение размера примерно на 1,2 ГБ по сравнению с равномерной 4-битной версией. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — Apple Silicon-версия мультимодальной модели GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса предоставлены dealignai, а смешанную квантизацию oQ8e подготовила Solstice-AI. Модель распространяется в формате MLX и предназначена для локального запуска на чипах Apple Silicon M2, M3, M4 и M5. Это разреженная MoE-модель общим объёмом 320 млрд параметров, из которых около 18 млрд активируются для каждого токена; используется 288 маршрутизируемых экспертов. Модель поддерживает текст, изображения и видео, заявлены языки English и Chinese, а также нативное контекстное окно до 1 048 576 токенов. В релиз включён DFlash2 speculative drafter, который, по данным README, может обеспечивать прирост пропускной способности генерации до 3 раз. Ключевая особенность — смешанная точность около 8,6 bpw: критичные для маршрутизации и вывода компоненты защищены 8-битным или полным представлением, а vision tower и мультимодальный aligner сохранены в BF16. Модель ориентирована на рассуждения, программирование, математические задачи, анализ изображений и видео, а также работу с длинным контекстом. README заявляет высокие результаты на MMLU, SWE-bench Pro, LiveCodeBench, MATH-500, MMMU и VideoQA, но эти показатели не подтверждены независимыми источниками. Пометка UNCENSORED указывает на отсутствие обычного поведения отказа, что расширяет спектр допустимых сценариев, но может повышать риски небезопасных ответов. Лицензия — MIT.

harkov000 создал объединённую модель Hermes-Dolphin-8B-v0.2-alt методом SLERP с помощью mergekit. Она сочетает Hermes-3-Llama-3.1-8B и Dolphin-2.9.4-Llama3.1-8B и предназначена для диалогов, выполнения инструкций, рассуждений, генерации текста и кода, а также взаимодействия с инструментами. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. В метаданных указаны возможности чата и интерфейс вызова инструментов. Базовая Hermes 3 описана как англоязычная, однако сведения не устанавливают полный набор языков объединённой модели. Файлы представлены в формате safetensors, а веса объединения заданы в bfloat16. Лицензия в предоставленных данных не указана.

Llama 3.1 Tulu V2 70B — языковая модель-ассистент, разработанная Allen Institute for AI (Ai2) и дообученная на базе meta-llama/Meta-Llama-3.1-70B. Это плотная модель семейства Llama с 69,5 млрд параметров; она обучена на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Основной язык — английский. Контекст составляет до 131 072 токенов. Модель предназначена для диалоговых ответов на инструкции и общих задач генерации текста: например, для ответов на вопросы, написания текстов, помощи с рассуждениями и кодом. Карточка приводит результаты на тестах знаний, математики, программирования, следования инструкциям и безопасности, но отдельные оценки не гарантируют качество в конкретном сценарии. Модель не проходила этап RLHF, направленный на безопасные ответы, и не использует встроенную фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; исходная модель распространяется по лицензии сообщества Meta Llama 3.1, условия которой также следует учитывать.

stelterlab/phi-4-AWQ — это 4-битно-квантизированная версия модели phi-4, разработанной Microsoft Research. Квантизация выполнена stelterlab в формате INT4 GEMM с использованием AutoAWQ. Базовая модель представляет собой плотный decoder-only Transformer с 14 млрд параметров, обученный на синтетических и отфильтрованных общедоступных данных, академических книгах, наборах вопросов и ответов, образовательных материалах и коде. Модель ориентирована преимущественно на английский язык; около 8% обучающих данных являются многоязычными. Модель предназначена для генерации текста по текстовым запросам, прежде всего в чат-формате, и может использоваться как основа генеративных AI-функций, в том числе в условиях ограниченных ресурсов и требований к низкой задержке. Среди ключевых сценариев — рассуждение, логика, математика, программирование, ответы на вопросы, диалог и выполнение инструкций. Контекстное окно составляет 16 000 токенов, а выходом является сгенерированный текст. Обучение включало supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. К преимуществам относятся относительно компактный для своих возможностей размер, акцент на рассуждениях, математике, коде и следовании инструкциям, а также снижение требований к памяти благодаря INT4-квантизации. Ограничения включают преимущественную ориентацию на английский язык, статичность модели и отсечение общедоступных данных на июнь 2024 года; перед применением в чувствительных или высокорисковых сценариях необходимы проверка точности, безопасности и справедливости результатов. Модель распространяется по лицензии MIT.

Qwen2.5-7B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. Её создал prithivMLmods методом TIES с помощью MergeKit, объединив DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-7B-Instruct на базе Qwen2.5-7B-Instruct-1M. В репозитории веса представлены в формате safetensors; конфигурация слияния использует точность bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы в стиле рассуждений. Заявленная длина контекста — до 1 010 000 токенов; модель работает через библиотеку Transformers. Она принимает текст и генерирует текст, а метаданные также отмечают интерфейс для вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют. Качество и поведение после слияния могут отличаться от исходных моделей; заявленная длина контекста не гарантирует одинаковую точность на всём объёме.

batiai/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, основанной на архитектуре Qwen3.5. Квантизацию выпустила BatiAI на базе официального релиза Qwen. Модель предназначена для локального запуска через llama.cpp и Ollama, включая использование на устройствах Apple Silicon. Модель представляет собой плотную модель на 27 млрд параметров с 64 слоями, скрытым размером 5120 и словарём из 248 320 токенов. Она использует гибридную архитектуру с преимущественно линейным вниманием Gated DeltaNet и полным вниманием в каждом четвёртом блоке. Нативный контекст составляет 262 144 токена и заявлена возможность расширения до 1 млн токенов. Поддерживаются текстовые сценарии, а при подключении vision-проектора BF16 — анализ изображений и видео. Заявлены языки английский, корейский и китайский. Модель ориентирована на генерацию текста, рассуждения, планирование и агентские сценарии с обработкой обратной связи от окружения. Режим рассуждений включён по умолчанию, его можно отключать и настраивать через reasoning_effort. Доступно несколько вариантов квантизации объёмом примерно от 10,2 до 22,1 ГБ, а vision-проектор требует ещё около 0,93 ГБ. Квантизация снижает требования к памяти, но может влиять на качество по сравнению с полноточной моделью; конкретные требования зависят от выбранного варианта и оборудования. На Apple Silicon производительность разных квантизаций неодинакова, поэтому меньший файл не всегда означает более высокую скорость. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-mlx-uniform-4bit — MLX-версия модели Qwen3.8-27B, подготовленная caslca на основе unsloth/Qwen3.8-27B. Модель преобразована в равномерный аффинный 4-битный формат с группами по 64 значения; заявленный размер — около 27 млрд параметров, объём весов — 15,13 ГБ. В сборку также включены 333 визуальных тензора, поэтому модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями. В README не указаны полный перечень языков и точное максимальное окно контекста, однако тесты проводились с ограничением до 262 144 токенов. Основные сценарии применения — агентное программирование, исследовательская работа, проектирование, математические задачи, генерация и анализ кода, а также базовое описание изображений. Для ускорения декодирования рекомендуется использовать отдельный MTP-компаньон caslca/Qwen3.8-27B-mlx-uniform-4bit-mtp-drafter; одобренная конфигурация предполагает MTP ON, среднюю интенсивность рассуждений и temperature 0,6. Модель ориентирована на запуск через MLX/Metal, в частности на системах Apple Silicon. К сильным сторонам относятся компактное 4-битное представление, поддержка визуального ввода, высокая производительность в проверенных тестах программирования и математики, а также сохранение качества при включённом предикторе MTP в большинстве проведённых сравнений. Результаты имеют ограничения: сравнение на MBPPPlus признано неокончательным, визуальная проверка была небольшой и не подтверждает качество на произвольных изображениях, OCR или сложных диаграммах, а отдельные тесты были exploratory и не заменяют широкую сертификацию. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-35B-A3B — текстовая дистилляция от Empero на базе Qwen/Qwen3.6-35B-A3B. Это причинная языковая модель с архитектурой MoE: 35 млрд параметров всего, около 3 млрд активируются на токен; используется 40 слоёв, 256 экспертов и 8 маршрутизируемых экспертов на токен. Модель распространяется в формате Transformers и поддерживается стандартными средами запуска с поддержкой архитектуры Qwen3.6. Модель предназначена для диалогов, математических задач, программирования, общих рассуждений, следования инструкциям и вызова инструментов. Она обучена методом дистилляции на отфильтрованных трассах внутренних моделей-учителей Qwen3.8; базовая модель поддерживает контекст до 262 144 токенов. Обучение было текстовым, поэтому визуальные возможности унаследованы от мультимодальной основы, но не дообучались и не оценивались. В сравнении с базовой моделью README сообщает о близком результате на MMLU и улучшении на ARC-Challenge. Известные ограничения: ответы обычно короче, чем у основы, длинные цепочки рассуждений могут обрываться, а жадное декодирование при длинной генерации может приводить к повторениям. Для работы нужны актуальная версия Transformers с поддержкой Qwen3.6 и CUDA-совместимые ядра Gated DeltaNet; веса выпущены под лицензией Apache-2.0.

malvavisc0/Qwen3.8-9B-gptq-int4 — квантизированная версия модели empero-ai/Qwen3.8-9B, разработанная в формате GPTQ Int4. Модель относится к семейству Qwen и представляет собой плотную модель примерно на 9 млрд параметров, дистиллированную из Qwen3.8 2.4T A95B. Квантизация выполнена для текстовых модулей; заявлена гибридная архитектура с 24 слоями GatedDeltaNet и 8 слоями полнотекстового внимания. Нативный контекст составляет до 262 тысяч токенов. В репозитории также присутствует необработанная vision tower, однако подробности о поддерживаемых визуальных сценариях не приведены. Модель предназначена для генерации текста, рассуждений, решения математических задач, программирования и агентских сценариев с вызовом инструментов. Она поддерживает reasoning с блоками <think>, управление интенсивностью рассуждений через chat template и XML-формат вызова инструментов. Предусмотрена интеграция с vLLM и Transformers, а также совместимость с OpenAI API через локальный сервер vLLM. Указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Ключевое преимущество — снижение потребления памяти: размер весов составляет около 8,5 ГБ против примерно 18 ГБ у версии BF16. Для работы рекомендуется не менее 12 ГБ общей памяти, комфортный режим начинается примерно с 16 ГБ, а видеокарты с 24 ГБ позволяют использовать длинный контекст. На CPU модель запускается, но медленно. К ограничениям относятся потери, связанные с Int4-квантизацией, необходимость правильно настраивать длину контекста и размер пакета, а также потенциально длинные рассуждения в блоках <think>, которые может потребоваться удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной модели.

Ring-2.6-1T — большая языковая модель компании InclusionAI для рассуждений и выполнения сложных многошаговых задач. В README заявлено триллион параметров, тогда как метаданные репозитория указывают 59 млрд; фактический размер по доступным сведениям определить однозначно нельзя. Метаданные описывают архитектуру как MoE на базе BailingMoE V2.5 и указывают формат safetensors с compressed-tensors; для запуска README упоминает поддержку BF16 и FP8 в SGLang. Модель предназначена для агентных сценариев: планирования шагов, вызова инструментов, продолжительных диалогов и автоматизации рабочих процессов. Среди заявленных применений — разработка ПО, научный анализ, сложные логические и математические задачи, а также корпоративная автоматизация. README сообщает о режимах интенсивности рассуждений high и xhigh и контексте 128K с расширением до 256K через YaRN; метаданные указывают нативный контекст 131072 токена. Карточка приводит результаты ряда бенчмарков, но они являются заявлениями разработчика. Метаданные подтверждают текстовую генерацию и возможность чата; конкретные языки не указаны. Лицензия репозитория — MIT.

Yi-1.5-34B — базовая языковая модель компании 01.AI, построенная на плотной архитектуре семейства Llama. В репозитории представлена версия примерно на 33,9 млрд параметров в формате Safetensors; метаданные указывают контекст 4096 токенов. Модель создана на основе Yi: семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и дообучение на 3 млн разнообразных примеров. Модель предназначена для генерации текста, понимания инструкций, рассуждений, чтения и ответов на вопросы, а также задач по математике и программированию. Разработчик отмечает улучшения относительно Yi в программировании, математике, рассуждениях и следовании инструкциям. В README перечислены также варианты Yi-1.5 с контекстом 16K и 32K, но метаданные этого репозитория указывают 4096 токенов. Модель распространяется по лицензии Apache-2.0. Это базовая версия, а не одна из перечисленных в README чат-версий; заявленные сильные стороны и результаты бенчмарков относятся к семейству, а не гарантируют качество на конкретных задачах. В карточке нет сведений о специальных ограничениях применения.