II.9Статистика, эксперименты и причинный анализ

Qwen3.6-35B-A3B-Escha-W2 — это 2-битная квантизованная версия модели Qwen3.6-35B-A3B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, программирования, рассуждений и диалоговых сценариев. Она использует архитектуру Mixture-of-Experts с 256 экспертами; эксперты квантизованы в 2–3 бита, а плотные слои представлены в int8. Размер модели на диске составляет 12,3 ГБ, заявлен поддерживаемый язык — английский. Длина контекста в README не указана. Модель ориентирована на локальный запуск через OpenAI-совместимый HTTP API. Для работы рекомендуется видеокарта с 24 ГБ VRAM, минимально заявлено 16 ГБ с ограничениями по параллельности и длине контекста. Поддерживаются NVIDIA GPU от Ampere до Blackwell на Linux x86-64; для Apple Silicon доступен отдельный runtime на базе MLX. В комплекте находятся квантизованные веса, токенизатор и конфигурация, а runtime вынесен в отдельный репозиторий. Среди заявленных результатов — pass@1 92,07 на HumanEval+, точность 61,75 на CRUXEval-O, 80,9 на MMLU-Pro, 93,8 на MATH-500 и 77,8 на GPQA-Diamond. Сильными сторонами являются высокая эффективность по объёму памяти и производительность на совместимом потребительском GPU, однако 2-битная квантизация может снижать качество относительно полноразмерных версий, а запуск требует подходящего оборудования и специализированного runtime. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Heretic-Cerebellum-GGUF — это квантизированная GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Вариант Heretic создан на основе uncensored-модификации от llmfan46 с применением Heretic v1.2.0, а смешанно-точная квантизация Cerebellum выполнена deucebucket. Модель относится к архитектуре Qwen3 и использует MoE-подход; рекомендуемый файл Q3_K_M занимает около 11,96 ГБ. Для мультимодальной работы требуется отдельный vision projector BF16 размером около 858 МБ, поддерживающий обработку изображений и видео через llama.cpp. Модель предназначена для генерации текста, рассуждений, ответов на вопросы, программирования и мультимодального описания изображений. По приведённым локальным тестам на RTX 3090 она показывает 95,48% на ARC-Challenge, 91,78% на HellaSwag, 75,42% на MMLU-Redux и pass@1 64,63% на HumanEval+. Эти результаты характеризуют конкретную квантизированную сборку и не гарантируют аналогичную производительность в других конфигурациях. Сильными сторонами являются сочетание относительно компактного размера, MoE-архитектуры, смешанной квантизации, поддержки мультимодальных сценариев и хороших результатов на задачах общего reasoning и программирования. Ограничения включают потери качества из-за квантизации, необходимость совместимого рантайма и vision projector для работы с изображениями и видео, а также отсутствие в предоставленных данных сведений о длине контекста и поддерживаемых языках. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-WFH-GGUF — это GGUF-квантизированная версия модели Qwen3.8-27B-Brainwaves-WFH, подготовленная mradermacher на основе модели nightmedia. Модель предназначена для локального запуска и генерации текста в широком спектре сценариев, включая диалог, следование инструкциям, программирование, математические и STEM-задачи, исследования, рассуждения, творческое и художественное письмо, сторителлинг и ролевые взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель относится к семейству Qwen и доступна в формате GGUF с вариантами квантования от Q2_K до Q8_0, а также в форматах IQ4_XS и F16. Размер файлов варьируется примерно от 11 до 29,1 ГБ; для мультимодального использования предусмотрены дополнительные файлы mmproj-Q8_0 и mmproj-f16, однако конкретные поддерживаемые визуальные модальности в README не описаны. В метаданных заявлены контексты 256K и 1M токенов, но их практическая доступность для данной сборки не подтверждена. Сильной стороной модели является выбор вариантов квантования, позволяющий выбирать между размером, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди указанных. Ограничения включают значительные требования к дисковому пространству и памяти, а также отсутствие подробных данных о производительности, оценках качества, точной архитектуре и рекомендуемых параметрах запуска. Лицензия — Apache-2.0.

Это GGUF-квантизация модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем pearsonkyle. Модель предназначена для локального запуска через llama.cpp, Ollama или LM Studio; поддерживает генерацию текста, агентские сценарии, программирование, tool use и function calling. Указана совместимость с задачами разработки и SWE-bench. Модель имеет гибридную архитектуру с linear attention и hybrid attention, поддерживает текст и изображения через дополнительный vision-проектор mmproj размером 629 МБ. Доступны варианты IQ2_M, IQ3_M, IQ4_XS и Q5_K_M с размером файлов примерно от 9,7 до 18,3 GiB и точностью от 3,06 до 5,76 бит на параметр. Квантизация выполнена с использованием importance matrix на контексте 32 768 токенов. В каждый вариант встроена MTP-голова в формате Q8_0 для speculative decoding без отдельного файла. Рекомендуемым вариантом заявлен IQ4_XS, а Q5_K_M описан как наиболее близкий к FP16. К сильным сторонам относятся сниженные требования к памяти, поддержка длинного контекста, мультимодальность и встроенная MTP-голова. Ограничения связаны с потерями качества, неизбежными при низкобитной квантизации, а также с тем, что для обработки изображений требуется отдельный mmproj-файл. Лицензия — Apache-2.0; заявленный язык — английский.

TeichAI/Qwen3-8B-Gemini-2.5-Flash-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-8B. Модель обучена методом дистилляции на крупном наборе данных TeichAI/gemini-2.5-flash-11000x, созданном на основе Gemini 2.5 Flash. Она предназначена для генерации текста общего назначения, включая программирование, научные задачи, юридические и исторические вопросы, а также маркетинговые сценарии. Модель содержит 8 миллиардов параметров. В README указана поддержка английского языка, однако сведения о точной архитектуре, модальностях, размере контекстного окна и дополнительных языках отсутствуют. К сильным сторонам относятся универсальная область применения и обучение на данных, связанных с Gemini 2.5 Flash; при этом качество и поведение модели могут зависеть от особенностей дистиллированного набора данных и базовой Qwen3-архитектуры. Лицензия — Apache-2.0.

R1-Stheno-8B — объединённая языковая модель автора harkov000, созданная с помощью mergekit методом SLERP из DeepSeek-R1-Distill-Llama-8B и Llama-3.1-8B-Stheno-v3.4. Это плотная модель семейства Llama с примерно 7,5 млрд параметров, предназначенная для генерации текста в диалогах и многошаговых рассуждений. В метаданных указано контекстное окно 131 072 токена; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Сочетание базовых моделей ориентирует её на диалоговую генерацию и задачи рассуждения, включая решение математических задач и программирование. Метаданные отмечают интерфейс вызова инструментов, однако README не описывает его формат или надёжность. Лицензия в предоставленных сведениях не указана.

Ring-flash-linear-2.0 — открытая языковая модель от InclusionAI, полученная дальнейшим обучением inclusionAI/Ling-flash-base-2.0 на дополнительном триллионе токенов. Она предназначена для диалога и генерации текста, включая задачи рассуждения, математики, программирования, науки и творческого письма; также поддерживает интерфейс вызова инструментов. Модель на 5,5 млрд параметров построена на разреженной MoE-архитектуре Bailing с гибридным вниманием: линейное внимание сочетается со стандартным, а для ускорения генерации используются MTP-слои. По данным разработчика, активируется 6,1 млрд параметров, заявлена производительность на уровне плотной модели 40B и контекст до 128 тысяч токенов. Метаданные указывают английский язык; в README заявлены высокая эффективность инференса и результаты на уровне сопоставимых моделей в выбранных тестах. Для запуска README приводит варианты на Transformers, SGLang и vLLM с дополнительными пакетами и версиями зависимостей. Модель распространяется по лицензии MIT. Заявления о скорости и качестве основаны на оценках разработчика; README не приводит в представленном тексте подробностей о наборах данных и ограничениях ответов.

Rombo-LLM-V2.5-Qwen-32b — плотная языковая модель на 32 млрд параметров, разработанная Rombo-Org как дообученная версия Qwen2.5-32B-Instruct. README также сообщает о слиянии instruct- и base-моделей методом TIES, но метаданные классифицируют происхождение как дообучение Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM семейства Qwen2, формат весов — safetensors, контекст — до 32 768 токенов. Базовая модель поддерживает диалог, программирование, математику и структурированные ответы, однако README не приводит независимых оценок заявленного превосходства этой версии. Лицензия — Apache-2.0.

SagaLM-slm2 — диалоговая языковая модель, созданная разработчиком SagaLM на основе Qwen/Qwen2.5-7B-Instruct. Модель дообучена методами QLoRA и supervised fine-tuning (SFT); её архитектура Qwen2 совместима с реализацией Qwen2/Qwen2.5 в Transformers. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов согласно метаданным; в README указана длина контекста 2 048 токенов при обучении. Модель предназначена для диалогов и выполнения инструкций, включая рассуждения, математические задачи и программирование. Обучение включало разговорные и инструктивные данные, а также примеры, закрепляющие идентичность SagaLM. Для генерации автор рекомендует до 1 024 новых токенов с настройками temperature 0,7 и top_p 0,9. Сведения о лицензии в предоставленных материалах отсутствуют.

Ternary Bonsai 27B — GGUF — это компактная модель для генерации текста и рассуждений, разработанная Prism ML на базе Qwen3.6-27B. Она предназначена для локального запуска через llama.cpp на CPU, CUDA- и Metal-устройствах, включая стандартные ноутбуки и отдельные GPU. Модель ориентирована на диалоговые сценарии, математические задачи, программирование, агентное использование инструментов и работу на устройствах с ограниченными ресурсами. Модель сохраняет архитектуру исходной 27B-классовой causal language model с гибридным вниманием: около 75% слоёв используют линейное внимание, а около 25% — полное. Она содержит примерно 27,3 млрд тернарных языковых весов и около 0,46 млрд параметров vision tower. Используются SwiGLU, RoPE и RMSNorm. Веса представлены в формате GGUF Q2_0_g128 с тернарными значениями −1, 0 и +1, что соответствует примерно 1,71 бита на вес. Размер развёрнутой модели составляет около 7,2 ГБ против примерно 54 ГБ у FP16-версии. Поддерживается контекст до 262 тысяч токенов, а KV-кэш квантизирован до 4 бит. Vision tower доступна в 4-битном формате и подключается при обработке изображений. К сильным сторонам относятся существенное снижение требований к памяти, сохранение рассуждений и агентного поведения при низкой битности, поддержка локального инференса и заявленное сохранение около 95% показателей FP16-версии на наборе из 15 тестов. Для CUDA доступен слой DSpark для спекулятивного декодирования с заявленным ускорением 1,34 раза. Ограничения включают зависимость от специализированных низкобитных ядер и совместимых форков llama.cpp, а также отсутствие в README точного перечня поддерживаемых языков. Модель распространяется по лицензии Apache 2.0.

Zephyr ORPO 141B-A35B v0.1 — разговорная языковая модель, совместно обученная Argilla, KAIST и Hugging Face. Это дообученная с помощью Odds Ratio Preference Optimization (ORPO) модель mistral-community/Mixtral-8x22B-v0.1 с архитектурой Mixture of Experts (MoE): в карточке указаны 141 млрд параметров всего и 39 млрд активных, тогда как метаданные каталога указывают 22 млрд параметров. Для каталога также заявлен контекст до 65 536 токенов. Модель предназначена для диалогового ассистирования и общих задач с текстом, включая код, математику и рассуждения. В обучении использован датасет argilla/distilabel-capybara-dpo-7k-binarized с синтетическими многоходовыми предпочтениями. README сообщает о сильных результатах на MT Bench и IFEval, но обучение описано как проверка ORPO в большом масштабе, а не как выпуск универсальной системы с гарантированным качеством. Основной язык — английский. Модель принимает текст и генерирует текст; метаданные отмечают поддержку чата. Лицензия — Apache 2.0. В README предупреждается, что модель не проходила этап RLHF для выравнивания по человеческим предпочтениям в области безопасности и может выдавать проблемные ответы, особенно при соответствующих запросах.

bagel-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и jondurbin/bagel-7b-v0.1 методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Контекст составляет до 32 768 токенов. В карточке указана лицензия Apache-2.0. Языки модели в предоставленных данных не перечислены.

Bigstral-12b-32k — диалоговая языковая модель от ehartford, созданная с помощью mergekit на основе Mistral-7B-Instruct-v0.2. Веса слоёв исходной модели расположены в чередующемся порядке, образуя плотную архитектуру MistralForCausalLM размером 12,3 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в формате диалога [INST]…[/INST], включая написание кода. Большое окно контекста позволяет работать с длинными запросами и документами. Репозиторий использует формат safetensors и библиотеку Transformers; для запуска автор также приводит команду Ollama. Лицензия — Apache-2.0. README не приводит сведения о поддерживаемых языках или подробную оценку качества, поэтому их нельзя определить по имеющимся данным.

DeepSeek-V4-Flash-0731-AWQ — это квантизированная сборка базовой модели deepseek-ai/DeepSeek-V4-Flash-0731, подготовленная в формате AWQ для запуска на компьютерах Apple Silicon через oMLX. Исходная модель представляет собой MoE-архитектуру с 304 млрд параметров, 43 слоями, 256 маршрутизируемыми экспертами на слой, механизмами Hyper-Connections и HISA attention; в README разработчик исходной модели не указан, а автор данной квантизированной сборки также не идентифицирован. Модель предназначена для генерации текста, диалоговых и агентских сценариев, решения математических задач и генерации кода. В сборке маршрутизируемые эксперты квантизированы до 2–3 бит, а attention, общие эксперты, embeddings и head оставлены в 8-битном формате. Основная часть содержит 278,6 млрд квантизированных параметров и занимает около 101,4 ГБ; вместе с квантизированным MTP/DSpark speculative drafter общий размер составляет около 108,2 ГБ. Поддерживаются режимы reasoning_effort low, high и max. Языки и максимальная длина контекста в README не указаны. Сильными сторонами являются возможность запуска очень крупной MoE-модели на одной системе Apple Silicon, высокая скорость генерации около 47–51 токена в секунду на M5 Max с 128 ГБ памяти, а также хорошие результаты на GSM8K и HumanEval — 93,5% и 87,2% соответственно. Главные ограничения связаны с агрессивной 2/3-битной квантизацией: на MMLU сборка получила 64,5% против 81,5% у неквантизированного учителя, то есть потеряла 17 процентных пунктов в задачах на широкий массив знаний. Для длинного контекста рекомендуется 4- или 6-битная квантизация KV-кэша; без специализированных ядер oMLX предварительное заполнение длинного контекста может работать значительно медленнее. Модель распространяется по лицензии, обозначенной как other с именем лицензии deepseek. Полные условия лицензии в README не приведены.

Weyaxi/Dolphin2.1-OpenOrca-7B — текстовая генеративная модель Weyaxi, созданная слиянием TIES двух моделей: ehartford/dolphin-2.1-mistral-7b и Open-Orca/Mistral-7B-OpenOrca. Она предназначена для диалогов, ответов на вопросы и генерации текста. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Слияние объединяет веса Dolphin 2.1 Mistral 7B и Mistral 7B OpenOrca; в README приведены коэффициенты весов и плотности для каждой исходной модели. Репозиторий содержит веса в формате safetensors. Указанная лицензия — Apache-2.0. Доступны отдельные квантизированные версии GPTQ, GGUF и AWQ от TheBloke.

Это GGUF-квантизированная версия модели dolphin-2.9.2-Phi-3-Medium-abliterated, разработанной cognitivecomputations и подготовленной пользователем legraphista. Модель основана на Phi-3 Medium, распространяется для генерации текста и ориентирована на диалоговые, инструкционные, математические, кодовые и агентские сценарии. В обучении исходной модели использовались, в частности, наборы Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math и Agent-FLAN. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты. Репозиторий предоставляет файлы в форматах BF16, FP16 и различных вариантах квантования GGUF: от Q8_0 и Q6_K до Q2_K, включая варианты с применением IMatrix. Размер доступных файлов составляет примерно от 5,20 до 27,92 ГБ. Указан английский язык; сведения о других языках, точном числе параметров, архитектурных деталях и размере контекста в README отсутствуют. К сильным сторонам относятся широкий выбор уровней квантования, возможность подобрать баланс между качеством и требованиями к памяти, а также использование IMatrix в ряде компактных вариантов. Ограничения включают зависимость характеристик от выбранного файла квантования и отсутствие в предоставленных данных результатов бенчмарков или подробной оценки качества. Модель и её варианты распространяются по лицензии MIT.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная языковая модель в формате GGUF, созданная HauhauCS на основе Gemma 4 12B от Google DeepMind. Это вариант с удалёнными ограничениями на отказы, предназначенный для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых задач, где важны следование инструкциям и надёжность ответов. Модель имеет плотную архитектуру размером 12B параметров и поддерживает контекст до 256K токенов. Основной файл использует 4-битную QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; для обработки изображений требуется отдельный mmproj-файл размером 168 МБ. Заявлена поддержка английского языка, а визуальный ввод реализуется через компонент mmproj. Для ускорения генерации доступен MTP-модуль спекулятивного декодирования, который, по данным автора, даёт примерно 60% прироста скорости при использовании llama.cpp без изменения результата. Сильные стороны модели — большой контекст, поддержка изображений, ориентация на кодирование и рассуждения, а также совместимость с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Заявление об отсутствии отказов основано на тестах автора и не является абсолютным: для некоторых пограничных запросов возможны отказы с первой попытки. Модель рекомендована для запуска на одной GPU; автор отмечает возможные сбои Gemma 4 в LM Studio при режиме tensor-split. Распространяется по лицензии Gemma.

AtomicChat/gemma-4-E4B-it-assistant-GGUF — это локальная GGUF-квантизированная версия модели google/gemma-4-E4B-it-assistant, разработанной Google и самостоятельно преобразованной в GGUF командой Atomic Chat. Модель предназначена для генерации текста, диалоговых ассистентов, рассуждений, программирования и автономного офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые приложения. Архитектура модели — плотный decoder с 42 слоями, гибридным вниманием: скользящее окно 512 токенов сочетается с глобальным вниманием. Указано 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, контекст до 128K токенов, словарь 262K токенов, 4 attention heads и 2 KV heads. Базовая модель поддерживает текст, изображения и аудио, однако представленные в этом репозитории кванты являются текстовыми и не содержат vision projector. Языки модели в README не указаны. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что должно уменьшать потери качества на низкой разрядности. Q4_K_M рекомендован как компромисс между размером, скоростью и качеством, а Q8_0 и F16 — для большей точности. Ограничениями являются текстовый формат поставки, возможная потеря качества из-за квантизации и необходимость использовать шаблон чата Gemma 4 через параметр --jinja. Приведённые в README результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

GLM-4-9B — плотная языковая модель с архитектурой ChatGLM, разработанная Zhipu AI и выпущенная как открытая базовая версия семейства GLM-4. Модель содержит 10,7 млрд параметров и принимает текст, формируя текстовые ответы; базовая версия поддерживает контекст до 8 192 токенов. Модель предназначена для генерации текста и решения задач на понимание языка, знания, математику, рассуждение и программирование. Семейство GLM-4 поддерживает 26 языков, включая японский, корейский и немецкий; карточка также указывает китайский и английский. Упомянутые в README возможности многоходового диалога, вызова инструментов и контекста до 128K относятся к версии GLM-4-9B-Chat, а не к этому базовому чекпойнту. Весы распространяются в формате safetensors. Лицензия указана как other; README отсылает к LICENSE репозитория для условий использования. Заявленные в карточке сравнительные результаты не гарантируют качество на конкретных данных и сценариях.

unsloth/GLM-Z1-9B-0414-GGUF — это GGUF-квантизированная версия модели GLM-Z1-9B-0414, разработанной командой THUDM и подготовленной Unsloth. Модель относится к семейству GLM, предназначена для генерации текста и поддерживает китайский и английский языки. Это компактная модель примерно на 9 млрд параметров, ориентированная на локальный запуск в условиях ограниченных вычислительных ресурсов. Модель обучалась с применением методов cold start и расширенного обучения с подкреплением на задачах математики, программирования и логики. Она рассчитана на диалоговые и общие текстовые задачи, требующие рассуждений, включая математическое решение проблем и выполнение сложных инструкций. Для инференса рекомендуется использовать параметры temperature 0.6, top_p 0.95, top_k 40 и max_new_tokens до 30000; поддерживается принудительный режим рассуждений. Базовый максимальный контекст составляет 8192 токена, а для более длинных входов может применяться YaRN с исходным пределом позиционных эмбеддингов 32768 токенов, что потенциально снижает качество на коротких текстах. Для запуска через llama.cpp требуется включить опцию --jinja. Модель распространяется по лицензии MIT.

NANI-Nithin/Instella-MoE-16B-A3B-Think-GGUF — набор GGUF-квантизаций модели Instella-MoE-16B-A3B-Think, разработанной AMD. Модель предназначена для рассуждений, генерации текста, программирования и выполнения общих инструкций, включая локальный запуск на рабочих станциях, CPU, GPU и периферийных устройствах через совместимые среды llama.cpp. Это MoE-модель архитектуры Instella-MoE, производная от семейства DeepSeek-V3, примерно с 16 млрд общих параметров и около 3 млрд активных параметров на токен. Она является текстовой, англоязычной моделью с контекстом до 32 768 токенов в указанном примере запуска. Репозиторий содержит варианты от Q2_K до Q8_0, IQ-квантизации и BF16; квантизация позволяет снижать требования к памяти с соответствующим компромиссом между качеством и размером. Ключевое ограничение — отсутствие поддержки Instella-MoE в основной ветке llama.cpp на момент подготовки файлов. Для запуска требуется форк llama.cpp с веткой instella-moe либо будущая версия с полной поддержкой архитектуры, включая Gated Attention и FarSkip. Лицензия модели указана как Apache-2.0.

Llama3.1-8B-Titanium-Forge — языковая модель, созданная ZeroXClem методом слияния четырёх моделей ValiantLabs на базе семейства Llama 3.1. Она объединяет диалоговые навыки ShiningValiant2, математические способности Cobalt, генерацию кода Enigma и структурированный вывод Fireplace2. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст; заявленная длина контекста — 131 072 токена. Модель предназначена для технических консультаций, решения математических задач, написания и объяснения кода, создания SQL-запросов и JSON, а также для диалоговых помощников и творческого письма. Карточка заявляет поддержку вызова инструментов через интерфейс модели. Основной язык — английский; метаданные не содержат отдельного перечня поддерживаемых языков. Весовые файлы опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Заявленные специализации происходят из карточки и не сопровождаются результатами оценивания; точность ответов, качество на длинном контексте и надёжность структурированного вывода следует проверять для конкретного применения.

Llama-3-8B-Magpie-Align-SFT-v0.2 — разговорная языковая модель, дообученная командой Magpie-Align на базе meta-llama/Meta-Llama-3-8B. Для обучения использованы наборы Magpie-Pro-MT-300K-v0.1 и Magpie-Reasoning-150K с примерами математики, программирования и рассуждений. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель предназначена для ответов на инструкции и диалоговых сценариев, включая задачи на рассуждение, математику и код. В README сообщаются результаты на MT-Bench, Alpaca Eval 2 и Arena Hard, но они не гарантируют качество на конкретных запросах. Для лучшей работы рекомендуется официальный шаблон чата Llama 3. Модель рассчитана прежде всего на английский язык. Распространяется по лицензии Meta Llama 3 Community License; применяются условия этой лицензии.

MiMo-V2.6-Flash-RL — мультимодальная модель Xiaomi из серии MiMo-V2.6, обученная с подкреплением для задач агентного взаимодействия и самоулучшения по обратной связи. Она предназначена для генерации текста, работы с инструментами, программирования и мультимодального понимания; обучение объединяет задачи кодирования, визуальные сценарии, агентов общего назначения и кибербезопасность. В README архитектура описана как разреженная MoE с 309 млрд общих и 15 млрд активируемых параметров, 1 млн токенов контекста, обработкой текста, изображений, видео и аудио, а также визуальным и аудиокодировщиками. Метаданные Hugging Face, однако, указывают 12 млрд параметров и архитектуру dense MiMoV2ForCausalLM в формате safetensors FP8; поэтому точный размер и тип архитектуры опубликованной версии противоречивы. Метаданные также указывают поддержку английского и китайского языков. Для развёртывания README приводит рецепты SGLang и vLLM и интерфейс вызова инструментов. Модель распространяется по лицензии MIT. README приводит результаты отдельных бенчмарков, но не задаёт гарантий качества для конкретных задач; работа с длинным контекстом и мультимодальными входами требует совместимого программного обеспечения и достаточных вычислительных ресурсов.

MuXodious/Ministral-3-14B-Reasoning-2512-absolute-heresy — дообученная версия мультимодальной модели Mistral AI Ministral 3 14B Reasoning 2512, обработанная модифицированным механизмом Heretic с применением abliteration. Модель предназначена для диалоговых ассистентов и рассуждений, включая решение математических и научных задач, программирование и агентные сценарии с вызовом инструментов и JSON-выводом. Архитектура Mistral 3 — плотная модель с языковой частью на 13,5 млрд параметров и визуальным энкодером на 0,4 млрд. Она принимает текст и изображения, поддерживает контекст до 256 тыс. токенов и языки английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README сообщается о низкой доле отказов после обработки, но автор отмечает, что показатель не отражает качество модели. Модель распространяется по лицензии Apache 2.0. README указывает на необходимость Transformers v5 для соответствующего способа использования. Модель описана как сильно uncensored; её ответы могут не отказывать на запросы, которые обычно отклоняются, поэтому требуется внимательное применение.

Mistral-7B-Instruct-v0.3-GPTQ-4bit — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и опубликованной в каталоге RedHatAI. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая ответы на вопросы, рассуждения, решение математических задач и работу с типовыми тестовыми запросами. Она работает с текстовыми данными; сведения о поддерживаемых языках и размере контекста в README не указаны. В модели применена весовая квантизация GPTQ до 4 бит с group_size=128. Указано, что квантизация обеспечивает восстановление 99,75% точности относительно неквантизированной версии. Средняя точность на наборе тестов Open LLM Leaderboard составляет 65,05%; приведены результаты для ARC, MMLU, HellaSwag, Winogrande, GSM8K и TruthfulQA. Сильными сторонами являются снижение требований к памяти и возможность оптимизированного инференса с использованием Marlin mixed-precision kernels в vLLM. К ограничениям относятся потенциальная потеря качества по сравнению с полной точностью и отсутствие в README подробностей о фактических требованиях к оборудованию, языках и контексте. Модель распространяется по лицензии Apache-2.0. README также указывает готовность к использованию в vLLM в качестве сервера инференса.

JANGQ-AI/Mistral-Small-4-119B-A6B-JANG_2L — версия Mistral Small 4, подготовленная Jinho Jang с использованием открытого метода адаптивного квантования JANG и предназначенная для запуска на Apple Silicon через MLX. В README указаны архитектура Mistral Small 4 с MLA attention, 128 MoE-экспертами и визуальным энкодером Pixtral; размер модели — 119 млрд параметров, из которых активны около 6 млрд на токен. Репозиторий содержит веса safetensors, а вариант JANG_2L использует смешанную разрядность около 2,14 бита. Модель предназначена для диалогов и генерации текста, включая рассуждения, ответы на вопросы, математические задачи и написание кода. Она также принимает изображения для визуального анализа; README указывает максимальное разрешение 1540 пикселей и режим рассуждений с тегами [THINK]. Заявлены размер файлов около 30 ГБ и пиковое потребление памяти около 40 ГБ, поэтому автор рекомендует Mac с 48 ГБ объединённой памяти и MLX Studio для поддержки JANG. В метаданных указана лицензия Apache-2.0 и связь с базовой моделью mistralai/Mistral-Small-4-119B-2603. Заявления README о скорости и результатах MMLU являются результатами автора; они не описывают независимую оценку качества. Сильное квантование может влиять на точность, а для запуска нужны совместимая среда MLX и достаточно памяти.

NeoHorse-1-4B-GGUF — текстовая GGUF-версия причинной языковой модели NeoHorse-1-4B, разработанной TokenRhythm и переобученной на базе Qwen3.5-4B. В репозитории prithivMLmods представлены варианты квантования от BF16 до Q3_K_S, предназначенные для запуска через llama.cpp и совместимые с экосистемой Transformers. Модель рассчитана на генерацию текста, следование инструкциям, программирование, рассуждения, работу в агентных сценариях и использование инструментов. Её ключевая особенность — routing harness, который распределяет задачи между разнородными моделями, учитывает взаимодействия с инструментами и результаты выполнения, оценивает требуемые способности и использует эти сигналы для формирования обучающей смеси. Указана поддержка Qwen3-style reasoning и парсеров вызовов инструментов; модель также может обслуживаться через SGLang или vLLM. Модель содержит около 4 миллиардов параметров, поддерживает только текстовый ввод и вывод, поскольку vision-веса исключены. Заявлен английский язык, нативное контекстное окно составляет 262144 токена с возможностью расширения до 1010000 токенов. По данным README, в сравнении с рядом моделей сопоставимого размера NeoHorse-1-4B показала более высокий средний результат на десяти тестах, особенно в агентных задачах, программировании и использовании инструментов. Ограничениями являются отсутствие визуальной модальности и заявленная языковая поддержка только английского; фактическое качество может зависеть от выбранного варианта квантования. Модель распространяется по лицензии Apache License 2.0.

jondurbin/nontoxic-bagel-34b-v0.2 — экспериментальная чат-модель Джона Дарбина, полученная дообучением Yi-34B-200K с использованием набора Bagel и частичного DPO. Она предназначена для диалогов, ответов на вопросы, следования инструкциям, написания текстов и кода, математических задач и ролевого общения. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. При обучении использовались разнообразные наборы данных для диалогов, чтения с пониманием, программирования, математики и ролевых сценариев. Модель принимает текст и генерирует текст; README описывает форматы запросов Vicuna, Llama 2, Alpaca и ChatML. Карточка характеризует эту версию как довольно сильно цензурированную. Указана лицензия other, поэтому условия использования следует уточнять в карточке модели и у правообладателя.