I.11Классификация, ранжирование и сопоставление

Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q4_K_M — квантизированная версия Qwen2.5-Coder-14B-Instruct, опубликованная пользователем sigmanih с использованием Sigma Studio. Модель предназначена для генерации текста и кода, программирования, повседневных ассистентов, агентских сценариев и задач, требующих рассуждений. В README указаны английский и итальянский языки, однако полный перечень поддерживаемых языков не приведён. Модель использует архитектуру qwen2 и формат GGUF с квантизацией Q4_K_M. Она содержит 14 млрд параметров, имеет 48 Transformer-слоёв, размер скрытого представления 5120 и контекстное окно до 32 768 токенов. Размер файлов составляет около 8,37 ГБ; для инференса рекомендуется примерно 10,5 ГБ VRAM при полной загрузке на GPU или 10,3 ГБ RAM в CPU-гибридном режиме. Рекомендуемая конфигурация — GPU с 12–16 ГБ VRAM либо система с 32 ГБ оперативной памяти. По приведённым тестам модель показывает сильные результаты в программировании и ряде математических задач: 86% на HumanEval, 100% на MBPP и GSM8K, 89% на ARC-Challenge и MATH. При этом результаты по GPQA и MMLU-Pro составили 33%, а общая оценка в заявленном наборе тестов — 69 из 100. В агентском тестировании завершено 4 из 6 сценариев, а соблюдение протокола инструментов составило 63,6%, поэтому модель не следует считать безошибочной для сложной автономной работы. В README одновременно указаны лицензия other в метаданных и обозначение Apache-2.0 на странице, поэтому условия использования требуют дополнительной проверки по официальным лицензионным материалам репозитория и базовой модели.

Rombos-LLM-V2.5-Qwen-7b — диалоговая языковая модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная Rombodawg на основе Qwen2.5-7B-Instruct. В README автор описывает непрерывное дообучение и слияние инструктивной и базовой моделей методом TIES; в метаданных базовой моделью указана Qwen/Qwen2.5-7B-Instruct, а формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая структурированные ответы и код. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. README заявляет о повышении производительности относительно исходных instruct- и base-моделей, но не приводит результатов бенчмарков. Модель распространяется по лицензии Apache-2.0.

Tess-2.0-Llama-3-70B-v0.2 — чат-модель общего назначения, разработанная Migtissera и дообученная на базе Meta Llama 3 70B. Версия 0.2 включает дополнительный этап снятия ограничений на ответы. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и принимает запросы в формате Llama 3; заявленная длина контекста — 8192 токена. Модель предназначена для диалогов, следования инструкциям, генерации кода и ответов на общие вопросы. Дообучение выполнено на примерно 100 тысячах высококачественных примеров кода и общего назначения по принципам LIMA, в течение двух эпох с низкой скоростью обучения. Модель ориентирована на широкий спектр запросов и обычно охотно выполняет инструкции. Возможны неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неподходящий контент; факты следует перепроверять. Модель описана как uncensored. Лицензия — Llama 3; применимые условия использования определяются лицензией Meta Llama 3.

fearlessdots/WizardLM-2-7B-abliterated — это версия диалоговой модели WizardLM-2 7B, опубликованная fearlessdots. Веса в формате bfloat16 Safetensors ортогонализированы по методике, основанной на реализации @failspy; базовая модель — mistralai/Mistral-7B-v0.1, дообученная WizardLM@Microsoft AI. Модель имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель предназначена для многоходового диалога и генерации ответов на инструкции, включая задачи письма, программирования, математики, рассуждений и многоязычного общения. В README заявлена поддержка нескольких языков, но конкретные языки не перечислены. Контекст составляет до 32 768 токенов; используется шаблон диалога Vicuna. Лицензия — Apache-2.0. Заявленные возможности унаследованы от WizardLM-2 7B, однако карточка не приводит отдельной оценки именно этой ортогонализированной версии. Ортогонализация весов описана как abliterated-вариант, но README не уточняет, какие ограничения или побочные эффекты она создаёт.

Zrald-AI Qwen 3.8 27B zraldv1-cs — GGUF-версия модели Qwen3.8-27B, опубликованная Zrald и оптимизированная для компактного размера. Это чат-модель для генерации текста, диалогов, программирования и рассуждений. В репозитории указан файл размером 10,18 GiB; README приводит результаты замеров на AMD Instinct MI300X, включая сохранение 90,72% точности и скорость генерации 76,33 токена в секунду. Для запуска рекомендуется не менее 12 ГБ VRAM. Модель основана на Qwen/Qwen3.8-27B и заявлена как дообученная; доступна в формате GGUF для использования с llama.cpp. Базовая модель описана как мультимодальная, но сведения о поддержке изображений или видео именно этой сборкой не приведены. Лицензия — Apache-2.0.

jondurbin/bagel-dpo-34b-v0.2 — экспериментальная дообученная чат-модель Джона Дурбина на базе Yi-34B-200K с методом bagel и дополнительным этапом DPO. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, принимающая текст и генерирующая текст; заявленная длина контекста — 200 000 токенов. Веса опубликованы в формате safetensors. Модель предназначена для диалогов и широкого круга текстовых задач: ответов на вопросы, рассуждений, написания текстов, программирования, математики, ролевых сценариев и работы с контекстом. В обучении использованы наборы данных для инструкций, чатов, чтения с пониманием, кода, математики и других задач; автор отмечает, что применялись обучающие части наборов и выполнялась проверка на загрязнение данными бенчмарков. В карточке также заявлено, что включение toxic DPO должно снизить склонность к отказам; это может приводить к генерации токсичного или небезопасного содержания. Автор описывает модель как экспериментальную тонкую настройку. Для корректного поведения в диалоге могут понадобиться подходящий системный запрос и один из поддерживаемых форматов промпта: Vicuna, Llama 2, Alpaca или ChatML-подобный. Лицензия указана как other, поэтому условия использования следует уточнять в карточке репозитория; README отдельно оговаривает исследовательское и законное применение токсичных данных.

Bonsai-2-27B-CRACK-Ternary-JANG — дообученная dealign.ai версия тернарно-квантованной модели PrismML Ternary-Bonsai-2-27B на архитектуре Qwen 3.5, предназначенная для генерации текста, диалога и агентных сценариев. Модель рассчитана на запуск в vMLX на компьютерах Apple Silicon; использует формат JANG с 2-битными аффинными весами, групповой квантизацией 128 и сохранённым Hadamard-преобразованием. В карточке указаны контекст до 262 тыс. токенов, режимы рассуждения low, medium и xhigh, XML-вызовы инструментов, а также поддержка изображений и видео. Модель ориентирована на англо-китайские сценарии, включая ответы на вопросы, кодирование и работу с инструментами. По заявлению автора, поведение отказов удалено на уровне весов; приведены результаты MMLU и HarmBench на данной сборке. Для запуска требуется vMLX с JANG-Hadamard runtime: стандартный путь загрузки MLX, согласно карточке, выдаёт некорректные результаты. Лицензия — Apache 2.0.

unsloth/DeepSeek-R1-BF16 — версия DeepSeek-R1, опубликованная Unsloth и представленная в формате Safetensors для Transformers. Модель основана на DeepSeek-R1 от DeepSeek и предназначена для диалоговой генерации текста с упором на рассуждения, решение математических задач и помощь с кодом. В карточке указана архитектура DeepSeek-V3; размер составляет 37,6 млрд параметров, длина контекста — до 163 840 токенов. Модель может применяться для пошагового анализа сложных вопросов, объяснения решений, генерации и разбора кода, а также ответов в диалоге. Указанная лицензия — MIT. Для практического использования учитывайте, что ответы могут содержать ошибки, а многошаговые рассуждения — быть избыточными; README не приводит оценок качества именно этой сборки.

0xSero/Gemma-4-19B — вариант Google Gemma 4 26B-A4B-it, сокращённый разработчиком 0xSero методом REAP (Router-weighted Expert Activation Pruning) при участии Cerebras. Это диалоговая модель MoE для генерации текста: из 128 экспертов в каждом слое удалено 38, осталось 90; на токен по-прежнему активируются 8 экспертов. Модель содержит около 19 млрд параметров, поставляется в BF16 и занимает примерно на 31% меньше места, чем исходная версия. Модель подходит для диалога, генерации кода и математических рассуждений. Она принимает текст и изображения, поддерживает режим рассуждений и контекст до 262 144 токенов. В опубликованной оценке после сокращения экспертов сохранились сильные результаты по элементарной математике и кодированию, но заметно снизились показатели на задачах, требующих широких знаний, включая философию и мировые религии. Указанная лицензия — Gemma; применяются её условия использования.

MuXodious/gemma-4-26B-A4B-it-ARA-heresy — дообученная версия мультимодальной Gemma 4 26B A4B IT от Google DeepMind. Автор применил к базовой модели движок Heretic с Arbitrary-Rank Ablation, чтобы сократить число отказов; в карточке указаны 3 отказа из 104 проверок против 103 из 104 у исходной модели. Это диалоговая модель с архитектурой Gemma4, которая принимает текст и изображения и генерирует текст. Её можно использовать для визуальных вопросов и ответов, разбора документов и изображений, диалогов, программирования и рассуждений. README описывает возможности семейства Gemma 4, включая длинный контекст до 256 тысяч токенов и поддержку многих языков, однако не подтверждает отдельными данными, что все эти характеристики проверены именно для этой производной версии. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Уменьшение отказов не гарантирует корректность ответов или пригодность для всех сценариев; результаты ограничены приведённой проверкой.

Карточка модели FAISALFAZALHUSSAIN/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Диалоговая модель shibing624 на базе Llama-3-8B-Instruct-262k, дообученная методом ORPO на наборе предпочтений для китайского и английского языков. Модель использует плотную архитектуру LlamaForCausalLM и содержит около 7,5 млрд параметров; поддерживает контекст до 262 144 токенов и рассчитана на многоходовый диалог, генерацию текста, кодирование и рассуждения, а также сценарии RAG с длинными документами. Модель поддерживает китайский и английский языки. В README отмечены ограничения: при ответах на вопросы о знаниях возможны галлюцинации, особенно по китайской тематике и классической китайской литературе. Для запуска приведены ориентиры по видеопамяти: около 18,66 ГБ для кодирования 2 048 токенов и 24,58 ГБ для генерации 8 192 токенов в FP16/BF16; для Int4 — около 9,21 ГБ и 14,62 ГБ соответственно. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

ceia-aisdk/llm-medium-v1 — распространяемый CEIA AI SDK артефакт GGUF на основе инструктивной языковой модели Qwen2.5-7B-Instruct. CEIA не обучала эти веса: репозиторий содержит квантованную версию Q4_K_M, подготовленную bartowski, для использования через псевдоним SDK llm/medium@1. Модель предназначена для диалогов и генерации текста по инструкциям. Базовая Qwen2.5-7B-Instruct поддерживает также генерацию кода и структурированных ответов. Репозиторий использует формат GGUF и распространяется по лицензии Apache-2.0, как и базовая модель.

Карточка модели Undi95/Meta-Llama-3-70B-hf на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-70B, поэтому описание составлено по ней. Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

MiniCPM5-2B-heretic — децензурированная версия языковой модели openbmb/MiniCPM5-2B, созданная пользователем RACER IS OP с применением Heretic v1.4.0. Модель относится к классу примерно 2B параметров и предназначена для генерации текста, диалогов, локальных агентных систем, вызова инструментов, написания кода и задач с длинным контекстом. Она поддерживает режимы Think и No-Think, а также может работать на пользовательских GPU, CPU и устройствах Apple Silicon через GGUF-квантизации. Изменения выполнены методом directional ablation («abliteration»): целевые направления отказа подавляются редактированием весов в attention output и MLP down-projections без дообучения. По данным README, это позволило снизить число отказов с 99 до 4 на 100 тестовых запросов при KL divergence 0,0646 относительно исходной модели, сохранив её знания, следование инструкциям, возможности работы с инструментами, кодом и рассуждениями. Заявлены английский и китайский языки; архитектура MiniCPM5 совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang, причём для вызова функций рекомендован SGLang. Главное преимущество модели — малый размер и широкий выбор GGUF-квантизаций, что упрощает локальный запуск на потребительском оборудовании. Ограничение заключается в намеренном подавлении защитных отказов: модель может отвечать на запросы, от которых исходная версия отказывалась, поэтому её применение требует самостоятельных мер безопасности и контроля. Модель распространяется по лицензии Apache-2.0.

next-70b-i1-GGUF — это набор квантизированных файлов GGUF для языковой модели next-70b, разработанной thelamapi и подготовленной в формате GGUF пользователем mradermacher. Модель относится к большим трансформерным instruction-tuned языковым моделям с 70 миллиардами параметров и предназначена для генерации текста и диалогового использования. Модель обучалась на наборах данных для instruction tuning, написания текстов, краткого содержания, агентных сценариев, математических задач и программной инженерии, включая GSM8K, MATH-500 и SWE-bench Verified. Заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. README не содержит данных о длине контекста, точной архитектуре трансформера, мультимодальности или результатах бенчмарков, поэтому эти характеристики нельзя оценить по предоставленной информации. Основное преимущество репозитория — широкий выбор квантизаций с размером примерно от 15,4 до 58 ГБ, что позволяет выбирать баланс качества, скорости и требований к памяти. Для использования требуются совместимые инструменты, поддерживающие GGUF. Низкобитные варианты могут заметно уступать по качеству; в README отдельно отмечены варианты с низким качеством, а для ряда конфигураций рекомендуются IQ-квантизации или Q4_K_M. Модель распространяется по лицензии MIT.

Это производная MLX-версия модели Ornith 1.5 35B-A3B, разработанной ornith-ai и адаптированной пользователем Shiftedx. Модель предназначена для генерации текста и работы с изображениями в сценариях image-text-to-text, включая решение задач программирования, вызов функций и инструментов, структурированный вывод, OCR и визуальный анализ. Модель использует гибридную конфигурацию: 4-битное аффинное квантование экспертного блока, 8-битные attention, routing, embeddings, LM head и поздние проекции, а также 60 рекуррентных тензоров в BF16. В составе сохранены 333 нативных BF16-тензора vision и 785 BF16-тензоров MTP. Рекомендуемая среда запуска — MTPLX 2.9.1, MLX 0.32.1 и MLX-LM 0.31.3; рекомендованная глубина speculative decoding — D3. Поддержка vision требует совместимого MLX-VLM или MTPLX runtime. Языки и размер контекстного окна в README не указаны. По результатам локальной квалификации на M4 Max с 64 ГБ unified memory модель показала успешное выполнение 8 из 8 исполняемых Python-задач, 6 из 6 тестов native function calling и parallel tool planning, 4 из 4 визуальных семантических проверок, а также успешные OCR со строгой схемой и проверки сохранности vision- и MTP-тензоров. Utility pass rate составил 83,3%. Abliteration полностью устранила отказы на тестовом наборе, но может снижать предсказуемость безопасного поведения; README отдельно предупреждает, что она не гарантирует корректность или безопасность вывода. Скорость 112,1 токена в секунду измерена на конкретном M4 Max и не является универсальным показателем. Модель распространяется по лицензии MIT, унаследованной от родительской модели. Следует проверять сгенерированный код и вызовы инструментов перед выполнением; без заданной схемы ответа модель может оборачивать JSON в Markdown.

Это конвертированная в ONNX модель Phi-3 Medium-128K-Instruct, подготовленная Microsoft для ускоренного инференса через ONNX Runtime на видеокартах NVIDIA с CUDA. В основе — плотная авторегрессионная архитектура Phi-3 с 13,8 млрд параметров; исходная модель обучена на синтетических данных и отфильтрованных общедоступных веб-данных, а затем прошла дообучение с учителем и оптимизацию предпочтений DPO для следования инструкциям и мер безопасности. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, рассуждения, математические задачи и код. Карточка исходной модели описывает варианты контекста 4K и 128K токенов, однако метаданные этого репозитория указывают native_context_tokens=4096, поэтому для данной версии подтверждён контекст до 4096 токенов. Репозиторий содержит варианты FP16 и INT4; INT4 использует квантизацию RTN. В README приведены замеры скорости на NVIDIA A100 и указано требование CUDA GPU с Compute Capability не ниже 7.0. Модель разработана Microsoft и распространяется по лицензии MIT. Это конверсия исходных весов для ONNX Runtime, а не самостоятельное дообучение; использование CUDA-варианта требует совместимой NVIDIA GPU, а характеристики и скорость зависят от конфигурации инференса.

AtomicChat/Qwen3.6-27B-MLX-4bit — это 4-битная MLX-квантизация базовой модели Qwen/Qwen3.6-27B, выполненная командой Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и работы с большими контекстами; заявлена поддержка текстовых и визуальных данных, а также офлайн-запуск на устройствах Apple Silicon через MLX и mlx-lm. Модель содержит 27,8 млрд параметров и 64 слоя, использует плотную decoder-архитектуру Qwen3_5ForConditionalGeneration с 24 attention heads и 4 KV heads. Максимальная длина контекста составляет 262 144 токена, размер словаря — 248 320 токенов. Квантизация откалибрована с помощью importance matrix, что должно помогать сохранять свойства исходной полноточной модели при уменьшенной разрядности. README не содержит точного перечня поддерживаемых языков и результатов сравнительных тестов, поэтому качество в конкретных задачах оценить нельзя. К сильным сторонам относятся большой контекст, поддержка изображений, возможности программирования и repository-level reasoning, а также локальная работа без подключения к сети. Ограничения связаны с 4-битной квантизацией и требованием совместимой MLX-инфраструктуры; практические требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Apache 2.0; квантизацию выполнила Atomic Chat.

Krasnopjorovs/Qwen3.8-27B-Imatrix-GGUF — набор квантизированных GGUF-сборок базовой модели Qwen/Qwen3.8-27B, подготовленный Krasnopjorovs с использованием llama.cpp и importance-matrix калибровки. Модель предназначена для локального запуска и задач генерации текста, рассуждений, программирования и математики; заявлена также поддержка мультимодального режима image-text-to-text при подключении совместимого mmproj-файла. README не уточняет архитектуру базовой модели, точное число параметров сверх обозначения 27B, список поддерживаемых языков и размер контекста. Доступны варианты квантизации от Q8_0, близкого к исходному качеству, до IQ4_XS и IQ4_NL для экономии памяти, с размерами примерно от 14,27 до 27,05 ГБ. Рекомендуемым вариантом общего назначения назван Q4_K_M размером 15,63 ГБ; сборки с суффиксом L используют Q8_0 для выходных и/или embedding-тензоров, что может повысить стабильность вывода при низкой разрядности. Во все кванты включена MTP-голова для speculative decoding, а для запуска через llama.cpp рекомендуется использовать draft-бюджет 3. Сильные стороны модели — выбор квантизаций под разные ограничения по памяти, поддержка мультимодального режима, калибровка на смешанном корпусе с многоязычными данными, кодом и математикой, а также возможность ускорения генерации через MTP. Ограничения связаны с потерями качества, зависящими от степени квантизации, требованиями к значительному объёму RAM или VRAM и необходимостью совместимого llama.cpp и mmproj-файла для мультимодального использования. Распространение указано по лицензии Apache-2.0.

Qwen3.8-3.6-27B-blend-GGUF — неофициальная производная модель JetBrains на основе моделей Qwen, разработанных Alibaba Cloud. Это GGUF-квантизированная версия базовой модели JetBrains/Qwen3.8-3.6-27B-blend, предназначенная для локального запуска через llama.cpp, включая сценарии программирования, рассуждений и работы с изображениями. Базовая модель представляет собой равное смешение параметров Qwen3.6-27B и Qwen3.8-27B; конфигурация, токенизатор, процессор и шаблон диалога унаследованы от Qwen3.8-27B. Модель имеет размер 27B параметров, поддерживает текстовый и визуальный ввод, встроенную MTP-голову для speculative decoding и отдельный vision encoder с проектором. Доступны квантизации IQ3_S, Q4_K_M и Q5_K_M размером примерно от 12,60 до 19,54 ГБ; для изображений требуется дополнительный файл vision GGUF объёмом 0,93 ГБ. В README языки и размер контекстного окна самой модели не указаны; в проверенной конфигурации использовался контекст 8192 токенов. Сильные стороны модели — локальный запуск, поддержка изображений, режима рассуждений и ускорения через native MTP, а также успешные функциональные проверки текста, изображений, потоковой выдачи и конкурентных запросов. Приведённые показатели принятия черновых токенов являются отдельными результатами smoke-тестов и не подтверждают качество или реальное ускорение. Модель тестировалась на llama.cpp с поддержкой Qwen3.5 native MTP; для работы рекомендуется сохранять указанные в README параметры семплирования. Распространение заявлено по Apache License 2.0 с сохранением исходной лицензии Qwen и атрибуции JetBrains.

SmolLM3-3B-trellis-3inst-4bpw-kernel — это квантованная версия языковой модели SmolLM3-3B, разработанной HuggingFaceTB. Модель предназначена для генерации текста, диалоговых приложений, локального инференса и интеграции с vLLM или Transformers, включая использование в coding agents через OpenAI-совместимый API. Поддерживаются английский, французский, испанский, итальянский, португальский, китайский, арабский и русский языки. Модель работает в текстовой модальности; базовая архитектура и точный размер контекста в README не раскрыты, однако в примере конфигурации указано ограничение контекста 4096 токенов. Веса сжаты до 4,0 бит на параметр методом GLQ: используются trellis-coded quantization QTIP TCQ в варианте 3inst, randomized Hadamard transform и LDLQ. Сжатые веса хранятся в памяти и декодируются на лету объединённым CUDA-ядром, что снижает требования к VRAM. Указаны средний SQNR весов 22,06 дБ и близкая к базовой perplexity на WikiText-2: 9,23 против 9,12 у bf16-версии. Для экономии памяти под длинный контекст доступна E8-квантизация KV-кэша, уменьшающая его размер примерно в четыре раза при 4-битном режиме. Ограничения включают необходимость CUDA-совместимой среды и glq версии не ниже 0.7.0; приведённые результаты AIME являются единичными оценками с заметной погрешностью. Модель распространяется по лицензии Apache-2.0.

uukuguy выпустил объединённую языковую модель на базе Mistral-7B для генерации текста, диалога и задач с кодом. В неё объединены ehartford/dolphin-2.1-mistral-7b, Open-Orca/Mistral-7B-OpenOrca, bhenrym14/mistral-7b-platypus-fp16 и ehartford/samantha-1.2-mistral-7b. Архитектура — плотный трансформер MistralForCausalLM с 7,1 млрд параметров; контекст — до 32 768 токенов. Модель принимает текст и генерирует текст, а карточка отмечает поддержку кода и приводит результаты HumanEval и тестов Open LLM Leaderboard. Модель подходит для диалоговых ответов, генерации кода и общих текстовых задач. В репозитории представлены варианты AWQ, GPTQ и GGUF с разной разрядностью для GPU и CPU+GPU-инференса; метаданные этого репозитория указывают Transformers и safetensors. Лицензия — Llama 2. Карточка не описывает отдельные гарантии качества или механизмы модерации для объединённой модели.

Whittle-Next-27B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Next-27B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель основана на архитектуре mixture-of-experts и предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В метаданных заявлена поддержка английского, китайского и других языков, а также сценариев с длинным контекстом. Модель содержит около 27 млрд параметров в общей конфигурации и обозначает архитектуру с примерно 3 млрд активных параметров, однако точные сведения о механизме активации, размере контекста и мультимодальных возможностях не указаны. Среди заявленных архитектурных особенностей — hyper-connections, n-gram memory, per-layer embeddings, knowledge distillation и online distillation. Доступны варианты GGUF с разными уровнями квантизации от Q2_K до Q8_0 и IQ4_XS; версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с наилучшим качеством среди представленных. К сильным сторонам относятся поддержка локального запуска через совместимые инструменты, включая llama.cpp, широкий выбор компромиссов между размером, скоростью и качеством, а также ориентация на рассуждения, код и математику. К ограничениям относятся неизбежная потеря качества в более агрессивно квантизированных вариантах, отсутствие опубликованных в README бенчмарков и точных характеристик контекстного окна, а также отсутствие сведений о поддержке изображений или других модальностей. Модель распространяется по лицензии Apache-2.0.

jondurbin/bagel-dpo-7b-v0.5 — диалоговая модель, разработанная Jondurbin как дообучение Mistral-7B-v0.2 на наборе Bagel v0.5 с дополнительным этапом DPO. Она предназначена для генерации ответов в чате и широкого круга инструкционных задач: ответов на вопросы, рассуждений, суммаризации, написания текстов, программирования, математики и вызова функций. В обучающие данные также включены примеры ролевого диалога, чтения с пониманием и работы с контекстом. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README описана вариативная разметка запросов с форматами Vicuna, Llama 2, Alpaca и модифицированным ChatML; шаблон по умолчанию — Llama 2. Многоязычные примеры присутствуют в обучающих данных, но основной язык модели не выделен. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка сообщает, что использованы только обучающие части наборов данных, а также предупреждает о токсичном и потенциально незаконном содержимом в одной из составляющих DPO-данных; ответы и безопасность следует проверять, особенно для пользовательских и чувствительных сценариев.

Chimera-Apex-7B — экспериментальная диалоговая языковая модель, созданная объединением нескольких моделей семейства Mistral с помощью mergekit. Она содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, генерации кода и широкого круга текстовых задач. В состав объединения входят Azazelle/Half-NSFW_Noromaid-7b, cognitivecomputations/dolphin-2.0-mistral-7b, Endevor/InfinityRP-v1-7B и FuseAI/FuseChat-7B-VaRM. README отмечает экспериментальный характер модели и возможность ошибок и унаследованных предубеждений; также упоминается возможность генерации NSFW-контента. Модель распространяется по лицензии Apache-2.0.

Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

Gemma-4-26B-A4B-JANG_2L-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-26b-a4b-it. Это вариант с ослабленными отказами и смешанной 2-битной квантизацией JANG_2L: критические компоненты хранятся в 8 битах, важные — в 6, а большая часть весов экспертных блоков — в 2 битах. По данным карточки, модель занимает 9,9 ГБ и использует архитектуру MoE с 128 экспертами, из которых активируются восемь, и гибридным скользящим и глобальным вниманием. Модель предназначена для диалогов, программирования, общих вопросов и работы с изображениями; поддерживает режим рассуждений. Автор сообщает о тестировании генерации кода и запросов по информационной безопасности, а также приводит собственные результаты MMLU и HarmBench. Эти показатели получены на тестах автора и не гарантируют качество в других сценариях. Для запуска рекомендованы vMLX или совместимый движок MLX с поддержкой Gemma 4; заявлены Apple Silicon и не менее 16 ГБ объединённой памяти. Лицензия — gemma; автор обозначает модель как исследовательскую и возлагает на пользователей ответственность за соблюдение применимых законов.

Gemma 4 E4B-it QAT MXFP4 CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-e4b-it. Это плотная модель с гибридным скользящим и глобальным вниманием, дообученная с удалением отказов и квантизированная до 4-битного формата MXFP4. Она принимает текстовые запросы, изображения и аудио, а также предназначена для диалога, ответов на вопросы, многошаговых рассуждений и генерации кода; в метаданных также заявлен интерфейс вызова инструментов. В README автор сообщает о сохранении визуальных и аудиовходов, проверке генерации кода и снижении результата MMLU на 3,9 процентного пункта относительно базовой модели. Удаление отказов означает, что модель может выполнять вредоносные запросы; заявленные результаты HarmBench приведены автором и не являются независимой оценкой. Для запуска требуется Apple Silicon с достаточной объединённой памятью и vMLX с поддержкой Gemma 4. Лицензия — Gemma; автор публикует модель для исследовательских целей.

GLM-4.7-Flash-bf16 — диалоговая языковая модель семейства GLM4 MoE Lite, подготовленная сообществом mlx-community в формате MLX из zai-org/GLM-4.7-Flash. Она предназначена для генерации текста в диалоге, включая рассуждения и программирование. Модель содержит 4,1 млрд параметров и поддерживает контекст до 202 752 токенов; карточка указывает поддержку английского и китайского языков. Модель построена на архитектуре Glm4MoeLiteForCausalLM и использует библиотеку MLX. Репозиторий содержит веса Safetensors и доступен по лицензии MIT. В README приведена команда установки mlx-lm для использования модели на MLX-совместимой платформе.