I.11Классификация, ранжирование и сопоставление

Gemma 4 E4B Agentic Opus Reasoning GeminiCLI GGUF — это квантованная GGUF-версия модели на базе Gemma 4 E4B, разработанная RavenX AI. Веса объединяют результаты SFT-дообучения с паттернами рассуждений Opus 4.6, Claude Code и Gemini CLI; LoRA-адаптер слит непосредственно с моделью, поэтому отдельный адаптер и дополнительная конфигурация не требуются. Модель предназначена для диалоговых сценариев, программирования, агентных рабочих процессов и использования инструментов или функций. Она поддерживает форматы рассуждений с тегами <think>, структурированные ответы в стиле Claude и tool calling. В README также заявлена поддержка vision и мультимодальности, однако подробности о поддерживаемых типах входных данных не приведены. Указан английский язык. Модель совместима с Ollama, LM Studio и llama.cpp, а также может работать через OpenAI-совместимые локальные API. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и F16 размером примерно от 2,7 до 8,3 ГБ; Q4_K_M рекомендован как баланс качества и скорости. Сильными сторонами являются встроенное агентное поведение, рассуждения и поддержка вызова инструментов без отдельного адаптера. Ограничения включают отсутствие опубликованных количественных бенчмарков, неполное описание архитектуры и контекстного окна, а также возможные потери качества из-за квантования. Модель распространяется по лицензии Gemma.

GLM-4.7-Flash-MXFP4-MOE-GGUF — квантизированная версия языковой модели GLM-4.7-Flash от Zhipu AI, опубликованная в формате GGUF. Это модель Mixture-of-Experts на архитектуре DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активируются на токен; используются 64 маршрутизируемых эксперта и один общий. В README указан контекст до 200 000 токенов. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование. Она поддерживает английский и китайский языки; режим рассуждений включён по умолчанию. В квантизации MXFP4 веса экспертов представлены в 4-битном формате, а остальные тензоры — в Q8_0; файл весов занимает 15,8 ГБ. README указывает на запуск через llama.cpp на GPU или CPU. Квантизация рассчитана на более эффективный вывод при небольшом снижении качества относительно исходной модели. Репозиторий распространяется по лицензии MIT.

RadicalNotionAI/GLM-4.7-heretic — текстовая разговорная модель на архитектуре GLM-4 MoE с 23,4 млрд параметров. Это производная GLM-4.7 от zai-org, созданная методом abliteration: в карточке приведены параметры этой обработки и сравнение отказов с исходной моделью. Модель предназначена для диалога, программирования, рассуждений, работы с инструментами и агентных сценариев; метаданные указывают интерфейс вызова инструментов. Поддерживаются английский и китайский языки, контекст составляет 202 752 токена. Модель распространяется в формате Safetensors по лицензии MIT. В README для этой версии сообщается о 0 отказах из 100 проверок против 99 из 100 у исходной GLM-4.7. Это указывает на существенно ослабленное поведение отказа, но не подтверждает общую точность или безопасность ответов. Доступны инструкции по локальному запуску через Transformers, vLLM и SGLang; для агентных задач README рекомендует режим Preserved Thinking.

ApolloRaines/Llama-3.3-8B-Instruct-128K-Jbliterated — доработанная командой ApolloRaines модель на архитектуре Llama 3.3 для диалогов и генерации текста. Она создана на основе shb777/Llama-3.3-8B-Instruct-128K с применением jBlaze precision neural surgery; изменены все 32 слоя. Модель содержит 7,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для общения и генерации текста с длинным контекстом. В карточке заявлена настройка на снижение отказов: в тесте Heretic на 100 запросах авторы сообщили о нуле настоящих отказов и двух ложных срабатываниях. Авторы также описывают выпуск как демонстрационную версию с намеренно сниженной силой возможностей, а не полную версию продукта. Заявления о скорости и результатах теста относятся к сведениям карточки модели. Поддерживаемые языки по метаданным: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия — Llama 3.1 Community License; применяйте модель с учётом её условий и ограничений.

RLHFlow/LLaMA3-iterative-DPO-final — неофициальная диалоговая модель семейства LLaMA 3, разработанная авторами исследования «RLHF Workflow: From Reward Modeling to Online RLHF» (TMLR, 2024). Это плотная авторегрессионная модель на 7,5 млрд параметров с контекстом 8192 токена, представленная в формате safetensors и предназначенная для генерации текста в режиме чата. Модель обучена для следования инструкциям с помощью итеративного онлайн RLHF на основе DPO. Она подходит для диалоговых ответов, общих вопросов, рассуждений и задач по программированию; авторы приводят результаты на Alpaca-Eval-V2, MT-Bench, Chat-Arena-Hard и академических тестах. В README указано, что чекпойнт предназначен для демонстрации метода и исследовательского использования. README предупреждает, что модель может выдавать оскорбительный или неэтичный контент, особенно при состязательных запросах. Указанная лицензия — llama3; README также отмечает нерешённые лицензионные вопросы при выпуске модели, поэтому условия распространения и использования следует сверять с применимыми условиями LLaMA 3.

Llama-Deepsync-3B — дообученная PrithivMLmods диалоговая языковая модель на архитектуре Llama 3.2, предназначенная для генерации текста с рассуждениями, решения задач и помощи в программировании. По карточке, модель умеет следовать инструкциям, создавать структурированные ответы, включая JSON, работать с таблицами и генерировать длинные тексты. Модель содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов; заявленная длина генерации — до 8 000 токенов. README заявляет поддержку более 29 языков, а метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель доступна в формате safetensors для Transformers и распространяется по лицензии CreativeML OpenRAIL-M. Модель подходит для диалоговых помощников, объяснения решений, программирования, математики и творческого письма. Заявления о повышении качества и поддержке языков приведены в карточке модели и не сопровождаются результатами оценки; фактическое качество может различаться в зависимости от задачи и языка.

Manticore 13B Chat Pyg — языковая модель для диалогового и инструкционного текстового взаимодействия, разработанная Open Access AI Collective. Данная версия распространяется в формате GGUF и является квантизированным вариантом исходной модели Manticore 13B Chat Pyg; квантизацию выполнил TheBloke. Модель основана на архитектуре LLaMA, содержит около 13 миллиардов параметров и предназначена для генерации текста по шаблону диалога Vicuna: ответов на вопросы, объяснений, инструкций и других чат-сценариев. В метаданных указан английский язык, а среди использованных наборов данных — коллекции ShareGPT, WizardLM, Alpaca, GPT4-LLM, ScienceQA, GSM8K и другие наборы для обучения инструкциям, диалогам, рассуждениям и программированию. Файлы GGUF доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, скоростью и качеством вывода. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и ctransformers, с поддержкой CPU+GPU-инференса. Мультимодальность и размер контекстного окна в README не указаны; модель предназначена для работы только с текстом. Лицензия обозначена как other, но ее конкретные условия не приведены, поэтому перед использованием необходимо проверить лицензию исходной модели и условия распространения квантизированных файлов.

Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.

MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

MiniCPM5-2B-heretic — компактная плотная языковая модель семейства MiniCPM5, представленная в карточке как модель для локального запуска на устройствах с ограниченными ресурсами. Она основана на архитектуре LlamaForCausalLM и содержит около 2,2 млрд параметров; README указывает 2,52 млрд параметров всего и 1,98 млрд без эмбеддингов. Контекстное окно составляет 131 072 токена. Модель предназначена для диалоговых помощников, генерации текста, программирования, математических рассуждений, работы с длинным контекстом и сценариев использования инструментов. Карточка заявляет сильные результаты относительно моделей сопоставимого размера в программировании, математике, понимании длинного контекста и агентных задачах, а также пригодность для локального и периферийного развертывания. Эти оценки приведены разработчиками и не являются независимой проверкой. Теги «heretic», «uncensored» и «abliterated» указывают на модификацию с ослабленными отказами, но README не описывает способ её получения; поэтому происхождение именно этой версии нельзя уверенно установить. Модель принимает текст и генерирует текст. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; модель может выдавать нежелательный контент под воздействием специально составленных запросов. Ответы на чувствительные темы не являются профессиональной консультацией, а для практического применения нужны собственные меры безопасности.

nwzjk/MiniMax-M3-NVFP4-Duplicated — копия мультимодальной модели MiniMax-M3, разработанной MiniMaxAI и квантизированной в формате NVFP4 с помощью NVIDIA Model Optimizer. Архитектура — мультимодальный Transformer Mixture-of-Experts с 428 млрд параметров и примерно 23 млрд активных параметров на токен. Модель принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста составляет 1 млн токенов, видео может длиться до 30 минут. Модель предназначена для диалогов, анализа изображений и видео, включая длинные ролики, программирования на длительных задачах и агентных сценариев с вызовом инструментов. Доступны режимы рассуждения для сложных задач и без рассуждений для сценариев, чувствительных к задержке. README сообщает о запуске через vLLM, но для NVFP4 требуется nightly-сборка; также указано, что развёртывание рассчитано на мощные NVIDIA GPU. Квантизация уменьшает требования к памяти, но приведённые в README тесты показывают небольшое снижение результатов относительно FP8. Модель может воспроизводить токсичность и смещения из обучающих данных, а также давать неточные, неполные или избыточные ответы. README указывает на некоммерческое использование; метаданные обозначают лицензию как other.

Это конвертированная в формат MLX 8-битная версия NVIDIA Nemotron 3 Nano 30B A3B, подготовленная сообществом mlx-community из исходной модели NVIDIA в формате BF16 с помощью mlx-lm 0.29.1. Модель предназначена для генерации текста в диалоговом формате; базовая модель описана как средство для рассуждений, программирования и создания агентных приложений. В метаданных заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Репозиторий помечен как safetensors, а описание указывает на 8-битное представление весов для запуска через MLX. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в лицензии исходной модели.

OpenAi-GPT-oss-20b-abliterated-uncensored-NEO-Imatrix-gguf — модель, опубликованная DavidAU на основе huihui-ai/Huihui-gpt-oss-20b-BF16-abliterated. Это языковая модель для генерации текста, диалогов, программирования, решения задач, рассуждений, мозгового штурма и творческих сценариев. Модель позиционируется как uncensored и abliterated: из базовой версии были удалены или ослаблены отказы от ответов. Модель относится к архитектуре Mixture of Experts (MoE), имеет заявленный размер 20B и использует 24 эксперта. Она ориентирована прежде всего на английский язык, поддерживает текстовый ввод и вывод и заявлена для контекста до 128k токенов. Распространяется в формате GGUF с вариантами квантования IQ4_NL, Q5_1 и Q8_0, включая версии с одной, двумя или тремя Imatrix-датасетами для оптимизации квантования. Варианты NEO и NEO-CODE ориентированы на общее применение, код и творческие задачи. К сильным сторонам относятся сочетание возможностей для программирования, общего диалога, рассуждений и творческой генерации, а также возможность выбрать баланс качества, скорости и размера через разные варианты квантования. Автор отмечает, что Q5_1 может быть стабильнее IQ4_NL в некоторых сценариях, тогда как IQ4_NL иногда даёт более свободные и непредсказуемые ответы. Ограничением является возможная неровность поведения и нестабильность, связанная с abliteration; модель может генерировать нежелательный или рискованный контент из-за отсутствия стандартных отказов. README не приводит системных требований и результатов независимого бенчмаркинга. Модель распространяется по лицензии Apache-2.0. Условия использования uncensored-версии следует учитывать отдельно от технической лицензии при применении в продуктивных системах.

Open-Instruct Dolly 13B — языковая модель AllenAI на архитектуре LLaMA, дообученная на наборе инструкций Databricks Dolly 15k. Она предназначена для генерации текста и выполнения инструкций, например для ответов на вопросы, рассуждений и написания кода. Модель содержит 12,9 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов; для корректной генерации следует использовать формат инструкций, заданный авторами. В карточке приведены результаты оценки на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Это исследовательская работа по настройке моделей на открытых ресурсах, опубликованная в рамках статьи How Far Can Camels Go? Модель распространяется как diff и требует доступной базовой LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model из LICENSE.txt и исходной лицензией LLaMA.

ProCreations_grug-35b-GGUF — квантизированная версия языковой модели ProCreations/grug-35b, подготовленная bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на задачи генерации текста, программирования, агентских сценариев, использования инструментов и рассуждений. В метаданных также указан pipeline_tag image-text-to-text, однако подробности о поддерживаемых визуальных входах в README не приведены. Модель содержит около 35 млрд параметров и распространяется в формате GGUF с вариантами квантизации от BF16 и Q8_0 до более компактных Q2–Q4 и IQ-форматов. Доступны сборки размером примерно от 19 до 69 ГБ; более высокие разрядности обеспечивают лучшее качество, а компактные варианты снижают требования к оперативной памяти. README не указывает контекстное окно, языки, точную архитектуру или результаты тестирования. Сборки предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Сильными сторонами являются широкий выбор уровней квантизации и поддержка сценариев кода, агентного взаимодействия и tool use. Ограничения — отсутствие подробных сведений о мультимодальности, языках и производительности, а также значительные требования к памяти для качественных вариантов. Модель распространяется по лицензии MIT.

TeichAI/Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-14B. Она дообучена методом дистилляции на наборе данных TeichAI/claude-4.5-opus-high-reasoning-250x, созданном на основе ответов Claude Opus 4.5 с высокой интенсивностью рассуждений. Модель предназначена для генерации текста общего назначения, программирования и научных задач. В README указано 14 млрд параметров, однако сведения об архитектурных деталях, модальностях, поддерживаемых языках и размере контекста отсутствуют. Формат GGUF предполагает использование в совместимом локальном инференсе, но конкретные варианты квантования и требования к ресурсам не приведены. Сильной стороной модели является специализация на задачах, требующих развернутого рассуждения, включая кодирование и научные вопросы. Ограничения также связаны с отсутствием подробных данных о качестве, бенчмарках, языковом покрытии, контекстном окне и рекомендуемых параметрах запуска. Модель распространяется по лицензии Apache-2.0.

Карточка модели agadelmoula-avey/Qwen3-4B-Base на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Base, поэтому описание составлено по ней. Qwen3-4B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на стадии предварительного обучения, предназначенная для дальнейшей адаптации и генерации текста. В карточке указаны 4,0 млрд параметров, 36 слоёв, групповое внимание с 32 головами Q и 8 головами KV и контекст до 32 768 токенов; метаданные каталога оценивают размер весов в 3,7 млрд параметров. Модель обучена на многоязычном корпусе; README сообщает о 119 языках в обучающих данных, но не перечисляет поддержку каждого из них. Среди заявленных направлений обучения — общие знания, программирование, STEM, рассуждения и понимание длинного контекста. Для запуска рекомендуется актуальная версия Transformers: версии ниже 4.51.0 могут не распознавать архитектуру Qwen3. Лицензия — Apache-2.0.

Qwen3-4B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на стадии предварительного обучения, предназначенная для дальнейшей адаптации и генерации текста. В карточке указаны 4,0 млрд параметров, 36 слоёв, групповое внимание с 32 головами Q и 8 головами KV и контекст до 32 768 токенов; метаданные каталога оценивают размер весов в 3,7 млрд параметров. Модель обучена на многоязычном корпусе; README сообщает о 119 языках в обучающих данных, но не перечисляет поддержку каждого из них. Среди заявленных направлений обучения — общие знания, программирование, STEM, рассуждения и понимание длинного контекста. Для запуска рекомендуется актуальная версия Transformers: версии ниже 4.51.0 могут не распознавать архитектуру Qwen3. Лицензия — Apache-2.0.

SassyDiffusion/Qwen3.6-27B-heretic-ara-GGUF — GGUF-версия декензурированной модели на базе Qwen3.6-27B. Модель создана SassyDiffusion с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA). Базовая Qwen3.6-27B разработана командой Qwen и ориентирована на практическую разработку программного обеспечения, агентное кодирование, работу с фронтенд-проектами и рассуждения на уровне репозитория. Это каузальная языковая модель с vision encoder, содержащая около 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; заявленная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. README не уточняет полный перечень поддерживаемых языков. Формат GGUF предназначен для запуска в совместимых инструментах локального инференса. Главная особенность версии — снижение склонности к отказам: в приведённом сравнении модель отказала в 16 из 100 тестовых запросов против 99 из 100 у исходной модели. При этом декензурирование изменяет поведение базовой модели: указана KL-дивергенция 0,0967, поэтому возможны отличия в качестве, безопасности и устойчивости ответов. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-128E-Pruned-GGUF — экспериментальная GGUF-версия модели Qwen3.6-35B-A3B, созданная пользователем xero0000 на основе официальной модели Qwen/Qwen3.6-35B-A3B. Это неофициальный исследовательский артефакт, предназначенный для локального запуска и тестирования задач генерации текста, включая программирование, работу агентных систем, JSON, математику и вызовы инструментов. Модель распространяется в форматах квантования от Q8_0 до IQ1_S и рассчитана на использование с llama.cpp и совместимыми движками. Архитектура представляет собой разреженную mixture-of-experts (MoE) модель: в каждом из 40 MoE-слоёв число экспертов сокращено с 256 до 128, при этом для каждого токена сохраняются 8 активных экспертов. Такое прореживание уменьшает размер файлов и требования к памяти, но не сокращает число матричных операций активных экспертов на токен. Доступны варианты размером примерно от 3,95 до 18,39 GiB; конкретные характеристики качества и скорости зависят от квантования и оборудования. Калибровка прореживания была небольшой и смещённой в сторону задач программирования и агентного использования, поэтому результаты на других сценариях требуют самостоятельной проверки. Наиболее сбалансированным вариантом автор считает Q5_K_M: он прошёл 8 из 8 локальных проверок при заявленном росте perplexity на 1,05%. Q8_0 служит эталонным прунинг-вариантом, тогда как варианты Q3 и ниже имеют более заметные потери качества и требуют осторожного тестирования; IQ1_M и IQ1_S являются экспериментальными однобитными вариантами с низкими результатами проверок. Приведённые оценки являются локальным smoke-тестом и не заменяют комплексные бенчмарки или проверки безопасности. Лицензия — Apache-2.0; лицензия базовой модели также должна учитываться при использовании.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8-27B, опубликованная DavidAU. Модель создана с использованием Unsloth, методов COLD FUSION и Fable Fusion 711, а также представлена в форматах GGUF с обычными и MTP-квантами. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В метаданных указан тип pipeline image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для широкого круга задач: рассуждений, решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и диалогов. Ключевая особенность — стремление сократить объём рассуждений и ускорить генерацию при сохранении подробности ответов; заявлено сокращение числа thinking-токенов примерно от двух до десяти раз по сравнению с обычной Qwen3.8. Доступны варианты для запуска на потребительском оборудовании, включая 4-битные и 8-битные квантизации. Ограничения включают отсутствие указаний на размер контекстного окна, точный набор поддерживаемых модальностей и подробные независимые результаты тестирования; приведённые сведения о превосходстве над другими моделями основаны на заявлениях автора.

Это квантованная сборка Qwen3.8-9B-Distill-uncensored-heretic в формате GGUF, подготовленная Atomic-Germ на основе репозитория petruhonk/Qwen3.8-9B-Distill-uncensored-heretic. Модель предназначена для диалоговой генерации текста и запуска через llama.cpp; в метаданных также отмечены рассуждения и вызов функций как характеристики исходной модели. Сборка подходит для локального инференса через CLI или сервер llama.cpp. Размер модели — 9 млрд параметров; применяется квантование Q4_K_M. Для базовой модели в каталоге указаны диалог, рассуждения, математика, код и вызов инструментов. Репозиторий распространяется по лицензии Apache-2.0. Карточка этой сборки отсылает за подробностями о поведении и ограничениях к карточке исходной модели.

Qwen3-8B-Abliterated — доработанная Richard Young (DeepNeuro) версия Qwen/Qwen3-8B, созданная методом abliteration. В плотной архитектуре Qwen3 изменены средние слои 15–30, чтобы ослабить отказы модели на запросы; указанный масштаб абляции — 1.0. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений, работы с кодом и вызова инструментов. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В карточке указана библиотека Transformers и формат safetensors. Базовая Qwen3-8B описана как многоязычная, однако конкретный перечень поддерживаемых языков для этой версии не приведён. Снижение числа отказов означает ослабление защитных ограничений и требует внимательного выбора сценариев применения. Модель выпущена по лицензии Apache-2.0; автор предупреждает, что защитные механизмы частично удалены, и возлагает ответственность за этичное использование на пользователей.

ddark-il/Qwen3.8-Flash-Next-Uncensored-Mixed-omlx — это MLX-квантизированная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, подготовленная для запуска через oMLX на устройствах Apple Silicon. Модель основана на архитектуре qwen4_exp с разреженными экспертами (MoE), поддерживает текстово-визуальные сценарии и имеет тег image-text-to-text. В README не указано, что ddark-il является исходным разработчиком базовой модели; он предоставляет адаптированный квантованный вариант. Модель содержит около 180 млрд параметров и использует смешанную AWQ/affine-квантизацию с эффективной точностью 4,86 бит на параметр. Размер файлов составляет около 109,24 ГБ, а заявленная длина контекста — до 262 тысяч токенов. В составе предусмотрены MTP-компонент для speculative decoding, GDN и sparse attention, а также vision-модули. Квантизация распределена по чувствительности компонентов: маршрутизируемые эксперты и некоторые таблицы имеют 4-битную точность, критичные элементы сохранены в 8-битном или BF16-виде. Модель предназначена для длинноконтекстной генерации текста, агентских сценариев с вызовами инструментов и задач, сочетающих текст и изображения. На M5 Max с 128 ГБ памяти и oMLX 0.6.4 автор README измерил около 30,7 токена в секунду при работе с длинными агентскими сессиями. Ограничения включают требование oMLX версии не ниже 0.6.3rc3, значительное потребление памяти, зависимость от корректной настройки mmap для PLE-таблицы и отсутствие дополнительного обучения или калибровки. Лицензия — Apache-2.0.

RuDolph-Hermes-7B — разговорная языковая модель, созданная автором карточки как объединение двух моделей Mistral 7B: Dolphin 2.2.1 и OpenHermes 2.5. Слияние выполнено методом SLERP с кривой, вдохновлённой сигмоидой; модель имеет архитектуру MistralForCausalLM и около 7,1 млрд параметров. Репозиторий предоставляет веса в формате safetensors. Модель предназначена для диалогов и генерации текста, в том числе для ответов на запросы и помощи с кодом. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В карточке не указаны специальные языки или предметные области, поэтому языковая поддержка не уточняется. Автор характеризует модель как хорошую разговорную модель, но численные результаты приведены лишь для части оценочных тестов и не гарантируют качество в конкретных сценариях. Лицензия в предоставленных данных не указана.

Thalassic-Delta-LLaMa-70B — слитая разговорная языковая модель от TareksGraveyard на архитектуре Llama. Она создана методом SCE с помощью mergekit на основе SicariusSicariiStuff/Negative_LLAMA_70B и объединяет веса Anubis-70B-v1, EVA-LLaMA-3.33-70B-v0.1, 70B-L3.3-Cirrus-x1, L3.1-70B-Hanami-x1 и DeepSeek-R1-Distill-Llama-70B. Модель предназначена для генерации текста и диалогов; базовая модель DeepSeek-R1-Distill-Llama-70B ориентирована также на математические рассуждения, программирование и сложные вопросы. Размер составляет 69,5 млрд параметров, заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors и использует лицензию llama3.3. Автор описывает её как лучший вариант серии Thalassic по своему мнению, однако README не приводит сравнительных оценок или результатов бенчмарков.

mncai/yi-34B-v2 — инструкционно дообученная модель MindsAndCompany на базе Yi-34B для генерации текста и ответов на запросы. В карточке приводится пример вопроса на корейском языке; модель может использоваться в диалоговых и корпоративных приложениях, включая чат-ботов и помощников по коду, которые разрабатывает компания. Модель имеет плотную архитектуру LlamaForCausalLM и около 33,9 млрд параметров. Она принимает текст, выдаёт текст и поддерживает контекст до 8192 токенов. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0.

Zrald-AI Qwen 3.8 27B zraldv1-ac — GGUF-релиз модели Qwen3.8-27B от Zrald, подготовленный для запуска через llama.cpp. В карточке указаны файл размером 17,08 GiB и профиль с приоритетом точности; заявлено сохранение 99,68% точности и минимальная рекомендуемая видеопамять 20 ГБ. README сообщает о физических замерах производительности на AMD Instinct MI300X, но эти показатели зависят от оборудования и конфигурации запуска. Модель предназначена для генерации текста в диалогах, а метаданные также отмечают сценарии программирования и рассуждений. Базовая модель в каталоге описана как мультимодальная, способная анализировать изображения и видео, однако README этого релиза не подтверждает поддержку этих входов, поэтому здесь она не заявляется. Репозиторий содержит GGUF-файл, а метаданные указывают связь с Qwen/Qwen3.8-27B как с базовой моделью. Лицензия — Apache-2.0. Заявленные точность, скорость и требования к VRAM приведены автором релиза и не являются гарантией производительности на другом оборудовании.

CausalLM/35b-beta2ep — разговорная языковая модель на архитектуре Cohere, разработчик в карточке не уточнён. Модель содержит 35 млрд параметров, распространяется в формате safetensors и использует шаблон диалога ChatML. Метаданные указывают контекст 8192 токена; упоминание в README обучения на длинных данных не означает, что эта версия рассчитана на контекст 128K. Модель предназначена для генерации текста в диалоге, общих вопросов, задач на знания и программирование. В README указано обучение на синтетических данных и веб-корпусе в течение одной эпохи; метаданные перечисляют среди обучающих наборов данные для диалогов, математики, инструкций и кода. Поддерживаемые языки по карточке — английский, китайский, японский и немецкий. Модель выпущена под лицензией GPL-3.0. README отмечает, что эта версия не ориентирована на очень длинный контекст; дополнительных сведений о качестве и ограничениях применения в карточке нет.