II.9Статистика, эксперименты и причинный анализ

Sakalti/oxyge1-33B — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве базовой модели использована Qwen/QwQ-32B-Preview, в слияние также включена Qwen/Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров и принимает текст для генерации текста и диалоговых ответов; метаданные также указывают интерфейс вызова инструментов. Модель подходит для диалоговых сценариев, генерации текста, программирования, математических задач и структурированных ответов — эти возможности описаны для базовой Qwen2.5-32B-Instruct. Максимальная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

unsloth/Qwen2.5-7B-unsloth-bnb-4bit — четырёхбитная версия базовой языковой модели Qwen2.5-7B, подготовленная Unsloth с использованием динамического 4-bit-квантования. Разработчик исходной модели — команда Qwen; Unsloth предоставляет оптимизированный формат для запуска и дообучения с меньшими требованиями к памяти. Модель предназначена для генерации и понимания текста, программирования, математических задач, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие языки. Для серии Qwen2.5 заявлена поддержка контекста до 128 тысяч токенов и генерация до 8 тысяч токенов. Ключевые преимущества — размер около 7 миллиардов параметров, экономичное 4-bit-представление и заявленное Unsloth улучшение точности по сравнению со стандартным 4-bit-квантованием. Модель является текстовой causal language model и не предназначена для работы с изображениями или другими модальностями. Как базовая, а не instruction-tuned модель, она не рекомендуется для диалогового использования без дополнительного дообучения или подходящего шаблона запросов. Лицензия — Apache 2.0.

azampatti/Qwen3.8-Flash-Next-125B-A5B-INT4-AutoRound — гибридная квантованная версия Qwen3.8-Flash-Next, подготовленная автором azampatti на основе чекпойнтов Qwen и Intel. Модель предназначена для генерации текста, программного кода, математических ответов, работы с инструментами и длинным контекстом. Она поддерживает OpenAI-совместимую подачу через специализированную сборку vLLM и рассчитана прежде всего на запуск на одной системе DGX Spark с GB10 и 128 ГБ памяти. Модель использует архитектуру mixture-of-experts: всего 125 млрд параметров, из которых около 4,8 млрд активируются для каждого токена. Число выбираемых маршрутизатором экспертов сокращено с 10 до 5, после чего общий эксперт был дообучен методом self-distillation для восстановления качества. Основные компоненты распределены между форматами int4, fp8 и bf16; применяются GPTQ-Marlin с размером группы 128 и AutoRound. В репозитории также содержится FP8-таблица n-грамм объёмом около 49 ГБ, отображаемая из памяти при работе. Сильными сторонами являются высокая скорость генерации — примерно 64–70 токенов в секунду на DGX Spark, сохранение возможностей инструментального использования и уменьшенные активные вычисления по сравнению с исходной моделью. Ограничение — некоторое снижение общей способности: заявленный показатель составляет около 47–49 против 51,8 у исходной версии, а результаты измерялись собственным тестовым стендом и не являются универсальным лидербордом. Для запуска требуется специализированная сборка vLLM, поскольку стандартная vLLM не поддерживает используемую комбинацию int4 и fp8. Лицензия указана как qwen с типом other; применяются условия лицензии Qwen, ссылка на которую приведена в карточке.

Hagwell/Ternary-Bonsai-2-27B-gguf — мультимодальная причинная языковая модель семейства Bonsai 2, разработанная Prism ML и производная от Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов, а также поддерживает обработку изображений при подключении отдельного vision-пакета. Модель рассчитана на локальный запуск через llama.cpp на CPU, GPU с CUDA и устройствах Apple с Metal. Модель содержит около 27,36 млрд параметров и использует гибридную архитектуру внимания: примерно 75% слоёв основаны на linear attention, а около 25% — на полном внимании. В архитектуре также используются SwiGLU, RoPE и RMSNorm. Языковые веса представлены в троичном формате со значениями −1, 0 и +1 и групповым масштабированием FP16; заявленный эффективный размер составляет около 1,72 бита на параметр. Доступны две упаковки GGUF: PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Контекст поддерживает до 262 тысяч токенов. Для изображений предусмотрен отдельный vision-пакет формата Q8_0. К сильным сторонам относятся существенно меньший размер по сравнению с FP16, сохранение возможностей рассуждения, программирования и агентского поведения в низкобитном формате, а также возможность запуска 27B-класса на обычном ноутбуке или одной видеокарте. Заявлены результаты на уровне 98,2% от FP16 на среднем показателе 14 бенчмарков и производительность около 47 токенов в секунду на ноутбуке с Apple M5 Max. Ограничения включают необходимость специализированных ternary-ядер и совместимых сборок llama.cpp, а поддержка изображений требует отдельного пакета. Модель распространяется по лицензии Apache 2.0.

Apodex-1.1-mini MLX — MLX-конверсия модели Apodex-1.1-mini от Apodex AI, предназначенная для исследовательских задач, работы с данными, файлами, кодом и инструментами. Это текстовая модель для генерации текста, оптимизированная для запуска на устройствах Apple silicon с библиотекой mlx-lm. Заявлены поддерживаемые языки — английский и китайский. Модель построена на архитектуре Qwen3.5 MoE и содержит 35,95 млрд параметров. Релиз использует аффинное 4-битное квантование с размером группы 64; веса маршрутизатора MoE и общих экспертов сохранены в 8-битном формате. Размер MLX-весов составляет 19,5 ГБ, поэтому для работы требуется дополнительная unified memory под выполнение модели и KV-кэш, особенно при длинном контексте. В этой версии отсутствуют обработка изображений и native MTP. Модель распространяется по лицензии Apache-2.0.

Calcium-Opus-20B-v1 — диалоговая языковая модель на архитектуре Qwen2, созданная на основе Qwen/Qwen2.5-14B-Instruct и дообученная для рассуждений, математики, программирования и следования инструкциям. По метаданным модель содержит 18,4 млрд параметров, использует Transformers и формат safetensors; заявленное в README контекстное окно до 128K токенов расходится с указанным в метаданных пределом 4096 токенов, поэтому фактический размер контекста следует уточнить для конкретной версии. Модель предназначена для диалоговых помощников, генерации и анализа текста, решения математических задач, написания и отладки кода, работы с таблицами и JSON, а также создания длинных материалов. README заявляет поддержку более 29 языков, включая русский и английский; метаданные карточки указывают английский. Заявлены генерация до 8K токенов за один ответ и интерфейс вызова инструментов. Лицензия Apache-2.0. Качество может различаться между языками; возможны ошибки в длинных ответах, повторы и неверные выводы при неоднозначных или состязательных запросах. Модель не обладает актуальными знаниями о событиях после обучения и требует значительных вычислительных ресурсов.

DeepSeek-V3.1 — большая языковая модель, разработанная DeepSeek AI. Она поддерживает гибридный режим: может работать в режиме с рассуждением и без него, переключаясь через шаблон чата. Модель предназначена для диалоговых приложений, генерации ответов, задач, требующих сложного рассуждения, а также для использования инструментов и агентских сценариев. Модель содержит 671 млрд параметров, из которых при генерации активируется 37 млрд, и поддерживает контекст длиной до 128 тысяч токенов. Она дообучена на базе DeepSeek-V3.1-Base, использует расширенное обучение на длинных контекстах и формат данных UE8M0 FP8 для весов и активаций. Режим с рассуждением ориентирован на повышение качества решения сложных задач и сопоставим по качеству с DeepSeek-R1-0528, при этом заявлено более быстрое формирование ответов. Поддержка вызова инструментов заявлена для режима без рассуждения. README не содержит сведений о поддерживаемых языках и мультимодальных возможностях, поэтому модель следует рассматривать прежде всего как текстовую языковую модель. Большой общий размер параметров может предъявлять высокие требования к инфраструктуре, несмотря на меньшее число активируемых параметров. Модель распространяется по лицензии MIT.

darkc0de/gemma-4-31B-it-Claude-Opus-Distill-v2-heretic — производная модель на основе unsloth/gemma-4-31B-it, дообученная с помощью Unsloth на наборах рассуждений, дистиллированных из взаимодействий Claude Opus 4.5 и 4.6 с высоким уровнем рассуждений. Затем модель была декензурирована методом abliteration с помощью Heretic v1.3.0; в описанных измерениях частота отказов снизилась с 89 до 28 из 100, а KL-дивергенция относительно исходной версии составила 0,0063. Модель предназначена для диалогов и решения многошаговых задач: генерации и отладки кода, научного анализа, исследовательских запросов и повседневных инструкций. Архитектура Gemma 4 — плотная мультимодальная модель на 31 млрд параметров с поддержкой изображений; заявлены режим рассуждений и обработка изображений с настраиваемым бюджетом визуальных токенов. В метаданных указан pipeline image-text-to-text и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. В README отмечены сниженная склонность к отказам и способность к сложным рассуждениям, однако бенчмарки ещё не опубликованы; измерение отказов приведено только для конкретной внутренней проверки и не гарантирует поведения во всех сценариях.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

Hermes-4.3-36B-GGUF — языковая модель для генерации текста, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Она предназначена для диалогов, рассуждений, решения математических и логических задач, программирования, STEM-сценариев, творческого письма, ролевого общения, вызова функций и работы со структурированными ответами. Модель имеет размер 36 млрд параметров и поддерживает гибридный режим с рассуждением: при необходимости она формирует сегменты <think>...</think>, а также может работать без явного рассуждения. В обучении использовался посттренировочный корпус примерно из 5 млн примеров и 60 млрд токенов. Hermes 4.3 ориентирована на соблюдение схем JSON, исправление некорректных структурированных объектов, управляемость и широкий спектр форматов вывода. В README заявлен английский язык; размер контекстного окна и полный перечень поддерживаемых языков не указаны. К сильным сторонам относятся улучшенные результаты в математике, коде, логике, STEM и следовании инструкциям, а также поддержка function calling, tool use и structured outputs. Ограничения модели включают отсутствие в представленном README сведений о конкретной GGUF-квантизации, требованиях к оборудованию и размере контекста. Результаты на SimpleQA заметно ниже других приведённых показателей, поэтому фактические ответы следует проверять. Модель распространяется по лицензии Apache-2.0.

Карточка модели genevaquant/Hermes-4-405B на Hugging Face совпадает с карточкой Deniss8686/Hermes-4-405B, поэтому описание составлено по ней. Hermes 4 405B — языковая модель Nous Research для диалогов и следования инструкциям, дообученная на базе Meta Llama 3.1 405B. Это плотная авторегрессионная модель с 403,7 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для работы в роли универсального ассистента: она ведёт диалог, рассуждает, помогает с математикой, программированием, STEM-задачами, логикой и творческим письмом. Поддерживает гибридный режим рассуждений, вызов функций и инструментов, а также генерацию структурированных ответов, включая JSON по заданной схеме. В карточке указана поддержка английского языка. Разработчик сообщает об улучшениях в рассуждениях, следовании форматам и управляемости после дообучения. Реальное качество может зависеть от запроса, шаблона чата и настроек генерации; работа с инструментами требует подходящего парсера и среды исполнения. Лицензия — Llama 3.

Hermes 4 70B FP8 — языковая модель для генерации текста, разработанная Nous Research на базе Meta Llama 3.1 70B. Это instruct-модель с гибридным режимом рассуждений: при необходимости она формирует рассуждение в сегментах <think>...</think>, а затем выдаёт итоговый ответ. Модель ориентирована на чат и роль универсального ассистента, поддерживает форматы ChatML и Llama 3, текстовый ввод и вывод, а также заявленные сценарии function calling, tool use, JSON и структурированных ответов. В карточке указан английский язык и библиотека Transformers; размер контекста не указан. Модель предназначена для задач общего ассистирования, reasoning, математики, программирования, STEM, логики, творческого письма, ролевого общения и генерации ответов в заданной структуре. Среди заявленных сильных сторон — улучшенное следование схемам и форматам, способность исправлять некорректные JSON-объекты, управляемость, сниженный уровень отказов и сохранение общего качества диалога. Ограничения включают высокие вычислительные требования, характерные для модели класса 70B, отсутствие в карточке подробных независимых результатов тестирования и ограниченную информацию о поддерживаемых языках: явно указан только английский. Распространение осуществляется по лицензии Llama 3.

Hunyuan-7B-Instruct — плотная языковая модель Tencent с 7,5 млрд параметров, дообученная для следования инструкциям на базе tencent/Hunyuan-7B-Pretrain. Она предназначена для диалогов, ответов на вопросы, рассуждений, решения математических задач, программирования и агентных сценариев. Модель поддерживает быстрый и медленный режимы рассуждения, а также эффективный вывод с Grouped Query Attention; карточка модели описывает поддержку контекста до 256K токенов, тогда как метаданные репозитория указывают нативный контекст 32 768 токенов. Модель принимает текст и генерирует текст. Для запуска доступны Transformers, TensorRT-LLM, vLLM и SGLang; для развертывания описаны варианты квантования. Карточка указывает на высокие результаты в математике, программировании, следовании инструкциям и агентных бенчмарках, однако приведенные результаты включают тестирование базовых моделей и не являются гарантией качества в конкретном применении. Лицензия в предоставленных данных не обозначена.

Hunyuan-A13B-Instruct — чат-модель Tencent для генерации текста и ответов на инструкции. Она построена на архитектуре Mixture-of-Experts (MoE) с Grouped Query Attention; README указывает 80 млрд параметров всего и 13 млрд активных при выводе. В метаданных репозитория при этом указано 3,1 млрд параметров, поэтому размер модели в карточке и метаданных расходится. Модель предназначена для диалога, сложных рассуждений, математики, научных вопросов, программирования и агентных сценариев с вызовом инструментов. Поддерживает режимы быстрого и пошагового рассуждения, а README заявляет контекст до 256K токенов. Метаданные указывают контекст 32 768 токенов; доступные сведения не позволяют разрешить это расхождение. Для запуска описана поддержка Transformers, TensorRT-LLM, vLLM и SGLang. В README приведены конкурентные результаты на бенчмарках математики, науки, кода, рассуждений и агентных задач, но они не гарантируют аналогичного качества в прикладных сценариях. Языковая поддержка отдельно не перечислена. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в файле LICENSE репозитория.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это текстовая генеративная модель с архитектурой Mixture-of-Experts (MoE), предназначенная для решения сложных задач программной инженерии, анализа документов и данных, подготовки документов, таблиц и презентаций, разработки игр, научных исследований и многошаговых рабочих процессов. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых экспертов и одного общего эксперта; для каждого токена выбираются 8 маршрутизируемых экспертов. Используются Gated DeepSeek Sparse Attention, механизм повторного использования разреженных индексов IndexCache и четыре residual-потока iHC. Контекстное окно составляет 1 млн токенов, размер словаря — 120 832 токена. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны Hy4 preview — высокая вычислительная ёмкость, большой контекст и специализация на длительных задачах, включая разработку ПО, анализ разрозненной информации, создание игровых прототипов и научное рассуждение. Ограничения связаны со статусом ранней preview-версии: авторы отмечают наличие нерешённых проблем, включая склонность тратить больше времени, чем необходимо, на сложные задачи и чрезмерно перепроверять результаты. Модель распространяется по лицензии Apache 2.0.

Infinity-Instruct-3M-0613-Llama3-70B — диалоговая языковая модель, разработанная Beijing Academy of Artificial Intelligence (BAAI). Это плотная модель семейства Llama с 69,5 млрд параметров, дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0613 без RLHF. Она предназначена для следования инструкциям и многошагового диалога, в том числе для ответов на вопросы, задач по коду и математике. Модель принимает текст и генерирует текст, использует шаблон чата Llama 3 Instruct и имеет контекст 8192 токена. В карточке приведены результаты оценок AlpacaEval 2.0 и MT-Bench; они не гарантируют качество для конкретных запросов. Модель доступна в формате safetensors под лицензией Apache-2.0 в метаданных Hugging Face. При этом README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; перед использованием следует учитывать это ограничение и проверить применимые условия распространения.

QuantFactory/internlm2-chat-7b-sft-GGUF — квантизированная версия языковой модели InternLM2-Chat-7B-SFT, созданная QuantFactory с использованием llama.cpp на базе модели internlm/internlm2-chat-7b-sft. Это текстовая causal language model для генерации текста и диалоговых сценариев. Модель предназначена для общения, следования инструкциям, рассуждений, решения математических задач, написания и анализа кода, творческого письма, анализа данных, а также использования в агентных системах с инструментами и многошаговыми вызовами. Указано контекстное окно до 200 000 токенов и размер 7 миллиардов параметров. Модель работает с текстом; конкретный набор поддерживаемых языков в README не указан. Версия SFT предназначена также для исследования влияния RLHF, поскольку последующая версия InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. К сильным сторонам относятся заявленные результаты в рассуждениях, математике, программировании, следовании инструкциям и задачах с длинным контекстом, а также преимущества квантизированного формата для запуска через llama.cpp. Ограничения включают возможные ошибки, предвзятость, дискриминационные или иные вредные ответы; качество зависит от квантизации и условий запуска. В README указана лицензия «other», без подробного описания условий, поэтому точные правила использования следует уточнять в исходной карточке модели.

microsoft/phi-4-gguf — GGUF-версия модели phi-4, разработанной Microsoft Research. Это открытая языковая модель для генерации текста, ориентированная преимущественно на английский язык. Она предназначена для исследовательских задач, создания генеративных функций и универсальных AI-систем, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке, а также для задач рассуждения, логики, математики, программирования, диалогового взаимодействия и следования инструкциям. Модель построена как плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы и выходы. Контекстное окно составляет 16K токенов; рекомендуемый формат взаимодействия — chat-промпты. Обучение проводилось на 9,8 трлн токенов в период с октября по ноябрь 2024 года, а выпуск состоялся 12 декабря 2024 года. Данные включали синтетические учебные материалы, отфильтрованные общедоступные документы, код, академические книги, наборы вопросов и ответов и данные для supervised fine-tuning и direct preference optimization. Мультиязычные данные составляли около 8% корпуса, поэтому основной акцент сделан на английском языке. К сильным сторонам относятся компактный для своих возможностей размер, ориентация на рассуждение и логические задачи, а также дополнительное выравнивание для соблюдения инструкций и повышения безопасности. Ограничения включают статичность модели и отсечение общедоступных данных июнем 2024 года, преимущественную ориентацию на английский язык и необходимость самостоятельной проверки точности, безопасности, справедливости и соответствия требованиям законодательства в конкретных сценариях, особенно в высокорисковых областях. Модель распространяется по лицензии MIT.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

ISTA-DASLab/Qwen3.6-35B-A3B-2Bit-GSQ — это квантизованная версия модели Qwen/Qwen3.6-35B-A3B, разработанная IST-DASLab с использованием метода GSQ (Gumbel-Softmax Quantization). Базовая модель построена по архитектуре MoE: 35 млрд параметров всего и около 3 млрд активных параметров. Модель ориентирована на рассуждения, программирование, следование инструкциям, научные и математические задачи, а также работу с длинным контекстом. В репозитории заявлена поддержка сценариев image-text-to-text; чекпойнт включает vision-компоненты, необходимые для мультимодальных входов, однако сведения о поддерживаемых языках и точной длине контекста в README не указаны. Ключевая особенность — смешанная квантизация. Веса маршрутизируемых экспертных MLP представлены в 2-битном формате GSQ с эффективной стоимостью хранения около 2,13 бит на параметр и размером группы 128, тогда как attention-слои, общие эксперты и LM head квантизованы в INT8. Эмбеддинги, нормализации, маршрутизатор MoE и другие компоненты сохранены в BF16. Полный чекпойнт занимает примерно 12,6 ГБ, а вариант без vision- и MTP-компонентов — около 9,9 ГБ. По приведённым оценкам, модель сохраняет высокую точность базовой версии, особенно на AIME 2025, где результат совпал с исходной моделью, но уступает ей на GPQA Diamond, IFEval, MMLU-Pro и GSM8K. Ограничения связаны с необходимостью специальной инфраструктуры: для запуска через vLLM требуется версия 0.27.1, патч совместимости из репозитория и GPU Ampere или Hopper. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored. Квантизацию выполнил mradermacher. Модель предназначена для генерации и обработки текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и исследовательских экспериментов. В метаданных заявлена поддержка английского, китайского, японского и испанского языков, а также conversational, instruction-tuned и multilingual-сценариев. Доступны варианты с разными уровнями квантизации — от Q2_K размером 13,3 ГБ до Q8_0 размером 37,9 ГБ, включая IQ4_XS, Q4_K_M и другие форматы. Для мультимодального использования предоставляются дополнительные файлы mmproj. Более качественные варианты требуют больше памяти, тогда как компактные быстрее и экономичнее, но могут сильнее терять качество; конкретные характеристики архитектуры, максимального контекста и производительности в README не указаны. Лицензия — Apache-2.0.

Yi-1.5-34B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Это чат-версия Yi-1.5: семейство непрерывно предобучали на высококачественном корпусе объёмом 500 млрд токенов, затем дообучили на 3 млн разнообразных примеров. Модель предназначена для диалога и следования инструкциям. Она подходит для генерации ответов, помощи с программированием и математикой, рассуждений, понимания языка и чтения текстов. Разработчики отмечают улучшения в коде, математике, рассуждениях и выполнении инструкций по сравнению с Yi. Для этой версии в метаданных указан контекст 4096 токенов; доступны веса в формате safetensors. Модель принимает и выдаёт текст. Карточка не приводит конкретного перечня поддерживаемых языков. Лицензия — Apache-2.0.

Yi-1.5-9B-Chat — диалоговая языковая модель семейства Yi, разработанная командой 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, представленная в формате safetensors. Yi-1.5 продолжает предварительное обучение Yi на корпусе из 500 млрд токенов и проходит дообучение на 3 млн разнообразных примеров; версия Chat предназначена для диалога и следования инструкциям. Модель подходит для ответов на вопросы, рассуждений, задач по математике и программированию, а также понимания и краткого анализа текста. В карточке заявлен контекст 4 тыс. токенов; линейка Yi-1.5 также включает варианты с контекстом 16 тыс. и 32 тыс. токенов. README характеризует 9B Chat как сильную модель среди открытых моделей сопоставимого размера. Лицензия — Apache-2.0.

Athene-V2-Chat-72B — диалоговая языковая модель с открытыми весами, разработанная командой Nexusflow. Это дообученная с помощью RLHF модель Qwen2.5-72B-Instruct с плотной архитектурой Qwen2; в репозитории доступны веса в формате safetensors. Модель рассчитана на диалог, генерацию текстов, решение математических задач и программирование. Она использует шаблон чата Qwen2.5-72B-Instruct и поддерживает контекст до 32 768 токенов. В карточке разработчик сообщает о сильных результатах в чат-бенчмарках, математике, программировании, следовании инструкциям и многошаговом диалоге. Модель также имеет интерфейс вызова инструментов, однако для сложных агентных сценариев Nexusflow выделяет отдельную модель Athene-V2-Agent-72B. Лицензия — Nexusflow Research License; перед использованием следует проверить её условия для конкретного сценария.

dolphin-2.9.1-llama-3-70b-IMat-GGUF — GGUF-квантизированная версия текстовой модели dolphin-2.9.1-llama-3-70b, разработанной cognitivecomputations. Модель основана на Llama 3 с исходным типом данных BF16 и содержит около 70 млрд параметров. Квантизация выполнена с использованием llama.cpp версии b3003, а разработчиком сборки указан legraphista. Для калибровки применён IMatrix-набор данных. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При обучении исходной модели использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math Word Problems, Locutusque Function Calling ChatML и Agent-FLAN. Поддерживаются варианты квантизации от Q2_K и IQ3 до Q8_0, а также FP16 и BF16; доступны как цельные, так и разделённые файлы. Ключевое преимущество сборки — возможность запускать крупную модель в формате GGUF через совместимое программное обеспечение, выбирая компромисс между размером файла и сохранением качества. IMatrix применяется в ряде вариантов с более низкой разрядностью и может улучшать качество по сравнению с обычной квантизацией. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, особенно для вариантов высокого качества; сведения о конкретном контекстном окне, языках и мультимодальности в README не указаны. Лицензия указана как llama3.

Это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b-1m, созданной на базе Meta-Llama-3-8B. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix; исходная модель разработана командой Cognitive Computations. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, программирования, математических задач, function calling и агентских сценариев. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и использует формат диалоговых сообщений ChatML с ролями system, user и assistant. В обучении или дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Суффикс 1m указывает на вариант с очень длинным контекстом, однако точный размер контекстного окна в README не указан. Доступно множество вариантов квантизации с размером файлов примерно от 2,39 до 8,54 ГБ. Q6_K и Q5-серии обеспечивают высокое качество, а Q4 и более компактные варианты снижают требования к памяти и подходят для локального запуска; наиболее агрессивные Q2 и Q3-квантизации имеют заметно более низкое качество. Ограничения включают возможную потерю качества из-за квантизации, отсутствие мультимодальности и неуказанные в README показатели производительности. Лицензия обозначена как other, поэтому точные условия использования следует уточнять у разработчиков исходной модели.

GLM-5.3-Flash-UNCENSORED-NVFP4-DFlash2 — мультимодальная модель семейства GLM-5.3 Flash. Исходную архитектуру разработала Zhipu AI (ZAI), неконтролируемые веса подготовила dealignai, а упаковку и конфигурацию NVFP4 выполнила Solstice-AI. Модель основана на 320-миллиардной MoE-архитектуре с 288 маршрутизируемыми экспертами и примерно 18 миллиардами активных параметров на токен. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также обработки изображений и видео. Она поддерживает нативные мультимодальные возможности благодаря 24-слойному ViT и проектору размерности 10 240, рассчитана на контекст до 1 048 576 токенов и поставляется с черновой моделью DFlash 2 для спекулятивного декодирования. Ключевая особенность сборки — смешанная точность W4A16: MoE-эксперты используют 4-битный формат NVFP4, а attention, общие эксперты и активации сохраняются в 16-битной точности. Сильными сторонами являются сочетание большого контекста, мультимодальности, сниженного потребления памяти за счёт квантизации и поддержки спекулятивного ускорения. Согласно README, модель ориентирована на GPU NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere. Ограничения включают крупный общий размер, высокие требования к инфраструктуре, зависимость производительности от совместимого ПО и оборудования, а также отсутствие встроенных механизмов отказа от потенциально опасных запросов: веса описаны как uncensored и abliterated. Модель распространяется по лицензии MIT. В README также указаны результаты на MMLU, SWE-bench, LiveCodeBench, MATH-500 и мультимодальных тестах, однако эти показатели приведены авторами карточки и не заменяют независимую оценку.

Hermes 4 14B FP8 — языковая модель, разработанная Nous Research на базе Qwen3-14B и представленная в формате FP8. Она предназначена для диалоговых ассистентов, решения задач рассуждения, математики, программирования, STEM и логики, творческого письма, ролевого взаимодействия, а также для сценариев с function calling, использованием инструментов, JSON и структурированными ответами. В карточке указана поддержка английского языка. Модель использует гибридный режим рассуждения: при необходимости она может формировать сегменты <think>…</think>, а также работать в более быстром режиме без явного рассуждения. Hermes 4 обучалась на расширенном посттренировочном корпусе примерно из 5 миллионов образцов и 60 миллиардов токенов. Среди заявленных характеристик — улучшенное следование схемам и способность исправлять некорректные JSON-объекты, высокая управляемость, снижение необоснованных отказов и поддержка формата ChatML. Архитектурные подробности и размер контекстного окна в README не указаны. Сильные стороны модели — универсальность, качество рассуждений, работа с кодом и структурированными форматами, а также поддержка вызовов функций и инструментов. Ограничения включают отсутствие в предоставленных данных подробных сравнительных результатов, сведений о мультимодальности и подтверждённой поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

genevaquant/Hermes-4-70B-u — дообученная модель genevaquant на базе NousResearch/Hermes-4-70B, построенная на плотной архитектуре Llama 3.1 с 69,5 млрд параметров. Она предназначена для диалогов и генерации текста, включая рассуждения, математику, программирование, задачи STEM и создание ответов в заданном формате; модель поддерживает контекст до 131 072 токенов. Модель использует формат чата Llama и поддерживает режим рассуждений, вызов инструментов и структурированный вывод, в том числе JSON по заданной схеме. В карточке указана лицензия Llama 3. Отдельных оценок качества именно этой версии genevaquant карточка не приводит; для работы требуются значительные вычислительные ресурсы, соответствующие модели на 70 млрд параметров.

AMAImedia/Hy4-preview-BF16-GGUF — размещённая AMAImedia сборка модели Hy4 preview, разработанной Tencent Hy Team. Это диалоговая модель семейства hy_v4 с архитектурой Mixture-of-Experts; исходная модель содержит 770 млрд параметров, из которых активируются 49 млрд на токен. В архитектуре используются 78 слоёв, разреженное внимание Gated DeepSeek Sparse Attention и слой MTP для ускорения спекулятивного декодирования. Карточка указывает контекст длиной до 1 048 576 токенов. Модель предназначена для генерации текста и диалога, включая разработку и отладку программ, анализ документов и данных, подготовку офисных материалов, создание игровых прототипов и научные задачи. Hy4 preview также поддерживает сценарии с изображениями согласно тегу image-text-to-text. В метаданных заявлены языки, включая английский, русский, китайский, вьетнамский и японский; карточка перечисляет дополнительные языки. Репозиторий обозначен как GGUF BF16, однако метаданные также содержат форматы GGUF Q4_K_M и safetensors. Это ранняя версия: README отмечает склонность тратить лишнее время на сложные рассуждения и чрезмерно перепроверять результаты. Модель опубликована под лицензией Apache-2.0. Связь с tencent/Hy4-preview и AngelSlim/Hy4-preview-GGUF указана в метаданных как merge.