II.4Отладка, тестирование и качество ПО

WizardLM-70B-V1.0 — большая языковая модель команды WizardLM, выпущенная в августе 2023 года. Это плотная авторегрессионная модель семейства LLaMA с архитектурой LlamaForCausalLM и 68,7 млрд параметров; репозиторий содержит веса PyTorch. Модель предназначена для генерации текста и диалогов, в том числе многоходовых бесед по формату запросов, совместимому с Vicuna, и ответов на сложные инструкции. В карточке приведены результаты на MT-Bench, AlpacaEval, GSM8K и HumanEval; они указывают на возможности диалога, решения математических задач и генерации кода. Контекст модели составляет 4096 токенов. Для использования указана лицензия Llama 2; следует соблюдать её условия. Карточка не сообщает о поддержке изображений, аудио или иных модальностей помимо текста.

Yi-1.5-6B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 5,8 млрд параметров. Модель предназначена для генерации ответов в чате, следования инструкциям, понимания текста, рассуждений, решения математических задач и помощи с программированием. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и тонкую настройку на 3 млн примеров; карточка конкретной модели подтверждает контекст 4096 токенов. Модель работает с текстом и выдаёт текст. README отмечает улучшения в программировании, математике, рассуждениях и следовании инструкциям, а также способности к пониманию языка, здравому смыслу и чтению. Лицензия — Apache 2.0. README не приводит отдельные оценки качества именно версии 6B; результаты больших вариантов семейства нельзя напрямую переносить на неё.

Atom-80B — диалоговая языковая модель VANTA Research, дообученная на базе Qwen3-Next-80B-A3B-Instruct для совместной работы с человеком. Это пятая модель проекта Atom, ориентированного на модели с дружелюбным и ориентированным на сотрудничество стилем общения. Модель использует архитектуру Qwen3 Next с разреженной схемой Mixture of Experts (MoE); в метаданных указано 2,3 млрд параметров и контекст до 262 144 токенов. Работает с текстом и предназначена для генерации ответов в формате диалога. Модель подходит для совместного мозгового штурма, синтеза исследовательских материалов, объяснения технических тем, обсуждения кода и творческого решения задач. Разработчик заявляет о сильных сторонах в многошаговых рассуждениях, совместном выполнении задач и устойчивом стиле общения. README не приводит результаты независимых оценок качества, поэтому фактические утверждения следует проверять; модель не предназначена для принятия решений с высокими ставками без контроля человека и не должна заменять медицинскую, юридическую или финансовую консультацию. Лицензия — Apache-2.0.

A.X K1 — большая языковая модель SKT, обученная с нуля без инициализации от существующей предварительно обученной модели. Это декодерный Transformer с разреженной архитектурой Mixture-of-Experts: в README указано 519 млрд параметров всего, из которых активны 33 млрд на токен; метаданные Hugging Face сообщают 37,9 млрд параметров. Архитектура включает 192 эксперта и один общий эксперт, механизм Multi-Latent Attention и контекст длиной 131 072 токена. Модель предназначена для диалоговой генерации текста, следования инструкциям и рассуждений. Режим Think позволяет получать развёрнутые ответы с промежуточными шагами, а Non-Think — более краткие ответы с меньшей задержкой. Токенизатор оптимизирован для английского, корейского, китайского, японского и испанского языков, а также исходного кода и структурированного текста. Метаданные карточки подтверждают английский и корейский; модель опубликована в формате safetensors и поддерживает чат. Модель подходит для задач, требующих высокой ёмкости и работы с длинным контекстом; разреженная архитектура рассчитана на более эффективное использование вычислений, чем плотная модель сопоставимой общей ёмкости. README предупреждает, что ответы могут быть неверными или вводящими в заблуждение, объяснения в режиме Think не следует считать достоверным отражением внутренних процессов модели, а качество может различаться по предметным областям и языкам. Лицензия — Apache-2.0.

MaziyarPanahi/calme-2.1-rys-78b — диалоговая языковая модель, дообученная на базе dnhkng/RYS-XLarge. Она использует архитектуру Qwen2 с 76,7 млрд параметров, принимает текст и генерирует текст; для диалога применяется шаблон ChatML. Контекст модели составляет 32 768 токенов. Модель предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, генерации и суммаризации контента, работы с кодом и решения сложных задач. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, без достаточных сведений для независимой оценки качества в конкретных сценариях. Модель выпущена под лицензией MIT. Как и другие большие языковые модели, она может воспроизводить смещения и давать ошибочные ответы; при практическом применении рекомендуется проверка человеком.

DeepSeek-R1-Distill-Qwen-14B — плотная языковая модель на архитектуре Qwen2, выпущенная DeepSeek. Это 14-миллиардная версия серии дистиллированных моделей DeepSeek-R1: её дообучили на примерах рассуждений, созданных DeepSeek-R1, а в качестве основы использовали модель семейства Qwen2.5. Модель предназначена для генерации текста и диалогов с пошаговыми рассуждениями, особенно при решении математических задач, программировании и ответах на сложные вопросы. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке не указана специализация на конкретных естественных языках. Репозиторий содержит веса safetensors и рассчитан на использование через Transformers. Лицензия MIT разрешает использование и распространение на её условиях. Как и другие языковые модели, она может ошибаться, выдавать неверные рассуждения или некорректный код; качество не гарантируется для каждой задачи.

Карточка модели unsloth/DeepSeek-R1-Distill-Qwen-14B на Hugging Face совпадает с карточкой unsloth/DeepSeek-R1-Distill-Qwen-7B, поэтому описание составлено по ней. Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

Dolphin 2.9.4 Llama 3.1 8B GGUF — это квантизированная версия текстовой генеративной модели cognitivecomputations/dolphin-2.9.4-llama3.1-8b, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель основана на Llama 3.1 с 8 млрд параметров и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на диалоговые и инструкционные сценарии, генерацию и анализ текста, программирование, математические задачи, работу с агентными данными и системными диалогами. При дообучении использовались наборы Dolphin-2.9, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, FineTome, agent_data, math-gpt-4o и SystemChat. Поддерживается текстовая модальность; сведения о точном контекстном окне и перечне языков в карточке не указаны. Доступно множество вариантов квантизации от F32 до Q2_K и IQ-серий, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Варианты Q5 и Q6 заявлены как высококачественные, Q4 — как компромиссные, а Q2–Q3 требуют меньше памяти, но заметно уступают по качеству. Качество и производительность зависят от выбранного варианта квантизации и аппаратной конфигурации. Лицензия указана как llama3.1.

Eurux-8x22B-KTO — языковая модель семейства Mixtral, разработанная OpenBMB. Это дообученная версия Mixtral-8x22B: сначала выполнено SFT, затем KTO на многоходовых траекториях UltraInteract и парах предпочтений UltraFeedback. Модель предназначена для генерации текста, рассуждений, диалогов и следования инструкциям; в карточке заявлены сильные результаты в задачах программирования, математики, знаний и рассуждений. Модель использует архитектуру Mixtral MoE, распространяется в формате safetensors, содержит 22 млрд параметров и поддерживает контекст до 65 536 токенов. Для запуска в README приведён пример использования через Transformers и PyTorch. Лицензия — Apache-2.0. Оценочные результаты приведены для набора бенчмарков по коду, математике, рассуждениям, знаниям, следованию инструкциям и диалогу; они не гарантируют качество на конкретных пользовательских данных. Языки обучения или поддерживаемые языки в предоставленных сведениях не перечислены.

Focus Red — перепакованная текстовая версия Qwen3.8-27B от Jaidchen. Из модели удалены компоненты обработки изображений и видео, а архитектура упрощена; заявленные автором преимущества — меньшие требования к памяти и хранилищу, более быстрая загрузка и инференс. Модель использует плотную архитектуру Qwen3_5ForCausalLM, содержит 22,3 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации текста в диалогах и сценариях с инструментами; метаданные также отмечают применение для программирования и агентных задач. Шаблон чата сохраняет настройки рассуждений Qwen и обработку вызовов инструментов. Изображения и видеокадры могут присутствовать в контексте, но модель не интерпретирует их. Генерация со случайной выборкой по умолчанию отключена, поэтому модель менее подходит для длинных творческих текстов и непринуждённого общения. Лицензия — Apache-2.0.

GLM-4.6 от Zhipu AI представлен в репозитории Unsloth с исправлениями шаблона чата. Это диалоговая языковая модель семейства GLM-4 MoE с 23,4 млрд параметров, предназначенная для генерации текста и кода, рассуждений и агентных сценариев с вызовом инструментов. Модель принимает контекст до 202 752 токенов и поддерживает английский и китайский языки. По сравнению с GLM-4.5 в карточке отмечены улучшения в программировании, рассуждениях, работе с инструментами и поисковыми агентами, а также более естественный стиль письма. Репозиторий содержит веса safetensors; для запуска через llama.cpp README рекомендует использовать параметр --jinja. Лицензия — MIT.

Granite 3.0 8B Instruct — это языковая модель для генерации текста, разработанная IBM и опубликованная в формате GGUF пользователем bartowski. Репозиторий содержит квантизированные варианты базовой модели ibm-granite/granite-3.0-8b-instruct, подготовленные с использованием llama.cpp и imatrix. Модель предназначена для локального запуска, в частности через LM Studio, и поддерживает стандартный формат диалога с системными и пользовательскими сообщениями. Модель имеет около 8 млрд параметров и работает в режиме text-generation. Она ориентирована на следование инструкциям, ответы на вопросы, рассуждения, математические задачи, генерацию кода и мультиязычные сценарии; в README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X для семи языков. Архитектура, точный размер контекста, перечень поддерживаемых языков и модальности дополнительно не указаны, поэтому модель следует считать текстовой. Основное преимущество этой версии — выбор квантизаций от F16 до Q4, позволяющий снизить требования к памяти при сохранении качества. В README рекомендуются варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K_M; более компактные варианты экономят память, но могут сильнее снижать качество. Ограничениями являются отсутствие мультимодальности в описании, неполные сведения о контексте и языках, а также необходимость самостоятельно выбрать подходящий файл и совместимое ПО. Модель распространяется по лицензии Apache-2.0.

LLaDA2.0-mini — диффузионная языковая модель с архитектурой Mixture-of-Experts (MoE), разработанная InclusionAI и дообученная для следования инструкциям. Она предназначена для диалогов, генерации кода, математических рассуждений и сценариев с вызовом инструментов. По карточке модели, в ней 16 млрд параметров, из которых около 1,4 млрд активируются при инференсе; архитектура включает 20 слоёв, использует RoPE и словарь из 157 184 токенов. Контекст составляет 32 768 токенов. Модель поставляется в формате Safetensors и поддерживается библиотекой Transformers. В README заявлены сильные результаты в генерации кода и сложных рассуждениях; автор рекомендует температуру 0,0, длину блока 32 и 32 шага, отмечая, что повышенная температура может вызывать смешение языков и снижать качество. Лицензия — Apache-2.0.

Llama 3.1 Tulu V2 70B — языковая модель-ассистент, разработанная Allen Institute for AI (Ai2) и дообученная на базе meta-llama/Meta-Llama-3.1-70B. Это плотная модель семейства Llama с 69,5 млрд параметров; она обучена на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Основной язык — английский. Контекст составляет до 131 072 токенов. Модель предназначена для диалоговых ответов на инструкции и общих задач генерации текста: например, для ответов на вопросы, написания текстов, помощи с рассуждениями и кодом. Карточка приводит результаты на тестах знаний, математики, программирования, следования инструкциям и безопасности, но отдельные оценки не гарантируют качество в конкретном сценарии. Модель не проходила этап RLHF, направленный на безопасные ответы, и не использует встроенную фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; исходная модель распространяется по лицензии сообщества Meta Llama 3.1, условия которой также следует учитывать.

MiniCPM5-2B-SFT — версия модели MiniCPM5 от OpenBMB для локальных ассистентов, программных агентов и запуска на устройствах с ограниченными ресурсами. Это плотная авторегрессионная языковая модель на архитектуре LlamaForCausalLM с 2,2 млрд параметров по метаданным, 42 слоями и контекстом до 131 072 токенов. Модель предназначена для диалогов, генерации кода, математических рассуждений, работы с длинным контекстом и сценариев использования инструментов. Карточка сообщает о поддержке английского и китайского языков и описывает сильные результаты модели относительно других моделей сопоставимого размера; эти сравнительные оценки получены разработчиком. Модель принимает и генерирует текст. Весы опубликованы в формате safetensors, для запуска описана поддержка Transformers и локального развёртывания на CPU и GPU, а также серверных движков. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; выводы по медицине, финансам, праву и политике не являются экспертной рекомендацией.

HERETIC — модель на базе Mistral-Nemo 2407 с 12 млрд параметров, представленная в формате GGUF. Она разработана Andycurrent как reasoning-ориентированный вариант базовой архитектуры Mistral-Nemo и предназначена для локального запуска через llama.cpp и совместимые инструменты. Модель распространяется в виде квантованных сборок, оптимизированных для эффективного вывода на локальном оборудовании. Модель ориентирована на диалоговые сценарии, выполнение инструкций, пошаговое аналитическое рассуждение, подготовку развёрнутых объяснений, помощь в программировании и технических вопросах, мозговой штурм, творческое письмо, prompt engineering и эксперименты с LLM. Указан английский язык. Поддерживаются текстовые запросы и ответы; сведения о размере контекстного окна и точных параметрах квантования не приведены. Для получения лучших результатов рекомендуется использовать структурированные system/user/assistant-промпты. К сильным сторонам относятся локальная и потенциально приватная работа, гибкость применения, поддержка развёрнутых ответов и совместимость с экосистемой GGUF и llama.cpp. Ограничения включают возможные фактические ошибки, галлюцинации, предвзятость и зависимость качества от формулировки запроса; модель не предназначена для юридических или медицинских рекомендаций, критически важных решений и автоматической модерации без проверки человеком. Лицензия указана как other, при этом конкретные условия не раскрыты; пользователю необходимо учитывать лицензию базовой модели и применимое законодательство.

ModernCE-large-sts — англоязычный cross-encoder, разработанный dleemiller на основе answerdotai/ModernBERT-large и дообученный для оценки семантического сходства пар текстов. Модель принимает два текста вместе и выдаёт оценку от 0 до 1: чем выше балл, тем ближе их смысл. Она предназначена для сравнения предложений и длинных текстов, в том числе для оценки ответов LLM и ранжирования кандидатов по смысловой близости. Модель построена на архитектуре ModernBERT-large, содержит около 395 млн параметров и обрабатывает до 8192 токенов. Обучение включало пары из dleemiller/wiki-sim и дообучение на sentence-transformers/stsb. В README указаны результаты на тестовой части STS-Benchmark: корреляция Пирсона 0,9256 и Спирмена 0,9215. Для использования модели требуется библиотека sentence-transformers; лицензия — MIT. Как cross-encoder, она оценивает пары текстов совместно, поэтому для массового поиска по большому корпусу может потребоваться предварительный отбор кандидатов; заявленные метрики относятся к STS-Benchmark и не гарантируют такое же качество на других данных.

Ornstein-3.5-9B-V1.5 — дообученная DJLougen / GestaltLabs модель семейства Qwen3.5 с примерно 9,65 млрд параметров. Это плотная модель на базе Qwen/Qwen3.5-9B-Base, выпущенная в формате BF16 и предназначенная для диалогового использования через Transformers; карточка также указывает интерфейс вызова инструментов. Модель ориентирована на многошаговые рассуждения, научные и технические задачи, помощь в исследованиях ИИ, программирование и обычный диалог. По заявленным разработчиком тестам GBS STANDARD-200 она превосходит базовую модель в рассуждениях и научных вопросах; результаты приведены в README и не гарантируют аналогичного качества на других задачах. V1.5 — промежуточный релиз supervised fine-tune, а не описываемая как завершённая версия будущего этапа обучения с reinforcement learning. Модель принимает текст и выдаёт текст. Карточка ориентирует её на английский язык. Лицензия — Apache 2.0.

QuantFactory/Phi-3-mini-128k-instruct-GGUF — это квантизированная версия языковой модели microsoft/Phi-3-mini-128k-instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров, поддерживает контекст до 128 тысяч токенов и предназначена для генерации текста в формате инструкций. Она обучалась на синтетических и отфильтрованных общедоступных данных с акцентом на качество и рассуждения, а после базового обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель ориентирована на англоязычные коммерческие и исследовательские сценарии, включая работу в условиях ограниченных ресурсов и требований к задержке, а также задачи, связанные с рассуждениями, программированием, математикой, логикой и обработкой длинного контекста. К сильным сторонам относятся компактный размер, высокая производительность среди моделей с менее чем 13 млрд параметров и большой контекст. Ограничения включают поддержку английского языка в заявленных сценариях, возможные ошибки и необходимость отдельно проверять точность, безопасность, справедливость и соответствие требованиям законодательства, особенно в чувствительных и высокорисковых применениях. Модель распространяется по лицензии MIT.

Это общественная конверсия модели Qwen/Qwen3-30B-A3B-Thinking-2507 в формат GGUF, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. Модель относится к семейству Qwen3 и предназначена для диалогов, генерации текста и задач, требующих рассуждений: решения математических задач, программирования, логического анализа и работы с инструментами. Режим рассуждений можно переключать командами /think и /no_think. В карточке указано 30 млрд параметров и поддержка множества языков; метаданные перечисляют английский, китайский, испанский, французский, немецкий, русский, арабский, японский, корейский и хинди. Репозиторий содержит GGUF-варианты разной степени квантования; README рекомендует более точные варианты для сложных задач и отмечает высокие требования к памяти. Конверсия не связана с разработчиками Qwen. Лицензия — Apache-2.0.

QuantTrio/Qwen3-30B-A3B-Thinking-2507-AWQ — это AWQ-квантизированная версия причинной языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen и подготовленной QuantTrio. Модель предназначена для генерации текста с акцентом на углублённое рассуждение, включая решение математических и научных задач, программирование, логический анализ, следование инструкциям, использование инструментов и работу в агентских сценариях. Поддерживается только режим thinking; шаблон чата автоматически добавляет маркер <think>. Архитектура модели основана на Mixture-of-Experts: всего 30,5 млрд параметров, из которых при обработке активируются 3,3 млрд; предусмотрены 48 слоёв, 128 экспертов и 8 активируемых экспертов, а также GQA с 32 головами запросов и 4 головами ключей и значений. Исходная модель поддерживает нативный контекст до 262 144 токенов, однако в приведённой конфигурации vLLM задан максимальный размер контекста 32 768 токенов. Файлы квантизированной версии занимают около 16 ГБ. К сильным сторонам относятся улучшенные способности к рассуждению, математике, программированию, работе с инструментами и обработке длинного контекста, а квантизация снижает требования к памяти при развёртывании. Ограничения включают поддержку только thinking-режима, необходимость запуска с параметром --enable-expert-parallel и рекомендуемую зависимость vLLM версии 0.10.0; в README приведена конфигурация для одной узловой системы с четырьмя GPU. Модель распространяется по лицензии Apache-2.0.

Valiant Labs разработала Esper 3 на базе Qwen3-4B и дообучила модель на данных для рассуждений о DevOps, архитектуре систем и программировании, сгенерированных с помощью DeepSeek R1. Модель предназначена для генерации кода, решения инженерных задач и диалогов; авторы также заявляют об улучшениях в общих и творческих рассуждениях. Она подходит для локального запуска на компьютерах и мобильных устройствах, а также для серверного инференса. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 40 960 токенов; для диалога используется формат промптов Qwen 3, а авторы рекомендуют включать режим рассуждений. Модель обрабатывает текст и генерирует текст. В карточке заявлена поддержка английского языка; специализация — код, DevOps и архитектурные задачи. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Заявления о качестве и скорости приведены авторами; независимые оценки в карточке не описаны.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — текстовая генеративная модель, разработанная Jackrong на базе Qwen/Qwen3.5-9B. Она дообучена методом supervised fine-tuning с применением LoRA и дистилляции рассуждений из источников, связанных с Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Модель предназначена для задач, требующих структурированного анализа, декомпозиции, планирования, многошагового вывода и отслеживания ограничений. Модель относится к семейству Dense и содержит около 9 млрд параметров. Она работает в режиме text-generation и ориентирована на текстовые запросы и ответы. В README заявлена поддержка английского, китайского и корейского языков. Обучающие данные охватывают математику, логику, программирование, системный анализ, безопасность, физику, инженерию, право, медицину, финансы, химию и прикладные социальные задачи. Размер контекстного окна и другие параметры инференса не указаны. Сильными сторонами модели считаются более организованный стиль рассуждений, улучшенное решение сложных многошаговых задач, междисциплинарное покрытие и ориентация на анализ атак, отказов и ограничений. При этом дистилляция и специализированное дообучение могут ухудшать обобщение на отдельных сценариях или приводить к частичному забыванию знаний базовой модели, поэтому модель следует оценивать на собственных данных перед применением. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Qworus-V2 — гибридная языковая модель для генерации текста, разработанная на основе объединения моделей empero-ai/Qwen3.8-9B-Distill и ornith-ai/Ornith-1.5-9B. Модель создана методом 50/50 DARE-TIES merge и предназначена для задач программирования, рассуждений, вызова инструментов, планирования, проектирования и ответов на вопросы. Модель доступна через Transformers и ориентирована на text generation. Указан размер 9B; поддерживаются форматы Safetensors и GGUF. Для GGUF предоставлены варианты квантования Q4_K_L для систем с ограниченными ресурсами и Q6_K_L для более высокой точности. В этих вариантах слои токенов и вывода повышены до Q8_0, а тензоры ssm_* используют BF16 или Q8_0 для повышения точности на длинных контекстах. Для квантований imatrix обучена на смеси данных, включающей код, бизнес-тексты, математику и Wikipedia. Модель не является полностью uncensored по умолчанию, поскольку обе исходные модели не были uncensored. В README не указаны поддерживаемые языки, максимальная длина контекста и лицензия, поэтому эти характеристики нельзя определить по имеющимся данным.

Big-Pluto/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-версия модели, разработанная на базе Qwen3.6 и опубликованная Big-Pluto; в README также указаны методы и наборы данных DavidAU, включая Claude 4.6 Opus High Reasoning и Deckard/PDK. Модель предназначена для универсального применения, включая рассуждения, программирование, математику, творческое и художественное письмо, ролевые сценарии и генерацию историй различных жанров. Заявлены 40 млрд плотных параметров, 96 слоёв и 1275 тензоров; модель описана как расширенная с 27B до 40B параметров и поддерживающая переменную длину рассуждений. Указан контекст до 256K токенов, языки English и Chinese, а также поддержка изображений через отдельный mmproj-файл, что соответствует мультимодальному сценарию image-text-to-text. Распространяются различные GGUF-квантизации с dual imatrix-настройками; для них заявлено сохранение значительной доли качества BF16, однако конкретные результаты зависят от выбранного кванта. Сильными сторонами заявлены развитое reasoning, работа с длинным контекстом, кодом и математикой, творческая выразительность и отсутствие цензурных ограничений. Ограничения включают значительные требования к памяти и вычислительным ресурсам из-за размера модели, необходимость отдельного mmproj для работы с изображениями и возможную нестабильность или потерю качества при использовании низких квантизаций. Лицензия — Apache-2.0.

Qwen3-VL-30B-A3B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также анализирует видео, отвечая на вопросы и выполняя инструкции в диалоге. Модель предназначена для визуального анализа, распознавания текста на изображениях и документах, пространственных рассуждений и взаимодействия с графическими интерфейсами через инструменты. Архитектура — Qwen3-VL-MoE; обозначение модели указывает на 30 млрд параметров всего и 3 млрд активных параметров на токен. В README заявлен контекст 256 тыс. токенов с возможностью расширения до 1 млн. Модель поддерживает OCR на 32 языках, работу с видео с привязкой событий ко времени, а также генерацию кода и разметки интерфейсов по изображениям и видео. Доступна в формате safetensors и использует библиотеку Transformers. Модель подходит для визуальных вопросов и ответов, разбора документов, анализа видео и управления интерфейсами с помощью инструментов. Заявлены улучшения в распознавании деталей и пространственных отношениях, но в карточке нет численных результатов бенчмарков. Лицензия — Apache-2.0.

WizardLM-Mistral-CodeLlama-7b — объединённая модель на базе Mistral-7B-v0.1, созданная с помощью mergekit методом TIES из PrunaAI/WizardLM-WizardMath-7B-V1.0-bnb-4bit-smashed и codellama/CodeLlama-7b-Instruct-hf. Она предназначена для генерации текста, в том числе для ответов на вопросы по математике и помощи с программированием. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в доступных данных не указана.

protoLabsAI/Agents-A1-NVFP4 — квантизированная версия модели InternScience/Agents-A1, разработанная и проверенная protoLabs. Это агентная гибридная MoE-модель класса Qwen3.5-35B-A3B для генерации текста, рассуждений, работы с инструментами, function calling, программирования и других агентных сценариев. Модель предназначена для запуска через vLLM, прежде всего на GPU NVIDIA Blackwell, включая RTX PRO 6000 и RTX 50xx. Модель использует квантизацию NVFP4 W4A4 с калибровкой всех экспертов MoE и занимает около 21,8 ГБ. В контрольной точности сохранены маршрутизаторы MoE, DeltaNet-линейное внимание, эмбеддинги, lm_head, vision tower и MTP-тензоры. В README заявлена поддержка длинного контекста с проверками на длинах до 60K токенов; для работы у верхней границы рекомендуется оставить более 5K токенов запаса либо отключить режим рассуждений. Веса vision tower присутствуют, но рекомендуемая конфигурация vLLM работает только в текстовом режиме. Языки явно не указаны. По приведённым тестам NVFP4-версия превосходит официальную FP8-версию на наборах reasoning-v2, function-call и claw agentic, но немного уступает ей в code spec-delta. На одной RTX PRO 6000 заявлена скорость до 215 токенов в секунду при однопоточном чате. Ограничения включают зависимость от специальной конфигурации vLLM с marlin MoE backend на sm120, несовместимость spec-decode с этим backend и необходимость учитывать значительные затраты контекста при длинных рассуждениях. Модель распространяется по лицензии Apache-2.0.

theo77186/dolphin-2.9.1-mistral-22b — преобразованная в формат Mistral версия Dolphin 2.9.1 Mixtral 1x22B, созданной Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и Cognitive Computations. Это плотная авторегрессионная языковая модель на 22 млрд параметров с контекстом до 65 536 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и выполнения инструкций, включая задачи по программированию. В карточке также заявлены начальные агентные возможности и поддержка вызова функций. Для исходной модели указано полное дообучение всех слоёв с длиной последовательности 16 000 токенов; она основана на Dolphin-2.9-Mixtral-8x22B и извлечённом объединённом эксперте. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий. Автор README отмечает, что шаблон ChatML работает некорректно и что формат Alpaca при этом работает. Модель описана как uncensored и может следовать запросам, в том числе небезопасным; перед предоставлением сервиса рекомендуется добавить собственный слой выравнивания. Языки обучения и точные показатели качества в карточке не раскрыты.

Dolphin 2.9.2 Mixtral 8x22B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с архитектурой Mixtral MoE и классом MixtralForCausalLM; в репозитории веса представлены в safetensors. Всего указано 22 млрд параметров, базовая модель поддерживает контекст до 65 536 токенов, а дообучение выполнялось с длиной последовательности 16 000 токенов. Модель предназначена для диалогов и следования инструкциям, генерации кода и начальных агентных сценариев; также заявлена поддержка вызова функций. Обучение включало SystemChat 2.0, созданный для следования системным инструкциям в продолжительных беседах, и другие наборы диалоговых, кодовых и математических данных. Для взаимодействия используется шаблон ChatML. В карточке указан английский язык. Авторы характеризуют модель как uncensored и отмечают высокую готовность выполнять запросы, в том числе неэтичные; перед предоставлением пользователям может потребоваться собственный слой ограничений. Веса выпущены по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.