II.4Отладка, тестирование и качество ПО

Nyxene-11B — разговорная языковая модель на архитектуре Mistral, опубликованная пользователем beberik. Репозиторий содержит веса bf16, а модель создана с помощью mergekit на основе Starling-LM-7B-alpha, NeuralHermes-2.5-Mistral-7B, juanako-7b-UNA и dolphin-2.1-mistral-7b. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель содержит 10,6 млрд параметров и поддерживает контекст до 32 768 токенов. README предлагает шаблон запроса в формате инструкции и приводит результаты оценки на Open LLM Leaderboard. Указанные оценки дают ориентир по отдельным тестам, но не гарантируют качество на конкретных задачах. Доступна по лицензии CC BY-NC 4.0, ограничивающей коммерческое использование.

Omningotex-7B-slerp — языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная liminerity слиянием двух моделей методом SLERP с помощью LazyMergeKit. Она предназначена для генерации текста и диалоговых ответов; в карточке указаны результаты оценки на бенчмарках AI2 Reasoning Challenge и HellaSwag, но заявление о мировом лидерстве по точности не подтверждено приведёнными данными. Модель поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors по лицензии Apache-2.0. README не уточняет языки обучения и практические ограничения; качество ответов на конкретных задачах следует проверять отдельно.

TheBloke опубликовал веса OpenAssistant LLaMA 30B SFT 7 в формате Hugging Face Transformers. Это плотная авторегрессионная модель семейства Llama с 32,3 млрд параметров, полученная слиянием XOR-весов OpenAssistant с исходными весами Llama 30B; чекпойнт соответствует седьмой эпохе обучения OpenAssistant. Модель предназначена для генерации текста в диалогах и ответах на запросы. Окно контекста — 2048 токенов. Репозиторий содержит веса PyTorch. В метаданных указана лицензия «other», а конкретные условия использования в предоставленной карточке не раскрыты.

Карточка модели prompt-agnostic-language-models/Qwen-1B_dare_ties на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B-Base, поэтому описание составлено по ней. Qwen3-0.6B-Base — базовая плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная модель примерно с 508 млн параметров: 28 слоёв, группированное внимание с 16 головами Q и 8 головами KV. Она принимает текст и генерирует продолжение, служит основой для дообучения и адаптации под прикладные задачи. Модель предназначена для языкового моделирования общего назначения, включая генерацию текста, работу с кодом, STEM-темами, логическими рассуждениями и многоязычными данными. Контекстное окно составляет 32 768 токенов. В README указано, что семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; перечень языков, поддерживаемых именно этой базовой версией, отдельно не приведён. Модель распространяется под лицензией Apache-2.0. Это базовая предобученная версия, поэтому для диалогового помощника или специализированного приложения обычно потребуется дообучение либо настройка шаблона запросов; карточка не приводит конкретных гарантий качества для таких сценариев.

Qwen3-14B-DAG-Reasoning — экспериментальная специализированная языковая модель от Sequelbox для причинно-следственного анализа и построения ориентированных ациклических графов (DAG). Она дообучена на Qwen/Qwen3-14B на наборе данных Sequelbox, сформированном с помощью DeepSeek R1 0528, и использует архитектуру Qwen3 с 14 млрд параметров. Модель принимает текст и обычно выдаёт структурированный JSON с узлами и связями графа, который можно использовать для визуализации или дальнейшего анализа. Модель рассчитана на многошаговые рассуждения в областях программирования, науки, бизнеса, экономики, финансов, права, логистики и управления. Для запроса графа или анализа следует явно попросить его в сообщении; при неясном запросе модель может ответить в обычном стиле Qwen3. Контекст составляет до 40 960 токенов. Для применения в продуктивных системах автор рекомендует проверять структуру выходных данных. Лицензия — Apache-2.0.

DavidAU выпустил эту диалоговую модель на основе Huihui-Qwen3-30B-A3B-Thinking-2507-abliterated, дообучив её с помощью Unsloth на наборе TeichAI/claude-4.5-opus-high-reasoning-250x. Это генеративная языковая модель семейства Qwen3 MoE: всего около 30 млрд параметров, из которых активны примерно 3 млрд; метаданные каталога указывают 2,6 млрд параметров. Архитектура использует 128 экспертов, обычно активируя 8 за раз. Модель предназначена для диалогов, следования инструкциям и генерации ответов с рассуждениями. Автор отмечает, что блоки рассуждений обычно короче, чем у исходной Qwen, и что модель стремится реже отказывать, в том числе при запросах на взрослый или откровенный контент. Для таких ответов может потребоваться явно задать желаемый стиль и лексику. Заявленные автором результаты на бенчмарках не сопровождаются полными данными в карточке, поэтому их нельзя считать независимой оценкой качества. Модель принимает и генерирует текст, рассчитана прежде всего на английский язык и поддерживает контекст до 262 144 токенов. Файлы репозитория представлены в формате safetensors; указана лицензия Apache-2.0.

TeichAI дообучила модель Qwen3 плотной архитектуры для генерации текста. Она основана на unsloth/qwen3-4b-thinking-2507-unsloth-bnb-4bit и содержит 3,7 млрд параметров. Модель рассчитана на диалоговое взаимодействие и генерацию ответов; в карточке также отмечен интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. Указанная длина контекста — до 262 144 токенов. В качестве обучающего набора использовался TeichAI/deepseek-v3.2-speciale-OpenCodeReasoning-3k; модель обучали с помощью Unsloth и библиотеки Hugging Face TRL. Основной указанный язык — английский. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробностей о результатах обучения, поэтому пригодность для конкретных задач стоит проверять отдельно.

Qwen3.8-27B-Uncensored-Aggressive-GGUF — набор GGUF-квантов модели Qwen3.8-27B-Uncensored-Aggressive, опубликованный пользователем philbert440. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений и работы с изображениями. В комплект входят основные веса в форматах BF16, Q8_0, Q6_K, Q5_K_M и Q4_K_M, где Q4_K_M является самым компактным вариантом. Модель имеет заявленный размер 27B параметров. Для обработки изображений предусмотрен отдельный vision projector mmproj, а для ускорения генерации с помощью speculative decoding — опциональная MTP head. Языки и размер контекстного окна в README не указаны. Версия основана на обновлённом рецепте α=1.15 с ортогонализацией вектора отказа на 28-м слое; заявленная цель — снизить склонность к отказам и сохранить качество рассуждений. По приведённой оценке в thinking mode, модель получила показатель openness 0,88, confab 0,725, factual 1,00 и gsm8k 0,85, однако методика основана на оценке Claude и результаты следует считать ориентировочными. Основное ограничение — модель является uncensored/de-refused и может выполнять запросы, которые исходная версия отклоняла, поэтому её следует использовать ответственно и с учётом законодательства. Лицензия — Apache 2.0.

bartowski/SmolLM2-1.7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели SmolLM2-1.7B-Instruct, разработанной HuggingFaceTB и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы с текстовыми инструкциями; запуск возможен, в частности, через LM Studio и другие совместимые средства на базе llama.cpp. Модель имеет размер 1,7 млрд параметров и поддерживает английский язык. В репозитории представлены варианты от F16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2, включая версии, оптимизированные для ARM. Размер файлов составляет примерно от 0,7 до 3,4 ГБ, поэтому можно выбрать баланс между качеством, скоростью и требованиями к памяти. Для корректной работы следует использовать указанный шаблон диалога с ролями system, user и assistant. К сильным сторонам относятся компактность, возможность локального запуска и широкий выбор уровней квантизации; варианты Q5 и Q6 заявлены как высококачественные, а Q4 — как подходящие для экономии памяти. Более агрессивная квантизация снижает качество генерации, а ARM-ориентированные варианты требуют соответствующих аппаратных возможностей и не рекомендуются для Mac или Windows. Лицензия модели — Apache-2.0.

Speechless Llama2 Hermes Orca Platypus WizardLM 13B — текстовая генеративная модель, созданная объединением NousResearch/Nous-Hermes-Llama2-13b, Open-Orca/OpenOrca-Platypus2-13B и WizardLM/WizardLM-13B-V1.2. Модель основана на архитектуре Llama 2 и содержит 12,9 млрд параметров; автор README рекомендует подавать инструкции в формате Alpaca. Контекст составляет 4096 токенов. Модель предназначена для генерации текста по инструкциям: диалоговых ответов, объяснений и помощи в решении задач. README приводит результаты lm-evaluation-harness на ARC, HellaSwag и MMLU. Доступны упоминания вариантов AWQ, GPTQ и GGUF для GPU- и CPU+GPU-инференса, тогда как файлы этого репозитория представлены в формате safetensors. Карточка указывает английский как целевой язык. Для базовой модели Llama 2 указана лицензия Meta; перед использованием весов необходимо принять условия лицензии. Как и другие LLM, модель может выдавать неточные, предвзятые или нежелательные ответы; перед внедрением требуется проверка в целевом сценарии.

TinyMistral-6x248M — компактная языковая модель M4-ai на архитектуре Mixtral с механизмом смеси экспертов (MoE). Она создана с помощью LazyMergekit путём слияния шести моделей семейства TinyMistral, включая варианты для инструкций, диалогов и генерации кода, а затем предварительно обучена на 600 тысячах примеров набора nampdn-ai/mini-peS2o. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста, в том числе ответов на запросы и кода. Для инференса автор рекомендует включать семплирование и приводит настройки температуры, top-p, top-k и штрафа за повторы. Автор предупреждает о заметном снижении качества при использовании Inference API. Модель распространяется по лицензии Apache-2.0.

Cybertron 7B v2 — плотная авторегрессионная языковая модель семейства Mistral, разработанная juanako.ai и представленная автором Xavier M. Модель насчитывает 7,1 млрд параметров и создана на основе Mistral с применением SFT, DPO и метода UNA (Uniform Neural Alignment); в карточке указаны обучающие наборы fblgit/tree-of-knowledge, Open-Orca/SlimOrca-Dedup и ultrafeedback_binarized_cleaned. Модель предназначена для диалогов и генерации текста по инструкциям. Она подходит для ответов на вопросы, рассуждений, задач на логику и математику, а также для создания прозы, стихов и шуток. Заявленная длина контекста — 32 768 токенов; автор рекомендует форматы ChatML или Alpaca System. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Карточка сообщает о высоких результатах на Open LLM Leaderboard, однако приведённые там оценки относятся к снимку конца 2023 года и не являются гарантией качества на других задачах. Модель генерирует текст и может ошибаться или выдавать недостоверные ответы; сведения о поддержке языков явно не перечислены.

Vicuna 13B v1.1 — авторегрессионная языковая модель семейства LLaMA на архитектуре Transformer, разработанная командой Vicuna с участием исследователей из UC Berkeley, CMU, Stanford и UC San Diego. Модель содержит 12,9 млрд параметров и рассчитана на контекст до 2048 токенов. Это версия merge delta v1.1; в README указано, что Vicuna получена дообучением LLaMA на диалогах пользователей ShareGPT, а в v1.1 исправлены вычисление функции потерь при supervised fine-tuning и разделитель токенов. Модель предназначена для генерации текста в формате чат-бота, ответов на вопросы и исследований больших языковых моделей. Она обучалась на 70 тысячах диалогов ShareGPT. Карточка указывает лицензию Apache 2.0; базовая модель LLaMA имеет отдельные условия использования, которые следует учитывать при распространении и применении производной модели.

GPT-5.6 Terra — языковая модель OpenAI общего назначения, предназначенная для рабочих сценариев, где важен баланс возможностей и стоимости. Она поддерживает рассуждение с настраиваемым уровнем усилий, вызов функций, структурированный вывод и работу с инструментами через Responses API. Модель принимает текст и изображения, а выдаёт текст; заявленное окно контекста — 1 050 000 токенов, максимальный объём ответа — 128 000 токенов. Terra подходит для программирования, анализа и создания документов, поиска по информации и выполнения многошаговых задач с инструментами. В API доступны веб-поиск, поиск по файлам, интерпретатор кода и управление компьютером. OpenAI указывает, что аудио- и видеовходы не поддерживаются. Модель предоставляется через API и сервисы OpenAI; открытая лицензия на веса не указана.

Qwen2.5-72B-Instruct-GPTQ-Int4 — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Модель содержит 72,7 млрд параметров, из которых 70,0 млрд приходятся на неэмбеддинговую часть, и включает 80 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV attention; применяется GQA с 64 головами для Q и 8 для KV. Это GPTQ-квантизированная версия с точностью 4 бита, предназначенная для более экономичного развёртывания по сравнению с полноразмерной моделью. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако текущая конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN. Сильные стороны модели — развитые возможности в кодировании и математике, улучшенное следование инструкциям, генерация длинных текстов, устойчивость к разнообразным системным промптам и работа со структурированными данными. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, возможное снижение качества из-за 4-битного квантования и потенциальное ухудшение производительности на коротких текстах при статическом масштабировании YaRN. Модель распространяется по лицензии Qwen; точные условия определяются файлом лицензии в репозитории.

Qwen2.5-14B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель подходит для локального запуска в формате GGUF, в том числе с использованием llama.cpp. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-проекциях внимания. Она содержит 14,7 млрд параметров, включая 13,1 млрд параметров без учёта embedding, 48 слоёв и механизм GQA с 40 головами для Q и 8 для KV. Поддерживаются квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Полная длина контекста GGUF-версии составляет 32 768 токенов, а максимальная длина генерации — 8192 токена. Серия поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский и корейский. Сильные стороны модели — улучшенные способности к программированию и математике, следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также устойчивость к разнообразным системным промптам. Для GGUF-версии заявлена поддержка контекста до 131 072 токенов только при использовании YARN в vLLM; для этого сценария рекомендуется обращаться к не-GGUF моделям. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-AWQ — инструкционно дообученная языковая модель из семейства Qwen, разработанная командой Qwen. Это причинная языковая модель для генерации текста, диалоговых ассистентов, следования инструкциям, написания и анализа кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 32,5 млрд параметров, из них 31 млрд — без учёта эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и GQA с 40 головами для Q и 8 для KV. Репозиторий содержит 4-битную AWQ-квантизированную версию, что может снизить требования к памяти по сравнению с полноточной моделью. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Полная длина контекста указана до 131 072 токенов, а генерация — до 8192 токенов; при этом текущая конфигурация рассчитана на 32 768 токенов, а для более длинных входов требуется включение YaRN. Сильными сторонами модели являются улучшенные возможности в программировании и математике, следование инструкциям, обработка длинных текстов, понимание таблиц и генерация структурированных данных. При использовании статического YaRN производительность на коротких текстах может снижаться, поэтому его рекомендуется включать только при работе с длинным контекстом. Для загрузки и развёртывания требуются совместимые версии Transformers и поддержка AWQ; в документации рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-72B-Instruct-FP8-dynamic — это размещённая Red Hat AI версия Qwen2.5-72B-Instruct, исходно разработанной командой Qwen Alibaba Cloud. Модель представляет собой instruction-tuned causal language model для диалогов, генерации и анализа текста, следования инструкциям, работы со структурированными данными, программным кодом, математическими и рассуждательными задачами. Это текстовая модель без заявленной поддержки изображений или других модальностей. Базовая модель имеет 72,7 млрд параметров, 80 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, attention QKV bias и Grouped-Query Attention: 64 головы для Q и 8 для KV. Заявлены контекст до 131 072 токенов и генерация до 8192 токенов; для длинного контекста применяется YaRN. Модель поддерживает более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. В данном репозитории веса представлены в формате Safetensors с FP8 dynamic-квантизацией и использованием compressed-tensors, что предназначено для более эффективного хранения и инференса по сравнению с полноточной версией. Сильные стороны исходной Qwen2.5-72B-Instruct — улучшенные instruction following, кодирование, математика, обработка длинных текстов, таблиц и структурированных, включая JSON, ответов. Ограничения включают значительные требования к вычислительным ресурсам из-за размера модели, возможное влияние квантизации на качество и стандартные риски генеративных моделей: ошибки, галлюцинации и необходимость проверки результатов. Для базовой модели указана Qwen License Alibaba Cloud; она разрешает использование, модификацию и распространение при соблюдении условий лицензии, включая специальные требования для коммерческих продуктов с более чем 100 млн ежемесячных активных пользователей и указание использования Qwen при создании или улучшении других AI-моделей.

Qwen3-235B-A22B-Instruct-2507 — большая языковая модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это каузальная модель для генерации текста, дообученная для выполнения инструкций. Она предназначена для диалогов, следования указаниям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и работы с открытыми субъективными запросами. Модель поддерживает широкий спектр языков и рассчитана на приложения, требующие высокого качества ответов и обработки длинных документов. Модель построена на архитектуре Mixture of Experts: содержит 235 млрд параметров, из которых 22 млрд активируются при обработке токена, 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 64 головами Q и 4 головами KV; контекстное окно составляет 262 144 токена. Модель работает только в нережиме рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся улучшенные знания, многоязычность, следование инструкциям, математическое и логическое рассуждение, программирование, работа с инструментами и понимание длинного контекста. Ограничения включают отсутствие режима рассуждений и высокие требования к вычислительным ресурсам, характерные для модели такого размера; точные требования к оборудованию в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. Указанный репозиторий содержит GGUF-представление, подготовленное Unsloth; базовая модель — Qwen/Qwen3-235B-A22B-Instruct-2507.

unsloth/Qwen3-32B-unsloth-bnb-4bit — 4-битная версия языковой модели Qwen3-32B, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная causal language model с 32,8 млрд параметров, из которых 31,2 млрд не относятся к embedding, и 64 слоями. Модель поддерживает более 100 языков и диалектов, включая английский, и предназначена для работы через Transformers. Модель подходит для диалогов, следования инструкциям, генерации и анализа кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Она поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрых ответов в рамках одной модели. Используется Grouped Query Attention: 64 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения, однако может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель предназначена только для обработки текста; сведения о других модальностях в README отсутствуют. Лицензия — Apache-2.0, согласно ссылке на лицензию базовой модели Qwen/Qwen3-32B.

Gemma 4 26B A4B IT — мультимодальная инструктивно дообученная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 26B A4B. Репозиторий содержит веса в формате safetensors и использует архитектуру Gemma4ForConditionalGeneration с поддержкой зрения и диалогового режима. Модель принимает текст и изображения и генерирует текст; варианты Gemma 4 этого размера рассчитаны на контекст до 256 тысяч токенов. Семейство поддерживает более 140 языков по данным карточки, а также включает механизмы рассуждения, вызова функций и гибридное внимание с локальными и глобальными слоями. Модель подходит для диалоговых ассистентов, генерации и исправления кода, рассуждений, суммаризации, ответов по изображениям и документам, OCR, анализа диаграмм, скриншотов и пользовательских интерфейсов, а также агентных сценариев с вызовом инструментов. Лицензия Apache 2.0. Указанная в карточке поддержка изображений не означает, что именно эта версия умеет обрабатывать видео или аудио: README относит аудиовход к вариантам E2B, E4B и 12B, а метаданные отмечают для этой модели только зрение.

google/gemma-4-31B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с формированием текстового ответа. Модель поддерживает текстовые и графические входы, но аудио для версии 31B не заявлено. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием. Контекстное окно составляет до 256K токенов, размер словаря — 262K. Семейство Gemma 4 заявляет мультиязычную поддержку более 140 языков, нативную поддержку system role, configurable thinking modes и function calling. Эта версия представлена в формате GGUF с Q4_0 и прошла Quantization-Aware Training, что ориентировано на снижение требований к памяти при сохранении качества, близкого к bfloat16. К сильным сторонам относятся большое контекстное окно, мультимодальное понимание текста и изображений, возможности рассуждения, кодирования и локального развёртывания в экосистемах, совместимых с GGUF. Ограничениями являются отсутствие заявленной поддержки аудио у 31B, а также потенциальные компромиссы качества и точности, характерные для квантованного формата. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-14B-GGUF — GGUF-версия языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это причинно-следственная языковая модель с 14,8 млрд параметров, из которых 13,2 млрд не относятся к эмбеддингам; она включает 40 слоёв и использует Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Модель предназначена для диалогов, следования инструкциям, генерации кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов. Qwen3-14B позволяет переключаться между режимами рассуждения и без рассуждения, выбирая баланс между качеством решения сложных задач и скоростью ответа. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp и Ollama; README также указывает возможность использования через Open WebUI. Конкретные требования к оборудованию и производительность зависят от варианта квантования и среды запуска и в представленных данных не приведены. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-235B-A22B-128K-GGUF — GGUF-квантизированная версия большой языковой модели Qwen3-235B-A22B, опубликованная Unsloth и основанная на модели Qwen от команды Qwen. Это авторегрессионная причинная языковая модель с архитектурой mixture-of-experts (MoE), предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, решения математических и программных задач, творческого письма, многошагового взаимодействия и работы с внешними инструментами. Модель содержит 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; в ней 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется grouped-query attention с 64 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов, что соответствует заявленному варианту на 128K. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Она позволяет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрой генерации. К сильным сторонам относятся сочетание высокой способности к рассуждениям, программированию, агентным сценариям, многоязычной работе и диалогам, а также возможность использования в локальных приложениях и серверных средах, совместимых с GGUF. Ограничения включают очень большой общий размер модели и, как следствие, высокие требования к памяти и вычислительным ресурсам; конкретные характеристики зависят от выбранного уровня квантизации, который в README не указан. Модель распространяется по лицензии Apache-2.0.

Jackrong/Qwen3.8-27B-MTP-GGUF — мультимодальная причинная языковая модель семейства Qwen3.8, опубликованная пользователем Jackrong в формате GGUF. Она предназначена для диалогов, генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих агентных сценариев, вызова инструментов, а также понимания изображений и видео, включая документы, STEM-диаграммы и продолжительные видеоматериалы. Модель содержит 27 млрд параметров и сочетает языковую модель с vision-энкодером. Архитектура включает 64 слоя, механизмы Gated DeltaNet и Gated Attention, а также Multi-Token Prediction (MTP). Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживается управляемый режим рассуждений: его можно отключать для отдельных запросов, настраивать глубину через reasoning_effort и сохранять контекст рассуждений с помощью preserve_thinking. Языки явно не перечислены. Ключевое отличие этой версии — встроенная MTP-голова для speculative decoding без отдельной draft-модели. В опубликованном внутреннем тестировании с llama.cpp это дало примерно двукратный прирост пропускной способности и снижение средней задержки примерно в 1,88 раза; рекомендуемый параметр — max draft = 2. Фактическая производительность зависит от оборудования, длины запроса и ответа, глубины рассуждений и настроек запуска. Модель распространяется по лицензии Apache-2.0 и совместима с экосистемами Transformers, vLLM, SGLang, TokenSpeed и другими инструментами, поддерживающими соответствующие форматы.

DeepSeek-V2.5-1210 — обновлённая версия языковой модели DeepSeek-V2.5, разработанная DeepSeek. Это плотная авторегрессионная модель семейства DeepSeek-V2 для генерации текста и диалогов; она поддерживает интерфейс вызова инструментов. Версия 1210 улучшает результаты на тестах по математике и программированию, а также качество письма и рассуждений по внутренним тестам разработчика. В README также отмечены сценарии загрузки файлов и суммаризации веб-страниц. Модель подходит для диалоговых приложений, решения математических задач, помощи с кодом, подготовки текстов, рассуждений и суммаризации. Она поддерживает контекст до 163 840 токенов; объём параметров в метаданных указан как 18,1 млрд. Для запуска BF16 в README требуется конфигурация из восьми GPU по 80 ГБ. Модель опубликована в формате safetensors для Transformers. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в карточке модели.

NVIDIA DeepSeek-V4-Flash-NVFP4 — это квантизированная версия DeepSeek-V4-Flash, разработанного DeepSeek AI. NVIDIA подготовила модель с использованием Model Optimizer, но не является её владельцем или исходным разработчиком. Модель предназначена для генерации текста, сложного рассуждения, агентных AI-приложений, сценариев с использованием инструментов, математики, программной инженерии и корпоративных AI-ассистентов. Модель использует архитектуру Transformer с Mixture-of-Experts и гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общее число параметров составляет 284 млрд, из них активируется 13 млрд. Поддерживается только текстовый ввод и вывод, многошаговые диалоги, системные инструкции, структурированный JSON, function/tool calling и выдача рассуждений. Максимальная длина контекста — 1 млн токенов. Доступны режимы Non-think, Think High и Think Max; используется специальный pipeline кодирования encoding_dsv4. К сильным сторонам относятся большой контекст, поддержка углублённого рассуждения, инструментального взаимодействия и задач программирования. Модель квантизирована в формат NVFP4, что ориентировано на ускоренный инференс на GPU NVIDIA. Указаны поддерживаемые среды SGLang и vLLM, операционная система Linux и совместимость с архитектурой NVIDIA Blackwell; тестирование проводилось на NVIDIA B200. Данные обучения не раскрыты, поэтому характеристики качества следует проверять на прикладных задачах. Для безопасного внедрения требуется дополнительное тестирование и валидация. Лицензия указана как MIT, модель доступна для коммерческого и некоммерческого использования.

GigaChat 3.1 Ultra — крупная инструктивная языковая модель семейства GigaChat, представленная в репозитории ai-sage. Она предназначена для многоязычных диалогов, рассуждений, программирования и вызова инструментов. Архитектура — MoE с 702 млрд параметров всего и 36 млрд активных при генерации; модель использует Multi-head Latent Attention и Multi-Token Prediction. По README, версия рассчитана на развёртывание на крупных вычислительных кластерах и локальную инфраструктуру. В метаданных указаны архитектура DeepSeek V3, формат safetensors, контекст 262 144 токена и поддержка русского и английского языков. Модель подходит для диалогового помощника, решения сложных задач, генерации кода и агентных сценариев с исполняемыми вызовами инструментов. README описывает усиленную подготовку данных по математике, финансам, естественным наукам, инженерии и медицине, а также улучшения для поиска с цитированием и работы с файлами. Репозиторий лицензирован по MIT. Для запуска требуются значительные вычислительные ресурсы; конкретные показатели качества зависят от сценария и приведённых в карточке оценок.

Карточка модели NostraEmpire/mirror-qwen3-14b на Hugging Face совпадает с карточкой Qwen/Qwen3-14B, поэтому описание составлено по ней. Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.

Карточка модели Darth-Coder/my-model3-14b-it на Hugging Face совпадает с карточкой Qwen/Qwen3-14B, поэтому описание составлено по ней. Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.