II.1Анализ требований и архитектура ПО

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ-gdn4 — квантизированная версия языковой модели Qwen3.8-27B, разработанная TelperionAI на базе модели Qwen/Qwen3.8-27B. Она предназначена для локального и серверного запуска больших языковых моделей, включая генерацию текста, рассуждения, работу с кодом, математическими и STEM-задачами, чат-сценарии и мультиязычные запросы. Модель рассчитана на использование через Transformers и vLLM; README отдельно указывает поддержку speculative decoding с MTP. Это смешанная квантизация INT4 W4A16 с группами размера 32 и асимметричным представлением весов. Для большинства MLP-проекций и GDN-линейных проекций используется INT4, часть слоёв MLP и все проекции self-attention хранятся в INT8, а lm_head, embed_tokens, нормализации, параметры состояния GDN, vision tower и MTP-head — в BF16. Квантизация выполнена в два этапа: AWQ с учетом активаций и последующая GPTQ-компенсация ошибок. Размер модели составляет около 22,6 ГБ; для работы требуется GPU с Compute Capability не ниже 7.5, то есть поддерживаются устройства уровня Turing и новее. Сильная сторона модели — удачный баланс размера и точности: по приведённым тестам она ближе к исходной BF16-модели, чем некоторые сопоставимые INT4-варианты, при заметно меньшем объёме, чем FP8-релиз. При этом переход GDN-проекций на INT4 немного снижает точность по сравнению с более крупной версией модели с GDN в INT8, а производительность зависит от GPU и реализации Marlin; измерения на B300 не следует напрямую переносить на Ampere. Модель распространяется по лицензии Apache-2.0.

ddalcu/Qwen3.8-27B-MLX-Serve-4bit — 4-битная MLX-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная ddalcu на основе Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через mlx-serve на компьютерах Mac с Apple Silicon и поддерживает работу с текстом, изображениями, инструментами и режимом рассуждений. Она может использоваться для диалога, генерации и анализа текста и кода, обработки изображений, вызова инструментов и интеграции с клиентами через OpenAI- и Anthropic-совместимые API. Модель имеет 27 млрд параметров, занимает около 18,2 ГБ на диске и рассчитана на размещение в памяти Mac с 32 ГБ. Нативное контекстное окно составляет 262 144 токена, однако фактический размер зависит от доступной памяти устройства. В сборку включена нативная MTP-голова для multi-token prediction, ускоряющая декодирование, особенно при генерации кода. Также поддерживаются vision-language сценарии, XML-формат вызова инструментов Qwen3.8 и управление глубиной рассуждений. Главное преимущество сборки — возможность запустить крупную мультимодальную модель локально на 32-гигабайтном Mac без облака и Python-окружения. Компромисс — повышенный шум 4-битной квантизации: заявленная оценка составляет 9,25% против 0,71% у 8-битной версии, поэтому 8-битная сборка предпочтительнее при наличии достаточного объёма памяти. Указанные скорости зависят от оборудования и режима: на M4 Max с 128 ГБ заявлены до 75,3 токена в секунду для кода и 39,7 токена в секунду для пояснительного текста при включённом MTP. Модель распространяется по лицензии Apache-2.0.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

WizardLM-2 8x22B — многоязычная языковая модель с архитектурой Mixture of Experts, разработанная WizardLM в Microsoft AI. Это версия для генерации текста и диалогов; в карточке указаны сценарии сложного общения, рассуждений, работы с кодом, математикой и агентных задач. По README модель основана на mistral-community/Mixtral-8x22B-v0.1 и содержит 141 млрд параметров; метаданные классифицируют её как Mixtral MoE с 22B параметров и контекстом до 65 536 токенов. Модель обучалась с использованием синтетической системы подготовки данных и поддерживает многоязычное применение. В репозитории указаны веса safetensors и лицензия Apache-2.0. Заявления о сравнительном качестве приведены разработчиками по их оценкам и не гарантируют результат на иных задачах.

Yi-1.5-34B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Это чат-версия Yi-1.5: семейство непрерывно предобучали на высококачественном корпусе объёмом 500 млрд токенов, затем дообучили на 3 млн разнообразных примеров. Модель предназначена для диалога и следования инструкциям. Она подходит для генерации ответов, помощи с программированием и математикой, рассуждений, понимания языка и чтения текстов. Разработчики отмечают улучшения в коде, математике, рассуждениях и выполнении инструкций по сравнению с Yi. Для этой версии в метаданных указан контекст 4096 токенов; доступны веса в формате safetensors. Модель принимает и выдаёт текст. Карточка не приводит конкретного перечня поддерживаемых языков. Лицензия — Apache-2.0.

Agnes 2.5 Pro Alpha — мультимодальная модель рассуждений, разработанная Agnes AI и дообученная на Qwen/Qwen3.5-397B-A17B. Она принимает текст и изображения и предназначена для программирования, научных задач, анализа длинных контекстов и агентных сценариев с вызовом инструментов. Модель поддерживает контекст до 1 млн токенов и генерацию до 65 536 токенов; заявлены расширенное рассуждение и понимание изображений. Модель подходит для анализа репозиториев и отладки кода, синтеза технических документов, научного решения задач и визуального анализа. В README указаны сравнительные оценки на бенчмарках, но таблица результатов в предоставленном тексте опущена. Модель доступна в формате safetensors; для локального запуска README рекомендует 8 GPU класса NVIDIA H200 и около 1 ТБ свободного места. Лицензия — Apache-2.0. Ответы могут содержать ошибки; для важных решений и действий инструментов требуется проверка.

unsloth/cogito-v2-preview-llama-405B-GGUF — GGUF-версия большой языковой модели Cogito v2 preview 405B, разработанной DeepCogito и подготовленной Unsloth. Это инструкционно дообученная генеративная модель для коммерческого использования, ориентированная на программирование, задачи STEM, выполнение инструкций, общую полезность и вызов инструментов. Модель является гибридной reasoning-моделью: она может отвечать напрямую в стандартном режиме или выполнять дополнительное саморефлексивное рассуждение перед ответом. Для обучения использовалась стратегия Iterated Distillation and Amplification (IDA). Модель обучена более чем на 30 языках и поддерживает контекст длиной до 128 тысяч токенов. В README заявлены повышенные возможности в многоязычных задачах, программировании и tool calling по сравнению с сопоставимыми по размеру моделями, а также превосходство на ряде отраслевых бенчмарков, однако конкретные числовые результаты для GGUF-версии не приведены. Вариант GGUF предназначен для использования с совместимыми инструментами локального запуска, включая llama.cpp; для корректного применения шаблона чата в llama.cpp рекомендуется параметр --jinja. Для включения расширенного рассуждения требуется поддержка параметра enable_thinking=True в chat template либо специальная системная инструкция и предварительная вставка тега <think>. К ограничениям относятся очень большой размер модели и, как следствие, высокие требования к памяти и вычислительным ресурсам; точные требования зависят от используемой квантизации, но её параметры в README не указаны. Модель распространяется по лицензии llama3.1, обозначенной как открытая лицензия с разрешением коммерческого использования.

DeepSeek-V2.5 — языковая модель компании DeepSeek, объединяющая возможности DeepSeek-V2-Chat и DeepSeek-Coder-V2-Instruct. Она предназначена для диалога, следования инструкциям, письма и генерации кода, а также поддерживает вызов внешних инструментов, JSON-вывод и заполнение пропусков в коде методом FIM. Модель построена на архитектуре DeepSeek-V2 и содержит 18,1 млрд параметров; для инференса в BF16 авторы указывают требование в 8 GPU по 80 ГБ. Контекстное окно составляет 163 840 токенов. Для запуска доступны веса safetensors и библиотека Transformers. README сообщает об улучшении результатов относительно предыдущих версий DeepSeek в нескольких оценках, включая AlpacaEval 2.0 и ArenaHard. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория. Среди практических ограничений — высокая потребность в GPU-памяти при запуске в BF16; README не описывает поддерживаемые естественные языки.

DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

Карточка модели winterthurquants/DeepSeek-V4-Pro на Hugging Face совпадает с карточкой winterthurquants/DeepSeek-V4-Flash, поэтому описание составлено по ней. DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

Карточка модели omegaT4224/Emulator.exe на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

GDN-primed-HQwen3-8B-Instruct — созданная Amazon инструкционная гибридная языковая модель на базе Qwen3-8B. В ней 18 слоёв Attention и 18 слоёв Gated DeltaNet (GDN), то есть половина слоёв внимания заменена на слои модели пространства состояний. Модель содержит около 7,6 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов; веса доступны в формате safetensors, библиотека — Transformers. Модель предназначена для диалогов и выполнения инструкций, включая генерацию текста, ответы на вопросы, задачи с длинным контекстом, код и рассуждения. По данным разработчика, гибридная архитектура может ускорять генерацию на длинных последовательностях и снижать расход памяти на KV-кэш при близком к базовой трансформерной модели качестве. Это инструкционная модель, не рассчитанная на выдачу chain-of-thought токенов; вызов инструментов не поддерживается. Лицензия — Apache 2.0.

Gemini 2.5 Pro — модель Google для сложных задач рассуждения, программирования, математики и науки. В карточке модели указана возможность «thinking», предназначенная для более точной проработки ответов. Модель подходит для решения сложных вопросов, помощи с кодом и математическими задачами, а также научной работы. Метаданные каталога классифицируют её как image-text-to-text, однако предоставленные материалы не описывают поддержку изображений, архитектуру, размер, контекст, языки или условия использования, поэтому эти характеристики здесь не уточняются.

unsloth/gemma-3-12b-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия Gemma 3 12B, разработанная Google DeepMind и подготовленная Unsloth. Модель использует открытые веса и предназначена для запуска и дообучения через Transformers, включая сценарии локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель принимает текст и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Для версии 12B заявлено контекстное окно до 128K токенов, изображения приводятся к разрешению 896 × 896 и кодируются в 256 токенов каждое, максимальный объём генерируемого результата составляет 8192 токена. Gemma 3 поддерживает более 140 языков, однако в метаданных этой карточки явно указан английский язык. Ключевое преимущество варианта — снижение требований к памяти благодаря 4-битной квантизации; Unsloth также указывает на селективную Dynamic Quantization, призванную сохранить больше качества по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможные потери качества из-за квантизации, необходимость совместимого программного и аппаратного окружения, а также типичные риски генеративных моделей: ошибки, неточные ответы и зависимость результатов от формулировки запроса. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google.

unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit — MLX-совместимая 4-битная версия instruction-tuned модели Gemma 4 26B A4B, подготовленная Unsloth на основе модели Google DeepMind. Это мультимодальная модель с открытыми весами, предназначенная для локального запуска и дообучения в экосистеме MLX. Модель рассчитана на генерацию текста, рассуждения, программирование, мультимодальное понимание изображений, агентские сценарии и вызов функций. Вариант 26B A4B использует архитектуру Mixture-of-Experts (MoE); обозначение A4B указывает на эффективный объём активируемых параметров около 4B при общем размере модели 26B. Для семейства Gemma 4 заявлены поддержка текста и изображений, контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждения, нативная поддержка system prompt и function calling. Поддержка аудио для этой версии не указана; в README она отмечена только для малых моделей E2B и E4B. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также эффективность MoE-архитектуры и 4-битной квантизации для локального запуска на совместимом оборудовании Apple Silicon или другом окружении MLX. Ограничения связаны с необходимостью MLX-совместимой инфраструктуры и потенциальными компромиссами 4-битной квантизации, однако количественные характеристики таких компромиссов в README не приведены. Модель распространяется по лицензии Apache 2.0.

Это конверсия в формат GGUF модели Gemma 4 26B A4B IT, квантизированной NVIDIA в NVFP4. Базовую модель разработала Google DeepMind; в репозитории указаны 25,2 млрд общих и 3,8 млрд активных параметров. Модель построена на архитектуре Transformers с чередованием локального скользящего и глобального внимания, поддерживает контекст до 256 тысяч токенов и более 140 языков. Модель принимает текст и изображения, обрабатывает видео как последовательности кадров и генерирует текст. Она предназначена для диалога, рассуждений, программирования, агентных сценариев и мультимодального понимания. GGUF-файл рассчитан на запуск через llama.cpp и совместимые движки; в карточке также приведены результаты бенчмарков базового NVFP4-чекпойнта, близкие к показателям полноточной версии. Репозиторий распространяется по лицензии Apache-2.0. Это NVFP4-квантизированная модель, поэтому для запуска и качества вывода важны поддержка формата и совместимость используемого движка; README рекомендует сборку llama.cpp с CUDA для NVFP4.

google/gemma-4-31B-it-qat-q4_0-unquantized — мультимодальная инструкционно-настроенная модель семейства Gemma 4, разработанная Google DeepMind. Это dense-модель с архитектурой Gemma4ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Вариант QAT Q4_0 содержит веса половинной точности, извлечённые из процесса обучения с учётом квантования; он предназначен для дальнейшей компиляции и исследовательской работы с меньшими требованиями к памяти по сравнению с обычной версией bfloat16. Модель подходит для диалогов, генерации и анализа текста, программирования, рассуждений, понимания изображений, распознавания текста на изображениях и разбора документов. Семейство Gemma 4 поддерживает контекст до 256 тысяч токенов и многоязычную работу; описание карточки заявляет поддержку более 140 языков при предварительном обучении. Для этого варианта доступен формат safetensors и библиотека Transformers. Лицензия — Apache 2.0. Возможности обработки аудио и видео перечислены для отдельных моделей семейства, но не подтверждены для данного чекпойнта. Качество и скорость зависят от аппаратного обеспечения и последующей компиляции; QAT-веса этого варианта не являются готовым GGUF-пакетом для непосредственного развёртывания.

GigaChat 3.5 Reasoning — большая языковая модель, разработанная ai-sage. Эта версия распространяется в формате GGUF для высокопроизводительного запуска через llama.cpp; базовая модель доступна в варианте BF16, а отдельная версия предназначена для инференса в FP8. Модель ориентирована на задачи, требующие углублённого рассуждения, и обучалась с использованием online RL. Архитектура представляет собой Mixture-of-Experts с общим размером 432 млрд параметров, из которых 28 млрд активируются при обработке токена. Используется гибридная архитектура, объединяющая Multi-head Latent Attention (MLA) и слои линейного внимания GatedDeltaNet. Дополнительно применяются GatedNorm и три MTP-головы для speculative decoding. Максимальная поддерживаемая длина контекста — 262 тысячи токенов. Заявлена поддержка русского и английского языков, а также сценариев text generation, instruction following, reasoning, tool use, function calling и structured output. Модель предназначена для решения математических и научных задач, программирования, редактирования кода, генерации тестов, репозиторных задач уровня SWE-bench, взаимодействия с инструментами, работы с длинным контекстом и соблюдения заданных форматов. К сильным сторонам относятся улучшения в математике, коде, следовании инструкциям и структурированном выводе по сравнению с GigaChat 3.5 Ultra Instruct, а также специализированное обучение шести доменных экспертов с последующей on-policy distillation. Ограничения включают высокие требования к вычислительным ресурсам из-за масштаба модели; конкретные требования к оборудованию, количественные характеристики производительности и ограничения использования в README не указаны. Лицензия — MIT.

GLM-4.5-Air — компактная гибридная модель серии GLM-4.5 от Zhipu AI, разработанная для интеллектуальных агентов. Она объединяет генерацию текста, рассуждение, программирование и работу с инструментами; поддерживает режим обдумывания для сложных запросов и вызовов инструментов, а также режим быстрого ответа. По карточке модели, у GLM-4.5-Air 106 млрд параметров, из которых активны 12 млрд. Метаданные Hugging Face указывают архитектуру GLM4 MoE, класс Glm4MoeForCausalLM, 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговых приложений, задач программирования и агентных сценариев с использованием инструментов. Она поддерживает английский и китайский языки и распространяется в формате Safetensors; библиотека Transformers указана как основная. Лицензия MIT разрешает коммерческое использование и дальнейшую разработку. Значения общего и активного числа параметров из README расходятся с числом параметров в метаданных, поэтому размер следует считать противоречивым.

cyankiwi/GLM-4.7-Flash-AWQ-4bit — 4-битная AWQ-квантизованная версия GLM-4.7-Flash, разработанной командой GLM и распространяемой организацией zai-org. Это языковая модель для генерации текста, рассуждений, программирования и агентских сценариев, включая взаимодействие с инструментами и решение задач, требующих многошагового планирования. Модель построена по архитектуре MoE с конфигурацией 30B-A3B: общий размер составляет около 30 млрд параметров, при этом на каждом шаге активируется примерно 3 млрд. Указаны поддерживаемые языки English и Chinese, библиотека Transformers и текстовая модальность. В README приведены настройки генерации с максимальной длиной нового вывода до 131 072 токенов, однако размер контекстного окна явно не указан. Для локального запуска заявлена совместимость с Transformers, vLLM и SGLang; для этой версии также требуется учитывать поддержку AWQ-квантизации используемым фреймворком. Сильными сторонами являются сочетание производительности и эффективности при локальном развертывании, а также результаты на задачах рассуждений, программирования, веб-поиска и взаимодействия с инструментами. Ограничениями выступают возможные потери качества из-за 4-битной квантизации и необходимость актуальных версий программного обеспечения для поддержки модели. В README указана лицензия MIT.

GLM-4-9B-Chat — диалоговая языковая модель семейства GLM, выпущенная Zhipu AI. Репозиторий содержит версию в формате Transformers и safetensors; модель насчитывает 8,8 млрд параметров и рассчитана на генерацию текста в многораундовом чате. Модель подходит для ответов на вопросы, рассуждений, задач по математике и коду, а также для сценариев с вызовом инструментов и длинными документами. Заявленная длина контекста — до 128K токенов. Поддерживаются китайский и английский; автор также заявляет поддержку 26 языков. README сообщает о результатах тестов на задачах семантики, математики, рассуждений, кода и знаний, но не приводит полных данных для некоторых сравнительных таблиц. Это дообученная версия THUDM/glm-4-9b-chat. Для загрузки весов требуется transformers версии 4.46.0 или новее: репозиторий несовместим с более старыми версиями. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория.

gpt-oss-120b — открытая по весам языковая модель OpenAI для генерации текста, задач, требующих сложного рассуждения, и агентских сценариев. Она ориентирована на универсальное применение в продуктивных системах и разработке, включая вызов функций, веб-браузинг, выполнение Python-кода и Structured Outputs. Модель доступна через Transformers, vLLM, PyTorch/Triton, Ollama и LM Studio. Модель использует архитектуру Mixture-of-Experts: содержит 117 млрд параметров, из которых 5,1 млрд активируются при обработке запроса. Она оптимизирована с помощью MXFP4-квантизации весов MoE и рассчитана на запуск на одной GPU с 80 ГБ памяти, например NVIDIA H100 или AMD MI300X. Доступен настраиваемый уровень рассуждения — низкий, средний или высокий; заявлена возможность fine-tuning. Модель обучена с использованием формата ответов harmony и, согласно README, корректно работает только при его применении. К сильным сторонам относятся высокая вычислительная мощность для рассуждений, поддержка агентских инструментов, открытая настройка и возможность коммерческого использования. Ограничение — значительные требования к аппаратным ресурсам и обязательное соблюдение формата harmony. README не указывает поддерживаемые языки, длину контекста и результаты конкретных оценок. Распространение осуществляется по лицензии Apache 2.0.

InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

QuantFactory/internlm2-chat-7b-sft-GGUF — квантизированная версия языковой модели InternLM2-Chat-7B-SFT, созданная QuantFactory с использованием llama.cpp на базе модели internlm/internlm2-chat-7b-sft. Это текстовая causal language model для генерации текста и диалоговых сценариев. Модель предназначена для общения, следования инструкциям, рассуждений, решения математических задач, написания и анализа кода, творческого письма, анализа данных, а также использования в агентных системах с инструментами и многошаговыми вызовами. Указано контекстное окно до 200 000 токенов и размер 7 миллиардов параметров. Модель работает с текстом; конкретный набор поддерживаемых языков в README не указан. Версия SFT предназначена также для исследования влияния RLHF, поскольку последующая версия InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. К сильным сторонам относятся заявленные результаты в рассуждениях, математике, программировании, следовании инструкциям и задачах с длинным контекстом, а также преимущества квантизированного формата для запуска через llama.cpp. Ограничения включают возможные ошибки, предвзятость, дискриминационные или иные вредные ответы; качество зависит от квантизации и условий запуска. В README указана лицензия «other», без подробного описания условий, поэтому точные правила использования следует уточнять в исходной карточке модели.

JoyAI-LLM Flash-Base — базовая языковая модель семейства JoyAI-LLM Flash, представленная в карточке модели как разработанная для высокопроизводительных приложений с низкой задержкой и стоимостью запросов. Это плотная архитектура DeepseekV3ForCausalLM по метаданным; README описывает модель как смесь экспертов (MoE) с 48 млрд параметров всего и 3 млрд активируемых параметров, тогда как метаданные указывают общий размер 2,7 млрд параметров. Модель предназначена для генерации текста, рассуждений, работы со знаниями и кодом, а также сценариев с использованием инструментов и автономным решением задач. README сообщает об обучении с оптимизатором Muon и о варианте с MTP, который, по заявлению авторов, повышает пропускную способность в 1,3–1,7 раза относительно версии без MTP. Поддерживаемые языки по тегам карточки — китайский и английский; контекстное окно составляет 131 072 токена. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

Liberated-Qwen1.5-72B — диалоговая языковая модель AbacusAI и Eric Hartford, дообученная методом qLoRA на основе Qwen/Qwen1.5-72B. Она предназначена для многошаговых бесед, следования системным инструкциям, в том числе необычным или формальным, а также для общих задач ассистента и помощи с кодом. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 71 млрд параметров и поддерживает контекст до 32 768 токенов; обучение проводилось на последовательностях длиной 8 000 токенов. Для диалогов применяется формат ChatML. В обучении использованы открытые наборы данных, включая OpenHermes-2.5, Code-Feedback и собственный синтетический набор SystemChat. Разработчик сообщает о результате 77,13 на MMLU для контрольной версии обучения. В датасете не добавлялись ограничения на содержание, поэтому при развёртывании сервиса следует самостоятельно настроить подходящий слой выравнивания и фильтрации. Модель распространяется по лицензии tongyi-qianwen.

Meta Llama 3.1 70B Instruct — крупная текстовая языковая модель Meta для диалоговых сценариев. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention; версия Instruct прошла supervised fine-tuning и обучение с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, рассчитана на многоязычный диалог и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель предназначена для создания чат-ассистентов, ответов на вопросы и других задач генерации естественного языка. Её также можно применять для создания синтетических данных и улучшения других моделей. Модель относится к семейству Llama 3.1 размером 70 млрд параметров; в репозитории используются веса Safetensors, библиотека Transformers, а для экономии памяти доступны варианты запуска с 8- и 4-битным представлением. Карточка сообщает о сильных результатах семейства на распространённых отраслевых тестах, но не приводит здесь конкретных показателей для этой версии. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки в целевом применении, а карточка не рекомендует диалог на неподдерживаемых языках без дообучения и дополнительных системных мер. Условия использования задаёт пользовательская Llama 3.1 Community License с Acceptable Use Policy; лицензия допускает коммерческое и исследовательское применение при соблюдении этих условий.

MiniMax-M1-40k — открытая по весам языковая модель MiniMax AI для рассуждений, генерации текста и работы в агентных сценариях. Она использует гибридную архитектуру Mixture-of-Experts с механизмом lightning attention и обучалась с подкреплением на задачах от математических рассуждений до программной инженерии. Вариант 40k рассчитан на бюджет рассуждений до 40 тысяч токенов; метаданные указывают 21,6 млрд параметров и контекст до 10 240 000 токенов. Модель подходит для решения сложных математических задач, написания и анализа кода, работы с длинными документами и использования инструментов через интерфейс function calling. В карточке приведены результаты тестирования на математических, программных, агентных и длинноконтекстных задачах; авторы рекомендуют температуру 1,0 и top_p 0,95. Модель принимает и генерирует текст. README описывает её как модель общего назначения, но не перечисляет поддерживаемые естественные языки. Лицензия репозитория — Apache-2.0. Для воспроизведения результатов стоит учитывать, что оценки SWE-bench получены на выбранном подмножестве задач с описанной авторами методикой.

Это FP8-квантизированная версия инструкционной модели Mistral-Large-Instruct-2407, подготовленная Alpindale на основе Mistral AI. Модель относится к плотной архитектуре MistralForCausalLM и содержит 122,2 млрд параметров; веса, активации и KV-кэш представлены в FP8. Репозиторий содержит веса в формате safetensors. Модель предназначена для диалоговой генерации текста и запуска через vLLM или Aphrodite Engine. Контекстное окно составляет до 131 072 токенов. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков, а также интерфейс для вызова инструментов. Квантизация уменьшает требования к памяти и вычислениям по сравнению с полной точностью, сохраняя возможности базовой инструкционной модели для диалога, рассуждений и программирования. FP8 требует совместимого оборудования и программного стека; квантизация может повлиять на точность. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели и лицензии базовой модели.

Mistral-Small-Instruct-2409 — плотная языковая модель на 22 млрд параметров от команды Mistral AI, дообученная следовать инструкциям. Она предназначена для диалогов, генерации текста и вызова функций в приложениях и inference-сервисах. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, функцию вызова инструментов; для запуска рекомендуются vLLM или mistral-inference. Для работы на одном GPU требуется не менее 44 ГБ видеопамяти, либо можно распределить нагрузку между несколькими устройствами. В карточке перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в материалах модели на Hugging Face.