II.7DevOps, облако и эксплуатация IT-систем

Llama-3.1-Nemotron-Nano-4B-v1.1 — языковая модель NVIDIA на базе nvidia/Llama-3.1-Minitron-4B-Width-Base, созданной из Llama 3.1 8B методом сжатия. Это плотный декодерный Transformer семейства Llama с 3,9 млрд параметров, дообученный для рассуждений, общения по инструкциям, математики, программирования, работы с RAG и вызова инструментов. Модель рассчитана на текстовый ввод и вывод, поддерживает контекст до 131 072 токенов и может запускаться локально на одной RTX GPU. Модель предназначена для чат-ботов, AI-агентов и приложений, которым нужны ответы на вопросы, следование инструкциям и многошаговые рассуждения. Режим рассуждений управляется системным промптом; для вызова инструментов предусмотрены шаблон чата и парсер для vLLM. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. В карточке указана возможность коммерческого использования; лицензия обозначена как other, поэтому перед внедрением следует ознакомиться с условиями лицензии репозитория. Результаты зависят от формата запроса и настроек декодирования; опубликованные оценки получены при длине последовательности 32K и не гарантируют такого же качества на всех задачах или при использовании полного контекста.

grimjim/mistralai-Mistral-Nemo-Instruct-2407 — инструктивно дообученная языковая модель на базе Mistral Nemo, разработанной совместно Mistral AI и NVIDIA. Она предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов. Модель использует плотную архитектуру Transformer семейства Mistral с 40 слоями, GQA и 12,1 млрд параметров; контекстное окно составляет 131 072 токена. Доступны веса в формате Safetensors. Модель рассчитана на многоязычные задачи, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский; обучающие данные также включают код. Подходит для чат-ботов, помощников и генерации ответов по инструкциям. Выпускается по лицензии Apache 2.0. В карточке разработчика модель названа демонстрацией возможностей базовой модели; встроенных механизмов модерации нет.

microsoft/phi-4-gguf — GGUF-версия модели phi-4, разработанной Microsoft Research. Это открытая языковая модель для генерации текста, ориентированная преимущественно на английский язык. Она предназначена для исследовательских задач, создания генеративных функций и универсальных AI-систем, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке, а также для задач рассуждения, логики, математики, программирования, диалогового взаимодействия и следования инструкциям. Модель построена как плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы и выходы. Контекстное окно составляет 16K токенов; рекомендуемый формат взаимодействия — chat-промпты. Обучение проводилось на 9,8 трлн токенов в период с октября по ноябрь 2024 года, а выпуск состоялся 12 декабря 2024 года. Данные включали синтетические учебные материалы, отфильтрованные общедоступные документы, код, академические книги, наборы вопросов и ответов и данные для supervised fine-tuning и direct preference optimization. Мультиязычные данные составляли около 8% корпуса, поэтому основной акцент сделан на английском языке. К сильным сторонам относятся компактный для своих возможностей размер, ориентация на рассуждение и логические задачи, а также дополнительное выравнивание для соблюдения инструкций и повышения безопасности. Ограничения включают статичность модели и отсечение общедоступных данных июнем 2024 года, преимущественную ориентацию на английский язык и необходимость самостоятельной проверки точности, безопасности, справедливости и соответствия требованиям законодательства в конкретных сценариях, особенно в высокорисковых областях. Модель распространяется по лицензии MIT.

unsloth/Qwen2.5-7B-unsloth-bnb-4bit — четырёхбитная версия базовой языковой модели Qwen2.5-7B, подготовленная Unsloth с использованием динамического 4-bit-квантования. Разработчик исходной модели — команда Qwen; Unsloth предоставляет оптимизированный формат для запуска и дообучения с меньшими требованиями к памяти. Модель предназначена для генерации и понимания текста, программирования, математических задач, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие языки. Для серии Qwen2.5 заявлена поддержка контекста до 128 тысяч токенов и генерация до 8 тысяч токенов. Ключевые преимущества — размер около 7 миллиардов параметров, экономичное 4-bit-представление и заявленное Unsloth улучшение точности по сравнению со стандартным 4-bit-квантованием. Модель является текстовой causal language model и не предназначена для работы с изображениями или другими модальностями. Как базовая, а не instruction-tuned модель, она не рекомендуется для диалогового использования без дополнительного дообучения или подходящего шаблона запросов. Лицензия — Apache 2.0.

Qwen3.5-35B-A3B-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий подготовлен ugreen-ai с использованием материалов и методов Unsloth. Модель предназначена для локального запуска и совместима с инструментами экосистемы GGUF; исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых активируется около 3 млрд; указаны 40 слоёв, hidden dimension 2048 и словарь размером 248 320 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии, вызов инструментов и задачи с длинным контекстом, однако точный максимальный размер контекста для этой версии в README не указан. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной MoE-архитектуры, улучшенные возможности coding и tool calling, а также обновлённые данные и алгоритм квантования Unsloth Dynamic 2.0. GGUF-квантизация упрощает локальный запуск и снижает требования к ресурсам, но конкретные характеристики зависят от выбранного варианта квантизации и могут сопровождаться потерей точности по сравнению с исходными весами. Для управления режимом рассуждений предусмотрена настройка enable_thinking. Модель распространяется по лицензии Apache-2.0.

palmfuture/Qwen3.6-27B-GPTQ-Int4 — это GPTQ-квантизованная до Int4 версия открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной пользователем palmfuture. Модель представляет собой каузальную языковую модель с визуальным энкодером и предназначена для генерации текста и кода, выполнения инструкций, математического рассуждения, анализа изображений, агентского программирования и работы с большими контекстами. Заявлена поддержка английского, тайского, китайского и других многоязычных сценариев. Исходная модель содержит около 27 млрд параметров, 64 слоя и гибридную архитектуру Gated DeltaNet/Mamba и gated attention, дополненную MTP для многотокенного предсказания и ускорения спекулятивного декодирования. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. В данной версии основные линейные слои квантизованы в Int4 с uniform group_size=32, тогда как нормализации, эмбеддинги, языковая голова, визуальный энкодер и MTP-слои сохранены в формате bfloat16. Указана совместимость с Transformers, vLLM и SGLang; MTP-параметры проверены на vLLM 0.21.0. К преимуществам относятся существенное снижение требований к памяти по сравнению с полноразмерной версией, заявленная 100%-ная успешность GPTQ-квантизации без RTN fallback и сохранение поддержки мультимодального ввода. Ограничения включают возможное ухудшение качества из-за 4-битной квантизации, а также необходимость совместимого программного окружения и нескольких GPU для практического запуска; точные требования к инференсу в README не указаны. Лицензия — Apache-2.0.

JunHowie/Qwen3-8B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений и обычным режимом генерации в рамках одной модели. Модель построена как causal language model и содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Архитектура включает 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Базовый контекст составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Qwen3 заявляет поддержку более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Квантизация выполнена в 4-битном формате с размером группы 128. По сравнению с более ранними квантизованными версиями заявлена повышенная эффективность по числу токенов в секунду благодаря параметру desc_act=False. Квантизация снижает требования к памяти и подходит для локального или серверного развёртывания, однако может приводить к потере качества по сравнению с полной точностью; конкретные показатели качества и требования к оборудованию в README не приведены. Для работы рекомендуется vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache 2.0.

Bagel 34B v0.5 — это дообученная jondurbin модель на базе 01-ai/yi-34b-200k, созданная для диалогов и широкого круга инструктивных задач. Модель использует плотную архитектуру семейства Llama с причинным языковым моделированием, содержит 33,9 млрд параметров и рассчитана на контекст до 200 000 токенов. Модель обучалась на наборах для вопросов и ответов, рассуждений, математики, программирования, суммаризации, ролевого общения, работы с контекстом и вызова функций. Для обучения использовались SFT- и DPO-данные; карточка описывает несколько форматов запросов, а шаблон токенизатора по умолчанию использует формат Llama 2. Это текстовая модель, которая принимает текст и генерирует текст. В метаданных указана лицензия other, без уточнения её условий.

Calme 2.1 Qwen2 72B — плотная языковая модель, созданная MaziyarPanahi дообучением Qwen/Qwen2-72B-Instruct. Она предназначена для диалогов и генерации текста: отвечает на вопросы, помогает создавать и суммировать материалы, анализировать и писать код, решать сложные задачи и поддерживать принятие решений. Для диалогов используется шаблон ChatML. Модель содержит 71,5 млрд параметров, работает на базе Transformers и имеет нативное контекстное окно 32 768 токенов. В карточке указан английский язык; README приводит результаты оценок на задачах следования инструкциям, рассуждений, математики и вопросов с выбором ответа. Модель может наследовать ограничения и смещения больших языковых моделей, поэтому важные ответы требуют проверки человеком. Репозиторий распространяется по лицензии «other»; конкретные условия следует сверять с лицензией репозитория.

MaziyarPanahi/calme-2.2-llama3.1-70b — языковая модель, дообученная Maziyar Panahi на базе Meta Llama 3.1 70B Instruct. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, рассчитанная на генерацию текста и диалог в формате ChatML. Заявленная длина контекста — 131 072 токена; модель работает через библиотеку Transformers и распространяется в формате safetensors. Модель предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество в конкретном приложении. Указанный в метаданных датасет дообучения — MaziyarPanahi/truthy-dpo-v0.1-axolotl. README предупреждает о возможных смещениях и ограничениях больших языковых моделей и рекомендует применять защитные меры и проверку человеком. Лицензия в предоставленных данных не указана.

DeepSeek-V2-Chat-0628 — улучшенная версия диалоговой модели DeepSeek-V2-Chat, разработанная DeepSeek. Она предназначена для общения по инструкциям и генерации текста, включая помощь с программированием, математическими задачами, переводом и ответами на вопросы по документам в сценариях RAG. Модель построена на архитектуре DeepSeek-V2 и содержит 18,1 млрд параметров; заявленная длина контекста — 163 840 токенов. В репозитории веса представлены в формате safetensors. В карточке сообщается об улучшении результатов относительно предыдущей версии на HumanEval, MATH и BBH, а также об оптимизации следования инструкциям в системной части диалога. Для запуска BF16 версии локально README указывает требования в 8 GPU по 80 ГБ памяти. Лицензия в метаданных обозначена как other, поэтому условия использования следует проверять в документах лицензии репозитория.

GLM-5.3-Flash-FP8 — это FP8-квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанная командой GLM-5; базовая модель опубликована организацией zai-org. Модель предназначена для генерации текста, программирования, агентских сценариев, работы с инструментами и задач, требующих обработки текста и изображений. В карточке указаны поддержка английского и китайского языков, интеграция с Transformers и лицензия MIT. Модель имеет 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Она использует гибридную архитектуру со sparse attention и linear attention, рассчитанную на снижение стоимости обслуживания длинного контекста при сохранении точности, а также Manifold-Constrained Hyper-Connections. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов; это параметры конкретных оценочных конфигураций, а не обязательно гарантированный лимит модели. К сильным сторонам относятся высокая эффективность за счёт малого числа активных параметров, мультимодальность, возможности в программировании и агентских задачах, а также поддержка локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения именно FP8-версии, включая требования к аппаратному обеспечению, точность чисел и возможные отличия от базовой модели, в README не описаны.

Hermes-4-405B-GGUF — это крупная языковая модель в формате GGUF, разработанная Unsloth на основе Hermes 4 405B от Nous Research, который, в свою очередь, базируется на Llama 3.1 405B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, программирования, математики, STEM-задач, логики, творческого письма, ролевого взаимодействия, вызова функций и работы с инструментами. Модель поддерживает гибридный режим рассуждений: при необходимости она может формировать отдельные сегменты <think>...</think>, а также работать в более быстром режиме без длительного рассуждения. Она обучена следовать схемам и создавать структурированные ответы, включая валидный JSON и исправление некорректных объектов. Заявлена поддержка длинного контекста, формата чата Llama 3 и шаблонов ChatML; основной заявленный язык — английский. Для llama.cpp рекомендуется использовать режим шаблонов Jinja. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, соблюдение форматов, управляемость, вызов инструментов и сниженный уровень необязательных отказов. Из ограничений следует учитывать очень большой размер модели 405B, который предполагает значительные требования к памяти и вычислительным ресурсам; конкретные параметры контекстного окна, сведения о квантизации и детальные характеристики модальностей в README не указаны. Лицензия обозначена как llama3.

InternLM2-Chat-20B — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров с поддержкой чата и контекстом 32 768 токенов по метаданным Hugging Face. README также описывает эксперименты с удлинённым контекстом до 200 тысяч токенов при использовании LMDeploy. Модель предназначена для диалогов, следования инструкциям, рассуждений, математики, программирования, творческого письма и анализа данных. Она может служить языковой основой для агентов, которые выбирают инструменты и выполняют многошаговые вызовы; запуск кода требует подключённого интерпретатора. В README приведены результаты OpenCompass, однако они зависят от версии конфигурации и не гарантируют качество в конкретном сценарии. Модель принимает текст и генерирует текст. Карточка демонстрирует использование Transformers, LMDeploy и vLLM. README сообщает, что код распространяется по Apache-2.0, веса открыты для академических исследований, а для коммерческого использования требуется бесплатная лицензия по заявке. Модель может выдавать предвзятые, дискриминационные или иные вредоносные ответы.

Это FP8-квантизированная версия инструкционной модели Mistral-Large-Instruct-2407, подготовленная Alpindale на основе Mistral AI. Модель относится к плотной архитектуре MistralForCausalLM и содержит 122,2 млрд параметров; веса, активации и KV-кэш представлены в FP8. Репозиторий содержит веса в формате safetensors. Модель предназначена для диалоговой генерации текста и запуска через vLLM или Aphrodite Engine. Контекстное окно составляет до 131 072 токенов. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков, а также интерфейс для вызова инструментов. Квантизация уменьшает требования к памяти и вычислениям по сравнению с полной точностью, сохраняя возможности базовой инструкционной модели для диалога, рассуждений и программирования. FP8 требует совместимого оборудования и программного стека; квантизация может повлиять на точность. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели и лицензии базовой модели.

ybelkada/Mixtral-8x7B-Instruct-v0.1-AWQ — это 4-битно квантованная версия Mixtral 8x7B Instruct v0.1, опубликованная пользователем ybelkada на Hugging Face. Исходную модель разработала Mistral AI. Она предназначена для генерации текста, диалоговых сценариев и выполнения инструкций; поддерживает запуск через Transformers, vLLM и SGLang. В основе лежит decoder-only Transformer с разреженной архитектурой Mixture of Experts: восемь experts примерно по 7B параметров, из которых для каждого токена выбираются два. Всего модель содержит около 47B параметров, но во время обработки токена активно используется около 13B. Контекстное окно исходной модели составляет 32K токенов. Модель обучалась на многоязычных данных и демонстрирует сильные результаты в рассуждениях, математике, генерации кода и многоязычных задачах; версия Instruct дополнительно дообучена следовать инструкциям с использованием supervised fine-tuning и Direct Preference Optimization. Ключевое преимущество этой версии — снижение требований к памяти благодаря AWQ-квантизации до 4 бит при сохранении функциональности исходной модели. Ограничения включают значительный общий объём параметров и соответствующие требования к памяти, а также возможные накладные расходы MoE-маршрутизации; эффективность зависит от совместимого программного обеспечения и GPU. Для исходной Mixtral 8x7B Instruct указана лицензия Apache 2.0, допускающая академическое и коммерческое использование; для конкретного квантованного репозитория условия следует проверять отдельно.

Карточка модели Darth-Coder/my-model3-8b-it на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Это текстовая модель-чат Ishowbackup/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic на базе NVIDIA Nemotron-3-Nano-30B-A3B-BF16. Репозиторий представляет версию с abliteration: в карточке указаны параметры изменения слоёв и снижение доли отказов с 99 из 100 у исходной модели до 6 из 100. Архитектура семейства Nemotron-H использует сочетание Mamba-2, MoE и attention; карточка описывает исходную модель как имеющую 30 млрд параметров, из которых активны 3,5 млрд на токен. Метаданные каталога указывают 1,9 млрд параметров, поэтому размер этой версии по источникам расходится. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и создания агентных приложений, включая чат-боты и RAG-системы. Поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, интерфейс вызова инструментов и контекст 262 144 токена в конфигурации; README также сообщает о возможности увеличить контекст до 1 млн токенов. Исходная модель разработана NVIDIA, а карточка этой версии сообщает об улучшении с использованием Qwen. В README модель названа пригодной для коммерческого использования, однако метаданные указывают лицензию «other», поэтому перед внедрением следует проверить условия лицензии конкретного репозитория. Снижение числа отказов означает, что модель может чаще отвечать на запросы, которые исходная версия отклоняет; результаты измерения отказов приведены на выборке из 100 запросов и не гарантируют поведение во всех сценариях.

BCCard/Qwen3-30B-A3B-FP8-Dynamic — текстовая языковая модель, разработанная BC Card на основе Qwen/Qwen3-30B-A3B. Она предназначена для генерации текста, рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. Модель принимает текст на вход и генерирует текст на выходе; поддержка других модальностей не указана. Архитектура модели — Qwen3MoeForCausalLM. Веса и активации линейных операторов в блоках Transformer квантизированы в FP8: для весов используется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокеновая схема. Квантизация примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений. По данным оценки OpenLLM v1, средний результат составляет 67,56 против 67,62 у исходной модели, что указывает на почти полное сохранение качества. Для эффективного развёртывания рекомендуется использовать vLLM, включая OpenAI-совместимый режим сервинга. Точный размер контекста и перечень поддерживаемых языков в README не указаны. Модель выпущена 5 мая 2025 года, версия 1.0. Лицензия — Apache-2.0; использование не должно нарушать применимое законодательство и торговые ограничения.

ddalcu/Qwen3.8-Flash-Next-MLX-Serve-mixed-4-8bit — это квантованный пакет модели Qwen/Qwen3.8-Flash-Next, подготовленный для mlx-serve. Модель основана на экспериментальной архитектуре Qwen4 с разреженным вниманием, Mixture-of-Experts, GDN, n-gram embedding и встроенной MTP-головой. Пакет также содержит vision tower для обработки изображений и видео. Модель предназначена для генерации текста, включая работу с кодом, длинными контекстами, диалогами, изображениями и видео, а также для сценариев с инструментами через XML-формат вызовов Qwen3.8. Заявлен нативный контекст до 262 000 токенов. Разреженное внимание после первых 2048 токенов выбирает наиболее релевантные блоки, благодаря чему стоимость внимания не растёт линейно с длиной контекста. Механизм MTP может ускорять декодирование, особенно на коде, но включается отдельно и не используется для запросов с изображениями. Полный состав оценивается в 180B параметров: 125B основной части, 51B n-gram embedding и 4B MTP-головы. Эксперты MoE хранятся в 4-bit, большинство остальных компонентов — в 8-bit, а отдельные параметры и vision tower — в bf16. Пакет рассчитан на Mac с 128 GB памяти и занимает около 75 GB резидентной памяти без учёта KV-кэша. Ограничения mlx-serve включают обработку только одного запроса одновременно, отсутствие пакетированного декодирования и возможное замедление холодного prefill длинных запросов из-за чтения n-gram-таблицы с SSD. Модель использует лицензию qwen-community-1.0; дополнительные условия следует уточнять в файле LICENSE.

Spark-X2.5-1.7B — компактная языковая модель общего назначения от разработчиков семейства Spark-X2.5. Это постобученная версия базовой модели XHToken/Spark-X2.5-1.7B-Base с плотной архитектурой Spark2_5ForCausalLM; веса доступны в формате Safetensors и рассчитаны на работу через Transformers. Архитектура сочетает полное внимание с окнами скользящего внимания, а заявленная длина контекста составляет до 1 048 576 токенов. Модель предназначена для диалогов, письма, перевода, рассуждений, программирования, вызова инструментов и агентных сценариев. Разработчики заявляют поддержку более 200 языков и обучение примерно на 20 триллионах токенов; карточка приводит результаты сравнительных тестов, но не сами значения таблицы. Модель совместима с несколькими аппаратными платформами и средствами инференса, включая SGLang и vLLM. Модель может подойти для локальных ассистентов, анализа длинных контекстов и агентных рабочих процессов. Большое окно контекста требует достаточной памяти устройства, а при ограниченных ресурсах его рекомендуется уменьшить. Лицензия — Apache-2.0.

Yi-1.5-34B-Chat-GGUF — квантизированная в формате GGUF версия диалоговой языковой модели Yi-1.5-34B-Chat, разработанной компанией 01-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового общения и широкого круга задач: генерации текста, следования инструкциям, программирования, математики, рассуждений, понимания языка, здравого смысла и чтения с пониманием. Модель содержит около 34 млрд параметров и относится к семейству текстовых моделей с архитектурной основой Llama. Она поддерживает диалоговый шаблон ChatML и рассчитана на общий сценарий использования. Yi-1.5 была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров; точная длина контекста, языки и другие технические характеристики в README не указаны. Сильные стороны модели — универсальность, развитое следование инструкциям, способности к программированию, математике, рассуждениям и пониманию текста. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для генеративных моделей риски неточностей, неподходящего или вредного содержания. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-16K — диалоговая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель на архитектуре Llama с 8,6 млрд параметров и контекстом до 16 384 токенов. Она создана на базе Yi: семейство Yi-1.5 прошло дополнительное предобучение на корпусе объёмом 500 млрд токенов и тонкую настройку на 3 млн разнообразных примеров. Модель предназначена для диалогов и выполнения инструкций, а также для задач программирования, математики, рассуждений, понимания языка и чтения. В README отмечены улучшения по сравнению с Yi в этих задачах и сильные результаты среди открытых моделей сопоставимого размера. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0. В предоставленных материалах не приведены отдельные результаты именно варианта 16K и перечень поддерживаемых языков.

Apodex-1.1-mini-GPTQ-Int4 — квантизированная версия модели Apodex-1.1-mini, разработанная Apodex AI. Это reasoning-first модель для сложных исследовательских задач с длительным горизонтом выполнения и текстовой генерации. Она ориентирована на работу с документами, наборами данных, таблицами, изображениями, кодом и внешними инструментами, включая декомпозицию задач, параллельную работу субагентов, поддержание состояния и проверку результатов перед выдачей. Модель поддерживает английский и китайский языки, использует шаблон чата Qwen3.5 и обучена для нативного вызова функций. Для агентских сценариев рекомендуется развёртывание через SGLang с OpenAI-совместимым API; в README указаны рекомендуемые параметры с максимальной длиной контекста 262144 токена и лимитом генерации 32768 токенов. Указанный формат GPTQ Int4 снижает требования к памяти, но сведения о точном размере, архитектуре и аппаратных требованиях не приведены. Сильные стороны модели — ориентация на комплексную многоэтапную работу, использование инструментов, адаптивное планирование и встроенная проверка утверждений, источников и вычислений. Ограничения связаны с тем, что результаты зависят от корректной настройки агентской инфраструктуры и доступных инструментов, а количественные показатели в README относятся преимущественно к системам Apodex и Agent Team, а не обязательно к автономной работе данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

Карточка модели ServiceNow-AI/Apriel-5B-Base на Hugging Face совпадает с карточкой ServiceNow-AI/Apriel-5B-Instruct, поэтому описание составлено по ней. Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

A.X K1 — большая языковая модель SKT, обученная с нуля без инициализации от существующей предварительно обученной модели. Это декодерный Transformer с разреженной архитектурой Mixture-of-Experts: в README указано 519 млрд параметров всего, из которых активны 33 млрд на токен; метаданные Hugging Face сообщают 37,9 млрд параметров. Архитектура включает 192 эксперта и один общий эксперт, механизм Multi-Latent Attention и контекст длиной 131 072 токена. Модель предназначена для диалоговой генерации текста, следования инструкциям и рассуждений. Режим Think позволяет получать развёрнутые ответы с промежуточными шагами, а Non-Think — более краткие ответы с меньшей задержкой. Токенизатор оптимизирован для английского, корейского, китайского, японского и испанского языков, а также исходного кода и структурированного текста. Метаданные карточки подтверждают английский и корейский; модель опубликована в формате safetensors и поддерживает чат. Модель подходит для задач, требующих высокой ёмкости и работы с длинным контекстом; разреженная архитектура рассчитана на более эффективное использование вычислений, чем плотная модель сопоставимой общей ёмкости. README предупреждает, что ответы могут быть неверными или вводящими в заблуждение, объяснения в режиме Think не следует считать достоверным отражением внутренних процессов модели, а качество может различаться по предметным областям и языкам. Лицензия — Apache-2.0.

DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

Карточка модели winterthurquants/DeepSeek-V4-Pro на Hugging Face совпадает с карточкой winterthurquants/DeepSeek-V4-Flash, поэтому описание составлено по ней. DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

Gemma 2 9B Instruct — языковая instruction-tuned модель Google из семейства Gemma, распространяемая в формате GGUF для локального запуска. Квантизация выполнена bartowski на основе llama.cpp; исходная модель — google/gemma-2-9b-it. Модель предназначена для диалогов, генерации и анализа текста, работы с кодом, математическими задачами и сценариев общего назначения. Модель содержит около 9 миллиардов параметров и обучалась на 8 триллионах токенов, включая преимущественно англоязычные веб-документы, код и математические материалы. Большой словарный запас способствует работе с многоязычным текстом и программированием, однако README не указывает точный набор поддерживаемых языков и размер контекстного окна. Формат GGUF и относительно небольшой размер делают модель подходящей для систем с ограниченными ресурсами, но качество и скорость зависят от выбранного уровня квантизации и оборудования. Для корректной работы в LM Studio 0.2.27 или новее рекомендуется выбрать шаблон «Google Gemma Instruct». Системные сообщения не поддерживаются. Модель может создавать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face необходимо принять условия этой лицензии.

unsloth/gemma-4-12b-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 12B Unified, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для локального выполнения на потребительских устройствах, рабочих станциях и серверах, а также для генерации текста, программирования, рассуждений, агентских сценариев и задач с вызовом функций. Модель имеет около 12 млрд параметров и использует унифицированную архитектуру без отдельных энкодеров, напрямую обрабатывая текст, изображения, аудио и видео и генерируя текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов, настраиваемые режимы рассуждений и системные промпты. Архитектура сочетает локальное скользящее и глобальное внимание, что рассчитано на снижение требований к памяти при работе с длинным контекстом; поддерживается переменное соотношение сторон и разрешение изображений. К сильным сторонам относятся сочетание мультимодального понимания, длинного контекста, возможностей рассуждения, программирования и нативного function calling, а также возможность локального запуска в формате GGUF. README не содержит подробных результатов тестирования, требований к оборудованию или описания ограничений качества, поэтому практическая производительность зависит от используемой квантизации и среды выполнения. Модель распространяется по лицензии Apache 2.0.