II.7DevOps, облако и эксплуатация IT-систем

unsloth/gemma-4-E2B-it-UD-MLX-4bit — 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E2B, подготовленная Unsloth на базе google/gemma-4-E2B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как открытые модели с открытыми весами. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, рассуждений, программирования, мультимодального анализа и агентских сценариев с поддержкой function calling. Она принимает текстовые и графические данные, а также аудио, и генерирует текст. Для E2B заявлено контекстное окно до 128K токенов и поддержка более 140 языков. E2B — компактная dense-модель с 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоями, локальным окном внимания 512 токенов и словарём на 262 тысячи токенов. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также Per-Layer Embeddings для повышения эффективности на устройствах. 4-битное представление снижает требования к памяти и подходит для локального запуска через MLX, однако README не приводит подробных результатов бенчмарков или количественной оценки потерь качества после квантизации. Лицензия — Apache 2.0.

NVIDIA GLM-5.3-Flash NVFP4 — квантизированная версия модели GLM-5.3-Flash, разработанной ZAI и подготовленной NVIDIA с использованием Model Optimizer. Это авторегрессионная мультимодальная модель на базе оптимизированной Transformer-архитектуры с Mixture-of-Experts (MoE), гибридным механизмом разреженного и линейного внимания и Manifold-Constrained Hyper-Connections (mHC). Общее число параметров составляет 320 млрд, из них активируется 18 млрд. Модель предназначена для рассуждений, программирования и агентных задач, а также для чат-ботов, RAG-систем и других приложений на базе ИИ. Она принимает текст, изображения и видео, включая RGB-изображения и видео в форматах MP4/WebM, и генерирует текст. Заявлена поддержка контекста длиной до 1 млн токенов, однако сведения о поддерживаемых языках отсутствуют. Модель оптимизирована для инференса на GPU NVIDIA, в частности на архитектуре Blackwell, и поддерживает запуск через vLLM и SGLang в Linux. Квантизация весов и активаций в формат NVFP4 уменьшает вычислительные требования по сравнению с полной версией, но README не содержит количественных оценок качества, скорости или потребления памяти. Данные обучения не раскрыты; для калибровки использовались CNN/Daily Mail и Nemotron-Post-Training-Dataset-v2. Модель распространяется по лицензии MIT и разрешена для коммерческого и некоммерческого использования.

Sprinter-Spb/gpt-oss-20b — размещённая пользователем версия открытой модели gpt-oss-20b от OpenAI. Это языковая модель с архитектурой Mixture of Experts и классом GptOssForCausalLM; в README для исходной модели указаны 21 млрд параметров и 3,6 млрд активных параметров, а метаданные этой карточки сообщают 1,6 млрд параметров. Модель ориентирована на диалог, рассуждения, агентные сценарии и задачи разработчиков. Она принимает текст в формате Harmony, поддерживает вызов функций и настройку уровня рассуждений; заявленная длина контекста — 131 072 токена. Модель рассчитана на более низкую задержку и локальное использование; README указывает, что вариант gpt-oss-20b с MXFP4 может работать в пределах 16 ГБ памяти. Среди сценариев — ответы на вопросы, генерация текста и кода, использование инструментов и структурированный вывод. Карточка описывает семейство как тонко настраиваемое, но не сообщает о специальном дообучении этой версии Sprinter-Spb. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется формат Harmony; README также предупреждает, что цепочку рассуждений не следует показывать конечным пользователям.

Карточка модели jdlovestofish/granite-4.2-8b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-8b, поэтому описание составлено по ней. Granite-4.2-8B — языковая модель команды Granite компании IBM для диалогов, рассуждений и работы с инструментами. Это плотный декодерный трансформер GraniteForCausalLM с 8,4 млрд параметров, доступный в формате safetensors и рассчитанный на библиотеку Transformers. Модель дообучена на базе ibm-granite/granite-4.1-8b-base; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на вопросы, многошаговых рассуждений, математических и программных задач, а также сценариев, где нужно выбирать и вызывать инструменты. Поддерживаются режимы полного, облегчённого и отключённого рассуждения. Метаданные указывают контекст до 131 072 токенов. Архитектура включает Grouped Query Attention, RoPE, SwiGLU и RMSNorm. Модель обучалась преимущественно на английских инструкциях, также включает многоязычные данные для немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Качество на других языках может уступать английскому; ответы могут быть неточными, предвзятыми или небезопасными. Текст рассуждений может содержать промежуточные мысли и не отражать итоговый ответ.

Hermes-4-14B-AWQ-4bit — квантизированная 4-битная версия языковой модели Hermes 4 14B, разработанной Nous Research на базе Qwen 3 14B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, решения задач по математике, программированию, STEM и логике, творческого письма, структурированного вывода данных, а также сценариев с вызовом функций и использованием инструментов. Модель поддерживает гибридный режим рассуждений: при необходимости формирует сегменты <think>…</think>, а в быстром режиме может отвечать без длительного рассуждения. Она обучена следовать инструкциям, соблюдать заданные JSON-схемы и исправлять некорректные структурированные объекты. Для взаимодействия используется формат ChatML; заявлена поддержка английского языка. Архитектура основана на Qwen 3 14B, однако точная длина контекста в README не указана. Мультимодальные возможности не заявлены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, качество форматирования, управляемость и поддержка function calling и tool use. К ограничениям относятся зависимость качества от корректного применения ChatML-шаблона и инструментов, а также возможные компромиссы 4-битной квантизации по сравнению с полноточной версией; конкретные результаты бенчмарков в README не приведены. Модель распространяется по лицензии Apache 2.0.

Hermes 4 405B — языковая модель Nous Research для диалогов и следования инструкциям, дообученная на базе Meta Llama 3.1 405B. Это плотная авторегрессионная модель с 403,7 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для работы в роли универсального ассистента: она ведёт диалог, рассуждает, помогает с математикой, программированием, STEM-задачами, логикой и творческим письмом. Поддерживает гибридный режим рассуждений, вызов функций и инструментов, а также генерацию структурированных ответов, включая JSON по заданной схеме. В карточке указана поддержка английского языка. Разработчик сообщает об улучшениях в рассуждениях, следовании форматам и управляемости после дообучения. Реальное качество может зависеть от запроса, шаблона чата и настроек генерации; работа с инструментами требует подходящего парсера и среды исполнения. Лицензия — Llama 3.

genevaquant/Hermes-4-405B-u — вариант Hermes 4 405B от GenevaQuant, созданный на основе NousResearch/Hermes-4-405B. Это плотная авторегрессионная модель семейства Llama 3.1 с 403,7 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса Safetensors и исправления шаблона чата Unsloth; для llama.cpp в карточке рекомендуется режим --jinja. Модель предназначена для диалогов и следования инструкциям, рассуждений, задач по математике, программированию, STEM и логике, а также генерации ответов в заданном формате, включая JSON. Поддерживает интерфейс вызова инструментов. README описывает гибридный режим рассуждений и заявляет улучшения в управляемости, качестве рассуждений и структурированной генерации. Карточка указывает английский язык. Это крупная модель, для обслуживания которой README рекомендует многопроцессорные серверы с SGLang или vLLM; качество и корректность структурированного вывода зависят от промпта и настроек инференса. Лицензия репозитория — Llama 3; ознакомьтесь с её условиями перед использованием.

Hermes 4 70B FP8 — языковая модель для генерации текста, разработанная Nous Research на базе Meta Llama 3.1 70B. Это instruct-модель с гибридным режимом рассуждений: при необходимости она формирует рассуждение в сегментах <think>...</think>, а затем выдаёт итоговый ответ. Модель ориентирована на чат и роль универсального ассистента, поддерживает форматы ChatML и Llama 3, текстовый ввод и вывод, а также заявленные сценарии function calling, tool use, JSON и структурированных ответов. В карточке указан английский язык и библиотека Transformers; размер контекста не указан. Модель предназначена для задач общего ассистирования, reasoning, математики, программирования, STEM, логики, творческого письма, ролевого общения и генерации ответов в заданной структуре. Среди заявленных сильных сторон — улучшенное следование схемам и форматам, способность исправлять некорректные JSON-объекты, управляемость, сниженный уровень отказов и сохранение общего качества диалога. Ограничения включают высокие вычислительные требования, характерные для модели класса 70B, отсутствие в карточке подробных независимых результатов тестирования и ограниченную информацию о поддерживаемых языках: явно указан только английский. Распространение осуществляется по лицензии Llama 3.

Hunyuan-A13B-Instruct — чат-модель Tencent для генерации текста и ответов на инструкции. Она построена на архитектуре Mixture-of-Experts (MoE) с Grouped Query Attention; README указывает 80 млрд параметров всего и 13 млрд активных при выводе. В метаданных репозитория при этом указано 3,1 млрд параметров, поэтому размер модели в карточке и метаданных расходится. Модель предназначена для диалога, сложных рассуждений, математики, научных вопросов, программирования и агентных сценариев с вызовом инструментов. Поддерживает режимы быстрого и пошагового рассуждения, а README заявляет контекст до 256K токенов. Метаданные указывают контекст 32 768 токенов; доступные сведения не позволяют разрешить это расхождение. Для запуска описана поддержка Transformers, TensorRT-LLM, vLLM и SGLang. В README приведены конкурентные результаты на бенчмарках математики, науки, кода, рассуждений и агентных задач, но они не гарантируют аналогичного качества в прикладных сценариях. Языковая поддержка отдельно не перечислена. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в файле LICENSE репозитория.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.1 8B Instruct. Исходную модель разработала Meta, а файлы в формате GGUF подготовил brittlewis12 с использованием llama.cpp и autogguf. Модель работает с текстом на входе и выходе; в метаданных указано, что поддерживается английский язык. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, рассуждений, решения математических задач, программирования и использования инструментов. Формат GGUF ориентирован на локальный запуск через совместимые приложения и llama.cpp, включая устройства Apple. В README также указаны улучшения для работы с длинным контекстом, однако точный размер контекстного окна не приведён. Ключевые достоинства — относительно небольшой размер 8B, возможность локального использования и хорошие результаты исходной модели на ряде тестов, включая HumanEval, GSM-8K, MMLU и API-Bank. Ограничения включают текстовую модальность, отсутствие сведений о конкретном типе и степени квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Модель распространяется по лицензии Llama 3.1; применимые условия определяются лицензией Meta.

Mistral-Small-3.1-24B-Instruct-2503-GGUF — текстовая инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF. Квантование подготовлено bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и задач, требующих продвинутого рассуждения. Модель поддерживает контекст длиной до 128 тысяч токенов и множество языков, включая английский, французский, немецкий, греческий, хинди, индонезийский, итальянский, японский, корейский, малайский, непальский, польский, португальский, румынский, русский, сербский, испанский, шведский, турецкий, украинский, вьетнамский, арабский, бенгальский, китайский и фарси. Указанная версия является текстовой и не поддерживает другие модальности. Размер базовой модели — 24B параметров. К сильным сторонам относятся широкий языковой охват, длинный контекст и ориентация на агентские и сложные задачи рассуждения. Ограничения включают текстовую специализацию, возможные ошибки, неточности и нежелательные ответы, типичные для генеративных моделей, а также зависимость производительности и качества от выбранного варианта квантования и аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

mnma_qwen3.8_27b_nvfp4 — квантизированная версия языковой модели Qwen3.8-27B, разработанная Minima на основе посттренировочной квантизации. Модель предназначена для генерации текста, диалоговых сценариев, решения математических и экзаменационных задач, программирования и работы с длинным контекстом. Это текстовая модель без vision-компонента, сохраняющая поддерживающий рассуждения chat template. Все 496 линейных слоёв backbone, включая 48 слоёв Gated DeltaNet, 16 attention-слоёв и 64 MLP-слоя, переведены в формат NVFP4 W4A4 с размером группы 16. Embeddings, lm_head, conv1d, нормализации, A_log и dt_bias сохранены в BF16, а KV-cache использует откалиброванные статические FP8-масштабы. Заявлены существенное снижение потребления памяти и ускорение: 17,53 GiB против 50,13 GiB для BF16, 1154 против 621 токена в секунду при указанной нагрузке и время prefill 32K около 4,03 секунды против 6,90 секунды. Модель требует vLLM не ниже 0.27 и GPU с аппаратной поддержкой NVFP4, например NVIDIA Blackwell SM120. По приведённым измерениям качество в большинстве задач близко к BF16: результаты GSM8K и AIME'25 совпадают, а различия на MMLU-Pro, GPQA-Diamond и LiveCodeBench невелики. Ограничениями являются зависимость от совместимого оборудования и vLLM, а также некоторое ухудшение perplexity, особенно на контексте 4K; сравнение корректно только при одинаковых настройках обслуживания. Модель распространяется по лицензии Apache-2.0.

Карточка модели Openintelligent123/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

q3mds-8b — объединённая текстовая языковая модель, созданная bloomsirenix с помощью mergekit методом DARE TIES. В объединение вошли Qwen/Qwen3-8B, DeepSeek-R1-0528-Qwen3-8B, Qwen3-8B-ABC и OpenCodeEdit-Qwen3-8B; базой указан Qwen3-8B. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и имеет контекстное окно до 40 960 токенов. Модель предназначена для диалоговой генерации текста, ответов на инструкции, рассуждений и помощи с кодом. Она принимает текст и выдаёт текст. Поддерживает многоязычное использование; конкретный перечень языков для этой сборки не установлен в предоставленных данных. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии Apache-2.0. Качество и поведение могут отличаться от отдельных моделей, вошедших в слияние; README не приводит сравнительных оценок или результатов тестирования.

unsloth/Qwen2.5-14B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-14B, подготовленная Unsloth на основе Qwen/Qwen2.5-14B, разработанной командой Qwen. Модель предназначена для задач генерации и продолжения текста, а также для последующего дообучения, включая SFT, RLHF и continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Это авторегрессионная текстовая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к эмбеддингам, включает 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Контекстное окно составляет 131 072 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель ориентирована только на работу с текстом; сведения о других модальностях отсутствуют. К сильным сторонам относятся улучшенные по сравнению с Qwen2 возможности в программировании и математике, следование инструкциям, обработка структурированных данных и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может приводить к потере точности по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0.

furiosa-ai/Qwen3-4B-FP8 — это версия модели Qwen3-4B-FP8, подготовленная FuriosaAI для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 4 млрд параметров. Разработчик базовой модели — команда Qwen, а FuriosaAI предоставляет исполняемый пакет FXB и интеграцию с собственным программным стеком. Модель предназначена для генерации текста, общего диалога, сложных рассуждений, математических и программных задач, вызова инструментов и агентских сценариев. Она поддерживает гибридный режим: по умолчанию может формировать рассуждение перед ответом, а для отдельных запросов рассуждение можно отключить ради более эффективной работы. Также поддерживается multilingual-использование, однако в карточке явно указан английский язык. Входные и выходные данные — текстовые, доступен OpenAI-совместимый API. Веса статически квантизированы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-cache сохраняется в 16-битной точности. На FuriosaAI RNGD модель работает с tensor parallelism на 8 вычислительных элементах одной карты. Ограничения связаны с зависимостью данной сборки от Furiosa-LLM и оборудования RNGD; сведения о размере контекста и точном перечне поддерживаемых языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

p-e-w/Qwen3-4B-Instruct-2507-heretic-v2 — разговорная языковая модель на архитектуре Qwen3, созданная на основе Qwen3-4B-Instruct-2507. Модель использует причинную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и принимает текст для генерации текстовых ответов. Нативная длина контекста — 262 144 токена; заявлен режим без рассуждений в специальном формате thinking. Модель предназначена для диалога и выполнения инструкций, включая ответы на вопросы, рассуждения, математику, программирование и работу с инструментами. В README указана abliteration: в приведённом сравнении доля отказов снизилась с 100 из 100 у исходной модели до 8 из 100 у этой версии. Это не гарантирует отсутствия отказов или корректности ответов. Карточка не уточняет языковой охват этой производной версии; README базовой модели заявляет многоязычные возможности и контекстное понимание длинных текстов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.6-35B-A3B-AWQ-4bit — квантованная 4-битная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. В карточке указано, что квантование выполнено с калибровкой на данных для STEM-задач и агентных сценариев. Это каузальная языковая модель с визуальным энкодером, предназначенная для работы с текстом и изображениями, включая программирование, фронтенд-разработку, рассуждения на уровне репозиториев и агентные рабочие процессы. Она поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Заявлена длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта; в архитектуре используются Gated DeltaNet и Gated Attention. Размер файлов модели составляет около 24,97 ГБ. Потенциальные сильные стороны — высокая эффективность за счёт разреженной активации экспертов, большой контекст, мультимодальность и ориентация на кодинг и агентные задачи. Ограничения и точные требования к аппаратному обеспечению в README не указаны; результаты приведённых бенчмарков также представлены неполностью. Лицензия — Apache-2.0.

jakejb53/Qwen3.8-27B-heretic — производная от Qwen/Qwen3.8-27B модель, дообученная для снижения числа отказов: в приведённом сравнении она отказала в 0 из 100 случаев против 63 из 100 у исходной модели. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, основанная на архитектуре Qwen3.5 и предназначенная для диалогов с текстом и изображениями; семейство поддерживает также анализ видео. Модель использует формат Transformers и веса safetensors в bf16, совместима с Transformers, vLLM и SGLang. Модель подходит для программирования, профессиональных и исследовательских задач, анализа изображений и документов, а также многошаговых сценариев с планированием. Контекст базовой модели составляет 262 144 токена с возможностью расширения до 1 млн; README указывает, что режим рассуждений включён по умолчанию и может настраиваться. Снижение отказов может приводить к ответам на запросы, которые исходная модель отклоняла. В репозитории указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, созданная preetpatel на базе Qwen3.8-27B от Qwen. Исходная модель представляет собой abliteration/fine-tune без встроенных ограничений, ориентированный авторами на red teaming и исследования. Данный репозиторий изменяет числовой формат весов и не выполняет дополнительное обучение. Модель предназначена для генерации текста, рассуждений, программирования, работы в составе coding-agent, вызова инструментов и обработки изображений. Поддерживаются текстово-графические сценарии, function calling и вывод рассуждений через тег <think>. Заявлены английский и китайский языки. Модель использует гибридную архитектуру с gated-DeltaNet и linear-attention блоками; квантизация NVFP4 по схеме W4A4 применяется к весам и активациям линейных слоёв, а vision tower, lm_head и некоторые слои сохраняются в BF16. Размер весов составляет около 19 ГБ вместо примерно 56 ГБ в BF16. На одной RTX 5090 с 32 ГБ памяти заявлена работа с контекстом до 160 тысяч токенов при использовании vLLM и FP8 KV-cache. К сильным сторонам относятся низкое потребление видеопамяти, поддержка длинного контекста, изображений, структурированных вызовов инструментов и сценариев автономного агента. README сообщает об успешных тестах извлечения данных из контекста длиной до 155 тысяч токенов, параллельной обработке запросов и tool calling. Ограничения включают привязку оптимизаций к GPU Blackwell и совместимому окружению vLLM, а также небольшое дополнительное округление при слиянии некоторых квантизированных слоёв; возможное влияние на точные бенчмарки следует учитывать. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Deritak/Qwen3.8-Flash-Next-heretic-2-ROCMFP4 — размещённая пользователем сборка Qwen3.8-Flash-Next, причинной языковой модели с визуальным энкодером. README описывает гибридную архитектуру с Gated DeltaNet, Qwen Sparse Attention, Mixture of Experts и n-граммными эмбеддингами: заявлены 125 млрд параметров, из которых активируются 6 млрд, а также отдельные параметры эмбеддингов и слой multi-token prediction. Модель принимает текст и изображения и предназначена для диалогов, задач с длинным контекстом и агентных сценариев, включая работу с кодом и офисными приложениями. В README указан контекст 262 144 токена с возможностью расширения до 1 000 000. Автор репозитория сообщает о проблеме с встроенной квантизацией MTP и рекомендует её не использовать; приведённые замеры скорости относятся к AMD AI Max+ PRO 395. Метаданные указывают GGUF и GGUF BF16, но лицензию обозначают только как other, поэтому точные условия использования по доступным сведениям определить нельзя.

Qwen-SEA-LION-v4.5-27B-IT-GGUF — это квантизированная в формате GGUF версия мультимодальной инструкционно настроенной модели Qwen-SEA-LION-v4.5-27B-IT. Модель разработана AI Products Pillar при AI Singapore при финансовой поддержке National Research Foundation Singapore и построена на архитектуре Qwen3.6-27B. Она представляет собой каузальную языковую модель с визуальным энкодером и предназначена для коммерческого использования. Модель ориентирована на сложное рассуждение, многошаговое планирование, генерацию кода, работу с инструментами, структурированными схемами и агентными сценариями. Она поддерживает обработку текста и изображений, контекст длиной до 262 тысяч токенов и оптимизирована для языков и культур Юго-Восточной Азии. Дообучение проводилось на бирманском, индонезийском, филиппинском, малайском, тамильском, тайском и вьетнамском языках; также заявлена конкурентоспособная работа с английским и китайским. Доступны варианты квантизации Q4_K_M размером 16,8 ГБ, Q6_K размером 22,4 ГБ, Q8_0 размером 29 ГБ и F16 размером 54,7 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. К сильным сторонам относятся большой контекст, региональная языковая специализация, мультимодальность и развитые возможности использования инструментов. При этом модель не проходила полноценное выравнивание по безопасности и не тестировалась на устойчивость к adversarial prompting; возможны галлюцинации, нерелевантные ответы и фактические ошибки, поэтому результаты требуют проверки и дополнительной настройки безопасности. Модель распространяется по лицензии MIT. Для запуска GGUF-версий в README приведён пример использования llama.cpp; для визуального ввода требуется отдельный файл mmproj.

Spark-X2.5-4B-Base — предварительно обученная плотная языковая модель семейства Spark2.5 от разработчиков Spark-X2.5. Она содержит 3,8 млрд параметров и предназначена для генерации текста, диалогов, написания и перевода текстов, рассуждений, программирования и использования инструментов в агентных сценариях. Гибридная архитектура чередует один слой полного внимания с тремя слоями внимания в скользящем окне, что помогает снизить вычислительные затраты и расход KV-кэша при длинном контексте. Модель поддерживает контекст до 1 048 576 токенов. README заявляет поддержку более 200 языков, включая английский и китайский; метаданные также отмечают интерфейс для вызова инструментов. Веса доступны в формате Safetensors для Transformers. Модель рассчитана на применение в чат-ботах, программировании и агентных системах; совместима с несколькими аппаратными платформами и системами инференса. Лицензия — Apache-2.0. Заявленные в карточке сравнительные преимущества не сопровождаются здесь подробностями оценок; фактическое качество может зависеть от задачи и конфигурации.

Synthia-4-27B — мультимодальная диалоговая модель и персональный ИИ-ассистент, созданный Migtissera на основе Qwen/Qwen3.8-27B. Это плотная модель с 27 млрд параметров, дообученная на длинных агентных сессиях: обучение охватывало ответы ассистента и вызовы инструментов. Она рассчитана на продолжительные диалоги, работу с инструментами и многошаговые задачи — от планирования, исследований и творческой работы до программирования, отладки и анализа изображений. Поддерживает ввод изображений и видео, контекстное окно до 262 144 токенов и многошаговое предсказание токенов (MTP); дообучение проводилось на последовательностях длиной до 65 536 токенов. Для неё заявлены сохранение контекста и устойчивого стиля в длинных сессиях, а также переход между беседой и выполнением задач. Эти качества проверялись в агентной среде, но постоянную память между сессиями должен предоставлять хост-runtime. Опубликован объединённый чекпойнт BF16 в формате Safetensors для Transformers; лицензия — Apache-2.0.

T-pro-it-2.0 — плотная языковая модель семейства Qwen3, разработанная t-tech на базе Qwen/Qwen3-32B с продолженным предобучением и этапами выравнивания. Модель содержит 29,7 млрд параметров, рассчитана на генерацию текста и диалог; в карточке заявлена поддержка русского языка и контекст до 40 960 токенов по метаданным. README указывает нативную длину контекста 32 768 токенов. Модель предназначена для русскоязычных запросов общего назначения, включая рассуждения, ответы на вопросы и программирование. Обучение включало 40 млрд токенов инструкционных данных, около 500 тыс. примеров для supervised fine-tuning и около 100 тыс. примеров preference tuning; предусмотрены режимы с рассуждением и без него. В README приведено сравнение с Qwen 3 32B и другими моделями на русскоязычных бенчмарках. Для инференса рекомендован SGLang; настройки генерации предлагается выбирать с учётом режима и сложности запроса. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают, что перед промышленным или коммерческим применением необходимы дополнительная проверка, обучение и контроль ответов.

Yi-1.5-34B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Это чат-версия Yi-1.5: семейство непрерывно предобучали на высококачественном корпусе объёмом 500 млрд токенов, затем дообучили на 3 млн разнообразных примеров. Модель предназначена для диалога и следования инструкциям. Она подходит для генерации ответов, помощи с программированием и математикой, рассуждений, понимания языка и чтения текстов. Разработчики отмечают улучшения в коде, математике, рассуждениях и выполнении инструкций по сравнению с Yi. Для этой версии в метаданных указан контекст 4096 токенов; доступны веса в формате safetensors. Модель принимает и выдаёт текст. Карточка не приводит конкретного перечня поддерживаемых языков. Лицензия — Apache-2.0.

Youtu-LLM-2B — инструктивная языковая модель Tencent для диалогов, рассуждений и выполнения задач агентного типа. Это плотная авторегрессионная модель с архитектурой YoutuForCausalLM и механизмом Dense MLA; в ней около 2 млрд параметров, 32 слоя и словарь из 128 256 токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режим рассуждений, включаемый через шаблон диалога. Модель предназначена для чат-ботов, ответов на вопросы, задач STEM и программирования, работы с длинными контекстами и многошаговых агентных сценариев. Карточка приводит сравнительные результаты на общих и агентных бенчмарках, но эти оценки не гарантируют качество на конкретных данных. В репозитории указана лицензия other; конкретные условия следует сверять с текстом лицензии проекта.

Calcium-Opus-20B-v1 — диалоговая языковая модель на архитектуре Qwen2, созданная на основе Qwen/Qwen2.5-14B-Instruct и дообученная для рассуждений, математики, программирования и следования инструкциям. По метаданным модель содержит 18,4 млрд параметров, использует Transformers и формат safetensors; заявленное в README контекстное окно до 128K токенов расходится с указанным в метаданных пределом 4096 токенов, поэтому фактический размер контекста следует уточнить для конкретной версии. Модель предназначена для диалоговых помощников, генерации и анализа текста, решения математических задач, написания и отладки кода, работы с таблицами и JSON, а также создания длинных материалов. README заявляет поддержку более 29 языков, включая русский и английский; метаданные карточки указывают английский. Заявлены генерация до 8K токенов за один ответ и интерфейс вызова инструментов. Лицензия Apache-2.0. Качество может различаться между языками; возможны ошибки в длинных ответах, повторы и неверные выводы при неоднозначных или состязательных запросах. Модель не обладает актуальными знаниями о событиях после обучения и требует значительных вычислительных ресурсов.

DeepSeek-V2 — языковая модель компании DeepSeek для генерации текста и диалогов. Она основана на архитектуре Mixture-of-Experts (MoE): в README указаны 236 млрд параметров всего и 21 млрд активных на каждом токене; архитектура включает DeepSeekMoE и механизм внимания MLA, который сжимает данные для KV-кэша. В метаданных репозитория указано 18,1 млрд параметров, поэтому сведения о размере в источниках расходятся. Модель обучена на корпусе объёмом 8,1 трлн токенов с последующими этапами supervised fine-tuning и reinforcement learning. Она предназначена для продолжения текста, диалогов, ответов на вопросы, рассуждений и задач программирования. README сообщает о контексте до 128 тысяч токенов, а метаданные указывают нативный контекст 163 840 токенов. Результаты приведены, в частности, для англоязычных и китайских тестов; сведений о поддержке конкретного набора языков нет. DeepSeek-V2 заявлена как более эффективная в обучении и инференсе благодаря MoE и MLA. Для локального запуска в BF16 README указывает требование к оборудованию 8 GPU по 80 ГБ; для инференса также предлагается vLLM. Лицензия в метаданных обозначена как other, поэтому конкретные права использования по этим данным определить нельзя.

cyankiwi/gemma-4-26B-A4B-it-qat-AWQ-INT4 — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанного Google DeepMind, в формате AWQ INT4 с использованием Quantization-Aware Training. Модель основана на google/gemma-4-26B-A4B-it-qat-q4_0-unquantized и предназначена для локального и серверного развёртывания с уменьшенными требованиями к памяти; размер файлов модели составляет около 17,19 ГБ. Модель принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии, включая нативный вызов функций и поддержку системных инструкций. Для варианта 26B заявлено контекстное окно до 256K токенов. Семейство поддерживает более 140 языков; в карточке явно указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Ключевые преимущества — мультимодальность, режимы настраиваемого рассуждения, улучшенные возможности программирования и агентов, а также снижение потребления памяти благодаря QAT и INT4-квантизации при стремлении сохранить качество, близкое к bfloat16. Ограничения включают возможные потери качества из-за квантизации, требования к совместимому ПО и оборудованию, а также отсутствие в README конкретных результатов бенчмарков и детальных требований к ресурсам. Модель распространяется по лицензии Apache 2.0.