II.7DevOps, облако и эксплуатация IT-систем

ArliAI/Qwen3.5-27B-Derestricted — модифицированная версия Qwen3.5-27B, разработанная Arli AI. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Её ключевая особенность — уменьшение или удаление поведения, связанного с отказами в ответах, при сохранении возможностей исходной модели. Модель содержит около 27 млрд параметров и построена как каузальная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; языковая часть включает 64 слоя. Заявлена поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. Точный размер контекста в предоставленных данных не указан. Для модификации применён метод Norm-Preserving Biprojected Abliteration: направление, связанное с отказами, удаляется с сохранением исходных норм весов. Это потенциально помогает сохранить рассуждения и общую производительность лучше, чем стандартная abliteration, однако приведённые в README утверждения о преимуществах основаны на заявлениях разработчика и не сопровождаются конкретными результатами тестов. Отсутствие защитных отказов расширяет область применения, но повышает риск генерации небезопасного или вредоносного контента. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модификация модели Qwen/Qwen3.6-35B-A3B, подготовленная HauhauCS. Это мультимодальная модель в формате GGUF для генерации текста, работы с изображениями и видео, а также для диалоговых, аналитических, творческих и программных задач. Версия Aggressive ориентирована на минимальное количество отказов: по данным README, она не содержит дополнительных изменений в датасетах или базовых возможностях, но отключает встроенные отказы модели. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8, 40 слоёв и гибридная схема внимания: линейное и полноразмерное softmax-внимание в соотношении 3:1. Нативное контекстное окно составляет 262 тысячи токенов. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется отдельный файл mmproj; доступны различные варианты квантования GGUF, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Сильными сторонами являются большое контекстное окно, мультимодальность, низкое число активных параметров при значительном общем объёме модели и широкий выбор квантований, включая оптимизированные K_P-варианты с повышенным сохранением качества. Ограничением является отсутствие или ослабление защитных механизмов: модель может генерировать нежелательный, небезопасный или потенциально вредный контент, поэтому требует дополнительного контроля в прикладных системах. Для сохранения возможностей рассуждения рекомендуется использовать контекст не менее 128 тысяч токенов; для vision-сценариев необходим mmproj-файл. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-1M-qx86-hi-mlx — экспериментальная объединённая модель, разработанная независимой AI-лабораторией NightmediaAI (Монтана, США). Она создана на основе нескольких моделей семейств Qwen3.6 и Qwen3.8, включая Wichtel-Qwen3.6-27B, Qwen3.8-27B-heretic-ara и варианты Cold Fusion и GAIN. Модель содержит около 27 миллиардов параметров и распространяется в формате MLX с квантизацией qx86-hi. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, исследовательских и математических задач, а также творческого письма, сюжетной генерации и ролевых сценариев. В метаданных указаны английский, китайский, японский и испанский языки. Заявлена поддержка контекстных окон до 1 миллиона токенов; конфигурацию RoPE можно изменить на 512 тысяч, 1 миллион или вернуть к стандартным 256 тысячам токенов. Вариант qx64-hi также предоставлен для экспериментальной работы с контекстом до 2 миллионов токенов. По приведённым тестам модель показывает лучшие результаты по ряду бенчмарков и меньшую perplexity по сравнению с базовой Qwen3.8-27B. Для конфигурации qx86-hi указаны пиковое потребление памяти около 33 ГБ и скорость около 171 токена в секунду, однако фактические показатели зависят от оборудования и настроек. Это экспериментальный merge, поэтому поведение различных квантизаций может отличаться, а заявленные сверхдлинные контексты требуют дополнительной проверки. Лицензия — Apache-2.0.

RedHatAI/Qwen3.8-27B-INT4 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная RedHatAI. Это мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration: принимает текст и изображения, генерирует текст. Заявлены поддерживаемые языки английский и китайский. Размер контекста в README не указан. Модель предназначена для диалоговых приложений, следования инструкциям, рассуждений, решения математических задач, ответов на вопросы и обработки визуально-текстовых запросов. Веса линейных операторов в блоках Transformer квантизированы до INT4, активации сохраняют исходную точность, а KV-cache использует FP8. Оптимизация снижает размер на диске и требования к памяти GPU примерно на 75% по сравнению с 16-битным представлением и подготовлена для инференса через vLLM с поддержкой выбора инструментов и мультимодального кодировщика. По результатам оценки модель сохранила большую часть качества BF16-версии на тестах IFEval, MMLU-Pro, GSM8K Platinum, MATH-500, GPQA Diamond и AIME 2025; небольшое снижение наблюдается на большинстве benchmark-ов, хотя на GSM8K Platinum результат оказался выше. Ограничения включают возможные потери качества из-за квантизации, отсутствие сведений о размере контекста и неполное описание требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-tinker-s105-prime-step255 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

btbtyler09/Qwen3.8-Flash-Next-GPTQ-4bit — это GPTQ-квантизированная 4-битная версия Qwen/Qwen3.8-Flash-Next, разработанного командой Qwen. Модель представляет собой предварительную реализацию архитектуры Qwen4: разреженную мультимодальную MoE-модель, поддерживающую текст и изображения. Она предназначена для генерации и анализа текста, работы с кодом, обработки длинного контекста и мультимодальных сценариев, включая использование через Transformers и совместимые средства инференса, например vLLM. В составе модели 125 млрд параметров, из которых около 6 млрд активируются на один токен, а также 51 млрд параметров n-gram embedding table и 4 млрд параметров MTP-модуля; общий размер чекпойнта составляет около 180 млрд параметров. Архитектура включает 48 MoE-слоёв: 36 слоёв с линейным вниманием Gated DeltaNet и 12 слоёв с полным разреженным вниманием, 512 маршрутизируемых экспертов на слой, 4 параллельных residual-потока, vision encoder на базе 27-блочного ViT и однос layer MTP-модуль для speculative decoding. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн токенов с YaRN. Ключевые компоненты модели используют BF16, а эксперты и проекции полного внимания квантизированы в INT4 с group size 32. Главное преимущество чекпойнта — существенное сокращение объёма GPU-памяти: примерно до 80 ГБ для GPU-резидентной части вместо около 250 ГБ у исходной BF16-модели. При этом на тесте wikitext-2 ухудшение perplexity относительно BF16 составило 0,58%, а для Python-кода — 0,02%; однако качество и поведение в других сценариях могут отличаться. Для работы требуется около 188 ГБ общего хранилища или памяти, включая 102 ГБ BF16-таблицы n-gram, размещаемой в оперативной памяти, поэтому модель остаётся ресурсоёмкой и рассчитана на серверную инфраструктуру, например четыре GPU по 32 ГБ. Модель распространяется по лицензии qwen-community-1.0; в README она указана как license: other. Полные условия следует уточнять в файле LICENSE репозитория.

Qwythos-9B-Claude-Mythos-5-1M-heretic — модель на 9 млрд параметров, созданная Richard Young на основе Qwen/Qwen3.5-9B. Это полное дообучение текстовой части модели методом supervised fine-tuning; визуальный модуль унаследован от базовой модели, но при дообучении не настраивался. Модель предназначена для диалогов, рассуждений и работы с инструментами, включая вызовы функций в формате Qwen3.5. Контекстное окно расширено до 1 048 576 токенов с помощью YaRN; автор сообщает о проверке работы на контексте около 137 тысяч токенов. Это позволяет анализировать крупные репозитории, длинные переписки и наборы документов в одном запросе. Модель поддерживает английский язык. В карточке заявлены успешные результаты на собственном тесте вызова инструментов из семи запросов; это ограниченная оценка, а не независимое подтверждение качества. Автор предупреждает о циклах повторов при жадной генерации или низкой температуре и рекомендует проверять точные сведения в критически важных сценариях, используя поиск или другие инструменты. Возможности работы с изображениями унаследованы от базовой мультимодальной архитектуры, но в этой версии не настраивались и не тестировались. Лицензия — Apache 2.0.

Spark-X2.5-1.7B-Base — компактная универсальная языковая модель на 1,7 млрд параметров, разработанная командой Spark-X2.5. Это предварительно обученная плотная autoregressive-модель для Transformers с гибридной архитектурой внимания: один слой полного внимания сочетается с тремя слоями скользящего окна. Модель поддерживает контекст до 1 048 576 токенов и предназначена для диалога, письма, перевода, рассуждений, программирования и работы с инструментами и агентными системами. В README заявлена поддержка более 200 языков и эффективность на длинных контекстах за счёт уменьшения вычислительных затрат и размера KV-кэша. Метаданные карточки отдельно отмечают английский и китайский языки, а также интерфейс для вызова инструментов. Репозиторий содержит веса в формате safetensors; указана совместимость с Transformers и рядом средств инференса и развертывания. Модель выпущена под лицензией Apache-2.0. README приводит сравнительные заявления о производительности, но не предоставляет подробностей бенчмарков. В описании карточки нет отдельных сведений о конкретных ограничениях качества.

Wizard-Zephyr-Orpo-8x22B — объединённая диалоговая языковая модель, созданная разработчиком tlphams с помощью mergekit на основе alpindale/WizardLM-2-8x22B и HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1. Она предназначена для генерации текста в диалоге и ответов на запросы; базовая модель WizardLM рассчитана на сложные запросы, рассуждения, многоязычное общение, программирование и математику. Модель использует архитектуру Mixtral MoE и класс MixtralForCausalLM, содержит 22B параметров и имеет контекст длиной до 65 536 токенов. Доступна в формате safetensors для Transformers. Автор сообщает, что результат MT-Bench был немного ниже, чем у alpindale/WizardLM-2-8x22B, но выше GPT-4-0314; это оценка из README, а не гарантия качества. Лицензия CC-BY-NC-SA-4.0 разрешает использование с указанием авторства и на условиях распространения производных материалов по той же лицензии, но ограничивает коммерческое использование.

ChatGLM3-6B 是智谱 AI（zai-org）开发的 ChatGLM 系列开源 диалоговая модель на плотной архитектуре ChatGLM с 7,5 млрд параметров. Она предназначена для многоходового диалога и генерации текста, а также для сценариев с вызовом функций, выполнением кода и агентными задачами. Модель принимает текстовые запросы и выдаёт текстовые ответы; заявлены китайский и английский языки. Контекст составляет 8192 токена. Карточка описывает более сильную базовую модель и улучшения обучения по сравнению с предыдущими поколениями ChatGLM, отмечая результаты в семантике, математике, рассуждениях, коде и знаниях. Весá доступны в форматах PyTorch и Safetensors. Они открыты для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету. Условие регистрации следует проверить перед коммерческим применением.

DeepSeek-V3-Base — базовая языковая модель семейства DeepSeek-V3, разработанная командой DeepSeek AI. Это Mixture-of-Experts (MoE) модель с 671 млрд общих параметров, из которых 37 млрд активируются для каждого токена. Модель предварительно обучена на 14,8 трлн разнообразных токенов и предназначена для использования в качестве основы для генерации и понимания текста, а также последующей адаптации под прикладные задачи. В архитектуре применяются Multi-head Latent Attention (MLA) и DeepSeekMoE. Для балансировки нагрузки используется стратегия без вспомогательной функции потерь, а обучение дополнено целью Multi-Token Prediction, которая может применяться и для ускорения вывода посредством speculative decoding. Обучение проводилось с использованием смешанной точности FP8; заявлены высокая эффективность обучения и стабильность процесса. Длина контекста в предоставленных данных не указана, как и точный перечень поддерживаемых языков и сведения о мультимодальности. Сильными сторонами модели являются крупный общий объём параметров, высокая вычислительная эффективность за счёт разреженной активации экспертов и заявленная конкурентоспособность среди открытых базовых моделей. Ограничения включают значительные требования к инфраструктуре для запуска и отсутствие в предоставленном описании подробных характеристик инференса, языкового покрытия и результатов по отдельным прикладным сценариям. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

EXAONE-4.0-32B-GGUF — квантизированная версия языковой модели EXAONE 4.0 от LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, агентного использования инструментов и задач, требующих рассуждений. Она поддерживает два режима: Non-reasoning для повседневного взаимодействия и Reasoning для более сложных задач. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует GQA с 40 attention heads и 8 KV heads. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Архитектура включает гибридное внимание: local attention и global attention в соотношении 3:1, а также QK-Reorder-Norm. Репозиторий распространяет веса в формате GGUF с вариантами квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS; также доступны веса BF16. Модель официально поддерживается llama.cpp и может запускаться локально или через OpenAI-совместимый сервер. Сильными сторонами являются сочетание обычного и рассуждающего режимов, большой контекст, мультиязычность, поддержка агентных сценариев и несколько вариантов квантизации для выбора между качеством и требованиями к ресурсам. Ограничениями являются значительный размер 32B, высокие требования к памяти и вычислениям, а также необходимость учитывать особенности интеграции с llama.cpp и применения соответствующего chat template. Лицензия обозначена как exaone; точные условия следует уточнять в файле LICENSE.

coder3101/gemma-4-26B-A4B-it-qat-q4_0-unquantized-heretic — производная мультимодальная модель Gemma 4, созданная coder3101 на основе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Это диалоговая модель с архитектурой Gemma4ForConditionalGeneration и поддержкой анализа изображений; она принимает текст и изображения и выдаёт текст. Базовое семейство Gemma 4 разработано Google DeepMind. Модель предназначена для диалогов, рассуждений, программирования и понимания изображений. Возможные сценарии включают ответы на вопросы по изображениям, извлечение данных из документов, распознавание текста и объектов на изображениях, анализ диаграмм и интерфейсов, генерацию и исправление кода, составление резюме и работу с инструментами. В карточке базового семейства заявлена поддержка более 35 языков и контекст до 256 тысяч токенов для варианта 26B A4B; аудиовозможности указаны только для других размеров Gemma 4, а README описывает видео для семейства в целом, поэтому эти возможности не приписываются данной модели. Модель помечена как uncensored/decensored/abliterated, что указывает на изменение поведения относительно базовой модели, но подробности обучения и конкретные эффекты не раскрыты. Возможны фактические ошибки, смещения и трудности с нюансами языка; ответы следует проверять, особенно в сложных или критичных задачах. Лицензия — Apache-2.0.

unsloth/gemma-4-E2B-it — дообученная Unsloth версия мультимодальной Gemma 4 E2B IT от Google DeepMind. Это плотная модель условной генерации с гибридным вниманием: локальные окна чередуются с глобальным вниманием. Она предназначена для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений; карточка указывает контекст до 128 тыс. токенов для E2B/E4B и поддержку более чем 35 языков. Репозиторий содержит веса в формате safetensors. Модель подходит для визуальных вопросов и ответов, извлечения данных из документов, распознавания текста и содержимого диаграмм, понимания интерфейсов и генерации кода. Gemma 4 E2B также поддерживает аудиораспознавание и перевод речи в текст, однако карточка этого репозитория и его pipeline tag обозначают задачу image-text-to-text. Ответы могут содержать фактические ошибки, а качество зависит от формулировки запроса и охвата обучающих данных; модель может ошибаться в нюансах языка и здравом смысле. Лицензия — Apache-2.0.

coder3101 представил дообученную мультимодальную модель на базе Google Gemma 4 E2B-it. Она предназначена для диалогов, рассуждений, генерации и исправления кода, анализа изображений и выполнения задач с инструментами. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями. В карточке семейства также заявлена обработка аудио и видео, однако поддержка этих возможностей именно этой производной версии не подтверждена. Модель подходит для чат-ботов, суммаризации, извлечения сведений из изображений и документов, распознавания текста и помощи с программированием. Для Gemma 4 E2B указано контекстное окно до 128 тысяч токенов; семейство поддерживает более 35 языков. Производная опубликована в формате safetensors по лицензии Apache 2.0. Возможны фактические ошибки, предвзятость и трудности с неоднозначными или сложными запросами. В названии и тегах версии заявлены uncensored/abliterated характеристики, но README не описывает метод изменения поведения или его последствия.

Карточка модели CandyBuster/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели sunshaohui/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e — мультимодальная версия модели GLM-5.3-Flash, подготовленная Solstice-AI для Apple Silicon и библиотеки MLX. Исходная архитектура разработана Zhipu AI / ZAI, некensored-веса предоставлены dealignai. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Заявлена поддержка английского и китайского языков. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами, из которых около 18 млрд активируются для каждого токена. Используется смешанная квантизация oQ4e примерно на 4,6 бит на вес: основные веса представлены в 4-битном формате, отдельные критически важные компоненты защищены 8-битным или полным BF16/FP32-представлением. Vision Tower ViT и мультимодальный выравниватель сохранены в BF16. Заявлено нативное контекстное окно до 1 048 576 токенов и поддержка спекулятивного декодирования с drafter DFlash2. Сильными сторонами модели являются большой контекст, мультимодальное понимание изображений и видео, разреженная архитектура и оптимизация под чипы Apple M2, M3, M4 и M5. К ограничениям относятся высокая общая ёмкость модели, требовательность к памяти и совместимость с конкретным программным стеком MLX и аппаратной платформой; фактическая производительность зависит от конфигурации устройства. В README модель описана как uncensored, поэтому её ответы могут не включать стандартные механизмы отказа по чувствительным запросам. Указанная лицензия — MIT.

axolotl-ai-co/gpt-oss-120b-dequantized — версия с преобразованной точностью модели gpt-oss-120b, разработанной OpenAI. Это разреженная MoE-модель для генерации текста, диалога, рассуждений и агентных сценариев; README указывает 117 млрд параметров и 5,1 млрд активных параметров, а метаданные этой версии — 2,1 млрд параметров. Модель поддерживает контекст до 131 072 токенов и использует архитектуру GptOssForCausalLM. Репозиторий содержит веса safetensors и рассчитан на библиотеку Transformers. Модель предназначена для ответов на запросы, сложного анализа, работы с инструментами и генерации структурированных ответов. В README также описаны вызов функций и агентные сценарии с браузером и исполнением Python; для корректной работы требуется формат диалога Harmony. Уровень рассуждений можно настраивать, балансируя глубину ответа и скорость. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование и дообучение. README предупреждает, что цепочку рассуждений не следует показывать конечным пользователям; качество вывода зависит от соблюдения формата Harmony. Название репозитория указывает на dequantized-вариант, однако точный исходный формат преобразования и его влияние на качество не описаны.

NVIDIA gpt-oss-120b-Eagle3-v3 — вариант модели OpenAI gpt-oss-120b с дообученными Eagle3-модулями для ускорения спекулятивного декодирования. В карточке указана архитектура Transformer с Mixture-of-Experts и 120 млрд параметров; метаданные репозитория сообщают о 739,4 млн параметров в размещённых весах. Модель принимает текстовые последовательности и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для работы на GPU NVIDIA. Модель рассчитана на чат-ботов и AI-агентов, ответы по документам в RAG-системах, выполнение инструкций, генерацию кода и рассуждения. Eagle3 предсказывает несколько последующих токенов, а базовая модель проверяет предложенные последовательности; доступны режимы инференса TensorRT-LLM и vLLM. В README заявлено улучшение точности относительно других вариантов gpt-oss-120b-Eagle3. В README указана готовность к коммерческому и некоммерческому применению, однако метаданные обозначают лицензию как other, поэтому условия следует сверять с лицензией репозитория. Карточка также сообщает, что меры по снижению нежелательной предвзятости не указаны; для конкретных сценариев рекомендуется проверять качество и безопасность на собственных данных.

Granite-4.1-3B-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это плотный decoder-only трансформер с 3,4 млрд параметров; в архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель обучена с нуля и рассчитана на широкий круг задач преобразования текста, а также на дополнение кода в середине фрагмента (Fill-in-the-Middle, FIM). Контекстное окно в метаданных указано как 131 072 токена. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода; её также можно использовать как основу для специализированных дообучений. В README перечислены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание безопасности, поэтому может выдавать проблемный или недостоверный контент; для меньших моделей также отмечен риск галлюцинаций и дословного воспроизведения фрагментов обучающих данных. Для применения в организациях IBM рекомендует проверять входы и выходы средствами Granite Guardian.

Granite-4.1-8B-Base — базовая языковая модель IBM Granite Team, обученная с нуля. Это плотный декодерный трансформер на 8,4 млрд параметров для генерации текста и других задач преобразования текста; поддерживает дополнение кода по схеме Fill-in-the-Middle с использованием специальных префиксных и суффиксных токенов. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. README сообщает о контекстном окне до 512 тыс. токенов после расширения на заключительном этапе обучения, тогда как метаданные указывают нативный контекст в 131 072 токена. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы, автодополнения кода и генерации с длинным контекстом. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Лицензия — Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать проблемный контент, ошибочную информацию или воспроизводить фрагменты обучающих данных. Для приложений с повышенными требованиями к безопасности разработчик рекомендует использовать её вместе с Granite Guardian.

Llama3.1-SuperDeepFuse-CrashCourse12K — мультиязычная языковая модель для диалогов и выполнения инструкций, разработанная на базе agentlans/Llama3.1-SuperDeepFuse и дообученная на 12 тысячах примеров из agentlans/crash-course. В метаданных указаны 7,5 млрд параметров, архитектура Llama с плотной моделью LlamaForCausalLM, контекст до 131 072 токенов и формат safetensors. README описывает дообучение методом LoRA с 4-битной квантизацией во время обучения. Модель предназначена для генерации ответов, следования инструкциям, рассуждений, решения математических задач и программирования. Карточка указывает на мультиязычную поддержку; конкретные языки не перечислены. README приводит результаты оценивания на IFEval и BBH и предупреждает, что ответы могут быть ошибочными и требуют проверки в критически важных сценариях. Лицензия — llama3.1, с условиями использования Llama 3.1.

Llama-TI-8B — текстовая авторегрессионная модель семейства Llama, разработанная и загруженная ehristoforu на основе Meta Llama 3.1 8B. В модели сохранена архитектура LlamaForCausalLM; README указывает на дополнительное обучение и слияние моделей. Число параметров — 7,5 млрд по метаданным, контекст — до 131 072 токенов. Распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, решения математических и физических задач, творческого письма, программирования и анализа длинных текстов. README заявляет об улучшениях в математике, биологии, рассуждениях и письме; модель ориентирована на многоязычную генерацию, однако конкретные поддерживаемые естественные языки не перечислены. Доступна базовая версия, а чат-версия вынесена в отдельный репозиторий.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

Rioky/Mistral-Small-4-119B-2603-heretic-i1-gguf — набор GGUF-квантизаций модели Mistral Small 4 119B 2603 Heretic. Базовая модель разработана Mistral AI, а версия Heretic опубликована darkc0de; данный набор подготовлен Rioky. Модель предназначена для генерации текста, мультимодального анализа изображений и текста, агентских сценариев, вызова функций с JSON-выводом и задач, требующих длинного контекста. Заявлена поддержка режимов быстрого ответа и рассуждений с дополнительными вычислениями во время вывода. Модель использует архитектуру Mistral4 с разреженной Mixture-of-Experts и MLA-вниманием: всего 119 млрд параметров, из которых активируются 6,5 млрд на токен; доступны 128 экспертов, 4 из них активируются для каждого токена. Контекстное окно составляет до 256 тысяч токенов. Поддерживаются текстовый и графический ввод с текстовым выводом. Указана многоязычность, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и другие языки. К сильным сторонам относятся большой контекст, мультимодальность, функции для агентских приложений, системные инструкции и несколько вариантов квантизации с importance matrix, которая призвана лучше сохранять качество на низких битностях. Ограничения включают значительные требования к памяти: размер файлов варьируется примерно от 29 до 91 ГиБ, а качество и скорость зависят от выбранного варианта. Показатель отказов Heretic-версии в README составляет 27 из 100 против 98 из 100 у исходной модели, однако независимые оценки качества не приведены. Распространение заявлено по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.

Sawfwair подготовила вариант Meta Muse-Glimmer-30B для запуска на Apple Silicon через MLX и среду mere.run. Это плотная мультимодальная модель с причинным трансформером и визуальным энкодером; базовая модель содержит около 29,6 млрд параметров. В этой сборке применена выборочная 4-битная аффинная квантизация с размером группы 64: часть матриц квантована, а визуальный энкодер, эмбеддинги токенов и некоторые другие веса сохранены в BF16. Модель предназначена для диалоговых агентных задач с текстом и изображениями: анализа скриншотов, графиков, документов и изображений, планирования шагов, вызова инструментов, программирования и генерации синтетических данных. Она принимает текст и изображения и выдаёт текст. Карточка описывает Muse Glimmer как коммерческую и исследовательскую модель; для этой сборки указана лицензия Apache-2.0. Модель может ошибаться в многошаговых рассуждениях и давать неточные, предвзятые или нежелательные ответы. Квантизация может немного ухудшать качество в отдельных случаях; качество также может быть ниже на языках, которые недостаточно представлены в оценках. Вход и выход аудио не поддерживаются.

Ocean-1-4B — компактная универсальная языковая модель компании OceanLabs с архитектурой Spark2.5. Она содержит 3,8 млрд параметров и предназначена для эффективного запуска на маломощных устройствах и локально: поддерживает NVIDIA, Apple Silicon и CPU, а также совместима с vLLM, SGLang, llama.cpp, Ollama и LM Studio. Модель принимает текстовые запросы и генерирует текст; предусмотрен интерфейс для чата и вызова инструментов. Модель рассчитана на диалоги, написание и перевод текстов, рассуждения, повседневное программирование и агентные сценарии. Гибридная архитектура сочетает скользящее внимание в большинстве слоёв с разреженными слоями полного внимания, что снижает потребление памяти KV-кэша и вычисления. Заявлена поддержка контекста до 1 048 576 токенов и более 200 языков. В метаданных указана связь с базовой моделью Ocean-1-4B и дообучение; её идентификатор приведён в base_model_guess. Модель распространяется по лицензии Apache-2.0. Оценки качества и заявленные преимущества приведены в карточке модели; независимые результаты тестирования не описаны.

Qwen1.5-4B-Chat-GPTQ-Int4 — диалоговая языковая модель серии Qwen1.5, разработанная командой Qwen. Это decoder-only модель на архитектуре Transformer, предназначенная для генерации текста и взаимодействия в формате чата: ответов на вопросы, ведения диалога, подготовки текстов и других задач обработки естественного языка. Модель содержит около 4 миллиардов параметров и представлена в формате GPTQ с 4-битным квантованием Int4, что снижает требования к памяти при запуске. Она поддерживает текстовую модальность, многоязычную работу и контекст до 32K токенов. В архитектуре заявлены активация SwiGLU, смещения в QKV-внимании и улучшенный токенизатор, адаптированный к естественным языкам и программному коду. Модель была предварительно обучена на большом объёме данных, а затем дообучена с использованием supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактный размер, удобный для локального развертывания квантованный формат, чатовая настройка и поддержка длинного контекста. Ограничения включают статус beta-версии, возможные проблемы при переключении между языками и отсутствие в описании данных о гарантированной точности, безопасности или поддерживаемых языках, кроме заявленной многоязычности. Указана лицензия Tongyi Qianwen Research; подробные условия приведены в файле лицензии репозитория.