II.7DevOps, облако и эксплуатация IT-систем

GPT-5 — модель OpenAI для сложных задач, требующих рассуждений, точного выполнения инструкций и генерации качественного кода. В карточке модели отмечены улучшения в рассуждениях, качестве кода и удобстве взаимодействия. Модель предназначена для решения сложных задач и следования инструкциям. Каталог классифицирует её как image-text-to-text, однако README не описывает работу с изображениями или другие модальности, поэтому это назначение подтверждается только метаданными.

Nemotron-Cascade-2-30B-A3B GGUF — текстовая генеративная модель NVIDIA, созданная на основе Nemotron-3-Nano-30B-A3B-Base и опубликованная в формате GGUF. Файлы модели сгенерированы с помощью llama.cpp. Модель относится к архитектуре Mixture-of-Experts: общий размер составляет 30 млрд параметров, из которых при обработке активируются 3 млрд. В карточке указан английский язык и лицензия NVIDIA Open Model License. Модель предназначена для общего текстового общения, сложного рассуждения, математических задач, программирования и агентских сценариев. Она поддерживает два режима работы: thinking для развёрнутого рассуждения и instruct для обычного выполнения инструкций без режима рассуждения. Заявлены особенно сильные результаты в математике и алгоритмическом программировании: модель получила золотые результаты на IMO 2025 и IOI 2025, а также высокие показатели на AIME, HMMT, LiveCodeBench и других тестах. К сильным сторонам относятся сочетание крупной ёмкости модели с относительно малым числом активных параметров, развитые способности к рассуждению, решению математических задач, написанию кода и использованию в агентских системах. Ограничения включают отсутствие в предоставленной карточке сведений о длине контекста, точных характеристиках квантования GGUF, поддерживаемых дополнительных языках и требованиях к аппаратным ресурсам. Использование регулируется NVIDIA Open Model License; условия лицензии следует проверить по ссылке, указанной в карточке.

NVIDIA Nemotron-3-Super-120B-A12B-BF16-heretic-v2 — это модифицированная сообществом версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B-BF16. В ней применена аблитерация слоёв 23–61, снижающая частоту отказов: в приведённой оценке отказы были в 11 случаях из 100 против 100 из 100 у исходной модели. Модель содержит 120 млрд параметров, из которых 12 млрд активны; её гибридная архитектура LatentMoE сочетает Mamba-2, MoE, слои внимания и Multi-Token Prediction. Репозиторий использует формат safetensors и библиотеку Transformers, поддерживает контекст до 262 144 токенов по метаданным и генерацию текста в диалоговых сценариях. Модель предназначена для рассуждений, чата, следования инструкциям, задач с длинным контекстом и создания агентных систем, включая чат-боты, RAG и автоматизацию IT-заявок. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки; также модель подходит для кода. README называет исходную модель коммерчески применимой, но лицензия этой производной указана как other, поэтому условия её использования следует уточнить в репозитории. Модель снижает склонность к отказам, что может быть нежелательно в сценариях, где важна строгая фильтрация запросов.

Meta-Llama-3-70B-Instruct-iMat-GGUF — квантизированная GGUF-версия 70-миллиардной инструкционно настроенной языковой модели Meta Llama 3, разработанной Meta. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев на английском языке. Инструкционная настройка выполнена с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Модель принимает только текст и генерирует текст или код. Она построена на авторегрессионной оптимизированной архитектуре Transformer с Grouped-Query Attention, имеет контекст длиной 8k токенов и обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. Данная сборка квантизирована с использованием importance matrix, включает варианты K и IQ, а также исправленный токен завершения для инструкционного режима. Для корректной работы требуется совместимый рантайм, например llama.cpp, актуальный chat template llama3 и правильная загрузка всех частей файлов, если модель разделена. Сильные стороны модели — большой размер, диалоговая специализация, поддержка генерации кода и улучшенная точность квантизации за счёт importance matrix. Ограничения включают английскую ориентацию, текстовую модальность, контекст 8k токенов, статичность обучающего набора и зависимость результатов от выбранного кванта и совместимости токенизатора. Указана кастомная коммерческая лицензия Llama 3; её условия определяются Llama 3 Community License и Acceptable Use Policy.

unsloth/GLM-4.7-Flash-REAP-23B-A3B-GGUF — GGUF-версия сжатой модели GLM-4.7-Flash-REAP-23B-A3B, созданной на базе GLM-4.7-Flash. Модель разработана с применением метода REAP (Router-weighted Expert Activation Pruning), а данная публикация включает исправления chat template от Unsloth. Это разреженная Mixture-of-Experts (SMoE) причинная языковая модель для генерации текста, программного кода, агентских сценариев, работы с репозиториями и function calling. Модель содержит 23 млрд параметров, из которых около 3 млрд активируются для каждого токена. Архитектура включает 47 слоёв, 20 attention heads для QKV, 48 экспертов вместо исходных 64 и 4 активируемых эксперта на токен. Контекстное окно составляет 202 752 токена. В README указан английский язык; другие языки не заявлены. REAP равномерно удаляет 25% экспертов, выбирая их по частоте и силе активации роутером, а также по нормам выходов экспертов. По данным README, модель сохраняет почти идентичную производительность исходной версии при снижении требований к памяти примерно на 25%; в HumanEval она получила 95,1 против 94,5 у GLM-4.7-Flash, а в HumanEval+ — 89,0. Это делает её подходящей для локального развёртывания, сред с ограниченными ресурсами и исследований. Ограничения включают более низкое покрытие экспертов после pruning и потенциально высокие требования к памяти при большом числе параллельных последовательностей. Для запуска заявлена совместимость с актуальным vLLM, а для llama.cpp требуется параметр --jinja. Лицензия MIT.

Карточка модели mohdShahnawaz/GLM-5.3 на Hugging Face совпадает с карточкой unsloth/GLM-5.3, поэтому описание составлено по ней. GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

RadixArk/GLM-5.3-NVFP4 — текстовая языковая модель, представляющая собой квантованную производную GLM-5.3-BF16 от Z.ai. Квантование выполнено RadixArk с использованием NVIDIA Model Optimizer; RadixArk не обучала и не дообучала модель. Модель предназначена для агентной разработки, программирования, длительного использования инструментов и задач рассуждения. Архитектура — Transformer со Sparse Mixture-of-Experts и разреженным вниманием: 78 декодерных слоёв, включая 3 плотных MLP и 75 MoE-слоёв, 753 млрд параметров всего и около 40 млрд активируемых на токен. В MoE-слоях используется 256 маршрутизируемых экспертов с выбором 8 экспертов и один общий эксперт. Модель принимает и генерирует текст, поддерживает английский и китайский языки, а длина контекста достигает 1 048 576 токенов. Ключевое преимущество — существенное уменьшение размера checkpoint с 1 507 до 465 ГБ за счёт NVFP4 W4A4-квантования части параметров при сохранении ряда компонентов в BF16. Указаны высокие результаты на GSM8K, AIME 2026, Terminal-Bench 2.1 и DeepSWE, однако базовая модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому необходимы проверка результатов и защитные меры. Checkpoint рассчитан на запуск через SGLang на Linux и совместим прежде всего с GPU NVIDIA Blackwell; конфигурация проверена на B300. Условия использования определяются лицензией Z.AI Model License, указанной как MIT-style.

unsloth/gpt-oss-20b — открытая по весам языковая модель OpenAI из семейства gpt-oss, представленная в репозитории Unsloth и основанная на openai/gpt-oss-20b. Она предназначена для генерации текста, задач, требующих рассуждений, агентских сценариев и широкого спектра разработческих применений, включая вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель использует архитектуру Mixture-of-Experts с 21 млрд параметров, из которых 3,6 млрд активны при обработке запроса. Нативная квантование MXFP4 для MoE-слоёв позволяет запускать её примерно в пределах 16 ГБ памяти; модель ориентирована на меньшую задержку, локальное выполнение и специализированные сценарии по сравнению с gpt-oss-120b. Доступны настраиваемые уровни усилий рассуждения — низкий, средний и высокий, а также возможность дообучения. Для корректной работы необходимо использовать формат ответов harmony; применение модели в другом формате может приводить к некорректным результатам. Полная цепочка рассуждений доступна разработчику для отладки и анализа, но не предназначена для показа конечным пользователям. Модель является текстовой, сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Лицензия Apache 2.0 допускает свободное использование, модификацию, дообучение и коммерческое развёртывание с учётом условий лицензии.

Occamy-1.0 — мультимодальная агентная модель AMAImedia для длительной совместной работы с инструментами, файлами, кодом, поиском и структурированными API. Эта версия репозитория объединяет Occamy-1.0 и Qwen3.6-35B-A3B; в карточке указаны форматы GGUF F16, Q4_K_M, Q8_0 и Safetensors. Модель сохраняет архитектуру Qwen3.6-35B-A3B с Mixture of Experts: 35 млрд параметров всего и около 3 млрд активных при обработке токена. Модель рассчитана на многошаговые рабочие процессы, требующие вызова инструментов, ведения состояния и восстановления после сбоев, а также на программирование в терминале и следование инструкциям. Она принимает текст и изображения и выдаёт текст; заявлены возможности чата и анализа изображений. Карточка отмечает поддержку множества языков, включая русский, английский и китайский. Точное ограничение контекста в предоставленных данных не приведено. Авторы позиционируют Occamy как модель для практической агентной работы с компактной активной частью MoE, но указывают, что у неё остаётся запас для задач с интенсивным поиском и симуляцией пользователя; взаимодействие с браузером или рабочим столом через визуальный интерфейс не входит в текущий обучающий интерфейс. Лицензия — Apache-2.0.

RedHatAI/Qwen3-8B-FP8-dynamic — это квантизированная FP8-версия языковой модели Qwen3-8B, разработанная Red Hat совместно с Neural Magic на базе модели Alibaba Cloud Qwen/Qwen3-8B. Модель предназначена для генерации текста, рассуждений, многоязычного следования инструкциям, перевода, вызова функций и создания предметно-ориентированных решений с помощью дообучения. Она поддерживает tool calling и рассчитана на работу с текстовыми входами и выходами. Модель использует архитектуру Qwen3ForCausalLM и поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский и ряд других языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема. По заявлению разработчиков, это примерно на 50% снижает требования к видеопамяти и размер на диске, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Длина контекста в README не указана. Модель оптимизирована для эффективного развёртывания с использованием vLLM, включая OpenAI-совместимый сервер, и валидирована в Red Hat OpenShift AI 2.24, Red Hat AI Inference Server 3.2.1 и vLLM 0.10.0. Ограничения FP8-квантизации и отсутствие сведений о конкретных показателях качества следует учитывать при выборе модели. Распространяется по лицензии Apache 2.0; использование не должно нарушать применимое законодательство и требования экспортного контроля.

amd/MiniMax-M2.7-BF16 — репозиторий весов MiniMax-M2.7 от MiniMax, представленный в формате safetensors и доступный для работы через Transformers. В метаданных указаны архитектура MoE, 2,9 млрд параметров и контекст до 204 800 токенов; карточка описывает разговорную модель с возможностью вызова инструментов и развёртывания в агентных сценариях. Модель предназначена для генерации текста, программирования и инженерных задач, анализа инцидентов, выполнения многошаговой офисной работы и взаимодействия с инструментами. В README заявлены поддержка агентных команд, сложных навыков и редактирования документов Word, Excel и PowerPoint. Карточка приводит результаты внутренних и внешних бенчмарков, но они не гарантируют аналогичное качество в конкретной среде. Лицензия в метаданных обозначена как other; конкретные условия следует проверять в файле лицензии репозитория. Русский язык среди поддерживаемых языков явно не указан. Хотя имя репозитория содержит BF16, метаданные перечисляют формат safetensors и не подтверждают точность BF16.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q8_0 — это квантованная в формате GGUF версия инструкционной модели Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций, включая задачи программирования и ассистирования, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Контекстное окно составляет 131 072 токена. Представленная версия применяет 8-битное квантование Q8_0, занимает около 12,9 ГБ и сохраняет близкое к BF16 качество: KL-дивергенция составляет примерно 0,016, а наиболее вероятный токен совпадает с BF16 в 95,2% случаев. В README явно указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Модель формирует ответы напрямую, без внешнего отображения цепочки рассуждений. Сильные стороны версии — существенно меньший размер по сравнению с BF16 при небольших потерях качества, длинный контекст и широкая совместимость с локальными GGUF-рантаймами. Ограничения включают повышенные требования к памяти по сравнению с более агрессивными вариантами квантования и отсутствие в данном README подробных результатов оценки, описания полного набора языков и характеристик базовой модели. Модель распространяется по лицензии Apache 2.0.

unsloth/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-вариант языковой модели NVIDIA Nemotron 3.5 Lightning, разработанной NVIDIA Corporation. Модель предназначена для генерации текста и кода, создания специализированных AI-агентов, а также для постобучения, адаптации под предметные области, дистилляции и подготовки собственных квантованных вариантов. README указывает, что исходная модель является полноточной версией BF16, а данный репозиторий предоставляет вариант GGUF. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными Attention-слоями. Всего предусмотрено 30 млрд параметров, из которых активно используется 3 млрд. Контекст может достигать 1 млн токенов; для развёртывания на одной H100 рекомендуется 256 тыс. токенов. Поддерживаются английский и языки программирования, испанский, французский, немецкий, итальянский и японский. Режим рассуждений можно включать или отключать через параметр chat template. К сильным сторонам относятся высокая вычислительная эффективность благодаря MoE-подходу, большой контекст, поддержка нескольких языков и возможность настройки под конкретные задачи. Ограничения и практические требования зависят от конкретной GGUF-квантизации и аппаратной конфигурации; README не приводит сведения о размере файлов, уровнях квантизации или точных требованиях к запуску именно этого варианта. Модель распространяется по лицензии OpenMDW-1.1, которая, согласно README, допускает коммерческое использование.

Qwen3.8-27B-Q4_0_ROCMFP4_STRIX_LEAN — квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная pugant в формате GGUF для llama.cpp. Это плотная гибридная модель с 48 слоями gated-delta-net и 16 слоями полного внимания, нативным контекстом до 262 тысяч токенов и поддержкой MTP для спекулятивного декодирования. В метаданных указаны английский и мультиязычный режимы, а основное назначение — генерация текста, включая программный код, структурированные ответы и задачи RAG. Модель использует квантизацию Q4_0_ROCMFP4_STRIX_LEAN с эффективной точностью около 4,34 BPW и размером примерно 13,82 ГиБ. Она оптимизирована для AMD Strix Halo с графикой RDNA 3.5 и ROCmFPX, поддерживает ROCm и Vulkan-бэкенды, а встроенный MTP-слой может заметно ускорять декодирование на предсказуемом и структурированном контенте. Наиболее высокое ускорение ожидается при генерации кода, детерминированных и структурированных данных; для обычной прозы эффект ограничен. Главное ограничение — модель несовместима со стандартной сборкой llama.cpp и требует форка ROCmFPX с пользовательскими типами тензоров. Она протестирована на Radeon 8060S в составе AMD Ryzen AI Max+ 395, поэтому работоспособность и производительность на другом оборудовании не гарантируются. Лицензия — Apache-2.0.

Qwen-Qwen2.5-Coder-14B-Instruct-GGUF-Q4_K_M — квантизированная версия Qwen2.5-Coder-14B-Instruct, опубликованная пользователем sigmanih с использованием Sigma Studio. Модель предназначена для генерации текста и кода, программирования, повседневных ассистентов, агентских сценариев и задач, требующих рассуждений. В README указаны английский и итальянский языки, однако полный перечень поддерживаемых языков не приведён. Модель использует архитектуру qwen2 и формат GGUF с квантизацией Q4_K_M. Она содержит 14 млрд параметров, имеет 48 Transformer-слоёв, размер скрытого представления 5120 и контекстное окно до 32 768 токенов. Размер файлов составляет около 8,37 ГБ; для инференса рекомендуется примерно 10,5 ГБ VRAM при полной загрузке на GPU или 10,3 ГБ RAM в CPU-гибридном режиме. Рекомендуемая конфигурация — GPU с 12–16 ГБ VRAM либо система с 32 ГБ оперативной памяти. По приведённым тестам модель показывает сильные результаты в программировании и ряде математических задач: 86% на HumanEval, 100% на MBPP и GSM8K, 89% на ARC-Challenge и MATH. При этом результаты по GPQA и MMLU-Pro составили 33%, а общая оценка в заявленном наборе тестов — 69 из 100. В агентском тестировании завершено 4 из 6 сценариев, а соблюдение протокола инструментов составило 63,6%, поэтому модель не следует считать безошибочной для сложной автономной работы. В README одновременно указаны лицензия other в метаданных и обозначение Apache-2.0 на странице, поэтому условия использования требуют дополнительной проверки по официальным лицензионным материалам репозитория и базовой модели.

casperhansen/deepseek-r1-distill-llama-70b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Llama-70B, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработала DeepSeek-AI: она создана на базе Llama-3.3-70B-Instruct и дообучена на примерах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для текстовой генерации, диалогов и решения задач, особенно связанных с математикой, программированием и многошаговым рассуждением. Архитектура — LlamaForCausalLM с примерно 71 млрд параметров, 80 слоями, 64 attention heads и 8 key-value heads. Репозиторий содержит веса в формате Safetensors с 4-битной AWQ-квантизацией; конфигурация указывает контекст до 131072 токенов и вычисления в bfloat16. Это текстовая, а не мультимодальная модель. Квантизация уменьшает требования к памяти и делает локальное развертывание практичнее, но может приводить к некоторой потере качества по сравнению с исходными весами; для полноценного запуска всё равно требуются значительные вычислительные ресурсы. Исходная DeepSeek-R1-Distill-Llama-70B показывает сильные результаты в математике, кодировании и задачах рассуждения, однако официальные показатели относятся к исходной, а не обязательно к данной AWQ-версии. Репозиторий производной модели указывает лицензию MIT. При этом исходная модель базируется на Llama-3.3-70B-Instruct, для которой также действуют условия лицензии Llama 3.3.

Dolphin 2.9.1 Qwen 110B — языковая модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и командой Cognitive Computations на базе Qwen1.5-110B. Модель с плотной архитектурой Qwen2 содержит 110 млрд параметров; её дообучили полным обновлением весов в формате ChatML. Базовая модель поддерживает контекст до 32 768 токенов, а дообучение проводилось с длиной последовательности 8 000 токенов. Модель предназначена для диалогов и выполнения инструкций, генерации кода, решения математических задач, вызова функций и сценариев с агентными возможностями. В карточке указана лицензия Tongyi Qianwen; коммерческое использование разрешено в рамках её условий. Модель описана авторами как uncensored и может охотно выполнять небезопасные запросы, поэтому перед предоставлением пользователям её следует дополнить собственным слоем фильтрации и контроля.

Dolphin 2.9.2 Mixtral 8x22B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с архитектурой Mixtral MoE и классом MixtralForCausalLM; в репозитории веса представлены в safetensors. Всего указано 22 млрд параметров, базовая модель поддерживает контекст до 65 536 токенов, а дообучение выполнялось с длиной последовательности 16 000 токенов. Модель предназначена для диалогов и следования инструкциям, генерации кода и начальных агентных сценариев; также заявлена поддержка вызова функций. Обучение включало SystemChat 2.0, созданный для следования системным инструкциям в продолжительных беседах, и другие наборы диалоговых, кодовых и математических данных. Для взаимодействия используется шаблон ChatML. В карточке указан английский язык. Авторы характеризуют модель как uncensored и отмечают высокую готовность выполнять запросы, в том числе неэтичные; перед предоставлением пользователям может потребоваться собственный слой ограничений. Веса выпущены по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

Llama3-8B-Instruct-Replete-Adapted-GGUF — квантизированная GGUF-версия инструкционной модели Llama3-8B-Instruct-Replete-Adapted, разработанной Replete-AI и подготовленной для распространения пользователем bartowski. Модель предназначена для текстовой генерации, прежде всего для программирования, работы с кодом, математическими задачами, инструкциями, диалогами, function calling и анализа уязвимостей. Обучение или дообучение проводилось на смешанном наборе датасетов с примерами кода, инструкций, диалогов, математических задач и данных для ассистентов программирования. Модель основана на архитектуре Llama 3 с 8 млрд параметров и поставляется в формате GGUF для запуска через llama.cpp. Доступны варианты квантизации от Q5 до Q8 с размером файлов примерно от 5,73 до 8,54 ГБ; для вариантов Q6 и Q5 заявлено высокое качество, близкое к исходной модели. В README указан результат pass@1 около 64,7% на HumanEval. Формат промпта использует специальные токены Llama 3. Языки, размер контекстного окна и мультимодальные возможности в предоставленных данных не указаны; описание относится к текстовой модели. Сильными сторонами являются специализация на генерации и анализе кода, поддержка локального запуска через llama.cpp и наличие нескольких уровней квантизации с разным балансом качества и требований к памяти. Ограничения включают возможные потери качества из-за квантизации, отсутствие подтвержденных характеристик по языкам и контексту, а также неполные значения большинства приведенных бенчмарков. Модель распространяется по лицензии Llama 3; условия следует уточнять в официальном тексте лицензии Meta.

AI-Engine/Meta-Llama-3-8B-Instruct-GGUF — это GGUF-квантизированная версия инструкционно дообученной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и кода, прежде всего для диалоговых ассистентов, обработки инструкций и других задач генерации на английском языке. Репозиторий содержит варианты квантования для llama.cpp, включая версии с imatrix. Модель имеет авторегрессионную архитектуру на основе оптимизированного Transformer, около 8 млрд параметров и поддерживает только текстовые входы и выходы. Она использует Grouped-Query Attention (GQA), контекстное окно до 8 тысяч токенов, а инструкционная версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Данные обучения включали новый набор общедоступных онлайн-данных; дата отсечения знаний указана как март 2023 года. К сильным сторонам относятся ориентация на диалог, генерацию текста и кода, относительно компактный размер 8B и возможность локального запуска через совместимые инструменты GGUF и llama.cpp. Ограничения включают англоязычную специализацию, статичность модели и устаревание знаний после даты отсечения; качество и требования к ресурсам зависят от выбранного уровня квантования. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей Acceptable Use Policy; в README указано, что доступна коммерческая лицензия с особыми условиями.

MaziyarPanahi/Meta-Llama-3-8B-Instruct-GGUF — это квантизированная версия инструкционно дообученной модели Meta-Llama-3-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского использования на английском языке. Для работы необходимо применять шаблон запросов Llama 3. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 млрд параметров и механизмом Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст или код, имеет контекст 8 тысяч токенов и обучалась на более чем 15 трлн токенов общедоступных онлайн-данных. Инструкционная версия использует supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Репозиторий содержит варианты квантизации от 2 до 16 бит, что позволяет выбирать компромисс между размером модели, скоростью и качеством вывода. Сильными сторонами являются поддержка диалоговых сценариев, генерации кода и возможность запуска через совместимые инструменты для GGUF, включая llama.cpp, с меньшими требованиями к ресурсам благодаря квантизации. Ограничения включают преимущественную ориентацию на английский язык, контекст длиной 8 тысяч токенов, статичность модели и возможные потери качества в квантизированных вариантах. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей политикой допустимого использования.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

HERETIC — модель на базе Mistral-Nemo 2407 с 12 млрд параметров, представленная в формате GGUF. Она разработана Andycurrent как reasoning-ориентированный вариант базовой архитектуры Mistral-Nemo и предназначена для локального запуска через llama.cpp и совместимые инструменты. Модель распространяется в виде квантованных сборок, оптимизированных для эффективного вывода на локальном оборудовании. Модель ориентирована на диалоговые сценарии, выполнение инструкций, пошаговое аналитическое рассуждение, подготовку развёрнутых объяснений, помощь в программировании и технических вопросах, мозговой штурм, творческое письмо, prompt engineering и эксперименты с LLM. Указан английский язык. Поддерживаются текстовые запросы и ответы; сведения о размере контекстного окна и точных параметрах квантования не приведены. Для получения лучших результатов рекомендуется использовать структурированные system/user/assistant-промпты. К сильным сторонам относятся локальная и потенциально приватная работа, гибкость применения, поддержка развёрнутых ответов и совместимость с экосистемой GGUF и llama.cpp. Ограничения включают возможные фактические ошибки, галлюцинации, предвзятость и зависимость качества от формулировки запроса; модель не предназначена для юридических или медицинских рекомендаций, критически важных решений и автоматической модерации без проверки человеком. Лицензия указана как other, при этом конкретные условия не раскрыты; пользователю необходимо учитывать лицензию базовой модели и применимое законодательство.

unsloth/Qwen3-14B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-14B-Base, подготовленная Unsloth с использованием квантования Unsloth Dynamic 2.0. Исходную модель разработала команда Qwen. Это причинная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, рассуждений и работы с многоязычными данными. Модель содержит 14,8 млрд параметров, из них 13,2 млрд без учёта embedding-слоёв, имеет 40 слоёв и использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. При обучении использовался корпус объёмом 36 трлн токенов на 119 языках, включавший языковые, кодовые, научно-технические, книжные, многоязычные и синтетические данные. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально сопровождается потерей точности по сравнению с полной или менее агрессивной разрядностью. Это базовая, а не instruction-tuned модель, поэтому для диалоговых сценариев и выполнения инструкций может потребоваться дополнительная настройка или специально подобранный prompting. Для работы рекомендуется использовать актуальную версию transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-NEO-CODER-GGUF — это набор моделей в формате GGUF на базе Qwen3.8-27B, первоначально разработанной Qwen / Alibaba Cloud. Некорректированные и оптимизированные для программирования веса предоставлены DavidAU, а сборка и упаковка выполнены Solstice-AI. Модель ориентирована на генерацию и анализ кода, агентные сценарии, сложное алгоритмическое проектирование, математические рассуждения и задачи, связанные с SWE-bench. Также заявлена поддержка обработки изображений через отдельный мультимодальный vision-проектор mmproj-BF16.gguf. Основная модель имеет размер 27B параметров и поставляется в вариантах квантования от Q4_K_M до Q8_0; рекомендуемый Q4_K_M занимает около 16,81 ГБ. Заявлены контекст до 131 072 токенов, языки English и Chinese, управление интенсивностью рассуждений через reasoning_effort, детерминированный XML-вызов инструментов и поддержка Multi-Token Prediction для speculative decoding. Для ускорения вывода доступны MTP-модели и DSpark drafter; README заявляет ускорение speculative decoding до 1,8 раза. Сильные стороны модели — специализация на программировании, поддержка многофайлового рефакторинга, инструментального взаимодействия, мультимодального ввода и нескольких уровней точности. Ограничения включают значительные требования к памяти, зависящие от выбранного квантования, а также необходимость совместимого программного обеспечения и отдельных компонентов для vision и speculative decoding. Модель распространяется по лицензии Apache-2.0.

airoboros-l2-13b-3.1.1 — экспериментальная инструктивная языковая модель на архитектуре Llama 2, дообученная автором jondurbin на наборе синтетических и других примеров airoboros-3.1. Она предназначена для выполнения инструкций и диалогов в формате чата Llama 2; модель содержит 12,9 млрд параметров и имеет контекстное окно 4096 токенов. Модель подходит для ответов на вопросы по предоставленному контексту, суммаризации, математических задач с формированием MathJSON, извлечения полей из журналов, анонимизации текста, программирования и планирования действий с инструментами. По описанию она сильнее ориентирована на точное следование инструкциям, чем на непринуждённый чат и ролевые диалоги. Для математических ответов автор рекомендует низкую температуру генерации; формат чата должен соответствовать шаблону Llama 2. Это дообученная модель, опубликованная в формате safetensors. В карточке указана лицензия Llama 2. Разработчик описывает её как экспериментальную; результаты могут быть нестабильными, а генерация MathJSON и вызовы функций требуют внешнего разбора и выполнения. Русский язык явно не заявлен.

COSMO-PRO-7B — созданная Aryyanthakrr объединением SLERP двух инструктивных языковых моделей Qwen2.5: Qwen2.5-7B-Instruct и Qwen2.5-Coder-7B-Instruct. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; в метаданных также указана поддержка интерфейса вызова инструментов. Модель подходит для ответов на вопросы, ведения диалогов и генерации кода в сценариях с контекстом до 32 768 токенов. Репозиторий использует формат safetensors, библиотеку Transformers. Данных о поддерживаемых естественных языках в карточке нет. Условия лицензии в предоставленных источниках не приведены.

DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная DeepSeek AI. Она создана на основе архитектуры DeepSeek-V4-Flash с добавлением визуальных модулей и дополнительным обучением для поддержки задач визуального понимания и мультимодальных агентных сценариев. Модель принимает текст и изображения; README также указывает поддержку OpenAI-совместимого формата сообщений и обработки изображений через специальные prompt-форматы. Модель предназначена для мультимодальных агентов, анализа изображений, графиков и других визуальных элементов, а также для текстовых агентных задач, включая работу с инструментами, репозиториями, терминалом и автоматизацией. По заявленным результатам она заметно превосходит DeepSeek-V4-Flash-0731 в ряде мультимодальных тестов, сохраняя сопоставимую производительность в текстовых агентных задачах. Среди технических компонентов упоминаются vision encoder, aligner, DFlash attention, Mixture-of-Experts, Hyper-Connections и DSpark; точные размер модели, длина контекста и перечень поддерживаемых языков в README не указаны. К ограничениям относятся экспериментальный статус, отсутствие в предоставленных данных подробных характеристик аппаратных требований, контекстного окна и языкового покрытия, а также неоднородные результаты на отдельных бенчмарках. Для запуска описаны минимальная реализация inference на PyTorch, интеграции с vLLM и SGLang; пример сервирования рассчитан на узел с четырьмя GPU GB300. Модель распространяется по лицензии MIT.

GPT-5.1-Codex — специализированная версия GPT-5.1 от OpenAI, оптимизированная для разработки программного обеспечения и рабочих процессов, связанных с кодом. Она предназначена как для интерактивной помощи при разработке, так и для самостоятельного выполнения сложных инженерных задач.

Muse Glimmer-30B — мультимодальная причинная языковая модель, разработанная Meta Superintelligence Lab и представленная в квантованном формате professorf для воспроизводимости исследований. Модель предназначена прежде всего для автономных агентных задач на пользовательском оборудовании: многошагового рассуждения, вызова инструментов, написания и отладки кода, выполнения длительных рабочих процессов и восстановления после ошибок. Она рассчитана на локальную работу без облачной инфраструктуры и сетевого доступа и совместима с различными агентными оркестраторами, включая OpenClaw и Hermes Agent. Модель содержит около 29,6 млрд параметров и построена как плотный causal Transformer с выделенным perception encoder примерно на 1,8 млрд параметров для обработки изображений. Поддерживаются входные данные в виде текста и изображений, а на выходе генерируется текст. Архитектура включает 52 слоя, скрытое измерение 6656, механизм GQA, SwiGLU, локальное и глобальное внимание с окном 2048 токенов, контекст длиной 131 072 и более токенов и до 4096 визуальных токенов на изображение. Модель обучалась на данных более чем на 100 языках; дата отсечения знаний — 4 января 2026 года. К сильным сторонам относятся интеграция рассуждения, надёжного использования инструментов, мультимодального анализа, планирования и восстановления после сбоев, а также оптимизация для локального запуска. Квантование примерно до 4 бит позволяет разместить языковую часть менее чем в 20 ГБ и использовать модель в конфигурациях на 24 или 32 ГБ памяти; заявленная деградация качества составляет около 0,2% для варианта на 32 ГБ и 1,0% для варианта на 24 ГБ по среднему результату 15 бенчмарков. Для ускорения генерации предусмотрен speculative decoding с drafter-моделью DFlash. Ограничения включают высокие требования к памяти, зависимость производительности от аппаратной конфигурации и то, что модель поддерживает изображения только на входе. Лицензия — Apache 2.0.