II.7DevOps, облако и эксплуатация IT-систем
В разделе собраны самостоятельные задачи, где AI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 196 моделейMOMENT-1-base — базовая модель семейства MOMENT, разработанная Auton Lab Университета Карнеги — Меллона для анализа временных рядов. Это предварительно обученная модель общего назначения, которую можно использовать без дополнительного обучения или адаптировать на целевых данных. Модель предназначена для прогнозирования временных рядов; семейство MOMENT также поддерживает классификацию, обнаружение аномалий, заполнение пропусков и обучение представлений. Она рассчитана на сценарии zero-shot и few-shot, а дообучение на данных конкретной задачи может улучшить результаты. Модель принимает временные ряды и выдаёт прогнозы или результаты анализа, соответствующие задаче. В карточке указаны форматы PyTorch и safetensors и лицензия MIT. Карточка не приводит размер модели, численные оценки качества или ограничения для конкретных типов данных. Перед применением в критичных сценариях качество следует оценить на целевых временных рядах.
Nemotron-Orchestrator-8B — языковая модель на основе decoder-only Transformer, разработанная NVIDIA и Университетом Гонконга для координации инструментов и экспертных моделей при решении сложных многошаговых задач. Она дообучена на Qwen/Qwen3-8B методом GRPO и содержит около 7,6 млрд параметров; нативный размер контекста — 40 960 токенов. Модель предназначена для агентных сценариев с несколькими ходами: выбора и вызова инструментов, включая поиск и выполнение кода, а также передачи задач другим языковым моделям. В карточке заявлены обучение с учётом точности, стоимости, задержки и предпочтений пользователя и способность работать с незнакомыми наборами инструментов. Основной указанный язык — английский. По данным карточки, на Humanity’s Last Exam модель набрала 37,1%; также заявлены результаты на FRAMES и τ²-Bench. Эти показатели приведены разработчиками и сами по себе не гарантируют аналогичное качество в конкретном приложении. Модель предназначена для исследований и разработок; распространяется по лицензии NVIDIA.
Qwen2.5.1-Coder-1.5B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной модели Qwen2.5-Coder-1.5B-Instruct, подготовленная bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации и обработки программного кода, диалогового взаимодействия и выполнения инструкций, связанных с задачами разработки. В README явно указан английский язык; поддержка других языков не заявлена. Модель относится к текстовым моделям и не предназначена для работы с изображениями или другими мультимодальными данными. Размер исходной модели — 1,5 млрд параметров. Доступны варианты квантования от F16 до IQ3_M с размером файлов примерно от 0,78 до 3,09 ГБ, что позволяет запускать модель на устройствах с ограниченными ресурсами. Более сильные стороны высокоточных вариантов — сохранение качества при локальном запуске и совместимость с llama.cpp и LM Studio; варианты с меньшим числом бит требуют меньше оперативной памяти, но могут заметнее терять в качестве. Контекст модели в README не указан, поэтому его характеристики нельзя подтвердить. Модель распространяется по лицензии Apache 2.0.
QuantFactory/Qwen2.5-Coder-0.5B-Instruct-GGUF — квантованная версия инструкционно дообученной модели Qwen2.5-Coder-0.5B-Instruct, созданная QuantFactory на основе модели Qwen и преобразованная с использованием llama.cpp. Это причинная языковая модель для генерации текста и кода, предназначенная для помощи разработчикам в написании, анализе, исправлении и рассуждении о программном коде, а также для чат-сценариев и задач, связанных с code agents. Модель сохраняет общие способности в математике и работе с текстом. Архитектура построена на transformers с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Модель содержит около 0,49 млрд параметров, из которых 0,36 млрд не являются эмбеддингами, 24 слоя и Grouped-Query Attention с 14 головами для Q и 2 для KV. Максимальная длина контекста составляет 32 768 токенов. В README явно указан английский язык; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся специализация на программном коде, улучшенные возможности генерации, исправления и анализа кода, а также небольшой размер, удобный для локального запуска в квантованном формате. Ограничениями являются существенно меньший масштаб по сравнению с крупными моделями серии Qwen2.5-Coder и отсутствие в карточке подробных результатов оценки, требований к памяти и данных о производительности. Модель распространяется по лицензии Apache-2.0.
unsloth/Qwen2.5-Coder-1.5B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-Coder, разработанной командой Qwen. Модель предназначена прежде всего для генерации, анализа и исправления исходного кода, задач code completion и fill-in-the-middle, а также для построения кодовых агентов. Это базовая модель после предварительного обучения, поэтому она не рекомендуется для непосредственного использования в диалогах без дополнительного дообучения или постобучения. Модель относится к causal language models и использует архитектуру на базе transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV-слоях внимания и связанными эмбеддингами слов. Она содержит около 1,54 млрд параметров, включая 1,31 млрд параметров без учёта эмбеддингов, 28 слоёв и групповое запросное внимание с 12 головами Q и 2 головами KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN. В README указан английский язык и библиотека Transformers. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битному представлению и специализация на программном коде при сохранении математических и общих языковых способностей базовой серии Qwen2.5-Coder. Ограничения включают отсутствие instruction tuning, потенциально менее стабильное диалоговое поведение и возможное ухудшение производительности на коротких текстах при включении статического масштабирования YaRN. Модель распространяется по лицензии Apache-2.0.
Deepdive404-3/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, модифицированная с применением методов abliteration для удаления или ослабления отказов и защитных поведенческих реакций. Согласно README, разработчики позиционируют её как модель для ответов на ограниченные запросы, red-team-исследований, исследований безопасности ИИ, генерации кода и агентских сценариев. Модель поддерживает режим рассуждений, однако для более прямых и содержательных ответов рекомендуется отключать thinking mode. Размер модели — 27B параметров, тип архитектуры — qwen3. Доступны форматы GGUF, Safetensors и MLX. В README не указаны полный список поддерживаемых языков, размер контекстного окна и мультимодальные возможности; по приведённым данным это текстовая модель с pipeline tag text-generation. Заявлены результаты 82,3% на MMLU в режиме 0-shot, что на 2,1 процентного пункта ниже базовой модели, а также 20 из 20 успешных ответов на внутренних задачах генерации кода. Эти показатели приведены авторами README и не являются независимой оценкой. Сильной стороной модели считается снижение частоты жёстких отказов и уклончивых ответов при сохранении близких к базовой модели возможностей. Ограничения включают небольшое снижение результата MMLU относительно исходной Qwen3.8-27B, возможные циклы при жадной генерации без repetition penalty и чувствительность к настройкам декодирования. Для практического использования рекомендуются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов; для агентских сценариев авторы советуют temperature 0,1–0,3 и ограничение длины ответа. Лицензия указана как Apache-2.0. README не содержит сведений о точном разработчике или организации-владельце модели; указанный идентификатор и описание связывают её с проектом Deepdive404 и производной от Qwen3.8-27B.
Qwen3-Coder-30B-A3B-Instruct-FP8-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct-FP8, преобразованная в формат GGUF. Модель разработана командой Qwen, а данный вариант опубликован пользователем ijohn07 и создан с помощью llama.cpp через сервис GGUF-my-repo от ggml.ai. Она предназначена для генерации текста и может использоваться в локальных приложениях на базе llama.cpp, включая командную строку и серверный режим. Из доступных данных известно, что исходная модель имеет обозначение 30B-A3B и ориентирована на задачи, связанные с кодом, однако подробности об архитектуре, поддерживаемых языках, модальностях и размере контекста в представленном README не указаны. Суффикс Q4_K_M указывает на вариант квантизации GGUF, рассчитанный на более компактное локальное выполнение, но README не содержит конкретных требований к памяти или производительности. В качестве ограничения следует учитывать отсутствие подробной информации о возможностях и качестве исходной модели. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется использовать llama.cpp; в README приведены примеры работы через llama-cli и llama-server, включая настройку контекста размером 2048 токенов.
Карточка модели ANGELOSEGRETO/Qwen3-Coder-Next на Hugging Face совпадает с карточкой Qwen/Qwen3-Coder-Next, поэтому описание составлено по ней. Qwen3-Coder-Next — открытая модель семейства Qwen3 от команды Qwen, предназначенная для кодирующих агентов и локальной разработки. Это причинная языковая модель архитектуры MoE с гибридным сочетанием Gated DeltaNet и Gated Attention. В README указано 80 млрд параметров всего и 3 млрд активных; метаданные каталога указывают 2,3 млрд параметров, поэтому точный размер расходится между источниками. Модель рассчитана на генерацию и изменение кода, многошаговые задачи разработки, вызов инструментов и восстановление после ошибок выполнения. Контекстное окно — 262 144 токена; поддерживаются чат и интерфейс вызова инструментов. README описывает её как пригодную для интеграции с CLI и IDE, а также локального развёртывания. Модель работает только в режиме без reasoning и, согласно README, не генерирует блоки ````. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковые коды не включены. Лицензия — Apache-2.0.
Qwen3-Coder-Next-Uncensored-Heretic — дообученная версия Qwen3-Coder-Next от независимого автора llmfan46. Это причинная языковая модель с архитектурой MoE, предназначенная для генерации кода и работы в агентных сценариях разработки. Модель поддерживает диалог и вызов инструментов, а её контекст достигает 262 144 токенов. Автор описывает вариант как менее склонный к отказам: в приведённом тесте отказов было 8 из 100 против 100 из 100 у исходной модели; KL-дивергенция относительно неё составила 0,1488. Это не гарантирует качество или поведение на других запросах. README указывает на 80 млрд общих параметров и 3 млрд активных у исходной модели, тогда как метаданные этого репозитория сообщают 2,3 млрд параметров; эти оценки расходятся. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0.
RavenX Chaos Agent — Qwen3.8-27B OBLITERATED — это текстовая языковая модель в формате GGUF, разработанная RavenX AI Labs LLC на базе OBLITERATUS/Qwen3.8-27B-OBLITERATED. По данным карточки, модель обучалась методом Soul Injection на 1 903 806 примерах, объединяющих программирование, рассуждения, агентное взаимодействие, анализ кибербезопасности и другие предметные области. Заявлена поддержка английского языка; сведения о других языках, длине контекста и мультимодальности не приведены. Модель предназначена для генерации кода, технического анализа, работы с инструментами и цепочками вызовов, задач red team и пентестинга, анализа уязвимостей, подготовки bug bounty-отчётов, сопоставления с MITRE ATT&CK, а также для торгового, блокчейн- и криптографического анализа, математического рассуждения и творческого письма. Заявлена совместимость с llama.cpp, Ollama и LM Studio. Версия GGUF Q4_K_M имеет размер около 15,7 ГБ и заявленную скорость 21,6 токена в секунду; также доступна отдельная версия MLX для Apple Silicon. Сильными сторонами заявлены широкий охват задач, специализированные знания по кибербезопасности, генерация производственного кода, вызов инструментов и автономная оркестрация. При этом заявления о результатах основаны на приведённых разработчиком описаниях и внутренних тестах, поэтому их следует дополнительно проверять. Карточка не содержит подробностей о качестве на независимых бенчмарках, длине контекста и точных системных требованиях. Модель описана как abliterated и имеющая нулевые отказы и защитные ограничения, что повышает риск небезопасной генерации и требует контроля при использовании в реальных системах. Лицензия — Apache-2.0.
Replete-Coder-V2-Llama-3.1-8b-GGUF — это набор GGUF-квантизаций модели Replete-Coder-V2-Llama-3.1-8b, разработанной Replete-AI и сконвертированной и квантованной bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу text-generation и предназначена прежде всего для генерации и обработки программного кода. В README явно указан английский язык; другие языки не заявлены. Модель основана на архитектуре Llama 3.1 и имеет 8 миллиардов параметров. Доступны варианты от F16 до Q2_K, с размером файлов примерно от 3,18 до 16,07 ГБ. Квантизации позволяют запускать модель локально с различными компромиссами между качеством и требованиями к памяти; для работы рекомендуется llama.cpp, в частности через LM Studio. Наиболее качественными и рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и некоторые другие. Более сильное сжатие уменьшает требования к оперативной памяти, но снижает качество. Модель поддерживает текстовый ввод и вывод; сведения о мультимодальности и размере контекстного окна в README отсутствуют. Для корректного взаимодействия следует использовать указанный шаблон промпта с ролями system, user и assistant. Модель распространяется под лицензией Apache-2.0. Описанные ограничения включают зависимость качества от выбранного уровня квантизации и отсутствие данных о бенчмарках, точности, безопасности и применимости за пределами заявленного английского языка.
QuantFactory/starcoder2-3b-instruct-GGUF — квантизированная версия модели TechxGenus/starcoder2-3b-instruct, подготовленная QuantFactory с использованием llama.cpp. Модель предназначена прежде всего для генерации кода и выполнения инструкций, связанных с программированием; для задач, не относящихся к кодированию, её возможности могут быть ограничены. В основе лежит StarCoder2 с 3 млрд параметров, дообученная на 0,7 млрд дополнительных высококачественных токенов, связанных с программным кодированием, в течение трёх эпох. При обучении использовались DeepSpeed ZeRO 3 и Flash Attention 2. Модель работает в формате инструкций Alpaca без системного промпта; в README приведён шаблон с секциями «Instruction» и «Response». Заявленный результат на HumanEval-Python составляет 65,9 pass@1. Сведения о поддерживаемых языках программирования, размере контекста и точном типе квантизации не указаны. К сильным сторонам относятся специализация на коде, компактный размер и доступность в формате GGUF для запуска через llama.cpp. Ограничения включают возможные ошибки и вводящие в заблуждение ответы, слабую пригодность для некодовых задач и ограниченное тестирование; перед применением в реальных системах рекомендуется дополнительная проверка безопасности. Лицензия — BigCode OpenRAIL-M.
wavecoder-ultra-6.7b-GGUF — это GGUF-квантизация модели wavecoder-ultra-6.7b, разработанной Microsoft и опубликованной в исходном виде на Hugging Face. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и обработки программного кода; в метаданных указаны задачи text-generation, набор данных HumanEval и метрика code_eval. Модель содержит 6,7 млрд параметров и поставляется в нескольких вариантах квантования от Q8_0 до IQ1_S, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; их размер составляет примерно от 3,62 до 5,52 ГБ. Для работы используется формат GGUF и llama.cpp. Ожидаемый формат запроса близок к DeepSeek Coder или Alpaca: системная инструкция, блок «Instruction» и блок «Response». Сильной стороной модели является возможность локального запуска на широком диапазоне оборудования благодаря множеству уровней квантования, включая варианты для систем с ограниченным объёмом RAM. Более агрессивное квантование уменьшает размер и требования к памяти, но снижает качество генерации. README не содержит сведений об архитектуре, поддерживаемых языках программирования и естественных языках, размере контекстного окна, результатах сравнительных тестов или ограничениях безопасности. Указана лицензия other с license_name deepseek; точные условия лицензии следует уточнять в исходной карточке модели.
Kompress-v2-base — англоязычная модель сжатия промптов для прокси LLM, разработанная на базе ModernBERT-base. Она предсказывает для каждого токена метку сохранения или удаления, чтобы сократить входной текст, сохранив его смысл и важные фрагменты. Архитектура включает LoRA-адаптер и две головы: классификатор токенов и свёрточную голову для оценки непрерывных фрагментов. Базовая модель содержит 149 млн параметров, адаптер — 3,4 млн обучаемых параметров; заявлена поддержка контекста до 8192 токенов. Модель предназначена для снижения объёма текста, передаваемого LLM, в том числе в диалогах, коде, трассах агентов и материалах из разных предметных областей. На тестовой выборке при пороге 0,5 указаны F1 0,918, сохранение 81,5% токенов и полнота сохранения критически важных фрагментов 0,974. Порог можно настраивать для компромисса между степенью сжатия и сохранением важных сведений. Выпущена по лицензии Apache-2.0.
DocsGPT-7b-Mistral — языковая модель Arc53 для ответов на вопросы по документации и другим материалам, найденным системой поиска. Она дообучена методом LoRA на базе zephyr-7b-beta и использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров. Модель принимает текстовый вопрос и контекст документов, а затем генерирует ответ, ориентированный на предоставленные сведения; в README рекомендован шаблон запроса с разделами Instruction, Context и Answer. Контекстное окно составляет 32 768 токенов. Модель предназначена для RAG-сценариев, особенно для команд разработчиков и технической поддержки. В README приведены внутренний тест BACON и результаты MT-Bench, но они не гарантируют качество на конкретных данных и задачах. Модель распространяется под лицензией Apache-2.0, допускающей коммерческое использование.
Functionary Small v3.1 — разговорная языковая модель с поддержкой вызова функций и плагинов, разработанная meetkai на основе Meta-Llama-3.1-8B-Instruct. Это плотная архитектура LlamaForCausalLM на 7,5 млрд параметров с контекстом до 131 072 токенов; модель распространяется в формате safetensors и совместима с Transformers. Модель предназначена для диалоговых систем, которым нужно выбирать подходящий инструмент, вызывать функции по JSON Schema, выполнять последовательные или параллельные вызовы и формировать ответы с опорой на результаты инструментов. Она также поддерживает сценарии с интерпретатором кода и может отвечать обычным текстом, когда вызов инструмента не нужен. Качество работы с инструментами зависит от корректного описания функций, шаблона диалога и обработки вызовов на стороне приложения; README предлагает использовать сервер vLLM с совместимым с OpenAI API интерфейсом. Модель выпущена под лицензией MIT.
Functionary Small v3.2 — языковая модель команды MeetKai для диалогов с вызовом функций и инструментов. Она основана на Meta Llama 3.1 8B Instruct; в репозитории указана плотная архитектура Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса представлены в формате safetensors. Модель подходит для чат-сценариев, где нужно выбирать подходящий инструмент, формировать вызовы по описаниям функций в JSON Schema, запускать несколько функций параллельно или последовательно и использовать их результаты для ответа. Она также может продолжать обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Для разбора сырых ответов в структуру с полями роли, содержимого и вызовов инструментов предусмотрен пользовательский код; авторы также рекомендуют запуск через совместимый с OpenAI сервер vLLM. Лицензия — MIT. Карточка описывает интерфейс вызова инструментов, но не приводит языковых оценок или сравнительных результатов; фактическое качество зависит от формата промпта и корректной обработки вызовов инструментов.
llmfan46/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-uncensored-heretic-GGUF — это GGUF-квантизации текстовой генеративной модели на базе llmfan46/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-uncensored-heretic. Модель разработана независимым автором llmfan46 и предназначена для задач программирования, агентного взаимодействия, работы с терминалом, использования инструментов, рассуждений и генерации текста. В README также указано, что она основана на Gemma 4 с размером 12 млрд параметров. Это декензурированная версия исходной модели yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF, обработанная с помощью Heretic 1.4.0 и варианта метода Magnitude-Preserving Orthogonal Ablation. Изменения затрагивают компоненты attn.o_proj и mlp.down_proj. По приведённым данным, частота отказов снизилась с 99 до 13 отказов из 100 при KL-дивергенции 0,0367; для исходной модели указана точность MMLU 71,56%, однако отдельные результаты именно этой версии не приведены. Модель может быть полезна для локального запуска сценариев, связанных с кодом, терминальными командами и вызовом инструментов, но README не содержит сведений о поддерживаемых языках, длине контекста, конкретной архитектуре GGUF-квантизаций, системных требованиях или совместимых рантаймах. Декензурирование означает сниженный уровень отказов и может сопровождаться дополнительными рисками безопасности и менее предсказуемым поведением, поэтому результаты требуют проверки. Лицензия — Apache-2.0.
Tachibana-Agent — дообученная на наборе Tachibana 4 модель sequelbox на базе Google Gemma 4 12B Instruct. Это агентная модель для программирования: она предназначена для решения практических задач разработки и инженерного анализа, включая исправление ошибок, автоматизацию и работу с кодом в разных языках программирования. В метаданных указаны плотная архитектура Gemma4Unified, формат safetensors и библиотека Transformers; карточка рекомендует использовать формат запросов Gemma 4 Instruct. Модель ориентирована на разработку серверных и клиентских приложений, системное и распределённое программирование, базы данных, оптимизацию производительности, безопасность, компиляторы и создание инструментов. README называет её экспериментальной reasoning-моделью. Лицензия — Apache-2.0. Подробности о контекстном окне и поддержке мультимодального ввода в карточке не описаны.
Hemlock2-Coder-7B-i1-GGUF — это квантизированная версия языковой модели для генерации и обработки программного кода Hemlock2-Coder-7B. Базовую модель разработала команда hemlang, а квантизацию выполнил mradermacher. Модель распространяется в формате GGUF и предназначена для локального запуска в совместимых инструментах вывода. Модель содержит около 7 миллиардов параметров и ориентирована прежде всего на задачи кодинга и текстовой генерации. В метаданных указан английский язык; сведения о поддерживаемых языках помимо английского, контекстном окне, точной архитектуре и мультимодальности отсутствуют. В качестве связанного набора данных указан hemlang/Hemlock2-DPO, а среди тегов упоминается ORPO, однако подробности обучения и результаты тестирования не приведены. Доступны варианты квантизации от очень компактных IQ1 и IQ2 до более качественного Q6_K. Это позволяет выбирать между требованиями к памяти, скоростью и качеством генерации; для баланса размера, скорости и качества в README рекомендуются варианты i1-Q4_K_S и особенно i1-Q4_K_M. Сильной стороной является широкий выбор GGUF-квантизаций для локального использования, однако низкобитные варианты могут заметно терять в качестве. Лицензия модели в README не указана, поэтому условия использования необходимо уточнять отдельно у разработчиков базовой модели и автора квантизации.
Jan-code-4b-GGUF — это квантизированная версия языковой модели Jan-code-4b, разработанной janhq. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста и ориентирована на сценарии работы с кодом и агентами. Модель доступна в формате GGUF с вариантами квантизации от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-вариантов. Размер файлов составляет примерно от 1,98 до 8,83 ГБ. В README указана поддержка английского языка. Архитектура, максимальная длина контекста, точное число параметров и поддерживаемые модальности не описаны; по назначению и формату это текстовая авторегрессионная модель. Сильной стороной является широкий выбор уровней квантизации, позволяющий подобрать баланс между качеством, требованиями к памяти и скоростью работы. В качестве рекомендуемых указаны Q4_K_M, Q5_K_M, Q6_K и близкие варианты. Модель можно запускать через llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты, однако для новых поддерживаемых архитектур может потребоваться обновление программного обеспечения. Лицензия — Apache-2.0.
Jupiter-N-120B — дообученная Locai Labs языковая модель на базе NVIDIA Nemotron-3-Super-120B-A12B. Она предназначена для диалога, следования инструкциям, агентных задач и работы с терминальными сценариями; дообучение усиливает эти возможности и добавляет поддержку валлийского языка и культурную привязку к Великобритании. Модель использует гибридную архитектуру Nemotron-H/LatentMoE с Mamba-2, MoE и attention, а также Multi-Token Prediction. В карточке указано 6,6 млрд параметров, а для базовой модели — 120 млрд параметров, из которых активны 12 млрд. Контекст — до 262 144 токенов. Основные языки карточки — английский, французский, испанский, итальянский, немецкий, японский и китайский; README отдельно отмечает добавленную поддержку валлийского. Модель подходит для задач, где нужны следование сложным инструкциям, агентные действия и терминальные траектории, а также ответы с учётом британского культурного контекста. Лицензия указана как other; условия следует проверять в карточке и материалах модели. Валлийские ответы не прошли обширную проверку носителями языка, культурная привязка не подтверждена человеческой оценкой, а валлийские тесты основаны на адаптированных англоязычных бенчмарках.
KAT-Coder-V2.5-Dev-OptiQ-4bit-REAP-18B — это квантованная модель для генерации текста и кода, опубликованная сообществом mlx-community и предназначенная для локального запуска на устройствах Apple Silicon с использованием MLX. Она создана на основе mlx-community/KAT-Coder-V2.5-Dev-OptiQ-4bit с применением toolkit mlx-optiq и метода REAP, разработанного Cerebras Research. Модель ориентирована на программирование, генерацию текста и другие задачи, поддерживаемые исходной MoE-моделью, однако конкретный набор языков и специализированных сценариев в README не указан. Модель использует архитектуру Mixture-of-Experts: сохранено 128 из 256 экспертов в каждом слое, при этом для каждого токена по-прежнему активируются 8 экспертов. Объём модели составляет 18,3 млрд параметров, размер на диске — 11,4 ГБ против 34,7 млрд параметров и 20,4 ГБ у родительской версии. Эксперты были отобраны равномерно по слоям на основе условного среднего произведения веса маршрутизатора и нормы выхода эксперта. Удалённые эксперты не переобучались, а сохранённые были скопированы без изменений в квантованном виде. Главное преимущество модели — заметное снижение требований к дисковому пространству и памяти при сохранении исходного числа активных экспертов на токен, поэтому уменьшение размера не должно приводить к замедлению генерации. При этом данная версия отдельно не benchmark-илась, а опубликована по рецепту, проверенному на другой модели той же архитектуры. Для протестированного варианта сообщалось снижение общего Capability Score при сохранении процедурных способностей; качество конкретно этой модели может отличаться. Контекстное окно, поддерживаемые языки и MTP sidecar не указаны, причём MTP sidecar отсутствует. Модель распространяется по лицензии Apache-2.0.
Magicoder-CL-7B — языковая модель для генерации кода, разработанная Юйсяном Вэем, Чжэ Ваном, Цзяьвэем Лю, Ифэном Дином и Линмином Чжаном. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, дообученная на CodeLlama-7b-Python-hf. Для обучения использован набор Magicoder-OSS-Instruct-75K, созданный методом OSS-Instruct на основе открытых фрагментов кода. Модель предназначена прежде всего для задач программирования: генерации кода по инструкциям и помощи в решении задач разработки. Контекст составляет 16 384 токена. Модель не рассчитана на общие задачи вне программирования и может допускать ошибки или выдавать вводящий в заблуждение код. Лицензия — Llama 2; при использовании следует учитывать условия OpenAI для синтетических обучающих данных.
microsoft_NextCoder-32B-GGUF — это набор GGUF-квантизированных версий языковой модели NextCoder-32B, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и кода, включая сценарии программирования и чат-взаимодействия. В README указана поддержка английского языка; сведения о других языках отсутствуют. Модель имеет размер 32 млрд параметров и работает в текстовой модальности. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. Рекомендуемыми названы, в частности, Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K_M. Размер файлов варьируется примерно от 13 до 66 ГБ. Размер контекста и точная архитектура в README не указаны. Сильными сторонами являются высокое качество старших вариантов квантизации, возможность локального запуска и совместимость с LM Studio, llama.cpp и другими проектами на его основе. Ограничения включают значительные требования к памяти, снижение качества у компактных вариантов и отсутствие сведений о мультимодальности, дополнительных языках и длине контекста. Модель распространяется по лицензии MIT; условия исходной модели и квантизированных файлов следует рассматривать с учетом указанной лицензии.
WaveCut/Nanbeige4.2-3B-heretic-GGUF — набор GGUF-квантизаций модели WaveCut/Nanbeige4.2-3B-heretic, разработанный WaveCut. Модель предназначена для генерации текста, включая агентные и программные сценарии; в качестве примера использования приведено написание надёжного retry-хелпера на Python. Доступны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0, рассчитанные на разный баланс компактности, скорости и качества. Q4_K_M рекомендован как компактный вариант, Q5_K_M — как сбалансированный, Q6_K — как высококачественная K-квантизация, а Q8_0 — как почти без потерь. Nanbeige 4.2 использует циклический Transformer: 22 физических слоя выполняются дважды. Квантизации K-типа откалиброваны с помощью importance matrix на детерминированно перемешанном корпусе данных для агентных и программных задач. В README не указаны поддерживаемые языки и максимальная длина контекста. Для запуска требуется llama.cpp с поддержкой Nanbeige, проверенной на указанной ветке и ревизии либо более новой сборке с эквивалентной поддержкой. Основные преимущества модели — несколько вариантов квантизации, возможность выбрать компромисс между размером, скоростью и качеством, а также оптимизация калибровки под агентные и coding-сценарии. Ограничения включают зависимость от совместимой реализации llama.cpp и потенциальные потери качества, характерные для квантизованных вариантов; точные размеры файлов и результаты производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.
Ornith-1.0-35B-NVFP4 — квантованная версия модели deepreinforce-ai/Ornith-1.0-35B, разработанной DeepReinforce. Это агентная модель для генерации кода с механизмом самостоятельного выстраивания рассуждений, основанная на архитектуре qwen3_5_moe: Mixture-of-Experts с 35 млрд параметров и визуальной башней Qwen3-VL. Модель поддерживает текстовые и визуальные входные данные, а заявленные языки включают английский, китайский, японский и французский. Модель предназначена для агентного программирования, генерации и решения задач на код. Доступны режимы с рассуждением и без него; при включённом рассуждении модель может формировать более качественные ответы, но требует увеличенного лимита вывода. В README приведены результаты pass@1: 93,9% на HumanEval+ и 80,6% на MBPP+ в режиме рассуждения, а без рассуждения — 87,1% и 78,1% соответственно. Контекст ограничен 8192 токенами в рекомендуемой конфигурации vLLM. Все линейные слои квантизированы в формате NVFP4 W4A4 с размером группы 16; визуальная башня, маршрутизаторы MoE и lm_head сохранены в bf16. Размер модели уменьшен с 70,3 до 21,9 ГБ, что позволяет запускать её на двух GPU по 16 ГБ через vLLM с автоматическим обнаружением квантования. Ограничениями являются требования к нескольким GPU, зависимость от совместимой инфраструктуры vLLM и необходимость корректно извлекать ответ после блока </think> при оценке режима рассуждения. Модель распространяется по лицензии MIT; производные веса и исходная модель атрибутированы DeepReinforce.
Ornith-1.0-397B-FP8 — открытая языковая модель семейства Ornith-1.0, предназначенная прежде всего для агентного программирования. Проект разработан командой Ornith; в материалах также упоминается Deep Reinforce. Модель доступна для генерации текста и ориентирована на сценарии, в которых агент самостоятельно планирует действия, работает с терминалом и решает задачи разработки программного обеспечения. Модель относится к варианту на 397 млрд параметров с архитектурой MoE и представлена в формате FP8. Семейство Ornith обучалось поверх Gemma 4 и Qwen 3.5 с применением reinforcement learning: оптимизируются не только итоговые решения, но и scaffolding — структура поиска и последовательность действий, приводящих к решению. Для Ornith-1.0-397B заявлена эффективная работа в конфигурации с одним GPU. Сведения о размере контекстного окна, поддерживаемых языках и мультимодальности в карточке не указаны. Сильная сторона модели — специализация на агентных задачах программирования; в README приведены результаты на Terminal-Bench 2.1 и SWE-bench Verified, включая показатели 77,5–78,2 и 82,4 соответственно. Эти результаты характеризуют заявленные авторами тестовые условия и не гарантируют аналогичную эффективность в других сценариях. Модель распространяется по лицензии MIT, без региональных ограничений, однако требования к аппаратным ресурсам и практическая совместимость с конкретными средствами запуска требуют отдельной проверки.
Parable-Qwen3-4B-Claude-Fable-5 — локальная языковая модель для программирования и агентных задач, разработанная AnkitAI на основе Qwen/Qwen3-4B. Это плотная архитектура Qwen3ForCausalLM примерно на 3,7 млрд параметров с контекстом до 40 960 токенов; модель принимает и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В README описано дообучение QLoRA на многошаговых сессиях агентов и терминальных трассах с добавлением примеров общих инструкций; веса объединены с базовой моделью. Репозиторий содержит веса safetensors, а также README упоминает сборку GGUF для локального запуска. Модель предназначена для локальной генерации кода, планирования действий агента и работы с терминальными сценариями. Автор сообщает об улучшении подстройки к агентным трассам и более стабильной выдаче ответов по сравнению с базовой моделью; при этом в приведённом HumanEval-164 результат ниже, чем у Qwen3-4B. Для задач максимальной точности вызова функций автор рекомендует базовую модель. Лицензия модели — Apache-2.0; README также указывает, что условия лицензий исходных обучающих данных и поставщиков сторонних трасс могут влиять на коммерческое использование производных систем.
Qwen2.5-Coder-0.5B-Instruct-GGUF — это набор GGUF-квантизированных версий инструкционной модели Qwen2.5-Coder-0.5B-Instruct. Исходную модель разработала команда Qwen, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и кода, диалогового взаимодействия и работы в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Модель содержит 0,5 млрд параметров и доступна в вариантах от F16 до низкобитных квантов Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 0,34 до 0,99 ГБ. Указан английский язык; мультимодальность не заявлена. В README не указаны архитектура исходной модели, размер контекстного окна и полный перечень поддерживаемых языков. К сильным сторонам относятся небольшой размер, возможность локального запуска на устройствах с ограниченными ресурсами и несколько вариантов компромисса между качеством, скоростью и потреблением памяти. Более высокое качество ожидается у F16, Q8_0 и Q6, а низкобитные варианты подходят для систем с небольшим объёмом оперативной памяти, но могут заметнее терять качество. Версии Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4 оптимизированы для ARM и требуют соответствующих аппаратных возможностей; некоторые из них не рекомендуются для Mac и Windows. Модель распространяется под лицензией Apache-2.0.