II.7DevOps, облако и эксплуатация IT-систем

AgentionAI Signal 3.8 27B — минимально изменённая fine-tune-модель Qwen3.8-27B, разработанная AgentionAI. Модель распространяется в формате GGUF и предназначена для использования в llama.cpp как замена Qwen3.8-27B. Обучение выполнено методом self-distillation на ответах самой базовой модели без внешних данных и выходов других моделей. Модель ориентирована на диалоговые, общие, математические и программные задачи, включая работу в режиме рассуждений и генерацию структурированного JSON-вывода. Её основная особенность — более прямые и компактные ответы: по заявленным оценкам, она генерирует на 25% меньше токенов ответа и на 41% меньше токенов рассуждений, сохраняя или улучшая качество на проверенных наборах. В тестах GSM8K точность составила 100% без рассуждений и 95% с рассуждениями; результаты зависят от набора данных и настроек. Signal использует архитектуру и возможности Qwen3.8-27B, включая встроенную multi-token-prediction draft head для speculative decoding. На заявленном оборудовании и при включённом draft head общее время обработки тестового набора было на 19% меньше, а медианное — на 28% меньше, чем у базовой модели. Ограничения включают зависимость эффективности от llama.cpp, оборудования, квантизации и параметров сэмплирования; для снижения риска повторов рекомендуется использовать min-p и presence_penalty, а при включении MTP draft head — специальный параметр llama.cpp. Языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

Swift-Qwen3.8-27B — производная модель UkisAI на основе Qwen/Qwen3.8-27B, дообученная для более экономного пошагового рассуждения. По описанию разработчика, она использует на 58,3% меньше токенов рассуждения при потере качества менее 1% и ускоряет выполнение ряда задач примерно в 1,95 раза; также сообщается о меньшем числе ошибок из-за избыточных рассуждений. В обучении штрафовалось использование отдельных маркеров рассуждения, а дополнительный компонент переноса знаний получен от ThinkingCap-Qwen3.6-27B. Модель предназначена для диалогов и сложных задач, включая программирование, и поддерживает анализ изображений согласно метаданным. Разработчик оценивает её на разных уровнях reasoning effort и указывает на применение в квантованных развёртываниях; доступны веса safetensors и версия GGUF для совместимых сред llama.cpp. Для оценки приводятся результаты сравнений с базовой моделью, однако таблицы бенчмарков в доступном README опущены. Контекст базовой модели указан как 262 144 токена в настройках тестирования. Лицензия в метаданных обозначена как other; README сообщает о бесплатном API для исследовательского использования, но это не устанавливает условия лицензии самих весов.

airoboros-l2-13b-3.0 — экспериментальная языковая модель jondurbin на архитектуре Llama 2 с 12,9 млрд параметров. Она дообучена на преимущественно синтетическом наборе airoboros-3.0, продолжающем airoboros-2.2.1; в данных также есть созданные человеком многоходовые диалоги для ролевого общения. Модель предназначена для генерации текста и выполнения инструкций, особенно для ответов на вопросы по заданному контексту, суммаризации, программирования и подготовки структурированных ответов. Модель поддерживает диалоговый шаблон Llama 2 Chat и контекст до 4096 токенов. Для математических запросов она может формулировать решения в формате MathJSON, которые затем вычисляются внешним инструментом. В README отмечено, что ответы по контексту следует явно оформлять специальными разделителями, а для MathJSON рекомендуется низкая температура генерации. Указанная лицензия — Llama 2; модель не следует считать надёжным средством вычислений, а генерацию MathJSON нужно проверять внешним вычислителем.

AriannaV4 — мультимодальная модель-ассистент, созданная SurgeFF на базе google/gemma-4-12B с объединёнными весами Aria v4. Это самостоятельная модель для локального запуска; доступны веса в формате safetensors и варианты GGUF разной точности для llama.cpp, Ollama и LM Studio. Архитектура относится к Gemma 4 Unified, размер базовой модели — 12 млрд параметров. Модель предназначена для диалогов, рассуждений, работы с текстом и кодом, математических задач, выбора инструментов, а также понимания изображений, аудио и видео. Для голосового ввода и вывода в реальном времени, генерации изображений и видео и получения эмбеддингов README описывает отдельные подключаемые компоненты: эти возможности не встроены в веса AriannaV4. Репозиторий предназначен для локального развертывания и позиционируется автором как production-ассистент. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и запрещает коммерческое использование.

Cohere и Cohere Labs разработали Command R+ — авторегрессионную языковую модель на архитектуре Transformer с 104 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. После предварительного обучения она прошла дообучение с учителем и обучение на предпочтениях людей. Command R+ специально обучена для генерации ответов с опорой на предоставленные документы: она может указывать релевантные источники и включать цитаты в ответ. Модель также умеет выбирать внешние инструменты и работать с ними в несколько шагов, что подходит для сложных сценариев с API, базами данных и поиском. Для корректной работы этих функций важно использовать предусмотренный шаблон промпта; отклонение от него может снизить качество. Модель оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, арабского и упрощённого китайского языков. Русский и ещё 12 языков присутствовали в данных предварительного обучения, но не входят в перечень языков, для которых заявлена оптимизация. Веса доступны по лицензии CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs, а коммерческое использование ограничено условиями лицензии.

DeepHermes 3 Mistral 24B Preview — языковая модель Nous Research, дообученная на базе Mistral-Small-24B-Base-2501. Это предварительная версия гибридной модели, объединяющей обычный режим ответов и режим рассуждений, который включается системным сообщением. Модель предназначена для диалогов, следования инструкциям, решения задач с рассуждениями и вызова функций; также поддерживает структурированные ответы в формате JSON. Модель имеет плотную архитектуру MistralForCausalLM и 23,4 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст длиной до 32 768 токенов. В карточке указан английский язык. Модель доступна под лицензией Apache-2.0. Это preview-релиз с ранними возможностями рассуждения, дистиллированными из R1; авторы предупреждают о возможных особенностях и ошибках. Для сложных задач модель может генерировать длинные цепочки рассуждений, поэтому может потребоваться увеличить лимит выходных токенов.

Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ — квантованная версия модели DeepSeek-R1-Distill-Llama-70B, основанной на DeepSeek-R1 и разработанной командой DeepSeek AI. Модель относится к большим языковым моделям для задач рассуждения и создана посредством дистилляции: в меньшую плотную модель перенесены образцы и паттерны рассуждений, полученные от DeepSeek-R1. В README также указано, что семейство DeepSeek-R1 ориентировано на задачи математики, программирования и общего логического рассуждения, а исходная модель демонстрировала результаты, сопоставимые с OpenAI o1 в этих направлениях. Представленная сборка использует 4-битное AWQ-квантование, выполненное с помощью AutoAWQ 0.2.8, с group size 128, zero point и режимом GEMM. Это снижает требования к памяти и делает запуск крупной 70B-модели более доступным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией; конкретные результаты для этой сборки в README не приведены. Архитектура, размер контекста, поддерживаемые языки и модальности отдельно не указаны, поэтому подтверждённо описать можно только текстовый LLM-сценарий. Модель распространяется по лицензии llama3.3; README также ссылается на Model Agreement для лицензии модели. Условия лицензии следует проверить перед коммерческим или иным ответственным использованием.

unsloth/DeepSeek-R1-Distill-Llama-8B — текстовая языковая модель семейства Llama, опубликованная Unsloth на основе DeepSeek-R1-Distill-Llama-8B от DeepSeek. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит веса Safetensors и рассчитан на Transformers. Модель предназначена для диалоговой генерации текста и многошаговых рассуждений, включая решение математических задач и помощь в программировании. Её веса происходят от модели Llama 3.1 8B, дообученной на примерах рассуждений, сгенерированных DeepSeek-R1. В карточке заявлена поддержка английского языка; метаданные также отмечают чат и интерфейс вызова инструментов. Модель подходит для прототипирования ассистентов и задач, где полезны длинный контекст и развернутые рассуждения. Качество ответов может быть нестабильным, а сгенерированные выводы требуют проверки; README указывает максимальную длину генерации 32 768 токенов для описанной оценки. Лицензия репозитория — Llama 3.1, поэтому использование должно соответствовать её условиям.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 — квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации и обработки текста, включая задачи рассуждения, решения математических задач, ответов на вопросы и использования в чат-сценариях. Модель имеет 32 миллиарда параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках при формате W4A16. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ через библиотеку llm-compressor. Такой подход примерно на 75% сокращает размер модели на диске и требования к памяти GPU по сравнению с представлением весов в 16 битах. Входная и выходная модальности — текст; сведения о поддерживаемых языках и максимальном контексте в карточке явно не указаны. По приведённым оценкам, квантизированная версия сохраняет около 99,45% среднего результата исходной модели на наборе задач рассуждения, включая AIME 2024, MATH-500 и GPQA Diamond. Она оптимизирована для эффективного развёртывания с vLLM и может использоваться через OpenAI-совместимый сервер. Ограничением является возможное небольшое снижение точности из-за квантизации, а также зависимость эффективного запуска от совместимого GPU и программного стека vLLM. Модель распространяется по лицензии MIT.

mlx-community/DeepSeek-R1-Distill-Qwen-7B — языковая модель на архитектуре Qwen2, преобразованная сообществом mlx-community из deepseek-ai/DeepSeek-R1-Distill-Qwen-7B в формат MLX с помощью mlx-lm 0.21.1. В основе лежит дистиллированная модель DeepSeek R1 Distill Qwen 7B с 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и программирования. Она поддерживает контекст до 131 072 токенов. В метаданных указаны чат-возможности и интерфейс вызова инструментов. Репозиторий содержит преобразованную версию для MLX; README описывает использование через mlx-lm. Это преобразование формата, а не отдельное дообучение или квантизация. Сведений о лицензии и ограничениях применения в предоставленных данных нет.

DeepSeek-R1-Distill-Qwen-7B-bnb-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Модель относится к семейству плотных языковых моделей Qwen, дистиллированных из DeepSeek-R1, и предназначена для исследовательских и прикладных задач, требующих рассуждений, включая решение математических задач, программирование, анализ и генерацию текста. В README также упоминается применение для диалоговых сценариев и текстового завершения через экосистему Transformers и инструменты Unsloth. Модель имеет размер 7B параметров и поддерживает английский язык; другие языки и мультимодальные возможности в предоставленных данных не указаны. Суффикс bnb-4bit указывает на 4-битное представление в формате, связанном с bitsandbytes, что снижает требования к памяти и делает запуск доступнее на ограниченных по ресурсам GPU, однако может сопровождаться компромиссом между качеством и точностью по сравнению с полной точностью. Архитектурные детали и размер контекста в README не приведены. Сильной стороной модели являются возможности рассуждения, унаследованные от DeepSeek-R1 и дистиллированные в компактную 7B-модель, а также более экономичное потребление памяти благодаря квантованию. Ограничения включают возможные ошибки, недостаточную читаемость или смешение языков, характерные для reasoning-моделей и упомянутые в контексте исходного семейства; конкретные результаты для этой версии не указаны. Модель распространяется по лицензии Apache-2.0.

win10/DeepSeek-R1-Distill-sthenno-14b-0121 — объединённая языковая модель на 14 млрд параметров, созданная с помощью mergekit методом TIES на основе sthenno-com/miscii-14b-1225 и объединяющая веса DeepSeek-R1-Distill-Qwen-14B и tempesthenno-ppo-ckpt40. Она использует архитектуру Qwen2ForCausalLM, распространяется в формате safetensors и рассчитана на генерацию текста и диалоги; заявленная длина контекста — 131072 токена. Модель подходит для диалоговых сценариев и генерации ответов, включая задачи рассуждения, математики и программирования, указанные в описании базовой модели каталога. README приводит конфигурацию слияния и тип данных float16. Репозиторий не сообщает отдельные результаты оценки качества или подробные ограничения. Лицензия в предоставленных данных не указана.

DFM Mimir v1.5 — это инструкционно настроенная разговорная языковая модель на архитектуре HRM-Text XL с PrefixLM, разработанная Danish Foundation Models. Это продолжение датской и английской линейки Mimir: модель дообучена на последующих смесях данных до финального EMA-чекпойнта 10-й эпохи и не обучалась заново с нуля. В репозитории представлены BF16-веса для инференса; число параметров по README составляет около 1,787 млрд, а нативный контекст — 4096 токенов. Модель предназначена для диалогов и следования инструкциям на датском и английском языках, в том числе для математических и программных задач, а также сценариев с инструментами. Для запуска требуется среда Transformers или vLLM с поддержкой HRM-Text и PrefixLM attention; обычный causal-only декодер не является эквивалентной средой. Модель распространяется по лицензии Apache-2.0. Модель может галлюцинировать, ошибаться в коде и рассуждениях, нарушать требуемый формат и воспроизводить социальные предубеждения; её надёжность для критически важных решений не гарантируется. Выводы бенчмарков зависят от шаблона, токенизатора и настроек оценки, а сведения о безопасности и запоминании для предыдущей версии не подтверждают свойства v1.5.

Dolphin X1 405B — диалоговая модель общего назначения, разработанная командой Dolphin на базе allenai/Llama-3.1-Tulu-3-405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Она сохраняет способности базовой модели следовать инструкциям и предназначена для диалогов и генерации текста; разработчики подчёркивают управляемость системным промптом и более низкий уровень отказов по сравнению с другими моделями этого класса. Модель рассчитана на развёртывание в собственных приложениях и инфраструктуре, где владелец задаёт системный промпт и правила поведения. В README приведены способы запуска через vLLM, Transformers и llama.cpp. Модель доступна по лицензии Apache-2.0. README заявляет о снижении частоты отказов, поэтому модель может выдавать ответы на запросы, которые другие модели отклоняют; качество и поведение следует оценивать в целевом сценарии.

Dolphy-1.0 — диалоговая языковая модель от Dolphy AI, дообученная методом LoRA на базе Qwen/Qwen3-4B-Instruct-2507. Это плотная причинная модель семейства Qwen3 с 3,7 млрд параметров и контекстом до 262 144 токенов. В обучающем конвейере использовано 1,5 млн примеров из 20 наборов данных; среди перечисленных источников — материалы для диалогов, следования инструкциям, математики, программирования, письма и ответов на вопросы. Модель предназначена для генерации ответов в чате, выполнения инструкций, решения задач и работы с инструментами через совместимый с Qwen3 интерфейс вызова функций. Она поддерживает многоязычные возможности базовой модели; точный перечень языков в карточке не приведён. Репозиторий содержит веса safetensors, а README также рекомендует GGUF для локального запуска. Лицензия — Apache-2.0. Заявление автора о превосходстве над более крупными моделями не сопровождается результатами сравнительной оценки в предоставленной карточке. Качество может различаться в зависимости от задачи; подробные результаты тестирования и конкретный перечень поддерживаемых языков не приведены.

ELYZA-Thinking-1.0-llm-jp-4-33b — языковая модель с рассуждениями, разработанная ELYZA, Inc. на основе llm-jp/llm-jp-4-33b-base. Это плотная авторегрессионная модель семейства Llama с 32,2 млрд параметров и контекстом 65 536 токенов; веса доступны в формате safetensors, лицензия — Apache 2.0. Модель предназначена прежде всего для японского рассуждения и следования инструкциям, включая задачи по математике, программированию, STEM, японским знаниям и работе с инструментами. ELYZA провела промежуточное обучение, дообучение на инструкциях и обучение с подкреплением на проверяемых задачах, добавляя японские данные и сохраняя англоязычные материалы. Поддерживаются японский и английский языки. Модель подходит для диалоговых приложений, решения сложных задач и сценариев с вызовом инструментов. README отмечает ограничение формата Harmony: параллельные вызовы инструментов не поддерживаются. Для работы с моделью описаны варианты запуска через vLLM и Transformers.

Falcon-H1-1.5B-Deep-Instruct — компактная инструктивно дообученная языковая модель семейства Falcon-H1 от TII, основанная на Falcon-H1-1.5B-Deep-Base. Это плотная причинная модель-декодер с гибридной архитектурой Transformers и Mamba, примерно на 1,2 млрд параметров. Она предназначена для диалоговой генерации текста, рассуждений и решения общих задач; среди сценариев применения — ответы на вопросы и помощь с написанием кода. Модель поддерживает английский и многоязычный ввод, а контекст составляет до 131 072 токенов. Для запуска подходят Transformers, vLLM и llama.cpp; в репозитории указаны веса Safetensors. В README приведено сравнение Falcon-H1 с несколькими компактными языковыми моделями на тестах рассуждений и общих задач. Лицензия — Falcon-LLM License; перед использованием следует проверить её условия.

GLM-4-9B — базовая плотная языковая модель семейства GLM-4, разработанная Zhipu AI. Репозиторий содержит версию с 8,8 млрд параметров в формате safetensors; она предназначена для генерации текста и служит базой для последующей настройки под диалоговые и другие задачи. Модель оценивалась на задачах семантики, математики, рассуждений, программирования и общих знаний. В карточке описана многоязычная поддержка, включая китайский и английский; метаданные также указывают эти языки. Контекст этой версии составляет 8192 токена. Упомянутые в README возможности вызова инструментов, веб-поиска и контекст до 128K относятся к GLM-4-9B-Chat, а не к данной базовой версии. Для работы с весами требуется transformers версии 4.46.0 или новее. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория. Модель не является мультимодальной: описание этой линейки отдельно выделяет GLM-4V-9B как визуальную модель.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes 2 Pro, разработанной NousResearch на основе Meta Llama 3 8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для текстового диалога, генерации текста и инструкций, а также сценариев с function calling и выдачей структурированных данных в JSON. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и ориентирована преимущественно на английский язык. В карточке указаны дообучение с применением DPO и RLHF, использование синтетических данных, дистилляции и датасета OpenHermes-2.5, а также формат запросов ChatML. Размер контекста в предоставленных данных не указан. Главное преимущество этой версии — доступность большого набора квантизаций с разным балансом качества, размера и требований к памяти: от Q8_0 до низкоразрядных IQ- и Q-вариантов. Более качественные варианты Q6_K и Q5_K_M рекомендованы для большинства задач, тогда как низкоразрядные версии подходят для систем с ограниченной памятью, но могут заметно уступать в качестве. Модель распространяется по лицензии Apache 2.0.

Hy3-295B-NVFP4 — квантованный экспорт базовой модели Tencent Hy3, подготовленный r0b0tlab с NVIDIA ModelOpt и проверенный в vLLM на двух системах NVIDIA GB10. Это MoE-модель для генерации диалогового текста; артефакт использует калиброванную квантизацию весов W4A4 NVFP4 для поддерживаемых проекций маршрутизируемых экспертов, а проверенный KV-кэш работает в FP8. В README описана практическая проверка контекста до 49 152 токенов, но это измеренная граница конкретного профиля, а не заявленный архитектурный максимум. Модель предназначена для диалогов, рассуждений, ответов на вопросы, задач на следование инструкциям и генерации кода. В README приведены результаты тестов на GSM8K, ARC-Challenge, PIQA, WinoGrande, TruthfulQA, MMLU, IFEval и HumanEval, а также измерения производительности на указанном оборудовании. Результаты относятся к конкретным конфигурациям запуска, данным и контрактам декодирования и не гарантируют качество для любых запросов. В метаданных указана лицензия other; README требует соблюдать лицензии и условия базовой модели, библиотек и наборов данных. Для запуска и заявленной производительности необходимы совместимые аппаратное обеспечение и программный стек; показатели проверки получены на двух GB10 с vLLM и FlashInfer.

Это квантованная версия Granite 3.3 8B Instruct — инструкционной текстовой модели, разработанной командой IBM Granite. Репозиторий подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix; базовая модель указана как ibm-granite/granite-3.3-8b-instruct. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных уровней квантования Q3–Q8 и IQ, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти. Размер исходной модели составляет 8 миллиардов параметров, однако README не указывает архитектуру, языки, длину контекста или дополнительные модальности; по назначению это текстовая, а не мультимодальная модель. Сильной стороной сборки является широкий выбор квантований: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев при меньшем потреблении памяти. Более компактные варианты позволяют запускать модель на системах с ограниченной RAM, но могут снижать качество ответов. Для корректной работы следует использовать указанный шаблон prompt и совместимый llama.cpp-based runtime. Распространение осуществляется по лицензии Apache-2.0.

Ling-lite-1.5 — языковая модель с разреженной архитектурой MoE, разработанная InclusionAI для генерации текста и диалогового взаимодействия. Карточка относит её к семейству Ling и приводит для этой версии 16,8 млрд параметров, из которых активируется 2,75 млрд. В метаданных репозитория указано 794,8 млн параметров и контекст 32 768 токенов, тогда как README сообщает 128K контекста; поэтому характеристики размера и длины контекста в источниках расходятся. Модель предназначена для широкого круга задач с текстом, включая ответы на вопросы, решение задач и генерацию кода. В опубликованной таблице оценки приведены результаты на MMLU, GPQA и HumanEval; README также описывает тесты длинного контекста до 128K. Для запуска указана библиотека Transformers, веса представлены в формате safetensors. Лицензия — MIT.

Llama-3_1-Nemotron-51B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Llama-3.1 Nemotron 51B-Instruct от NVIDIA, подготовленная пользователем ymcki. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указан английский язык. Для общения используется шаблон с ролями System, User и Assistant. Модель содержит около 51 млрд параметров и поддерживает запуск через llama.cpp. Доступны варианты квантизации Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, IQ4_XS, Q4_0, IQ3_M, IQ3_S, IQ3_XXS и Q3_K_S с размером файлов примерно от 20,19 до 42,26 ГБ. Более точные варианты обеспечивают качество, близкое к исходной модели, но требуют больше памяти; менее точные подходят для оборудования с ограниченным объёмом памяти, однако сильнее уступают по показателям perplexity и могут работать медленнее на CPU и Apple Silicon. Для полноценной работы требуется версия llama.cpp начиная с b4380 с поддержкой переменного Grouped Query Attention для DeciLMForCausalLM. При самостоятельной конвертации следует учитывать проблему старого конвертера с параметром rope_theta: без исправления модель может некорректно работать с запросами длиннее 4 тысяч токенов. Модель распространяется по лицензии NVIDIA Open Model License Agreement; точные условия определяются текстом этой лицензии.

Llama-3.1-Nemotron-70B-Instruct-GGUF — квантованная версия инструкционной модели Llama 3.1 Nemotron 70B, разработанной NVIDIA и опубликованной в формате GGUF сообществом Backyard AI. Модель основана на nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и предназначена для локального текстового общения, генерации текста и решения задач, требующих рассуждений. Модель содержит около 70,6 млрд параметров, поддерживает текстовую модальность и английский язык. Заявленный размер контекста составляет до 131 072 токенов. Формат GGUF совместим с приложениями на базе llama.cpp и позволяет распределять вычисления между CPU и GPU, снижая требования к видеопамяти по сравнению с полноразмерными форматами. Квантование уменьшает потребление ресурсов, но при низкой точности квантования может ухудшать связность и качество ответов. Сильными сторонами модели заявлены улучшенные способности к рассуждению и потенциальное превосходство над значительно более крупными моделями в соответствующих задачах. Ограничениями являются высокая вычислительная требовательность 70-миллиардной модели, зависимость качества от используемого уровня квантования и отсутствие заявленной поддержки языков, кроме английского. Модель распространяется по лицензии Llama 3.1.

Llama 3.1 Tulu 2 8B — языковая модель-помощник, разработанная AI2 и дообученная на базе Meta-Llama-3.1-8B. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Она обучена на смеси открытых, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2; основной язык — английский. Модель предназначена для диалогового общения и выполнения пользовательских инструкций: она генерирует ответы на вопросы, помогает с рассуждениями и решает разнообразные текстовые задачи. В опубликованных оценках показаны результаты по знаниям, математическим задачам, программированию, следованию инструкциям и безопасности ответов. Модель распространяется под лицензией Apache 2.0; README также указывает на включённую лицензию Meta Llama 3.1. Tulu не проходила этап RLHF для выравнивания безопасных ответов и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно при соответствующих запросах.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF — это квантизированная версия Gradient Llama-3-8B-Instruct-Gradient-1048k в формате GGUF, созданная с использованием llama.cpp. Базовая модель разработана Gradient на основе Meta Llama 3 8B Instruct; исходное семейство Llama 3 разработано Meta. Модель предназначена для генерации текста и кода, диалоговых сценариев, создания ассистентов и обработки очень больших текстовых документов. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention, содержит около 8 млрд параметров и работает только с текстом на входе и выходе. Заявленное контекстное окно расширено с 8 тысяч до более чем 1,04 млн токенов. Расширение выполнено с помощью оптимизации RoPE theta, NTK-aware interpolation и последовательного обучения на контекстах длиной 65K, 262K, 524K и 1048K токенов. В README указан английский язык, а для обучения длинного контекста использовались данные на основе SlimPajama. Ключевое преимущество модели — сочетание относительно компактного размера, формата GGUF для использования в экосистеме llama.cpp и поддержки сверхдлинного контекста, что может быть полезно при анализе крупных документов и длинных последовательностей. Ограничения включают текстовую модальность, отсутствие подробных результатов оценки качества и конкретных характеристик квантизации в представленном README, а также возможное снижение точности по сравнению с полной или менее квантизированной версией. В качестве лицензии указана llama3.

lmstudio-community/Meta-Llama-3-70B-Instruct-BPE-fix-GGUF — версия модели Meta-Llama-3-70B-Instruct, разработанной Meta и опубликованной сообществом lmstudio-community в формате GGUF с исправлением BPE. Это текстовая генеративная языковая модель для диалогов, следования инструкциям и других задач генерации текста. В карточке указаны английский язык и конвейер text-generation. Модель относится к семейству Llama 3 и содержит 70 млрд параметров; она предназначена для сценариев, где требуется создание и обработка текста в формате инструкций или диалога. Поддерживаются только текстовые входы и выходы. Сведения об архитектурных деталях, размере контекста, точном наборе поддерживаемых языков и характеристиках производительности в карточке не приведены. Модель требует значительных вычислительных ресурсов из-за большого числа параметров, а формат GGUF ориентирован на локальное или совместимое с ним инференс-развёртывание. Условия использования определяются Meta Llama 3 Community License: лицензия предоставляет ограниченные права на использование, копирование, модификацию и распространение при соблюдении условий Meta, включая принятие Acceptable Use Policy, указание атрибуции и отображение фразы «Built with Meta Llama 3» при распространении. Для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

microsoft_Phi-4-reasoning-GGUF — это набор GGUF-квантизированных вариантов языковой модели Phi-4-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, решения математических задач, работы с кодом и задач, требующих рассуждений. Модель поддерживает текстовый ввод и вывод; в метаданных указан английский язык. Доступны варианты от BF16 до низкобитных квантов Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, требованиями к памяти и скоростью локального запуска. Размер файлов варьируется примерно от 8,4 до 29,3 ГБ. Архитектура, число параметров, максимальный контекст и дополнительные модальности в README не указаны. Сильными сторонами являются наличие вариантов с разным уровнем сжатия, высокая заявленная точность старших квантов и совместимость с llama.cpp, LM Studio и другими проектами на его основе. Ограничения включают возможное снижение качества у низкобитных вариантов, необходимость значительного объёма памяти и отсутствие подробных данных о производительности, контекстном окне и поддерживаемых языках помимо английского. Распространение указано по лицензии MIT.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

JANGQ-AI выпускает JANG_6M — квантованный вариант Mistral Small 4 от Mistral AI, подготовленный Jinho Jang для запуска через MLX на компьютерах Apple с большим объёмом памяти. Это модель семейства Mistral3 с архитектурой MoE: 119 млрд параметров всего и около 6 млрд активных на токен; в README указаны 36 слоёв, 128 экспертов с выбором четырёх, MLA-внимание и квантование JANG с точностью 6,04 бита. Для вычислений используется bfloat16. Модель предназначена для диалогов, рассуждений, генерации кода и математических решений, а также анализа изображений через визуальный энкодер Pixtral с заявленным пределом 1540 пикселей. В README заявлены режим рассуждений с маркерами [THINK] и управление reasoning_effort. Указаны размер файлов 84 ГБ, пиковое потребление памяти 95 ГБ и скорость генерации 74 токена в секунду на M3 Ultra; эти показатели относятся к описанной конфигурации тестирования. Карточка называет MLX Studio приложением с полной поддержкой, а также упоминает поддержку oMLX. Лицензия — Apache-2.0. Метаданные связывают модель с базовой Mistral-Small-4-119B-2603 как дообучение, хотя README описывает прежде всего квантование; поэтому происхождение отражено по метаданным, а детали обучения в карточке не раскрыты.