II.7DevOps, облако и эксплуатация IT-систем

Ministral-8B-Instruct-2410 — инструкция-дообученная плотная трансформерная языковая модель компании Mistral AI с примерно 8 млрд параметров. Она предназначена для локального и периферийного запуска, диалогов и выполнения инструкций; также поддерживает вызов функций и задачи с кодом и математическими рассуждениями. Модель обучена на многоязычных данных и данных по программированию. В карточке заявлено контекстное окно до 128 тыс. токенов с чередующимся скользящим вниманием; в vLLM контекст ограничен 32 тыс. токенов. Метаданные указывают 32 768 токенов как native context. Модель рассчитана на генерацию текста и чат на нескольких языках, включая русский, английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский и корейский. Для запуска на одном GPU требуется около 24 ГБ видеопамяти; для длинного контекста требования могут быть выше. Модель выпущена по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией.

Это GGUF-модель NVIDIA Nemotron-3-Nano-30B-A3B в формате BF16, подготовленная автором репозитория с помощью llama.cpp. Исходная модель NVIDIA обучена с нуля как универсальная языковая модель для рассуждений и обычного диалога; этот вариант использует гибридную архитектуру MoE с 23 слоями Mamba-2 и MoE и 6 слоями внимания. Всего модель содержит 30 млрд параметров, из которых на каждом токене активны около 3,5 млрд; в каждом MoE-слое есть 128 экспертов и один общий эксперт, активируются шесть экспертов. Модель предназначена для ответов на вопросы, следования инструкциям, программирования, многоязычного диалога, а также создания чат-ботов, RAG-систем и агентных приложений. Режим рассуждений можно включать и отключать через шаблон чата; карточка указывает контекст до 1 млн токенов, при этом конфигурация по умолчанию рассчитана на 256 тыс. токенов. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Вариант использует BF16, поэтому это не низкобитная квантизация, хотя веса представлены в GGUF и подготовлены для llama.cpp. Для запуска также перечислены Transformers, vLLM, TRT-LLM и SGLang; максимальный контекст и требования к памяти зависят от конфигурации. Модель заявлена как пригодная для коммерческого использования; метаданные репозитория указывают лицензию «other», поэтому перед применением следует проверить условия лицензии исходной модели NVIDIA.

Qwen3-235B-A22B-Thinking-2507-FP8 — открытая языковая модель, разработанная командой Qwen. Это FP8-версия Qwen3-235B-A22B-Thinking-2507, предназначенная для генерации текста и сложных задач рассуждения: логики, математики, естественных наук, программирования, академических тестов, следования инструкциям, использования инструментов и агентских сценариев. Модель построена как causal language model на архитектуре Mixture-of-Experts: 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; 128 экспертов, 8 активных, 94 слоя, Grouped-Query Attention с 64 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только thinking mode, причём увеличенная длина рассуждений рассчитана на особенно сложные задачи. По приведённым оценкам, она показывает высокие результаты в reasoning, coding, следовании инструкциям, работе с инструментами и мультиязычных тестах, однако README не содержит полного перечня поддерживаемых языков и сведений о мультимодальных входах. Модель ориентирована на сценарии, где важны глубина рассуждений, качество кода, анализ и обработка длинного контекста. Ограничением является поддержка только режима рассуждения, что может увеличивать задержку и расход вычислительных ресурсов; конкретные требования к оборудованию и производительности в README не указаны. Распространяется по лицензии Apache-2.0.

dnotitia/Qwen3-4B-Instruct-2507 — вариант Qwen3-4B, опубликованный Dnotitia с изменённым шаблоном чата; веса совпадают с официальным выпуском Qwen3. Шаблон вынесен в отдельный файл и дополнен тегами для совместимости с обучением через TRL и режимом assistant_only_loss. Модель имеет плотную причинную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и нативный контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она помогает отвечать на вопросы, рассуждать, решать математические и научные задачи, писать код и вызывать инструменты. Это режим без пошагового thinking-вывода; в карточке также заявлены улучшенное понимание длинного контекста и многоязычные знания. Для запуска рекомендуется актуальная версия Transformers, а для агентных сценариев — Qwen-Agent. Модель распространяется по лицензии Apache-2.0. Карточка не приводит конкретный список поддерживаемых языков, поэтому нельзя определить основной язык; качество может зависеть от языка, запроса и длины входного текста. Для обычных запросов авторы рекомендуют ограничивать генерацию примерно 16 384 токенами, хотя нативное окно контекста значительно длиннее.

Step-3.7-Flash-FP8 — мультимодальная vision-language модель компании StepFun. Это разреженная архитектура Mixture-of-Experts (MoE) с 198 млрд параметров: языковая часть содержит 196 млрд параметров, а визуальный энкодер — 1,8 млрд. На каждый токен активируется около 11 млрд параметров. Модель поддерживает изображения, текст и контекст до 256 тысяч токенов, а также три уровня рассуждений: низкий, средний и высокий. В README указан английский язык, при этом в примере системного сообщения заявлена поддержка китайского, английского и многих других языков. Модель предназначена для высокочастотных производственных и агентских сценариев, объединяющих восприятие, поиск, проверку информации и рассуждение. Она подходит для анализа крупных финансовых отчётов, многошагового поиска с cross-source verification, работы с интерфейсами, wireframe, GUI и графиками, преобразования визуальных материалов в структурированный код, оркестрации внешних API и длительных рабочих процессов, а также для инженерных задач с многофайловыми репозиториями, поиска ошибок и подготовки патчей. Заявленная пропускная способность достигает 400 токенов в секунду. Сильные стороны модели — визуальное заземление и проверка данных, устойчивость к adversarial traps в многошаговой оркестрации, взаимодействие с инструментами и пригодность для высокопроизводительных coding-пайплайнов. Ограничения следует оценивать по приведённым бенчмаркам: результаты Terminal-Bench 2.1 и GDPVal-AA уступают абсолютным лидерам соответствующих сравнений. Модель доступна через StepFun Open Platform, OpenRouter и NVIDIA NIM; поддерживаются vLLM, SGLang, Hugging Face Transformers и llama.cpp. Указана лицензия Apache-2.0. Для локального запуска требуются высокопамятные системы; в README приведены устройства с объёмом unified memory не менее 128 ГБ.

MaziyarPanahi/calme-2.2-rys-78b — диалоговая языковая модель, дообученная на основе dnhkng/RYS-XLarge. Она построена на плотной архитектуре Qwen2 с 76,7 млрд параметров и предназначена для генерации текста и общения в формате ChatML; максимальная длина контекста составляет 32 768 токенов. Модель подходит для систем ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммирования текстов, генерации и анализа кода, а также решения сложных задач и поддержки принятия решений. В дообучении использованы наборы truthy-dpo-v0.1 и Intel/orca_dpo_pairs. Карточка указывает английский язык. Модель распространяется по лицензии MIT.

Cogito v1 preview 70B — диалоговая языковая модель, разработанная Deep Cogito и дообученная на базе Meta Llama 3.1 70B. Модель содержит 69,5 млрд параметров, использует архитектуру Llama с плотной авторегрессионной сетью и предназначена для генерации текста, следования инструкциям и общения. Модель поддерживает два режима ответа: прямой и с дополнительным рассуждением, которое можно включить через системную инструкцию или параметр шаблона чата. Она ориентирована на программирование, STEM-задачи, многоязычные запросы, вызов инструментов и общую помощь; заявлена поддержка более 30 языков и контекст до 128 тыс. токенов. Модель работает с текстом на входе и выдаёт текст. По заявлению разработчика, Cogito обучалась методом Iterated Distillation and Amplification и показывает результаты выше сопоставимых по размеру моделей на стандартных отраслевых тестах. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия Llama 3.1 допускает коммерческое использование с соблюдением её условий.

Gemma-4-26B-A4B-text-base — текстовая версия модели Gemma 4, опубликованная wyattearp на основе Google Gemma-4-26B-A4B-it. Веса языкового трансформера сохранены без изменений, а компоненты обработки изображений и аудио удалены. Это модель типа MoE с 26 млрд параметров и примерно 4 млрд активных параметров на токен; она выдаёт текст и предназначена для генерации, диалогов, рассуждений, программирования и вызова инструментов. Длина контекста — 262 144 токена. Репозиторий содержит веса BF16 в формате safetensors для использования с Transformers и vLLM. Удаление мультимодальных компонентов упрощает языковый инференс и снижает требования к памяти, но модель не обрабатывает изображения или аудио. В README описана проблема совместимости парсера вызова инструментов в vLLM и связанное с ней исправление. Лицензия — Gemma.

NVIDIA GLM-5.2 NVFP4 — это посттренировочно квантованная версия языковой модели ZAI GLM-5.2, подготовленная NVIDIA с помощью Model Optimizer. Модель предназначена для авторегрессионной генерации текста, рассуждений и программирования, а также для использования в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformer с сетью GLM-5.2 типа GlmMoeDsaForCausalLM. Это разреженная Mixture-of-Experts-модель объёмом 753 млрд параметров, из которых активируется 40 млрд; для поддержки длинного контекста используется sparse attention с индексатором IndexShare. Она принимает и генерирует текст, поддерживает контекст до 1 млн токенов. Веса и активации линейных операторов в MoE-экспертах квантизированы в формат NVFP4, при этом общий эксперт не квантизирован. Сильными сторонами модели являются поддержка длинного контекста, задач рассуждения, научного программирования, следования инструкциям и агентского использования инструментов, а также готовность к ускоренному инференсу. Обучающие данные не раскрыты, а для самой версии Model Optimizer отдельные обучение и тестирование не выполнялись; поэтому качество следует дополнительно проверять на данных конкретного сценария. Модель ориентирована на системы с GPU NVIDIA Blackwell, Linux и движками SGLang или vLLM; заявленное тестовое оборудование — NVIDIA B200 и B300. Лицензия MIT разрешает коммерческое и некоммерческое использование.

GRM-2.6-Plus-0628 — дообученная OrionLLM модель с 27 млрд параметров на архитектуре семейства Qwen3.5. Она предназначена для общего общения и сложных задач, включая структурированные рассуждения, программирование и длительные многошаговые агентные сценарии. Метаданные указывают поддержку изображений и интерфейса вызова инструментов; модель принимает текст и изображения и генерирует текст. В README также описана исправленная версия шаблона чата для передачи вызовов инструментов в некоторых движках инференса. Модель выпущена под лицензией Apache 2.0. Заявления о высокой производительности приведены в карточке, но численные результаты бенчмарков в доступном тексте отсутствуют.

WhiskyAKM подготовил GGUF-сборку K2-Horizon-7B в формате NVFP4 на основе модели IFM/K2-Horizon-7B. Это плотная авторегрессионная языковая модель с 7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие движки с поддержкой GGUF. Модель рассчитана на диалоги, рассуждения, программирование, работу с длинным контекстом и агентные сценарии. В карточке приведены результаты исходной модели на математических, программных и других бенчмарках. Квантизация NVFP4 уменьшает точность представления весов и ориентирована на оборудование NVIDIA Blackwell. Репозиторий содержит файл модели в формате GGUF. Лицензия — Apache-2.0.

sakamakismile/LFM2.5-8B-A1B-NVFP4 — это квантизированная версия LiquidAI/LFM2.5-8B-A1B, подготовленная Lna-Lab с использованием NVIDIA TensorRT Model-Optimizer. Модель представляет собой гибридную mixture-of-experts-архитектуру LFM2 с 8,3 млрд общих параметров и примерно 1,5 млрд активных параметров; из 24 слоёв только 6 используют механизм внимания, остальные основаны на коротких свёртках. Применена NVFP4-квантизация W4A4 с 4-битными весами и активациями. Модель предназначена для генерации текста, рассуждений, многоязычного общения, генерации кода и агентских сценариев с вызовом инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Нативная длина контекста составляет до 131 072 токенов. Ключевое преимущество сборки — низкое потребление видеопамяти и высокая пропускная способность: она рассчитана на запуск на одной 16-ГБ видеокарте NVIDIA Blackwell и оставляет значительный объём памяти под KV-кэш, что позволяет обслуживать множество параллельных сессий. Модель поддерживает явный блок рассуждений <think> и использование инструментов через шаблон чата; для развёртывания рекомендуется vLLM с параметрами modelopt и, при необходимости, парсером deepseek_r1. Ограничения включают зависимость от совместимой NVIDIA Blackwell GPU и стека vLLM с поддержкой modelopt, а также необходимость правильно указать квантизацию при загрузке. Лицензия указана как lfm1.0; подробные условия приведены в файле LICENSE.

RedHatAI/Llama-3.3-70B-Instruct-FP8-dynamic — инструкционная текстовая модель семейства Llama 3.3 с 70 млрд параметров, разработанная Red Hat совместно с Neural Magic на базе Meta Llama-3.3-70B-Instruct. Модель принимает текст и генерирует текст, ориентирована на коммерческое и исследовательское использование, включая диалоговые ассистенты, генерацию естественного языка, создание синтетических данных и дистилляцию моделей. Ключевая особенность модели — динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Веса квантизуются статически по каналам, а активации — динамически по токенам. Это примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений. Для эффективного развертывания рекомендуется использовать vLLM; модель валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ограничения связаны с применением FP8-квантизации, возможными изменениями качества по сравнению с исходной моделью и запретом использования за пределами перечисленных языков, а также в нарушение законодательства, Acceptable Use Policy и условий лицензии. Расширенный контекст в README не указан; в примере развертывания задан максимальный размер последовательности 32768 токенов. Распространяется по лицензии Llama 3.3 Community License.

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Ollama — мультимодальная модель семейства Qwen3.6-35B-A3B, подготовленная разработчиком oktayd на основе производных Qwen и последующих reasoning-distillation, ablation, Heretic, OBLITERATUS и Hermes-этапов. Репозиторий содержит квантизированную версию GGUF для запуска через Ollama и llama.cpp. Модель предназначена для генерации текста, анализа изображений, рассуждений, программирования, агентных сценариев, function calling и работы с инструментами, включая терминал, файлы и репозитории. Архитектура — mixture-of-experts qwen3_5_moe: всего 35 млрд параметров, из них активируется около 3 млрд. Заявлены контекст до 262 144 токенов, поддержка английского языка, визуальный проектор F16, MTP и квантизация основного файла Q4_K_M. Сильными сторонами являются сохранённые Vision и MTP-компоненты, улучшенная точность следования инструкциям, возможности работы с кодом и инструментами, а также хорошие результаты в представленных тестах IFEval, HumanEval+, GSM8K и BBH. Ограничения включают отсутствие подтверждения совместного использования Vision и MTP в одном вызове, непроверенную полноценную поддержку Vision/MTP в Ollama, незавершённую валидацию FreeToken и нестабильность на отдельных задачах, где наблюдались зацикливание и усечение вывода. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-YOYO-V4 — объединённая языковая модель от YOYO-AI на архитектуре Qwen2, с плотной авторегрессионной моделью Qwen2ForCausalLM и 14 млрд параметров. По описанию автора, в состав объединения входят модели Qwen2.5, кодовая модель и дистиллят DeepSeek-R1; заявлены улучшенное следование инструкциям, генерация кода и рассуждения. Модель предназначена для диалогов, генерации текста и структурированных ответов, а также для работы с длинным контекстом до 1 010 000 токенов. Модель принимает текст и выдаёт текст. Карточка указывает английский и китайский языки. Файлы опубликованы в формате safetensors, лицензия — Apache-2.0. Указанный в карточке этап объединения описан частично, поэтому подробности итоговой процедуры и её влияние на качество оценить нельзя.

RedHatAI/Qwen2.5-7B-Instruct-FP8-dynamic — инструкционная языковая модель архитектуры Qwen2, разработанная Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud. Модель принимает текст и генерирует текст, предназначена для диалоговых ассистентов, генерации текста и исследовательского и коммерческого применения в многоязычных сценариях. Модель содержит около 7 миллиардов параметров и поддерживает широкий набор языков, включая китайский, английский, русский, французский, немецкий, испанский, японский, корейский, арабский и другие. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: веса используют статическую симметричную поканальную схему, а активации — динамическую симметричную потокенную схему. Это примерно вдвое снижает требования к памяти и размер на диске, а также может увеличить пропускную способность матричных операций примерно вдвое. Контекст до 8192 токенов указан в примере развертывания; в другом примере используется длина 32768, поэтому точный поддерживаемый предел следует уточнять для конкретной конфигурации. Сильные стороны модели — сниженное потребление GPU-памяти, компактное хранение и эффективное развертывание через vLLM, включая OpenAI-совместимый сервер. Ограничения, связанные с влиянием FP8-квантизации на качество ответов, в README не приведены; как и любая языковая модель, она может генерировать неточные или нежелательные результаты. Модель распространяется по лицензии Apache-2.0. Использование не должно нарушать применимые законы и нормативные требования.

RedHatAI/Qwen3-14B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-14B. Это причинно-следственная трансформерная модель архитектуры Qwen3ForCausalLM с текстовыми входами и выходами. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель использует FP8-квантизацию весов и активаций, что примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций по сравнению с представлением FP16. Квантизации подвергнуты линейные операторы в трансформерных блоках: веса квантизированы статически по каналам, а активации — динамически по токенам. Размер модели — 14 миллиардов параметров; точный максимальный контекст в README не указан, хотя для оценки использовались длины до 40960 токенов. К сильным сторонам относятся поддержка рассуждений и многоязычных инструкций при более низких требованиях к ресурсам, а также эффективное развертывание через vLLM с OpenAI-совместимым сервером. Возможным ограничением является потенциальное влияние FP8-квантизации на качество по сравнению с исходной моделью, однако количественная оценка этого влияния в README не приведена. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

RedHatAI/Qwen3-32B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-32B. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под специализированные предметные области посредством дообучения. Модель работает с текстом на входе и выходе и построена на архитектуре Qwen3ForCausalLM. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри transformer-блоков. Веса квантизуются статически по каналам, активации — динамически по токенам; слой lm_head не квантуется. По заявлению разработчиков, это примерно вдвое снижает требования к памяти GPU и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Модель рассчитана на эффективное развертывание с vLLM, включая OpenAI-совместимую подачу. К сильным сторонам относятся сочетание возможностей базовой Qwen3-32B с уменьшенными требованиями к памяти и поддержка рассуждений, многоязычных инструкций и function calling. При этом FP8-квантизация может влиять на точность по сравнению с исходной моделью, а README не содержит подробностей о поддерживаемых языках, длине контекста и количественных результатах оценки. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

YashasviMantha/Qwen3-4B-Instruct-2507-heretic — версия Qwen3-4B-Instruct-2507, созданная с помощью Heretic v1.4.0. Это плотная причинно-языковая модель примерно на 3,7 млрд параметров для генерации текста в диалоговом и инструктивном режиме. Она принимает текст и генерирует текст; поддерживает многоязычные запросы, работу с кодом и инструментами, а также контекст до 262 144 токенов. Модель использует только режим без рассуждений (non-thinking). Модель предназначена для ответов на вопросы, следования инструкциям, логических и математических задач, написания и разбора кода, а также работы с длинными документами и инструментами. Это декensored-версия исходной модели: в приведённом сравнении она отказала в 16 из 100 запросов, тогда как исходная — в 100 из 100; это может означать ослабленные ограничения на ответы. Доступны веса в формате safetensors, библиотека Transformers и лицензия Apache-2.0.

Qwen3.6-35B-A3B-Cerebellum-GGUF — это квантизированная GGUF-версия модели Qwen/Qwen3.6-35B-A3B, разработанной Qwen. Квантизацию выполнил deucebucket с использованием Cerebellum — метода чувствительной к качеству смешанной точности, который назначает разным группам весов разную разрядность. Модель построена по архитектуре MoE с 35 млрд параметров и примерно 3 млрд активных параметров; предназначена для генерации текста, диалогов, программирования и задач рассуждения. Основной рекомендованный вариант занимает 14 ГБ, использует 3,34 бита на вес и рассчитан на эффективную работу с длинным контекстом свыше 160 тысяч токенов. Также доступен вариант v3 размером 11 ГБ с 2,76 битами на вес, ориентированный на минимальное потребление видеопамяти; для него заявлена поддержка обработки изображений через отдельный vision projector mmproj-F16.gguf. Модель запускается в стандартном llama.cpp без специальной модификации. По приведённым локальным измерениям, рекомендованный вариант показывает 90,2% на HumanEval+, 93,3% на HumanEval, 95,8% нормированной точности на ARC-Challenge, 92,3% на HellaSwag и 75% на MMLU-Redux. К сильным сторонам относятся высокая эффективность смешанной квантизации, хорошие результаты в кодировании, длинный контекст и возможность запуска на видеокарте с 24 ГБ памяти. Ограничения связаны с потерями качества, неизбежными при экстремальной квантизации, различиями возможностей вариантов и тем, что заявленные результаты получены в локальном запуске на RTX 3090 и не являются независимой валидацией. Модель распространяется по лицензии Apache-2.0. Для запуска требуются совместимые сборки llama.cpp и, при использовании визуального варианта, отдельный файл vision projector.

Frosty40/Qwen3.8-27B-GGUF — это квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат GGUF для запуска через llama.cpp. Модель предназначена для генерации и анализа текста, работы с кодом и агентскими сценариями, а также для задач vision-language с обработкой изображений через отдельный vision projector. Поддерживаются большие контексты до 262K токенов, гибридная архитектура с 48 слоями линейного внимания Gated-DeltaNet и 16 слоями полного внимания, а также межслойное позиционное кодирование MRoPE и гибридная recurrent-attention память. Языки в README явно не указаны. Основной рекомендуемый файл использует квантование Q6_K, повышенную точность Q8_0 для attention-проекций и встроенную MTP-голову для speculative decoding; его размер составляет 23,2 ГБ. MTP может ускорять декодирование примерно на 45–95% при поддержке NextN/MTP в llama.cpp. Заявлены высокая близость к версии bf16, особенно для кода и агентских задач, а также сохранение качества vision-инференса. Для работы требуются llama.cpp с поддержкой архитектуры qwen35, а для MTP-версии — дополнительная поддержка NextN/MTP и vision projector. Контекстное смещение недоступно, а превышение объёма памяти видеокарты приводит к выгрузке в оперативную память и снижению производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-35B-A3B-Distill-oQ8-fp16-mtp — это сборка Novaeon.Studio на базе empero-ai/Qwen3.8-35B-A3B-Distill, предназначенная для локального запуска на компьютерах Apple Silicon через oMLX и MLX. Модель представляет собой дистиллированную версию, обученную на данных и рассуждениях учительских моделей семейства Qwen3.8, включая Qwen3.8 Flash Next, с акцентом на математику и программирование. Это мультимодальная модель text-to-text с сохранённым vision encoder: она принимает текст и изображения и генерирует текст. Архитектура — разреженная MoE семейства Qwen3.5/3.6: около 35 млрд параметров суммарно, примерно 3 млрд активных, 256 экспертов, из которых маршрутизируются 8, и 40 слоёв с гибридом линейного GDN и полноформатного attention. Заявлен контекст до 262 144 токенов, поддерживается английский язык. Квантование oQ8 использует размер группы 64, float16 для scale и неคвантованных весов, эффективную точность около 8,6 бит на параметр и размер около 39,5 ГБ. В составе есть рабочая native MTP head для ускорения декодирования. Модель ориентирована на агентные сценарии, tool use и function calling, многошаговое рассуждение, генерацию кода, работу с длинным контекстом и анализ изображений. По измерениям разработчика на Apple M5 Max 128 GB она достигала примерно 93 токенов в секунду при коротком контексте и 41 токена в секунду при контексте около 64,7 тыс. токенов; в собственной проверке tool use получила 6/6, а средний результат IFEval составил 84,86. Ограничения включают зависимость производительности от оборудования Apple Silicon, необходимость использования совместимого движка oMLX и снижение скорости при увеличении контекста. Модель лицензирована по Apache-2.0.

DeepSeek-V4-Flash-0731-Abliterated — модифицированная версия DeepSeek-V4-Flash-0731, разработанная автором lovesenko посредством прямого редактирования весов исходной модели. Это Mixture-of-Experts-модель на 284 млрд параметров, из которых активируется около 13 млрд, с контекстным окном до 1 млн токенов и смешанной точностью FP8. Архитектура включает Multi-Token Prediction (MTP) для speculative decoding, совместима с DeepSeek-V4-Flash-DSpark и ориентирована на рассуждения и агентские сценарии. В README не указаны точные языки и полный перечень поддерживаемых модальностей; по представленным данным модель является текстовой языковой моделью. Модель предназначена для генерации текста, сложных рассуждений, программирования, логических и фактических задач, а также использования в агентских рабочих процессах с длинным контекстом. Версия Abliterated создана редактированием пространства весов для ослабления встроенных отказов: проекция удаляет широкое направление отказа из выходных проекций attention во всех слоях декодера и из MTP-head. В заявленной оценке доля отказов снизилась с 96,1% у базовой версии до 13,0% в режиме chain-of-thought и до 2,0% без него. К сильным сторонам относятся очень большой контекст, высокая вычислительная ёмкость MoE при относительно небольшом числе активных параметров, MTP для ускорения декодирования и сохранение ключевых возможностей базовой модели по заявленным spot-check-тестам. Ограничения включают остаточные отказы, особенно при включённом рассуждении, а также риск деградации длинных цепочек рассуждений при более агрессивном редактировании. Модель распространяется по лицензии MIT.

DeepSeek-V4-Pro-DSpark — это не отдельная модель, а тот же чекпойнт DeepSeek-V4-Pro с подключённым дополнительным модулем speculative decoding. Модель разработана DeepSeek AI и относится к серии DeepSeek-V4, предназначенной для сложных задач обработки текста, рассуждений, программирования, агентских сценариев и работы с очень длинным контекстом. В основе лежит разреженная Mixture-of-Experts (MoE) архитектура: DeepSeek-V4-Pro содержит 1,6 трлн параметров, из которых при обработке активируется 49 млрд. Модель поддерживает контекст до 1 млн токенов. В архитектуре используются Hybrid Attention с механизмами Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections; для обучения применялся оптимизатор Muon. Указана смешанная точность FP4 и FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Данные о поддерживаемых языках и мультимодальности в README не приведены. Сильными сторонами модели являются большой контекст, высокая вычислительная эффективность при длинных последовательностях и рассчитанность на сложные задачи, включая кодирование, рассуждения и использование инструментов. Ограничение заключается в том, что DSpark добавляет speculative decoding к существующему чекпойнту, а не представляет самостоятельную архитектуру. Для запуска требуется инфраструктура, способная работать с моделью масштаба 1,6 трлн параметров и соответствующими форматами точности. Модель распространяется по лицензии MIT.

Dolphin 2.9.1 Llama 3 8B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и Cognitive Computations на основе Meta Llama 3 8B. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, обученная полным дообучением всех весов и использующая шаблон диалога ChatML. Контекст модели составляет 8192 токена; в README указано, что полное дообучение проводилось с длиной последовательности 4K. Модель предназначена для следования инструкциям, диалогов, генерации кода и математических ответов; также поддерживает начальные агентные сценарии и вызов функций. В обучении использовались наборы данных для диалогов, кода, математики и вызова функций. Модель рассчитана на текстовый ввод и выдаёт текст. Авторы описывают Dolphin как модель без встроенных ограничений на содержание: она может охотно отвечать на небезопасные и неэтичные запросы, поэтому перед предоставлением пользователям авторы рекомендуют добавить собственный слой выравнивания. Лицензия — Meta Llama 3 Community License; коммерческое использование допускается в рамках её условий.

Dolphin 2.9.1 Yi 1.5 34B — диалоговая языковая модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и командой Cognitive Computations. Это полновесное дообучение базовой модели 01-ai/Yi-1.5-34B с архитектурой семейства Llama и 33,9 млрд параметров. Модель принимает текст и генерирует текст; для диалога используется шаблон ChatML. Контекст при обучении составлял 8 192 токена. Модель предназначена для инструктивных диалогов, написания и анализа кода, решения математических задач, вызова функций и начальных агентных сценариев. В карточке заявлена высокая податливость к запросам: авторы описывают Dolphin как uncensored и рекомендуют добавлять собственный слой выравнивания перед предоставлением модели пользователям. Модель обучалась в том числе на данных, сгенерированных GPT-4. Лицензия Apache 2.0 разрешает коммерческое использование. Модель может выдавать нежелательный или небезопасный контент; качество и безопасность результатов следует оценивать с учётом конкретного применения.

Карточка модели mrmanan762/EarthMind на Hugging Face совпадает с карточкой sarvamai/sarvam-105b, поэтому описание составлено по ней. Sarvam-105B — созданная Sarvam AI языковая модель с архитектурой Mixture-of-Experts и MLA-style attention. По README, у неё 10,3 млрд активных параметров, 128 экспертов с маршрутизацией top-8 и контекст до 128 тыс. токенов; метаданные Hugging Face указывают общий размер 9,7 млрд параметров. Модель предназначена для генерации текста и диалогов, сложных рассуждений, математики, программирования и агентных сценариев, включая веб-поиск и техническую диагностику. При обучении особое внимание уделялось индийскому контексту и 22 языкам Индии. В метаданных перечислены английский и ряд языков Южной Азии; карточка заявляет сильные результаты на тестах рассуждений и агентных задач. Для запуска README описывает использование Transformers и варианты развёртывания через vLLM и SGLang, включая специальные настройки. Модель распространяется по лицензии Apache 2.0.

AtomicChat/gemma-4-26B-A4B-it-assistant-GGUF — это GGUF-квантизированная версия модели Google Gemma 4 26B A4B It Assistant, подготовленная Atomic Chat на основе оригинальных весов google/gemma-4-26B-A4B-it-assistant. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых ассистентов, рассуждений, программирования, работы с математическими и визуальными задачами. Репозиторий содержит только текстовые варианты модели без vision projector. Модель имеет 25,2 млрд параметров, из которых 3,8 млрд активны на каждом токене, 30 слоёв и контекст до 256 тысяч токенов. Архитектура — decoder с гибридным вниманием: sliding-window attention с окном 1024 токена и глобальное внимание; используется 16 attention heads и 8 KV heads. Базовая модель поддерживает текст и изображения, однако данные GGUF рассчитаны только на текст. Доступны варианты квантизации Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; Q4_K_M указан как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся высокая эффективность MoE-подобной конфигурации с малым числом активных параметров, большой контекст, возможности рассуждения и хорошие заявленные результаты в тестах по знаниям, математике, программированию и мультимодальным задачам. Результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов; качество также зависит от выбранного уровня квантизации. Для корректной работы требуется применять чат-шаблон Gemma 4 Assistant, например через поддержку jinja. Модель распространяется по лицензии Apache 2.0.

GPT-4.1 — флагманская большая языковая модель OpenAI, предназначенная для точного выполнения инструкций, разработки программного обеспечения и рассуждений по длинным материалам. В README заявлено контекстное окно размером до 1 миллиона токенов. Модель подходит для работы с запросами на естественном языке, задач программирования и анализа объёмных текстовых данных. Доступный фрагмент README не сообщает сведения об архитектуре, поддерживаемых языках, лицензии или ограничениях применения.

Hermes 3 — большая языковая модель общего назначения от Nous Research, дообученная на основе Meta Llama 3.1 70B. Эта версия содержит FP8-квантизированные веса NeuralMagic в формате safetensors и предназначена для запуска через vLLM. Модель использует архитектуру Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Модель рассчитана на диалог с инструкциями, многошаговые рассуждения, ролевые сценарии, генерацию кода и работу в качестве агента. Она поддерживает формат диалога ChatML, вызов функций и формирование структурированных ответов, включая JSON. В карточке указана поддержка английского языка. Модель предлагает длинный контекст и интерфейс для вызова инструментов, но качество может различаться в зависимости от задачи; README отмечает, что у неё есть разные сильные и слабые стороны относительно Llama 3.1 Instruct. Лицензия — Llama 3. Указанная версия квантизирована в FP8 и ориентирована на vLLM.