II.7DevOps, облако и эксплуатация IT-систем

Codetulu 2 7B — англоязычная модель-ассистент, разработанная AI2 и дообученная на базе codellama/CodeLlama-7b-hf. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом до 8192 токенов. Обучение проводилось на смеси общедоступных, синтетических и созданных людьми данных Tulu V2, включая набор allenai/tulu-v2-sft-mixture. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы на английском языке. Её можно использовать для создания черновиков ответов, объяснений и обобщений, а также для помощи с программным кодом благодаря базовой CodeLlama. Для качественной генерации следует соблюдать формат ввода, описанный в карточке модели. Модель не проходила выравнивание безопасности на этапе RLHF и не использует фильтрацию ответов во время работы, поэтому может генерировать проблемный контент, особенно по соответствующему запросу. Лицензия — AI2 ImpACT Low-risk; перед использованием следует учитывать её условия.

GLM-5.2-MXFP4-Mixed-CT-AutoRound — смешанная по точности версия модели GLM-5.2 от Z.ai, подготовленная Intel AutoRound в режиме RTN и упакованная в формат Compressed Tensor. Репозиторий основан на zai-org/GLM-5.2; в метаданных указана связь finetune, однако README описывает квантование весов до MXFP4 и MXFP8. Модель предназначена для генерации текста и диалогового применения; базовая GLM-5.2 также ориентирована на программирование и длительные задачи. Репозиторий использует safetensors и библиотеку Transformers, формат совместим с vLLM и поддерживает настройку вызова инструментов. README показывает пример запуска с ограничением контекста 4096 токенов; это параметр примера запуска, а не заявленный родной предел модели. Квантование в смешанной точности уменьшает требования к хранению и вычислениям по сравнению с полной точностью, но README не приводит оценок качества или скорости. Модель может выдавать фактически неверные ответы, предвзятый, оскорбительный или непристойный контент, поэтому перед применением необходима проверка безопасности. В метаданных указана лицензия other; условия коммерческого использования следует уточнить отдельно.

Huihui-MoE-1B-A0.6B-SFT — языковая модель huihui.ai для генерации текста, ответов на вопросы и диалогов. Она основана на huihui-ai/Huihui-MoE-1B-A0.6B и использует архитектуру Qwen3MoeForCausalLM с тремя экспертами на слой и активацией одного эксперта для каждого токена. По метаданным, модель содержит 507,9 млн параметров; в README приводится оценка около 1,1 млрд параметров всего и 0,62 млрд активных при генерации. Контекст — до 40 960 токенов. Модель дообучена всеми параметрами на данных по программированию, математике и медицинским рассуждениям: для каждого набора дообучались соответствующие эксперты. Она рассчитана на текстовые запросы и выдаёт текст, включая ответы и многоходовые диалоги. Лицензия — Apache-2.0. README предупреждает, что случайная инициализация весов маршрутизатора экспертов может ухудшать их использование; также указана зависимость совместимости от версии Transformers и от оборудования при выводе.

Это текстовая языковая модель для генерации кода и помощи в программировании на Python. Она основана на Meta-Llama-3.1-8B-Instruct_CODE_Python_English_Asistant-16bit-v2 от Agnuxo, а GGUF-квантизации подготовлены mradermacher. Модель ориентирована на локальный запуск, генерацию и объяснение Python-кода, а также на сценарии научных исследований и разработки. В карточке указаны английский и испанский языки, а для обучения использовались датасеты jtatman/python-code-dataset-500k и Vezora/Tested-143k-Python-Alpaca. Модель имеет около 8 млрд параметров и распространяется в формате GGUF с различными вариантами квантизации i1-IQ и i1-Q размером примерно от 2,1 до 4,8 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать в качестве; некоторые конфигурации оптимизированы для ARM-процессоров. Размер контекста и точный набор поддерживаемых модальностей в карточке не указаны, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0.

Meta-Llama-3-8B-Instruct-FP8 — это квантизированная версия текстовой инструкционной модели Meta-Llama-3-8B-Instruct, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных ассистентских чат-сценариях: диалогов, ответов на вопросы и генерации текста. Она принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и рассчитана на эффективный инференс с использованием vLLM версии 0.5.0 и выше. В основе модели лежит архитектура Meta-Llama-3 с 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP8, что примерно на 50% снижает требования к дисковому пространству и GPU-памяти по сравнению с 16-битным представлением. Квантизация выполнена с помощью AutoFP8 на 512 последовательностях из UltraChat; применяется симметричная по-тензорная схема масштабирования. Средний результат на OpenLLM Leaderboard v1 составил 68,22 против 68,71 у неквантизированной версии, что указывает на небольшое снижение качества при существенной экономии ресурсов. Модель оптимизирована для англоязычных задач и не предназначена для использования на других языках согласно заявленным ограничениям. Она доступна по лицензии Llama 3, условия которой определяются лицензией Meta. Использование должно соответствовать применимым законам и требованиям лицензии.

Карточка модели Salahuddin1234/OmniDoctor-Reranker-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Reranker-8B, поэтому описание составлено по ней. Qwen3-Reranker-8B — текстовая модель для переранжирования, разработанная командой Qwen. Она оценивает релевантность пар «запрос — документ» и помогает упорядочить найденные кандидаты так, чтобы наиболее подходящие фрагменты оказались выше. Модель предназначена для поиска по текстам и коду, включая многоязычный и межъязыковой поиск, например как этап извлечения контекста в RAG-системах. Модель основана на плотной авторегрессионной архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-8B-Base. В ней около 7,6 млрд параметров; метаданные указывают контекст до 40 960 токенов, а README — 32 тыс. токенов. Заявлена поддержка более 100 языков. Модель поддерживает инструкции, настраиваемые под задачу; в README отмечено, что их применение может улучшать результаты поиска. Для получения оценки релевантности модель принимает текстовую пару и выдаёт оценку, пригодную для ранжирования. В README указано, что по умолчанию это разность логитов; при необходимости её можно преобразовать в вероятность. Для работы с моделью заявлена библиотека Transformers, также описано использование Sentence Transformers. Лицензия — Apache-2.0.

Adept Persimmon-8B-Chat — чат-модель семейства Persimmon, разработанная Adept и дообученная для диалогов на собственной базовой модели, обученной с нуля. Она предназначена для генерации ответов на текстовые запросы и использования в чат-сценариях, в том числе как языковая основа для взаимодействия с компьютером. Модель имеет плотную архитектуру PersimmonForCausalLM и 10,7 млрд параметров. Контекстное окно составляет 16 384 токена. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. README представляет модель как ранний результат программы масштабирования Adept, а не как отдельный готовый продукт. Карточка не приводит оценок качества или подробных ограничений; результаты следует проверять для конкретных задач.

Qwen3-0.6B-Base — базовая плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная модель примерно с 508 млн параметров: 28 слоёв, группированное внимание с 16 головами Q и 8 головами KV. Она принимает текст и генерирует продолжение, служит основой для дообучения и адаптации под прикладные задачи. Модель предназначена для языкового моделирования общего назначения, включая генерацию текста, работу с кодом, STEM-темами, логическими рассуждениями и многоязычными данными. Контекстное окно составляет 32 768 токенов. В README указано, что семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; перечень языков, поддерживаемых именно этой базовой версией, отдельно не приведён. Модель распространяется под лицензией Apache-2.0. Это базовая предобученная версия, поэтому для диалогового помощника или специализированного приложения обычно потребуется дообучение либо настройка шаблона запросов; карточка не приводит конкретных гарантий качества для таких сценариев.

Andycurrent/Qwen3.5-4B-Uncensored-HauhauCS-Aggressive — модифицированная версия языковой модели Qwen3.5-4B, созданная HauhauCS на базе модели Alibaba Qwen Team. Это авторегрессионная Transformer-модель примерно на 4 млрд параметров, предназначенная для локального запуска, диалоговых приложений, генерации текста, программирования, рассуждений, prompt engineering и исследований механизмов выравнивания и отказов моделей. Указана поддержка английского языка. Модель ориентирована на работу без внешних API и может применяться в автономных и приватных средах. Главная особенность варианта Aggressive — снижение или устранение safety-ориентированных отказов и минимизация отказов в ответах, благодаря чему модель более охотно обрабатывает широкий спектр запросов. При этом заявлено сохранение основных возможностей базовой Qwen3.5-4B в области диалогов, рассуждений, кодинга и общих знаний. Для общения рекомендуется ChatML-подобный шаблон; заявлена совместимость с Transformers, llama.cpp, KoboldCpp, Ollama и vLLM, а GGUF-квантизации подходят для эффективного запуска, включая CPU-инференс. Ограничением является отсутствие или ослабление защитных механизмов: модель может генерировать небезопасный, нежелательный или потенциально вредный контент, поэтому ответственность за фильтрацию и сценарии применения лежит на пользователе. В README также не указаны размер контекстного окна, точный набор поддерживаемых языков, результаты бенчмарков и конкретный метод модификации. Для модели указана лицензия Apache-2.0.

Карточка модели PS4Research/005Kq3yTVMadlDXH на Hugging Face совпадает с карточкой PS4Research/IKn8jwlNamPNIS15, поэтому описание составлено по ней. Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.

Absolute_Zero_Reasoner-Coder-7b-GGUF — это GGUF-квантизированная версия модели Absolute_Zero_Reasoner-Coder-7b, разработанной andrewzh и подготовленной квантизатором bartowski с использованием llama.cpp версии b5338 и imatrix-калибровки. Модель предназначена для генерации текста и задач, связанных с рассуждениями и программированием, а также для локального запуска через LM Studio, llama.cpp и совместимые проекты. Модель содержит 7 миллиардов параметров; в README не указаны точная архитектура, поддерживаемые языки, модальности и размер контекста. Доступны варианты от BF16 до различных форматов квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов варьируется примерно от 3,57 до 15,24 ГБ. Наиболее качественными и рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5 и Q4_K_M; облегчённые варианты подходят для систем с ограниченным объёмом памяти. Сильной стороной модели является возможность эффективного локального использования на широком спектре оборудования, включая CPU и, согласно README, Apple Silicon для некоторых форматов. Ограничения связаны с потерями качества при низком уровне квантования, а также с отсутствием в предоставленных данных подробностей о результатах тестирования, языковой поддержке, контекстном окне и исходной лицензии. Лицензия в README не указана.

Arcee-Maestro-7B-Preview — языковая модель Arcee с 7,1 млрд параметров, созданная на базе DeepSeek-R1-Distill-Qwen-7B. Модель семейства Qwen2 дообучена с помощью обучения с подкреплением по алгоритму GRPO на проверенных математических задачах и примерах программирования; выпущена как предварительная версия. Модель предназначена для многошаговых рассуждений, решения математических задач и помощи в программировании. Она принимает текст и генерирует текст, поддерживает диалог и имеет интерфейс для вызова инструментов. Заявленная длина контекста — 131 072 токена. В карточке сообщается об улучшениях в математике и программировании, но количественные результаты оценок не приведены. Модель распространяется под лицензией Apache-2.0. Среди ограничений указаны возможные предвзятые или вредоносные ответы и срез знаний, не отражающий события после июня 2024 года. Поскольку это Preview-релиз, качество и стабильность могут отличаться от окончательной версии.

DeepSeek-R1-Distill-Qwen-14B-heretic — текстовая генеративная модель, созданная на основе DeepSeek-R1-Distill-Qwen-14B компанией или автором репозитория saidutta69 с использованием Heretic версии 1.4.0. Это вариант с подавленным поведением отказа, полученный направленной абляцией и изменением весов в выходных проекциях attention и down-прекциях MLP, без дообучения. Модель предназначена для разработчиков, которым нужны диалоги, генерация текста и рассуждения без встроенных отказов базовой модели. Модель имеет примерно 14,8 млрд параметров, поддерживает текстовую модальность и ориентирована на английский язык. Доступны полноточные веса BF16 и квантованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Для запуска рекомендуются GPU с 16–24 ГБ памяти; квантованные версии подходят для потребительского оборудования, CPU и Apple Silicon. Модель совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM, SGLang и Transformers. Размер контекста в README не указан. Главное преимущество — сохранение знаний и навыков следования инструкциям базовой модели при уменьшении количества отказов, а также широкий выбор квантований для локального запуска. При этом это не улучшенная по возможностям версия DeepSeek-R1-Distill-Qwen-14B, а модификация с удалёнными защитными ограничениями. Отсутствие дополнительной фильтрации означает повышенный риск небезопасной генерации, поэтому ответственность за применение и развёртывание лежит на пользователе. Модель распространяется по лицензии deepseek-research-license, унаследованной от базовой модели.

Kimi-K3-REAP73-zh-code-MLX-mxfp4-q8 — это сильно прореженная и преобразованная в формат MLX версия Kimi-K3, разработанного Moonshot AI. Модель предназначена для генерации текста, прежде всего для работы с китайским языком и программным кодом, на компьютерах Apple Silicon с большим объёмом unified memory. Она рассчитана на загрузку на машине с 512 ГБ памяти и занимает около 451 ГБ. В основе лежит нативная мультимодальная MoE-архитектура Kimi-K3 с Kimi Delta Attention, Attention Residuals и контекстом до 1 млн токенов. Исходная модель содержит 2,78 трлн параметров, из которых 104 млрд активны при обработке токена. В данной версии сохранены 242 из 896 экспертов в каждом из 92 MoE-слоёв, всего около 793 млрд параметров. Используется MXFP4; для сохранённых экспертных весов заявлена побитно точная копия исходного представления, тогда как основная потеря качества связана с удалением экспертов. Скорость генерации на M3 Ultra с 512 ГБ памяти составляет около 5,51 токена в секунду. Главное преимущество модели — возможность запускать Kimi-K3 на одной мощной машине Apple Silicon при сохранении хорошей структурной корректности генерации кода и относительно сильной работе с китайским языком. Это агрессивное прореживание, поэтому качество заметно ниже полной Kimi-K3: возможны уход в списки или продолжение в стиле исходного файла, повторения и циклы. Японский, корейский, русский, арабский, немецкий, французский и испанский языки деградируют сильнее; для них рекомендуется смешанная версия модели. Лицензия указана как other с именем kimi-k3.

Nemotron-3-Nano-30B-A3B-Base — базовая большая языковая модель, разработанная NVIDIA и опубликованная в репозитории Unsloth. Это вариант модели NVIDIA-Nemotron-3-Nano-30B-A3B-Base-BF16; заявленная архитектура — гибрид Mamba2 и Transformer с Mixture of Experts (MoE), общий размер — 30 млрд параметров. Модель предназначена как основа для дообучения под инструкции и создания специализированных ИИ-агентов, а не как готовый чат-ассистент. Модель принимает и генерирует текст, поддерживает длинные последовательности: в README указаны вход и выход до 128 тыс. токенов, а также возможность контекста до 1 млн токенов при соответствующей настройке. Она рассчитана на английский и ряд других естественных языков, включая русский, и обучалась на данных по коду, математике, естественным наукам и общим знаниям. Репозиторий содержит веса в формате safetensors; README отмечает исправления chat template для Unsloth. Модель подходит разработчикам, которые создают и дообучают языковые модели для генерации текста и агентских сценариев. README заявляет готовность к коммерческому использованию, однако в метаданных указана лицензия other, поэтому перед применением следует свериться с её условиями. Для работы рекомендуются NVIDIA GPU; указанная в README совместимость включает H100-80GB и A100.

phixtral-2x2_8 — языковая модель с архитектурой Mixture of Experts, созданная Mlabonne из двух моделей Microsoft Phi-2. Она объединяет cognitivecomputations/dolphin-2_6-phi-2 и lxuechen/phi-2-dpo с помощью модифицированной версии mergekit и вдохновлена архитектурой Mixtral-8x7B. Автор сообщает, что модель превосходит каждого из отдельных экспертов; в README также приведены результаты оценки на наборе Nous suite. Модель предназначена для генерации текста в диалогах и задач с кодом. Она принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 2048 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия MIT. Для модели предлагается запуск в 4-битной точности на GPU T4.

Qwen3-4B-MegaR3ASONER-v1-i1-GGUF — квантизированная версия модели RexTRO111/Qwen3-4B-MegaR3ASONER-v1, подготовленная mradermacher в формате GGUF. Модель основана на семействе Qwen3 и предназначена для генерации текста с акцентом на рассуждения. Она ориентирована на задачи математического, программного и научного рассуждения, а также на сценарии, где требуется пошаговый анализ и генерация кода. При обучении использовались наборы данных HuggingFaceH4/Bespoke-Stratos-17k, nvidia/OpenMathReasoning, nvidia/OpenCodeReasoning, nvidia/OpenScienceReasoning-2 и reasoning-distill-opus-4-7-max-sft. В карточке указано знание английского языка; сведения о поддержке других языков, контекстном окне, точной архитектуре и мультимодальности не приведены. Модель доступна в нескольких вариантах квантизации размером примерно от 1,2 до 3,4 ГБ. Варианты различаются балансом скорости, размера и качества: для практического использования рекомендован i1-Q4_K_M, а i1-Q4_K_S обозначен как оптимальный по соотношению размера, скорости и качества. Сильными сторонами являются небольшой размер, возможность локального запуска и специализация на рассуждениях, математике, программировании и научных задачах. Ограничения включают возможное снижение качества на низких уровнях квантизации и отсутствие подробных результатов оценки. Лицензия указана как other, без уточнения конкретных условий.

ZiRoX112 подготовил GGUF-квантизацию Qwen3.8-27B-Uncensored Q38mix v6 для локального запуска. В основе — дообученная модель OrcaRouter на 27 млрд параметров с гибридной архитектурой gated-delta-net и attention, а также MTP-головой. Файл v6 занимает 19,32 ГБ при 5,655 битах на вес; автор ориентирует его на кодинг-агентов на потребительских GPU с 24–32 ГБ видеопамяти. Квантизация выполнена с помощью собственной importance matrix и распределения точности по тензорам, которое учитывает изменения, связанные с удалением отказов в базовой модели. README сообщает о сохранении такого поведения в проведённых проверках и приводит сравнение качества с BF16-эталоном. Модель предназначена для генерации текста и диалогового использования; метаданные указывают английский, итальянский и китайский языки. Это производный GGUF-файл, основанный на Q8_0-версии модели и созданный с разрешением повторной квантизации. В README раскрыты ограничения оценки: часть распределения eval-токенов совпадала с калибровочным корпусом, а измерения отказов проводились на небольшом наборе запросов. Лицензия в предоставленных данных не указана.

YamshadowInex12_YamshadowT3q — слитая модель для генерации текста, созданная MaziyarPanahi на основе automerger/YamshadowInex12-7B и automerger/YamshadowT3q-7B. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации продолжений и ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-72B-Instruct-FP8-dynamic — это размещённая Red Hat AI версия Qwen2.5-72B-Instruct, исходно разработанной командой Qwen Alibaba Cloud. Модель представляет собой instruction-tuned causal language model для диалогов, генерации и анализа текста, следования инструкциям, работы со структурированными данными, программным кодом, математическими и рассуждательными задачами. Это текстовая модель без заявленной поддержки изображений или других модальностей. Базовая модель имеет 72,7 млрд параметров, 80 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, attention QKV bias и Grouped-Query Attention: 64 головы для Q и 8 для KV. Заявлены контекст до 131 072 токенов и генерация до 8192 токенов; для длинного контекста применяется YaRN. Модель поддерживает более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. В данном репозитории веса представлены в формате Safetensors с FP8 dynamic-квантизацией и использованием compressed-tensors, что предназначено для более эффективного хранения и инференса по сравнению с полноточной версией. Сильные стороны исходной Qwen2.5-72B-Instruct — улучшенные instruction following, кодирование, математика, обработка длинных текстов, таблиц и структурированных, включая JSON, ответов. Ограничения включают значительные требования к вычислительным ресурсам из-за размера модели, возможное влияние квантизации на качество и стандартные риски генеративных моделей: ошибки, галлюцинации и необходимость проверки результатов. Для базовой модели указана Qwen License Alibaba Cloud; она разрешает использование, модификацию и распространение при соблюдении условий лицензии, включая специальные требования для коммерческих продуктов с более чем 100 млн ежемесячных активных пользователей и указание использования Qwen при создании или улучшении других AI-моделей.

Llama-3.3-Nemotron-Super-49B-v1.5-FP8 — крупная языковая модель, разработанная NVIDIA как производное решение на базе Meta Llama-3.3-70B-Instruct. Это модель рассуждений, дообученная для диалогов, следования инструкциям и агентских сценариев, включая RAG и вызов инструментов. Модель предназначена для коммерческого использования в чат-ботах, системах искусственного интеллекта, агентских системах и других прикладных решениях. Модель представляет собой плотный decoder-only Transformer с архитектурой, оптимизированной методом Neural Architecture Search. В отдельных блоках применяются пропуск внимания или его замена линейным слоем, а также переменные коэффициенты расширения и сжатия FFN. Модель использует формат FP8, содержит около 49 миллиардов параметров и поддерживает текстовый ввод и вывод с контекстом до 128 тысяч токенов. Основные языки — английский и языки программирования; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. К сильным сторонам относятся сочетание качества и эффективности, уменьшенный объём памяти, поддержка длинного контекста, рассуждений, математических, научных и кодовых задач, а также инструментального вызова. Архитектура оптимизирована для высокопроизводительного запуска на GPU NVIDIA, включая возможность работы при больших нагрузках на одном H200. Ограничениями являются преимущественная ориентация на английские диалоги и код, зависимость от NVIDIA GPU для заявленной эффективности и дата-катоф обучения предобучающей части, установленная на 2023 год. Использование модели регулируется NVIDIA Open Model License; дополнительно применяются условия Llama 3.3 Community License Agreement. Модель обучалась в период с ноября 2024 года по июль 2025 года и выпущена 25 июля 2025 года.

NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-dynamic — языковая модель, разработанная Red Hat на базе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 от NVIDIA. Она предназначена для генерации и преобразования текста, рассуждений и решения сложных задач, математики и естественных наук, генерации кода, следования инструкциям и вызова инструментов. Модель поддерживает вход и выход в текстовой модальности, а также tool calling. Модель построена на архитектуре NemotronHForCausalLM и содержит 550 млрд параметров, из которых 55 млрд являются активными. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная схема на токен. Это примерно вдвое снижает требования к памяти и размеру файлов, а также может повысить пропускную способность матричных вычислений примерно в два раза. Для эффективного развертывания заявлена интеграция с vLLM; в примере конфигурации используется максимальная длина последовательности 262144 токена. Заявленные языки включают английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Сильными сторонами модели являются большой общий объём параметров, активная разреженная вычислительная конфигурация, поддержка рассуждений, программирования и инструментов, а также преимущества FP8-квантизации. Ограничения включают высокие требования к вычислительной инфраструктуре и зависимость эффективного развертывания от совместимого стека, включая vLLM и специальные парсеры. Модель распространяется по лицензии openmdw-1.1; использование в нарушение применимых законов и нормативных требований исключено из области применения.

Qwen3.6-27B with MTP — это плотная мультимодальная модель на базе Qwen/Qwen3.6-27B, представленная пользователем froggeric в формате GGUF для llama.cpp. Модель предназначена для диалога, программирования, отладки, анализа, перевода, работы с изображениями, рассуждений и использования инструментов. Заявлена поддержка английского, китайского и других языков. Модель содержит 27 млрд параметров, поддерживает текстовый и графический ввод через отдельный vision-проектор, а также контекст до 262 144 токенов при подходящей конфигурации памяти. Встроенные MTP-головы обеспечивают self-speculative decoding: llama.cpp может предсказывать несколько токенов за шаг и затем проверять их, что особенно эффективно для кода и других предсказуемых задач. Доступны варианты квантования от F16 до IQ2_M, что позволяет выбирать между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся мультимодальность, большой контекст, поддержка reasoning и tool use, встроенное ускорение генерации без дополнительной draft-модели и исправленный шаблон чата для корректной работы в C++-рантаймах. Ограничения включают зависимость от версии llama.cpp b9180 или новее, необходимость отдельного mmproj-файла для изображений, а также неодинаковую эффективность MTP: ускорение обычно выше при программировании и ниже при аналитических и творческих задачах, особенно на сильных вариантах квантования. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.8-2.4T-A95B-NVFP4 — квантизированная версия языковой модели Alibaba Qwen3.8-2.4T-A95B, подготовленная с помощью NVIDIA Model Optimizer. Модель предназначена для генерации текста, программирования, профессиональных и исследовательских задач, а также длительных агентных сценариев с использованием инструментов. Она принимает текстовые строки и формирует текстовые ответы, включая естественный язык, код, вызовы инструментов и структурированные данные в зависимости от конфигурации приложения. Модель использует архитектуру Transformers с гибридным механизмом внимания и блоками Mixture-of-Experts. Общее количество параметров составляет 2,4 трлн, из них активируется 95 млрд. Поддерживается контекст длиной до 1 млн токенов. Версия NVFP4 применяет 4-битное квантование весов и активаций линейных операторов в трансформерных блоках, что снижает требования к памяти по сравнению с 16-битным представлением. Предусмотрен запуск через vLLM и SGLang на GPU NVIDIA Blackwell; предпочтительная операционная система — Linux. Сильные стороны модели — большой контекст, масштабная MoE-архитектура, возможности в программировании, научном рассуждении, следовании инструкциям, извлечении информации из длинных контекстов и агентном использовании инструментов. Язык обучения и полный состав обучающих данных не раскрыты, а приведённые сведения об оценивании относятся преимущественно к текстовым задачам. Модель оптимизирована для систем с GPU NVIDIA, поэтому её применение на CPU или неподдерживаемом оборудовании может быть ограничено. Использование разрешено в коммерческих и некоммерческих целях на условиях NVIDIA Open Model Agreement; исходная модель разработана Alibaba, а не NVIDIA.

Jackrong/Qwen3.8-27B-MTP-GGUF — мультимодальная причинная языковая модель семейства Qwen3.8, опубликованная пользователем Jackrong в формате GGUF. Она предназначена для диалогов, генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих агентных сценариев, вызова инструментов, а также понимания изображений и видео, включая документы, STEM-диаграммы и продолжительные видеоматериалы. Модель содержит 27 млрд параметров и сочетает языковую модель с vision-энкодером. Архитектура включает 64 слоя, механизмы Gated DeltaNet и Gated Attention, а также Multi-Token Prediction (MTP). Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживается управляемый режим рассуждений: его можно отключать для отдельных запросов, настраивать глубину через reasoning_effort и сохранять контекст рассуждений с помощью preserve_thinking. Языки явно не перечислены. Ключевое отличие этой версии — встроенная MTP-голова для speculative decoding без отдельной draft-модели. В опубликованном внутреннем тестировании с llama.cpp это дало примерно двукратный прирост пропускной способности и снижение средней задержки примерно в 1,88 раза; рекомендуемый параметр — max draft = 2. Фактическая производительность зависит от оборудования, длины запроса и ответа, глубины рассуждений и настроек запуска. Модель распространяется по лицензии Apache-2.0 и совместима с экосистемами Transformers, vLLM, SGLang, TokenSpeed и другими инструментами, поддерживающими соответствующие форматы.

NVIDIA DeepSeek-V4-Flash-NVFP4 — это квантизированная версия DeepSeek-V4-Flash, разработанного DeepSeek AI. NVIDIA подготовила модель с использованием Model Optimizer, но не является её владельцем или исходным разработчиком. Модель предназначена для генерации текста, сложного рассуждения, агентных AI-приложений, сценариев с использованием инструментов, математики, программной инженерии и корпоративных AI-ассистентов. Модель использует архитектуру Transformer с Mixture-of-Experts и гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общее число параметров составляет 284 млрд, из них активируется 13 млрд. Поддерживается только текстовый ввод и вывод, многошаговые диалоги, системные инструкции, структурированный JSON, function/tool calling и выдача рассуждений. Максимальная длина контекста — 1 млн токенов. Доступны режимы Non-think, Think High и Think Max; используется специальный pipeline кодирования encoding_dsv4. К сильным сторонам относятся большой контекст, поддержка углублённого рассуждения, инструментального взаимодействия и задач программирования. Модель квантизирована в формат NVFP4, что ориентировано на ускоренный инференс на GPU NVIDIA. Указаны поддерживаемые среды SGLang и vLLM, операционная система Linux и совместимость с архитектурой NVIDIA Blackwell; тестирование проводилось на NVIDIA B200. Данные обучения не раскрыты, поэтому характеристики качества следует проверять на прикладных задачах. Для безопасного внедрения требуется дополнительное тестирование и валидация. Лицензия указана как MIT, модель доступна для коммерческого и некоммерческого использования.

unsloth/Qwen3.8-27B-FP8 — FP8-квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная каузальная языковая модель с vision encoder, предназначенная для генерации текста, программирования, профессиональных и исследовательских задач, долгих агентских сценариев, а также понимания изображений и видео, включая документы, STEM-диаграммы и продолжительные видеоматериалы. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов. Архитектура основана на сочетании Gated DeltaNet, Gated Attention и FFN; также используется Multi-Token Prediction. Доступны режимы с рассуждением и без него: глубину рассуждений можно регулировать параметром reasoning_effort, а контекст рассуждений в диалоге сохранять с помощью preserve_thinking. Указанные материалы совместимы с Hugging Face Transformers, vLLM, SGLang и TokenSpeed. К сильным сторонам относятся развитые возможности для кода, профессиональной работы, исследований, автономного планирования и выполнения многошаговых задач, а также нативная мультимодальность и близкая к исходной модели производительность после квантизации. Ограничения включают зависимость эффективности и пропускной способности от используемого inference-фреймворка, а также дополнительные вычислительные и временные затраты при включённом глубоком рассуждении. В README не указаны поддерживаемые языки. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; для производственного или высоконагруженного развёртывания рекомендуются специализированные серверные движки, например vLLM или SGLang.

Qwen-72B — базовая плотная языковая модель на архитектуре Transformer, разработанная Alibaba Cloud в рамках семейства Tongyi Qianwen. В репозитории представлена предварительно обученная модель с 119,4 млрд параметров; она обучена более чем на 3 трлн токенов из веб-текстов, книг, кода, математики и других общих и профессиональных материалов. Это базовая модель, а не диалоговая версия Qwen-72B-Chat. Модель предназначена для генерации текста и служит основой для сценариев продолжения текста, рассуждений, ответов на запросы, работы с кодом и математическими задачами. В README указаны 32 тысячи токенов контекста, словарь размером свыше 150 тысяч токенов и архитектурные компоненты RoPE, SwiGLU и RMSNorm. Основное внимание уделено китайскому и английскому языкам; словарь также рассчитан на поддержку ряда других языков, включая русский. Для запуска BF16/FP16 требуется не менее 144 ГБ видеопамяти, а для варианта Int4 — не менее 48 ГБ. README предупреждает, что при дообучении нужно учитывать особенности tiktoken-токенизатора и специальных токенов. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией репозитория.

unsloth/gemma-4-26B-A4B-it-GGUF — квантизированная GGUF-версия инструкционно дообученной модели google/gemma-4-26B-A4B-it. Семейство Gemma 4 разработано Google DeepMind, а данную сборку подготовила Unsloth. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель относится к архитектуре Mixture-of-Experts (MoE): в названии указаны 26B общих параметров и около 4B активных параметров. Gemma 4 поддерживает текстовые и графические входы с генерацией текста, а также мультиязычную работу более чем со 140 языками. Для моделей среднего размера заявлено контекстное окно до 256K токенов. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания, что снижает требования к памяти при обработке длинного контекста. К сильным сторонам относятся режимы настраиваемого рассуждения, улучшенные возможности программирования, native function calling, поддержка системных промптов и пригодность для развёртывания на потребительских GPU и рабочих станциях. Ограничения конкретного GGUF-файла, включая точный уровень квантизации, требования к памяти и возможное снижение качества по сравнению с полноточной моделью, в README не указаны. Модель распространяется по лицензии Apache 2.0.

Mistral-Nemo-Instruct-2407 — языковая модель с инструктивным дообучением, созданная Mistral AI совместно с NVIDIA на базе Mistral-Nemo-Base-2407. Это плотный трансформер Mistral с 12,1 млрд параметров, группированным запросом внимания и контекстом до 131 072 токенов. Модель предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов; обучалась на многоязычных данных и данных для программирования. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Заявлена как замена Mistral 7B с увеличенным контекстом. Распространяется по лицензии Apache 2.0. В карточке отмечено, что у модели нет встроенных механизмов модерации, поэтому её ответы могут не соблюдать заданные ограничения.