II.7DevOps, облако и эксплуатация IT-систем

MiniCPM4.1-8B-GGUF — это компактная большая языковая модель серии MiniCPM4.1, разработанная командой OpenBMB. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций, задач, требующих рассуждений, и локального запуска на периферийных устройствах. Она поддерживает режимы глубокого рассуждения и обычной генерации, а также гибридный режим с объединением этих подходов. Модель содержит 8 млрд параметров и распространяется в формате GGUF, ориентированном на эффективный инференс в совместимых инструментах. Архитектура использует обучаемый разреженный механизм внимания InfLLM v2: при обработке текста длиной до 128K токенов каждому токену требуется вычислять релевантность менее чем с 5% токенов, что снижает вычислительные затраты при работе с длинным контекстом. Модель обучалась с применением низкоточного вычисления FP8 и стратегии Multi-token Prediction; заявлены поддержка китайского и английского языков и текстовая модальность. К сильным сторонам относятся эффективность, пригодность для локального и периферийного развертывания, поддержка длинного контекста и режимов с рассуждением. Ограничения включают отсутствие в предоставленных данных точного описания максимального контекстного окна именно для данной версии, требований к аппаратному обеспечению, результатов бенчмарков и особенностей совместимых GGUF-рантаймов. Модель распространяется по лицензии Apache-2.0.

cyankiwi/MiniCPM-SALA-AWQ-8bit — 8-битная AWQ-квантизованная версия модели MiniCPM-SALA, разработанной OpenBMB. Модель предназначена для генерации текста, включая работу с длинными документами, анализом контекста, математическими и программными задачами. Заявлена поддержка китайского и английского языков и совместимость с Transformers. Архитектура MiniCPM-SALA сочетает 25% слоёв со sparse attention InfLLM-v2 и 75% слоёв с linear attention Lightning Attention. Гибридный подход рассчитан на эффективную работу с последовательностями длиной до 1 млн токенов и снижает требования к вычислениям и KV-кэшу; разработчики заявляют ускорение до 3,5 раза по сравнению с плотной моделью Qwen3-8B на последовательностях длиной 256 тысяч токенов. Для сохранения качества на коротком и длинном контексте используются HyPE и метод адаптации HALO. Точный размер модели в README не указан, однако упоминается класс моделей масштаба около 9B. К сильным сторонам относятся большой контекст, высокая эффективность инференса и возможность запуска на потребительских GPU, включая NVIDIA RTX 5090. Ограничения включают зависимость от специализированного программного окружения для оптимального инференса, включая CUDA 12.x или новее и компоненты SGLang; характеристики и качество именно данной AWQ-версии отдельно не приведены. Лицензия — Apache 2.0.

Карточка модели theship87/mistral-7b-fork на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.3, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.

Muse-Glimmer-30B-GGUF — набор GGUF-сборок модели Muse Glimmer 30B, разработанной Meta и опубликованной AtomicChat в формате, совместимом с llama.cpp. Модель предназначена для генерации текста, мультимодального анализа изображений, диалоговых сценариев, работы с инструментами, а также задач программирования, написания текстов и рассуждений. Указан pipeline image-text-to-text, однако точная архитектура, поддерживаемые языки и максимальный контекст модели в README не раскрыты. Доступны варианты квантования от Q8_0 и BF16 до IQ2_XXS объёмом примерно от 9,3 до 55,7 ГБ. Для работы с изображениями требуется отдельный vision-проектор mmproj размером около 3,9 ГБ, а для ускоренной генерации можно подключить drafter dflash, добавляющий около 5,5 ГБ к требованиям по памяти. Рекомендуемая сборка AD-IQ4_XS рассчитана примерно на 24 ГБ видеопамяти вместе с vision-проектором и обеспечивает компромисс между размером и качеством; на RTX 5090 заявлена скорость до 39,6 токена в секунду без drafter и до 71,8 с ним. Сильные стороны модели — мультимодальность, поддержка tool calling, несколько вариантов квантования и возможность запуска на одной потребительской видеокарте. Качество снижается по мере уменьшения разрядности, особенно на низких вариантах IQ; speculative decoding требует дополнительной памяти и снижает скорость обработки промпта. Для запуска нужен llama.cpp, собранный из актуальной ветки master с поддержкой Muse Glimmer, а также параметр --jinja для корректной работы шаблона чата и разбора вызовов инструментов. Лицензия — Apache 2.0.

next-8b-i1-GGUF — квантизированная GGUF-версия языковой модели next-8b, разработанной thelamapi и подготовленной квантизатором mradermacher. В README также указана поддержка со стороны nethype GmbH. Модель предназначена для генерации текста, диалоговых сценариев, аналитических и рассуждающих задач, а также многоязычного применения. Это текстовая Transformer-модель примерно на 8 млрд параметров, обученная и дообученная с использованием наборов данных для instruction tuning, reasoning, диалогов, программирования, медицинских и других специализированных текстовых сценариев. Заявлены языки: турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский. Мультимодальность и размер контекстного окна в README не указаны. Модель доступна в большом наборе GGUF-квантизаций размером примерно от 2,2 до 6,8 ГБ. Варианты различаются балансом между скоростью, требованиями к памяти и качеством; для общего использования рекомендован i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Более агрессивные квантизации имеют заметные ограничения качества, поэтому конкретный вариант следует выбирать с учётом доступной памяти и требований к результату. Лицензия — MIT.

Это 6-битная квантизированная версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio с помощью mlx_lm для работы на устройствах Apple Silicon. Модель основана на NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; архитектура исходной модели сочетает гибридный подход и MoE с 30 млрд параметров, из которых около 3 млрд активируются на токен. Исходная модель рассчитана на диалоги, рассуждения, программирование и создание агентных приложений, поддерживает длинный контекст и шесть языков: английский, испанский, французский, немецкий, японский и итальянский. Эту сборку можно использовать для генерации текста, диалогов и вызова инструментов в приложениях на Apple Silicon. Квантизация уменьшает требования к памяти по сравнению с BF16, но может влиять на точность ответов. В README не приведены длина контекста и условия лицензии именно для этой сборки; лицензия в метаданных обозначена как other. Модель может выдавать неточные или нежелательные ответы.

bartowski/Phi-3.5-mini-instruct-GGUF — набор GGUF-квантизаций модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README заявлена мультиязычная поддержка и формат взаимодействия с системными и пользовательскими сообщениями. Доступны варианты от полных весов F32 размером 15,29 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ различных размеров — примерно от 1,68 до 4,06 ГБ. Квантизации позволяют выбирать компромисс между качеством и требованиями к памяти; отдельные варианты оптимизированы для ARM-инференса. Для запуска рекомендуется использовать llama.cpp или LM Studio и соблюдать указанный формат prompt. Контекст модели, точное число параметров и перечень поддерживаемых языков в предоставленном README не указаны. Сильной стороной набора является широкий выбор уровней квантизации, включая варианты, ориентированные на высокое качество, экономию памяти и ARM-устройства. Ограничения зависят от выбранного варианта: более компактные квантизации могут заметно снижать качество, а некоторые требуют специфической аппаратной поддержки. В метаданных указана лицензия MIT; исходная модель размещена Microsoft.

Это версия Phi-3 Medium-4k-Instruct от Microsoft, преобразованная в формат ONNX и оптимизированная для запуска через ONNX Runtime на CPU. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов. Вариант рассчитан на диалог и выполнение инструкций; исходная модель прошла supervised fine-tuning и direct preference optimization. Модель подходит для генерации ответов и текста, задач на понимание языка, рассуждения, математику и код. В README заявлена скорость около 20 токенов в секунду на Intel Core i9-10920X и минимальная конфигурация с 16 ГБ оперативной памяти. Репозиторий содержит CPU-вариант ONNX с квантизацией INT4 методом RTN. Лицензия — MIT.

Qwen2.5-32B-Instruct-MLX-4bit — языковая instruction-tuned модель для генерации текста и диалоговых сценариев, основанная на Qwen2.5-32B-Instruct, разработанной командой Qwen. Данная версия подготовлена сообществом LM Studio: MLX-квантизацию в формате 4-bit выполнил bartowski с использованием mlx-examples. Модель предназначена для работы на компьютерах Mac с Apple Silicon. Модель поддерживает обработку и генерацию текста, понимание структурированных данных и работу с длинным контекстом до 32 тысяч токенов; заявленный максимальный объём генерации составляет 8 тысяч токенов. Поддерживается более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся большой размер модели, многоязычность, поддержка длинного контекста и оптимизация для запуска на Apple Silicon благодаря MLX и 4-bit квантизации. Ограничения включают зависимость от совместимого оборудования и возможное снижение точности по сравнению с исходной моделью из-за квантизации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-3B-Instruct-GGUF — квантизированная версия модели Qwen2.5-3B-Instruct, созданная QuantFactory с использованием llama.cpp на основе Qwen/Qwen2.5-3B-Instruct. Это каузальная языковая модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, написание длинных текстов, работу со структурированными данными и генерацию JSON. Она также ориентирована на задачи программирования и математики. Модель содержит 3,09 млрд параметров, имеет 36 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Используется Grouped-Query Attention: 16 голов для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Квантизация в формате GGUF предназначена для локального запуска через совместимое программное обеспечение на базе llama.cpp и может снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью. README не содержит сведений о конкретном уровне квантизации, точных требованиях к памяти, производительности или ограничениях качества, поэтому их нельзя определить по предоставленным данным. Модель распространяется по лицензии qwen-research; указанная лицензия доступна по ссылке на исходную модель Qwen/Qwen2.5-3B-Instruct.

Qwen2.5-7B-Instruct-20241204-114939 — дообученная компанией или автором qfq диалоговая языковая модель на архитектуре Qwen2 плотного типа с 7,1 млрд параметров. Она предназначена для генерации текста и ответов в формате диалога; также поддерживает интерфейс вызова инструментов. В карточке указана оценка Loss 0,3328 на наборе для оценки, но сам набор данных и подробности обучения не описаны. Модель принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не приводит конкретных специализаций или ограничений, поэтому пригодность для узких задач и качество ответов следует оценивать отдельно.

Карточка модели aoiandroid/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

geoffmunn/Qwen3-4B-f16 — конверсия языковой модели Qwen3-4B от Alibaba в формат GGUF для локального запуска через llama.cpp и совместимые приложения. Модель содержит около 4 млрд параметров и предназначена для диалогов, рассуждений, агентных сценариев, генерации кода и многоязычных задач; карточка также приводит варианты квантования и сравнение их скорости, размера и качества. Модель принимает текст и генерирует текст. В карточке заявлена поддержка английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Для некоторых вариантов требуется специальная сборка llama.cpp; доступная длина контекста в этой версии снижена ради скорости. Репозиторий распространяется по лицензии Apache-2.0. Автор конверсии — Geoff Munn; проект не связан с Alibaba или командой Qwen.

mradermacher/Qwen3.6-27B-Miraculix-i1-GGUF — набор квантизированных GGUF-версий модели Qwen3.6-27B-Miraculix, разработанной nightmedia и преобразованной и опубликованной mradermacher. Модель имеет размер 27B параметров, предназначена для запуска в совместимых локальных средах, поддерживает instruction-tuned и conversational-сценарии, а также заявлена как vision-модель при наличии соответствующих mmproj-файлов в статическом репозитории. Модель ориентирована на генерацию текста, программирование, математические и STEM-задачи, исследовательские сценарии, рассуждения, многоязычное общение и творческое письмо, включая создание сюжетов, сцен и ролевые взаимодействия. В метаданных указаны английский, китайский, японский и испанский языки. Также заявлена поддержка длинного контекста до 256K и 1M токенов, однако точные характеристики контекстного окна в README не подтверждены отдельно. Репозиторий предоставляет варианты квантизации от i1-Q2_K до i1-Q6_K размером примерно от 11 до 22,5 ГБ. Квантизации IQ могут обеспечивать лучшее качество при сопоставимом размере, а i1-Q4_K_M отмечена как быстрая и рекомендуемая; Q4_0 описана как быстрая, но с низким качеством. Конкретные требования к памяти, производительность, результаты тестирования и ограничения качества не приведены. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-GGUF — GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, инструкционного взаимодействия, рассуждений, математических и STEM-задач, программирования и многоязычных сценариев. В метаданных указаны английский, китайский, японский и испанский языки; также отмечены instruction tuning, SFT, LoRA и distillation, однако подробности обучения не приведены. Доступны варианты квантования от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13,3 до 37,9 ГБ. Для мультимодального использования предоставляются дополнительные файлы mmproj в форматах Q8_0 и F16, поэтому поддержка изображений зависит от совместимого программного обеспечения и подключения соответствующего компонента. Архитектура, точный размер активной и общей параметризации, максимальная длина контекста и перечень поддерживаемых модальностей в README явно не описаны. Сильной стороной модели является широкий выбор квантований, позволяющий выбирать между требованиями к памяти, скоростью и качеством; автор README рекомендует Q4_K_S и Q4_K_M как быстрые варианты, а Q6_K и Q8_0 отмечает как варианты высокого качества. Ограничения включают возможную потерю качества на низких уровнях квантования, экспериментальный характер исходной модели и отсутствие опубликованных оценок производительности. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-AWQ-5.0bpw-Sharp — мультимодальная плотная модель на базе Qwen/Qwen3.8-27B, подготовленная mrKola для запуска на Apple Silicon через oMLX. Это вариант с квантизацией AWQ 5,00 бита на параметр и группами размера 64; модель занимает около 17,36 ГБ. Архитектура сочетает GatedDeltaNet и полнослойное внимание, включает визуальный модуль и встроенную голову MTP. Базовая модель имеет контекст до 256 тысяч токенов. Модель предназначена для диалогов, анализа изображений, программирования, рассуждений и многошаговых задач; интерфейс также предусматривает вызов инструментов. Калибровка учитывала текст и изображения, включая диаграммы и фотографии. В README приведены результаты HumanEval, GSM8K и MMLU, однако они сравнивают две квантизованные сборки, а не дают независимую оценку качества. Указанные скорости измерены на M5 Max с oMLX и не гарантируют такую же производительность на другом оборудовании. Модель распространяется по лицензии Apache-2.0. Качество на длинном контексте с ускорением SpecPrefill и моделью-черновиком с несовпадающим токенизатором не измерено; README рекомендует проверять такие сценарии на собственных данных.

RentedNoodle/Qwen3.8-27B-GSQ-RCO-IQ3_XXS-Uncensored — это квантизированная GGUF-версия модели Qwen3.8-27B, созданная на основе abliterated-чекпойнта huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это не новая дообученная модель: снижение выраженности отказов унаследовано от Huihui, а квантизация выполнена по методологии GSQ/RCO, разработанной ISTA-DASLab. Модель ориентирована на генерацию текста, диалоги, рассуждения, программирование, извлечение информации, работу с инструментами и мультимодальные сценарии, заявленные для базовой Qwen3.8. В README явно указаны английский и китайский языки, а также поддержка long-context и vision; конкретные характеристики мультимодального ввода для этого файла отдельно не подтверждены. Модель использует смешанную 3-битную квантизацию IQ3_XXS с размером файла около 9,75 GiB и примерно 27,3 млрд параметров. Сохранена MTP-head для speculative decoding, а 96 чувствительных тензоров оставлены в BF16. Заявлен контекст до 196K токенов с KV-кэшем q4_0 на видеокарте с 16 ГБ памяти, однако полноценная точность извлечения на всём окне 196K ещё не подтверждена: основные проверки проводились при 32K и 64K. Есть шаблон froggeric-qwen3.8-tool-use.jinja для вызова инструментов. Сильные стороны модели — возможность размещения большого контекста на одной 16-ГБ GPU, поддержка MTP и заметное ускорение генерации при совместимом llama.cpp, а также хорошие результаты в тестах извлечения из контекста, базового tool calling, связности диалога и смешанных задач. Ограничения связаны с потерями качества из-за квантизации и abliteration: для конкретного файла GPQA-Diamond составил 60,6% без рассуждений и 61,6% с рассуждениями, а расширенный тест вызова инструментов дал 9/14. Снижение отказов не гарантирует универсального соблюдения запросов, поэтому ответственность за безопасное и соответствующее требованиям использование несёт развёртывающая сторона. Модель распространяется по лицензии Apache-2.0.

Qwopus3.6-35B-A3B-v1 — экспериментальная мультимодальная модель с разреженной архитектурой MoE, созданная Jackrong путём дообучения Qwen3.6-35B-A3B с помощью LoRA и трёх этапов supervised fine-tuning. В базовой модели 35 млрд параметров, из которых активно около 3 млрд на токен; она сочетает линейное внимание Gated DeltaNet с обычными слоями gated attention и рассчитана на контекст до 262 тысяч токенов. Модель предназначена для диалогов, рассуждений, работы с изображениями и инструментами, а также задач программирования, математики, науки и следования инструкциям. Автор заявляет улучшения в структурированности рассуждений и последовательности ответов; карточка приводит результаты независимого теста, но отмечает, что полная оценка производительности и безопасности не проводилась. Поддерживаются английский, китайский, испанский, русский и японский языки. Лицензия — Apache-2.0.

Merlinoz11/Solar-Open2-Apex-GGUF — GGUF-версия модели Solar Open 2 от Upstage, семейства больших языковых моделей с открытыми весами. Это модель с архитектурой Hybrid-Attention Mixture-of-Experts: всего около 250 млрд параметров, из которых на каждом токене активируются примерно 15 млрд. Гибридное чередование линейного и обычного внимания рассчитано на эффективную генерацию в длинном контексте; базовая модель поддерживает контекст до 1 048 576 токенов. Модель предназначена для агентных сценариев: многошагового рассуждения и выполнения задач, вызова инструментов, работы с документами, офисных задач и программирования. README описывает поддержку английского, корейского и японского языков. В метаданных этой копии указаны задача text-generation, чат-возможности и формат GGUF; отдельная специализация данного репозитория сверх базовой модели не уточняется. Для запуска полной модели README приводит конфигурацию с восемью GPU, каждый с памятью не менее 141 ГБ; фактические требования зависят от длины контекста и настроек. GGUF может быть удобен для локального развёртывания, но карточка этой копии не сообщает точный уровень квантизации или требования к ресурсам. Лицензия обозначена как other, поэтому условия использования следует проверять в исходной карточке и документах лицензии Upstage.

Step-3.7-Flash-GGUF — набор GGUF-квантизаций модели Step-3.7-Flash, разработанной StepFun-ai. Это мультимодальная vision-language модель для понимания изображений и работы с текстом, ориентированная на агентные сценарии, включая вызов инструментов, многошаговое рассуждение, программирование и математические задачи. Модель поддерживает входные изображения через отдельный файл проектора mmproj и может запускаться с помощью llama.cpp. Исходная модель содержит около 198 млрд параметров и использует разреженную архитектуру Mixture-of-Experts, активируя примерно 11 млрд параметров на токен. Она включает языковую часть на 196 млрд параметров и vision-энкодер на 1,8 млрд параметров, поддерживает контекст до 256K токенов и три уровня рассуждения: low, medium и high. Заявлена поддержка английского, китайского, японского, корейского, арабского, хинди, немецкого, французского, испанского и русского языков. В набор входят варианты от BF16 до агрессивных IQ3_XXS и Q3-квантизаций размером примерно от 76 до 394 ГБ; отдельный vision-проектор F16 занимает около 4 ГБ. К сильным сторонам относятся мультимодальность, большой контекст, поддержка рассуждений и инструментального взаимодействия, а также возможность локального и приватного запуска. К ограничениям относятся очень высокие требования к памяти и зависимость качества от выбранного уровня квантизации: компактные варианты могут давать заметную потерю качества. Для работы с изображениями необходим отдельный mmproj-файл. Модель распространяется по лицензии Apache-2.0.

ThinkingCap-Qwen3.6-27B-NVFP4 — квантизированная версия модели ThinkingCap-Qwen3.6-27B от BottleCap AI, созданная на базе Qwen3.6-27B, разработанной командой Qwen. Модель дообучена для сохранения качества и стиля ответов базовой модели при среднем сокращении числа токенов рассуждений примерно на 50%, а затем сжата до формата NVFP4 для эффективного инференса. Это крупная модель с весами 4 бита и активациями bf16 в режиме W4A16. Размер чекпойнта составляет около 19 ГБ вместо примерно 55 ГБ для версии bf16. В составе сохранены vision tower, lm_head и MTP-голова, поэтому заявлена поддержка мультимодальных компонентов исходной модели и самоспекулятивного декодирования с multi-token prediction. Модель предназначена прежде всего для запуска через vLLM на GPU NVIDIA Hopper и Blackwell; для спекулятивного декодирования требуется vLLM версии 0.24.0 или новее. Сильные стороны модели — существенно меньшие требования к памяти, примерно двукратное ускорение декодирования относительно bf16-контрольной версии и дополнительное ускорение за счёт MTP. По данным разработчика, в отдельных тестах суммарное ускорение на задачу относительно исходной невзвешенной модели составляло примерно 4,7–8,4 раза при сопоставимой точности. Ограничение заключается в том, что текущая реализация предназначена для vLLM: SGLang пока не может загрузить weight-only NVFP4 для этой архитектуры. Для llama.cpp, Ollama и LM Studio рекомендуется использовать отдельные GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, однако доступ к карточке на платформе может требовать заполнения формы и принятия условий доступа.

airoboros-l2-7b-2.2.1 — экспериментальная инструкция-настроенная языковая модель jondurbin на архитектуре Llama. Это обновлённая версия airoboros-l2-7b-2.2: в обучении использованы преимущественно синтетические данные набора airoboros-2.2.1, обновлены примеры написания текстов, добавлены более длинные контекстные блоки и удалены данные для ролевых сценариев. Модель содержит 6,6 млрд параметров, работает с контекстом до 4096 токенов и распространяется в формате PyTorch по лицензии Llama 2. Модель предназначена для следования инструкциям, ответов на вопросы по предоставленному контексту, суммаризации, написания текстов и кода. Также она может формировать JSON- или YAML-подобные аргументы и планы для сценариев вызова функций, но выполнение этих планов требует отдельной реализации. Карточка отмечает склонность к инструкциям вместо непринуждённого общения и ролевой игры. Для диалога используется формат с маркерами USER и ASSISTANT; для вопросов по источникам автор рекомендует явные разделители контекста и инструкции не выдумывать ответ при нехватке сведений. Модель может галлюцинировать, поэтому её ответы и планы следует проверять; для предотвращения продолжения от лица пользователя нужно настроить критерии остановки генерации.

aquif-3.5-Max-1205-GGUF — это квантизированная GGUF-версия языковой модели aquif-3.5-Max-1205, разработанной aquif-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, математических задач и программирования; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. В карточке указано, что модель относится к архитектуре MoE, однако точное число параметров, размер активной части, максимальная длина контекста и другие архитектурные характеристики не приведены. Поддерживаются текстовые запросы; заявлены английский, немецкий, итальянский, португальский, французский, хинди, испанский, тайский, китайский и японский языки. Доступны варианты от BF16 до низкобитных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 19,48 до 84,78 ГБ. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, при этом варианты Q5 и Q6 позиционируются как обеспечивающие высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. Более агрессивная квантизация уменьшает размер, но может снижать качество ответов. В README не приведены результаты бенчмарков, сведения о мультимодальности или ограничения по применению. Указана лицензия Apache-2.0.

Это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, подготовленная mlx-community для запуска в формате MLX. Исходная модель основана на плотной архитектуре Qwen3 с 7,6 млрд параметров; версия создана конвертацией с применением AWQ-квантизации через mlx-lm 0.25.2. Контекстное окно составляет 131 072 токена. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, программирования и логики. Репозиторий предоставляет интерфейс для вызова инструментов. Метаданные указывают на лицензию MIT; запуск рассчитан на экосистему MLX.

unsloth/DeepSeek-V3-bf16 — версия DeepSeek-V3 в формате BF16, размещённая Unsloth и предназначенная для генерации текста и диалогового использования. Согласно карточке модели, DeepSeek-V3 — языковая модель архитектуры Mixture-of-Experts с 671 млрд параметров, из которых около 37 млрд активируются на каждом токене; используются DeepSeekMoE и Multi-head Latent Attention. Метаданные этой версии указывают 37,6 млрд параметров, контекст до 163 840 токенов и поддержку интерфейса вызова инструментов. Модель подходит для диалогов, ответов на вопросы, написания и преобразования текста, а также сценариев с вызовом инструментов. В карточке заявлена поддержка английского языка. Репозиторий использует Transformers и формат safetensors; лицензия — MIT. Для запуска требуются значительные вычислительные ресурсы, характерные для крупной языковой модели.

EngGPT2-16B-A3B — языковая модель компании Engineering Ingegneria Informatica S.p.A., обученная с нуля как открытая по весам, но проприетарно лицензируемая модель для европейских и итальянских сценариев. Она предназначена для диалогов, генерации текста, рассуждений, следования инструкциям, генерации кода и использования в инструментальных рабочих процессах. Карточка сообщает о конкурентных результатах на тестах знаний, математики, следования инструкциям и кода. Модель построена на архитектуре Transformer с разреженной смесью экспертов (MoE): около 16 млрд параметров всего и около 3 млрд активных при генерации. В ней 24 слоя, по 64 эксперта на слой, из которых для каждого токена активируются 8; также используются GQA, SwiGLU, RoPE и RMSNorm. Заявлена поддержка английского, итальянского, французского, немецкого, португальского и испанского языков; предусмотрены режимы без рассуждений, рассуждений на итальянском или английском и краткого turbo-рассуждения. Длина контекста в предоставленных данных не указана. Разработчик позиционирует модель как эффективную альтернативу плотным моделям сопоставимого масштаба для организаций и исследовательских задач; примерно четверть обучающих данных составлял итальянский язык. Модель требует Transformers версии 4.57.0 и загрузки пользовательской архитектуры через trust_remote_code=True. Лицензия указана как проприетарная, поэтому условия использования следует сверять с лицензией репозитория.

suayptalha/Falcon3-Jessi-v0.4-7B-Slerp — языковая модель на 7,1 млрд параметров, полученная слиянием SLERP моделей neopolita/jessi-v0.4-falcon3-7b-instruct и tiiuae/Falcon3-7B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям, включая задачи рассуждения, понимания языка, программирования и математики. Модель использует архитектуру LlamaForCausalLM, сохранена в формате safetensors и поддерживает контекст до 32 768 токенов. Заявлена поддержка английского, французского, испанского и португальского языков. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH, а также утверждение о высоком рейтинге модели на момент публикации. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и у исходных моделей.

unsloth/gemma-3n-E4B-it — инструкция-настроенная версия Gemma 3n E4B от Google, опубликованная Unsloth. Это плотная модель класса Gemma3n с архитектурой Gemma3nForConditionalGeneration и поддержкой диалога и изображений. Репозиторий содержит веса safetensors; в README для этой сборки заявлена работа только с текстом, поэтому описанные для семейства возможности обработки изображений, видео и аудио здесь не подтверждены. Модель предназначена для генерации текста и диалоговых сценариев: создания черновиков и кода, суммаризации, ответов на вопросы и работы чат-ботов. README указывает контекст до 32 тысяч токенов. Семейство Gemma 3n рассчитано на эффективный запуск на устройствах с ограниченными ресурсами благодаря выборочной активации параметров; для этой конкретной сборки общее число параметров в предоставленных метаданных не указано. Ожидаемые ограничения включают возможные фактические ошибки, смещения обучающих данных и затруднения с неоднозначными или сложными запросами. Лицензия — Gemma; перед использованием следует учитывать её условия.

mlx-community/gemma-4-e2b-it-qat-OptiQ-4bit — квантованная версия модели Gemma 4 E2B, разработанной Google и адаптированной сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. В основе лежит quantization-aware-trained модель google/gemma-4-E2B-it-qat-q4_0-unquantized. Модель предназначена для локальной генерации текста на устройствах Apple Silicon, включая задачи общего понимания и генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и работы с агентными сценариями. Также поддерживается мультимодальный режим image-text-to-text через vision-компонент в формате bf16; текстовый режим загружается через mlx-lm, а обработка изображений — через mlx-optiq. Используется смешанная разрядность: большинство компонентов имеют точность 4-bit, чувствительные слои — 8-bit. Всего квантовано 276 компонентов, достигнуто 5,24 bits per weight, размер модели на диске составляет около 4,9 ГБ. Квантование выполнено с группой 64 и распределением битов на основе чувствительности слоёв. По заявленным тестам модель превосходит равномерную 4-bit-квантизацию той же базы по среднему Capability Score: 57,23 против 55,14; особенно заметен выигрыш в HumanEval и тесте длинного контекста HashHop. При этом в IFEval результат немного ниже, чем у равномерной 4-bit-версии. Контекстное окно и полный перечень поддерживаемых языков в README не указаны. Модель ориентирована на локальное использование без PyTorch и облачных сервисов, преимущественно на Apple Silicon. Доступна по условиям Gemma Terms of Use; применимые условия также зависят от лицензии базовой модели Google Gemma.

Mungert/GigaChat3-10B-A1.8B-GGUF — GGUF-квантизированная версия диалоговой модели GigaChat3-10B-A1.8B, созданная на основе ai-sage/GigaChat3-10B-A1.8B-bf16 с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с русским и английским языками, а также другими языками, добавленными в обучающий корпус. Модель использует архитектуру Mixture-of-Experts (MoE) с 10 млрд общих и 1,8 млрд активных параметров, Multi-head Latent Attention (MLA) для снижения требований к памяти и Multi-Token Prediction (MTP) для ускорения генерации. Обучение проводилось на 20 трлн токенов, включая данные по книгам, академическим материалам, программированию и математике, а также около 5,5 трлн токенов синтетических данных. Длина контекста в представленном описании не указана. GGUF-версия ориентирована на эффективный локальный инференс в экосистеме llama.cpp. В сборке применяется квантизация с выборочным повышением точности отдельных важных слоёв, что может улучшать качество при заданном уровне квантизации, но увеличивает размер файла. Ограничениями являются возможная потеря точности по сравнению с исходной bf16-версией и отсутствие в карточке подробностей о конкретных вариантах квантизации, размере файлов и измерениях качества именно этой GGUF-сборки. Лицензия — MIT.