II.7DevOps, облако и эксплуатация IT-систем

unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit — MLX-совместимая 4-битная версия instruction-tuned модели Gemma 4 26B A4B, подготовленная Unsloth на основе модели Google DeepMind. Это мультимодальная модель с открытыми весами, предназначенная для локального запуска и дообучения в экосистеме MLX. Модель рассчитана на генерацию текста, рассуждения, программирование, мультимодальное понимание изображений, агентские сценарии и вызов функций. Вариант 26B A4B использует архитектуру Mixture-of-Experts (MoE); обозначение A4B указывает на эффективный объём активируемых параметров около 4B при общем размере модели 26B. Для семейства Gemma 4 заявлены поддержка текста и изображений, контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждения, нативная поддержка system prompt и function calling. Поддержка аудио для этой версии не указана; в README она отмечена только для малых моделей E2B и E4B. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также эффективность MoE-архитектуры и 4-битной квантизации для локального запуска на совместимом оборудовании Apple Silicon или другом окружении MLX. Ограничения связаны с необходимостью MLX-совместимой инфраструктуры и потенциальными компромиссами 4-битной квантизации, однако количественные характеристики таких компромиссов в README не приведены. Модель распространяется по лицензии Apache 2.0.

GLM-5.2-NVFP4 — квантизированная версия языковой модели GLM-5.2 от zai-org, опубликованная lukealonso. Модель предназначена для генерации текста, диалоговых сценариев, программирования, многошагового агентного взаимодействия, вызова инструментов и function calling. Она поддерживает английский и китайский языки и работает через библиотеку Transformers. В основе лежит Mixture-of-Experts-модель с 744 млрд параметров, из которых 40 млрд активируются для каждого токена. В каждом MoE-слое используются 256 экспертов, восемь из которых выбираются для обработки токена; также применяется архитектура DeepSeek Sparse Attention (DSA). Неквантизированная часть модели включает attention-веса, плотные MLP-слои и общие эксперты в формате BF16. MLP-проекции необщих MoE-экспертов квантизированы в NVFP4 — 4-битный формат с блочными FP8-масштабами для групп по 16 элементов. Ключевое преимущество модели — существенное снижение требований к памяти при сохранении специализированных экспертных весов и калибровке по естественной маршрутизации токенов. Калибровочные данные включали программирование, вызов инструментов, реальные пользовательские диалоги на разных языках и длинные последовательности свыше 8 тысяч токенов. Ограничения — необходимость мощной инфраструктуры: рекомендована конфигурация из восьми RTX PRO 6000 Blackwell по 96 ГБ с b12x MoE runner. Лицензия MIT.

PhalaCloud/GLM-5.2-W4AFP8 — это квантизированная версия GLM-5.2, разработанного zai-org. Модель предназначена для генерации текста, рассуждений, точного следования инструкциям, работы с длинным контекстом и вызова инструментов. Указаны поддерживаемые языки English и Chinese; модель работает в текстовом режиме. Модель сохраняет полный объём 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса квантизированы до 4 бит с group size 128 и FP8-активациями, а отдельные компоненты, включая attention и MTP-слой, остаются в FP8 или BF16. На одном узле с 8 GPU H200 поддерживается контекст до 1 млн токенов. Квантизация рассчитана на снижение потребления памяти без измеримой потери качества относительно FP8-версии; заявлена поддержка EAGLE speculative decoding. По приведённым тестам модель показывает высокие результаты в reasoning, instruction following, long-context reasoning и tool calling, а также извлекает данные из контекста длиной около 983 тысяч токенов. Основные ограничения — необходимость GPU Hopper с SM90, проверенная совместимость только с SGLang версии 0.5.13.post1 или новее и непроверенная работа с vLLM и другими движками. Модель распространяется по лицензии MIT, унаследованной от GLM-5.2.

Hermes 4 14B — плотная языковая модель Nous Research на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, математики, программирования, STEM, логики, творческого письма и генерации ответов в заданном формате. Модель поддерживает гибридный режим рассуждений, следование схемам и вывод JSON, а также вызов инструментов при соответствующей настройке шаблона ChatML. Размер модели — 14 млрд параметров, длина контекста — 40 960 токенов; основным указанным языком карточки является английский. Модель распространяется под лицензией Apache-2.0. Для работы следует использовать формат ChatML; качество ответов и вызова инструментов зависит от корректной настройки шаблона и инференсного окружения. Заявления README о сравнительных результатах и улучшениях основаны на описании разработчика и не являются независимой оценкой.

unsloth/Kimi-K2-Instruct-GGUF — это GGUF-квантизированная версия Kimi-K2-Instruct, разработанного Moonshot AI и подготовленная Unsloth. Модель предназначена для общего диалога, решения задач на знания и рассуждения, программирования, использования инструментов и агентских сценариев. Версия Instruct ориентирована на готовое применение без длительного режима пошагового размышления. Модель использует архитектуру Mixture-of-Experts (MoE): 1 триллион общих параметров, из которых 32 миллиарда активируются для каждого токена. Архитектура включает 61 слой, 384 эксперта с выбором 8 экспертов на токен, один общий эксперт, 64 головы внимания, механизм MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Длина контекста составляет 128 тысяч токенов. В README языки и дополнительные модальности не указаны. GGUF-версии предназначены для локального запуска, в частности через актуальную версию llama.cpp. Для небольших квантов рекомендуется не менее 128 ГБ объединённой оперативной памяти; при наличии 16 ГБ VRAM и 256 ГБ RAM ожидается скорость свыше 5 токенов в секунду. Для наилучшего качества рекомендуются 2-битные XL-кванты или более высокие варианты, а температура 0,6 помогает снизить повторения и несвязность. Ограничениями являются очень высокие требования к памяти и возможные потери качества, зависящие от выбранного уровня квантования. Лицензия указана как modified MIT; также приведена ссылка на файл LICENSE.md.

Ling-3.0-tiny — компактная гибридная языковая модель семейства Ling, разработанная inclusionAI. Она предназначена для диалогов, многошаговых рассуждений и агентных сценариев с умеренными затратами на инференс, включая локальное развертывание на ограниченных ресурсах. Модель принимает текст и генерирует текст; заявлены задачи программирования, математики, научных рассуждений, понимания длинного контекста и следования инструкциям. В README указаны архитектура MoE с чередованием слоёв KDA и MLA, 128 маршрутизируемых экспертов, 7,9 млрд параметров всего и 1,3 млрд активируемых на токен. Метаданные Hugging Face указывают 977,5 млн параметров и контекст 131072 токена, что расходится с README по числу параметров; число параметров здесь поэтому не следует считать однозначно установленным. Для режимов рассуждения можно включать или выключать thinking mode. Доступны веса BF16, FP8 и INT4; заявлена проверка на NVIDIA DGX Spark и компьютерах Apple Silicon. Модель подходит для локального ассистента, программирования, решения математических задач и агентных рабочих процессов. README приводит результаты внутренних оценок и скорости для конкретных конфигураций оборудования, которые не гарантируют такую же производительность в других условиях. Лицензия — MIT.

NVIDIA MiniMax-M2.5-NVFP4 — квантизированная версия авторегрессионной языковой модели MiniMax-M2.5, разработанной MiniMax и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генерации текста. Модель использует архитектуру Transformers с сетевой архитектурой MiniMaxM2ForCausalLM и содержит 229 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемый контекст составляет до 196 608 токенов. Языки явно не указаны. Квантизация весов и активаций линейных операторов внутри трансформерных блоков до формата NVFP4 уменьшает число бит на параметр с 8 до 4, а также примерно в 1,65 раза сокращает требования к дисковому пространству и видеопамяти. Модель ориентирована на развёртывание на NVIDIA GPU, прежде всего на системах с микроархитектурой Blackwell, и интегрируется с SGLang и vLLM под Linux. К сильным сторонам относятся большой контекст, поддержка задач рассуждения и программирования, а также сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого оборудования NVIDIA и необходимость дополнительного тестирования на данных конкретного сценария; характеристики исходной MiniMax-M2.5, включая детальные языковые возможности, в предоставленных данных не раскрыты. Использование регулируется NVIDIA Open Model License; дополнительно указана Modified MIT License исходной модели MiniMax-M2.5. Версия квантизации создана с использованием NVIDIA Model Optimizer 0.43.0.

MiniMax-M3-MXFP8 — квантованная в формате MXFP8 версия нативной мультимодальной модели MiniMax-M3, разработанная компанией MiniMax AI. Модель предназначена для работы с текстом, изображениями и видео, а также для агентских сценариев, программирования и задач, требующих длительного взаимодействия с контекстом. Поддерживается контекст до 1 миллиона токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA), уменьшающее вычислительные затраты и объём памяти по сравнению с GQA при сохранении качества. Общий размер составляет около 428 млрд параметров, из которых активируется примерно 23 млрд, что указывает на разреженную MoE-архитектуру. Доступны режимы рассуждений enabled, adaptive и disabled: они позволяют выбирать между постоянным рассуждением, его автоматическим включением при необходимости и минимизацией задержки. К сильным сторонам относятся нативное объединение текстовой, визуальной и видеомодальностей, эффективная работа с миллионным контекстом, а также ориентация на сложные агентские и кодировочные задачи. Ограничения связаны с очень большим общим размером модели и соответствующими требованиями к инфраструктуре; конкретные поддерживаемые языки и подробные аппаратные требования в README не указаны. Модель распространяется по лицензии MiniMax Community License, обозначенной как license: other.

hermes42/Mistral-7B-Instruct-v0.3-imatrix-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанного командой Mistral AI. Модель представляет собой инструкционно дообученную большую языковую модель примерно на 7 млрд параметров для генерации текста и диалогового взаимодействия. Модель предназначена для следования инструкциям, чат-сценариев, ответов на вопросы, создания и обработки текста, а также задач, связанных с программным кодом. Исходная Mistral-7B-Instruct-v0.3 поддерживает function calling, использует tokenizer v3 и расширенный словарь размером 32768 токенов. Поддержка языков и размер контекстного окна в предоставленных данных не указаны. Версия в данном репозитории дополнительно обработана с помощью importance matrix на наборе group_10_merged.txt, что направлено на улучшение perplexity, и подготовлена с использованием llama.cpp. К сильным сторонам относятся компактный размер по меркам современных LLM, возможность локального запуска через совместимые инструменты GGUF и llama.cpp, инструкционное обучение и поддержка вызова функций в исходной модели. Ограничения включают отсутствие встроенных механизмов модерации, возможные потери качества из-за квантизации и отсутствие сведений о конкретном формате квантизации, контекстном окне и языковом покрытии этой сборки. Модель распространяется по лицензии Apache-2.0.

casperhansen/mistral-small-24b-instruct-2501-awq — это 4-битная AWQ-квантизованная версия Mistral-Small-24B-Instruct-2501. Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи. Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами. Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.

duyntnet/Mistral-Small-24B-Instruct-2501-imatrix-GGUF — это GGUF-квантизованные версии языковой модели Mistral Small 3 (2501), разработанной командой Mistral AI. Модель основана на Mistral-Small-24B-Base-2501 и дообучена для выполнения инструкций. В карточке указано 24 млрд параметров; конкретная архитектура не раскрыта. Модель предназначена для генерации текста и работает с текстовой модальностью. Модель ориентирована на быстрых разговорных ассистентов, сценарии с низкой задержкой, вызов функций, выдачу структурированного JSON, локальный запуск и последующее дообучение под предметные области. Она поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Контекстное окно составляет 32 000 токенов, используется токенизатор Tekken со словарём размером 131 000 токенов. К сильным сторонам относятся развитые диалоговые и reasoning-возможности, поддержка системных промптов, native function calling и JSON-вывода, а также возможность локального запуска после квантизации, в том числе на одной RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения связаны с тем, что это квантизованный вариант: конкретные компромиссы между размером, скоростью и качеством зависят от выбранного файла квантизации. Модель рассчитана на использование через llama.cpp, KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. В исходном описании базовой модели указана лицензия Apache 2.0, однако метаданные данного репозитория обозначают лицензию как other; перед коммерческим использованием следует проверить условия для конкретной сборки.

Mistral-Small-Instruct-2409 — плотная языковая модель на 22 млрд параметров от команды Mistral AI, дообученная следовать инструкциям. Она предназначена для диалогов, генерации текста и вызова функций в приложениях и inference-сервисах. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, функцию вызова инструментов; для запуска рекомендуются vLLM или mistral-inference. Для работы на одном GPU требуется не менее 44 ГБ видеопамяти, либо можно распределить нагрузку между несколькими устройствами. В карточке перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в материалах модели на Hugging Face.

Nexa-AI-4B-Instruct — мультиязычная инструкционная языковая модель, совместно разработанная Neura Tech AI и Lumina AI на основе Qwen/Qwen3-4B-Instruct-2507. Это плотный декодерный Transformer с 3,7 млрд параметров, предназначенный для диалогов и выполнения инструкций; модель распространяется в формате Safetensors через библиотеку Transformers. Модель подходит для генерации ответов, помощи с программированием, математических и логических задач, а также сценариев с вызовом инструментов и агентами. Она поддерживает английский, хинди и китайский; в карточке также заявлены другие языки. Контекстное окно составляет до 262 144 токенов. Разработчики сообщают о дообученной настройке на полезные ответы и приводят результаты сравнительных тестов, но в карточке нет достаточных подробностей об условиях оценки для независимой проверки этих заявлений. Лицензия — Apache-2.0.

NVIDIA Nemotron-3-Nano-30B-A3B-BF16 — языковая модель общего назначения, обученная с нуля NVIDIA Corporation для диалогов, рассуждений и выполнения инструкций. Она предназначена для разработчиков чат-ботов, агентных систем, RAG-приложений и других решений на базе ИИ; также подходит для задач программирования и многоязычного общения. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE и 6 слоёв внимания. Всего в ней 30 млрд параметров, из которых активны 3,5 млрд на токен; веса представлены в BF16. Метаданные указывают 1,9 млрд параметров. Контекст в конфигурации Hugging Face составляет 262 144 токена; README сообщает о поддержке до 1 млн токенов при соответствующих настройках и повышенных требованиях к видеопамяти. Модель принимает текст и выдаёт текст, поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Режим рассуждений настраивается через шаблон чата; также заявлен интерфейс вызова инструментов. Модель заявлена как пригодная для коммерческого использования. В метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Русский язык среди поддерживаемых не указан; возможности рассуждения могут снижаться при отключении промежуточного этапа рассуждений, а использование длинного контекста требует больше видеопамяти.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная FP8-версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation с нуля. Модель предназначена для генерации текста, диалогов, решения задач с рассуждением, следования инструкциям, работы с кодом и математикой, а также сценариев tool-calling. В карточке также заявлены задачи text-to-text, image-to-text и reasoning, однако подробности о мультимодальных возможностях не приведены. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего модель содержит около 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. Каждый MoE-слой включает 128 экспертов и одного общего эксперта, при этом для токена активируются 6 экспертов. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки; также указано улучшение с использованием Qwen. Размер контекста в предоставленных данных не указан. Модель объединяет режимы с рассуждением и без него. По умолчанию она может сначала формировать reasoning trace, а затем итоговый ответ; рассуждение можно отключить через настройку chat template, что немного снижает точность на сложных запросах. К сильным сторонам относятся сочетание высокой общей ёмкости с меньшим числом активных параметров, поддержка нескольких языков и специализированных сценариев, включая reasoning и tool-calling. Ограничениями являются необходимость совместимого инференсного стека и отсутствие в карточке подробных результатов бенчмарков, сведений о контекстном окне и детального описания заявленной image-to-text функциональности. Модель распространяется по NVIDIA Open Model License. Она валидирована в RHOAI 3.0, RHAIIS 3.2.5 и vLLM 0.11.2.

Phi-3-Medium-4K-Instruct — плотная языковая модель семейства Phi-3, разработанная Microsoft. Модель содержит 13,8 млрд параметров и рассчитана на контекст до 4096 токенов. Она обучена на синтетических данных и отфильтрованных общедоступных веб-текстах с упором на качество и рассуждения, а затем дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно для сред с ограниченными вычислительными ресурсами и требованиями к задержке, а также для задач программирования, математики, логики и понимания текста. Она работает с текстом и ориентирована прежде всего на английский язык; для других языков качество может быть ниже. Весы доступны в формате safetensors, лицензия — MIT. Как и другие языковые модели, Phi-3-Medium-4K-Instruct может выдавать недостоверные или устаревшие сведения, предвзятые либо оскорбительные ответы. Генерацию кода следует проверять: обучающие данные для кода преимущественно охватывают Python и распространённые библиотеки.

Phi-3-Small-8K-Instruct — компактная языковая модель Microsoft из семейства Phi-3 с плотной архитектурой и примерно 8,2 млрд параметров. Она дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и диалогового взаимодействия; доступна в формате safetensors и распространяется по лицензии MIT. Модель предназначена для генерации текста в чат-системах и приложениях общего назначения, особенно в условиях ограниченных вычислительных ресурсов или требований к низкой задержке. В карточке отмечены сильные стороны в рассуждениях, математике, логике и коде. Контекст составляет до 8192 токенов; основное внимание при обучении уделено английскому языку, хотя модель помечена как многоязычная. Как и другие языковые модели, она может выдавать неверную или устаревшую информацию, предвзятые либо оскорбительные ответы. Для языков помимо английского качество может быть ниже; сгенерированный код и ответы для чувствительных областей требуют проверки. Карточка не рекомендует использовать модель в высокорисковых сценариях без дополнительных оценок и мер защиты.

Qwen1.5-72B-Chat-GPTQ-Int4 — чат-модель семейства Qwen1.5, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для повышения качества диалогов и соответствия человеческим предпочтениям. Вариант GPTQ-Int4 содержит 72 млрд параметров и предназначен для генерации текста в формате чата. Модель подходит для диалоговых помощников, ответов на вопросы, создания и обработки текстов, а также работы с естественными языками и программным кодом. Заявлена мультиязычная поддержка, однако точный перечень языков в README не указан. Модель поддерживает контекст до 32K токенов и может загружаться через Transformers с использованием AutoModelForCausalLM и AutoTokenizer; для работы рекомендуется transformers версии 4.37.0 или новее. К сильным сторонам относятся большой размер, улучшенная по сравнению с предыдущим поколением производительность в оценках человеческих предпочтений, чатовая настройка и 4-битная GPTQ-квантизация, снижающая требования к памяти. К ограничениям относятся beta-статус семейства, возможные проблемы с переключением между языками и деградация результатов некоторых бенчмарков после DPO. В README также указано, что для этой beta-версии временно не включены GQA и комбинация sliding window attention с полной attention. Лицензия обозначена как other; используется лицензия tongyi-qianwen, полный текст доступен по ссылке в карточке модели.

unsloth/Qwen2.5-3B-unsloth-bnb-4bit — 4-битная квантизированная версия языковой модели Qwen2.5-3B, подготовленная Unsloth на базе Qwen/Qwen2.5-3B. Модель предназначена для генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это текстовая causal language model без заявленной поддержки изображений или других модальностей. Модель ориентирована на многоязычное использование и заявляет поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского, арабского и других языков. Для семейства Qwen2.5 указана поддержка контекста до 128K токенов и генерации до 8K токенов, однако README не приводит отдельные параметры контекста именно для версии 3B. Ключевое преимущество этой сборки — снижение требований к памяти благодаря 4-битному формату Unsloth Dynamic 4-bit, который, по заявлению разработчика, лучше сохраняет точность по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможную потерю точности из-за квантизации и отсутствие в README результатов независимого бенчмаркинга именно этой сборки. README также предупреждает, что базовые языковые модели не рекомендуются для диалогового использования без дополнительной настройки. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs Qwen3.5-122B-A10B-REAP-30-abliterated-GGUF — набор квантованных GGUF-версий языковой модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-88B. Исходная модель представляет собой примерно 30%-ную экспертную pruning-версию Qwen/Qwen3.5-122B-A10B, уменьшенную с 122B до примерно 88B параметров при сохранении архитектуры qwen35moe и бюджета из 10B активных экспертов. Модель поддерживает стандартное предсказание одного токена, без Multi-Token Prediction; конфигурация содержит 48 слоёв и 879 тензоров. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Модель предназначена для генерации текста, рассуждений, программирования, математических и фактических задач, а также следования инструкциям. Abliteration уменьшает склонность к отказам в ответах на запросы, связанные со взрослым и творческим содержанием, при этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальному неправомерному поведению. В опубликованных проверках модель получила 5/5 на тесте способностей, 2 отказа из 25 на общем тесте отказов и 10/10 на ограниченном наборе проверок детской безопасности, однако эти результаты не гарантируют сохранность защитных механизмов во всех сценариях. Распространение выполняется в формате GGUF с importance-matrix-квантизацией и вариантами Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_M, IQ3_M, IQ3_XS, IQ2_M и IQ2_XS. Качество, требования к памяти и скорость зависят от выбранного варианта квантизации. Модель лицензирована по Apache-2.0; использование должно быть ответственным, поскольку она помечена как предназначенная не для всех аудиторий.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — текстовая генеративная модель, разработанная Jackrong на базе Qwen/Qwen3.5-9B. Она дообучена методом supervised fine-tuning с применением LoRA и дистилляции рассуждений из источников, связанных с Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Модель предназначена для задач, требующих структурированного анализа, декомпозиции, планирования, многошагового вывода и отслеживания ограничений. Модель относится к семейству Dense и содержит около 9 млрд параметров. Она работает в режиме text-generation и ориентирована на текстовые запросы и ответы. В README заявлена поддержка английского, китайского и корейского языков. Обучающие данные охватывают математику, логику, программирование, системный анализ, безопасность, физику, инженерию, право, медицину, финансы, химию и прикладные социальные задачи. Размер контекстного окна и другие параметры инференса не указаны. Сильными сторонами модели считаются более организованный стиль рассуждений, улучшенное решение сложных многошаговых задач, междисциплинарное покрытие и ориентация на анализ атак, отказов и ограничений. При этом дистилляция и специализированное дообучение могут ухудшать обобщение на отдельных сценариях или приводить к частичному забыванию знаний базовой модели, поэтому модель следует оценивать на собственных данных перед применением. Модель распространяется по лицензии Apache-2.0.

FadedRedStar/Qwen3.5-9B-heretic-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-9B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантизацию выполнил FadedRedStar на основе весов coder3101/Qwen3.5-9B-heretic. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, направленного на снижение количества отказов модели. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев. Она поддерживает обработку изображений через встроенный vision encoder и раннее объединение модальностей, формат запросов ChatML, 201 язык и диалект, а также контекст до 262 144 токенов с заявленной возможностью расширения примерно до миллиона токенов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть содержит около 9 млрд параметров, общий объём с vision encoder составляет примерно 10 млрд параметров. Модель по умолчанию генерирует рассуждения перед финальным ответом и поддерживает tool calling. Репозиторий предоставляет варианты квантизации Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы в форматах Q8_0 и BF16 для запуска с поддержкой изображений в llama.cpp. Q4_K_M рассчитан на баланс качества и потребления памяти, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при больших требованиях к памяти. Для ускоренного декодирования доступны дополнительные MTP-файлы. Заявленные показатели обхода отказов являются самоотчётными и независимо не проверялись; изменение поведения безопасности может быть ограничением при использовании модели. Лицензия — Apache-2.0.

mlx-community/Qwen3.6-27B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.6-27B, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с агентными сценариями и вызовами инструментов. Модель использует смешанную точность: 276 слоёв представлены в 4-битном формате, а 220 наиболее чувствительных слоёв — в 8-битном; размер группы составляет 64. Общий объём на диске — около 17,5 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. README не указывает поддерживаемые языки и размер контекстного окна. Для загрузки доступна библиотека mlx-lm, а расширенные возможности предоставляет mlx-optiq. По приведённым тестам модель демонстрирует высокие результаты в MMLU, GSM8K, следовании инструкциям, вызове функций, генерации кода и извлечении данных из длинного контекста; средний Capability Score составляет 86,04. Ограничениями являются необходимость совместимого оборудования Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и некоторое снижение результатов в отдельных тестах относительно неё. Модель распространяется по лицензии Apache 2.0 и наследует её от базовой модели.

Solar-Open2-250B-Nota-INT4 — 4-битная квантованная версия языковой модели Solar-Open2-250B от Upstage, подготовленная компанией Nota AI. Модель предназначена для генерации текста, диалоговых приложений, рассуждений, программирования, вызова инструментов и других задач обработки естественного языка. Заявлены языки английский, корейский и японский. Модель основана на архитектуре Mixture-of-Experts (MoE) и использует квантование весов W4A16 с форматом INT4, размером группы 128 и упаковкой AutoRound, совместимой с GPTQ. Весовой объём составляет около 142,9 ГБ против 500,6 ГБ в формате BF16. Модель рассчитана на развёртывание через vLLM; в README приведена конфигурация с tensor parallelism для четырёх GPU. Размер контекста в предоставленных данных не указан. Ключевое преимущество — снижение требований к памяти при сохранении близкого к BF16 качества: средний результат на приведённых бенчмарках составляет 81,17 против 81,57 у BF16. Для квантования применены методы Nota AI, ориентированные на сохранение маршрутизации экспертов, включая DREAM-MoE и SRA-MoE. Ограничениями являются необходимость значительных вычислительных ресурсов для запуска, зависимость от совместимой версии vLLM и возможное небольшое снижение качества на отдельных задачах по сравнению с BF16. Модель распространяется по лицензии Upstage Solar License. Для производных моделей требуется использовать префикс Solar в названии, указывать формулировку Built with Solar в публичных материалах и включать копию лицензии Upstage Solar.

Supertron-2.1-8B-A1B — языковая модель-ассистент, разработанная Surpem и дообученная на LiquidAI/LFM2.5-8B-A1B. Это причинная модель с архитектурой LiquidAI LFM2.5 MoE; в репозитории указаны класс 8B и поведение с примерно 1B активных параметров, а в метаданных — 1,6 млрд параметров. Контекст составляет до 128 000 токенов. Модель предназначена для диалога и следования инструкциям, ответов на общие вопросы, рассуждений, математики, программирования, письма, суммаризации и объяснения технических и научных тем. Принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Она совместима с Transformers и распространяется по лицензии Apache 2.0. Модель может ошибаться в фактах, математике и коде, а сложные рассуждения требуют проверки. Качество ответов зависит от настроек генерации; модель не предназначена для принятия критически важных решений в праве, медицине, финансах, безопасности и вопросах идентификации без независимой экспертной проверки.

Yi-1.5-34B — базовая языковая модель компании 01.AI, построенная на плотной архитектуре семейства Llama. В репозитории представлена версия примерно на 33,9 млрд параметров в формате Safetensors; метаданные указывают контекст 4096 токенов. Модель создана на основе Yi: семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и дообучение на 3 млн разнообразных примеров. Модель предназначена для генерации текста, понимания инструкций, рассуждений, чтения и ответов на вопросы, а также задач по математике и программированию. Разработчик отмечает улучшения относительно Yi в программировании, математике, рассуждениях и следовании инструкциям. В README перечислены также варианты Yi-1.5 с контекстом 16K и 32K, но метаданные этого репозитория указывают 4096 токенов. Модель распространяется по лицензии Apache-2.0. Это базовая версия, а не одна из перечисленных в README чат-версий; заявленные сильные стороны и результаты бенчмарков относятся к семейству, а не гарантируют качество на конкретных задачах. В карточке нет сведений о специальных ограничениях применения.

Yi-1.5-6B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 5,8 млрд параметров. Модель предназначена для генерации ответов в чате, следования инструкциям, понимания текста, рассуждений, решения математических задач и помощи с программированием. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и тонкую настройку на 3 млн примеров; карточка конкретной модели подтверждает контекст 4096 токенов. Модель работает с текстом и выдаёт текст. README отмечает улучшения в программировании, математике, рассуждениях и следовании инструкциям, а также способности к пониманию языка, здравому смыслу и чтению. Лицензия — Apache 2.0. README не приводит отдельные оценки качества именно версии 6B; результаты больших вариантов семейства нельзя напрямую переносить на неё.

Карточка модели DIYIN/Youtu-LLM-2B на Hugging Face совпадает с карточкой tencent/Youtu-LLM-2B, поэтому описание составлено по ней. Youtu-LLM-2B — инструктивная языковая модель Tencent для диалогов, рассуждений и выполнения задач агентного типа. Это плотная авторегрессионная модель с архитектурой YoutuForCausalLM и механизмом Dense MLA; в ней около 2 млрд параметров, 32 слоя и словарь из 128 256 токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режим рассуждений, включаемый через шаблон диалога. Модель предназначена для чат-ботов, ответов на вопросы, задач STEM и программирования, работы с длинными контекстами и многошаговых агентных сценариев. Карточка приводит сравнительные результаты на общих и агентных бенчмарках, но эти оценки не гарантируют качество на конкретных данных. В репозитории указана лицензия other; конкретные условия следует сверять с текстом лицензии проекта.