I.5Создание и редактирование текста

Gemma 4 12B IT — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям. Она построена на плотной унифицированной архитектуре Gemma4Unified и принимает текст, изображения, видео и аудио, выдавая текст. Модель поддерживает анализ изображений и видеокадров, распознавание речи и перевод речи в текст, а также генерацию текста и кода, рассуждения и вызов инструментов. Модель рассчитана на локальный запуск на потребительских устройствах и сценарии с длинным контекстом; для семейства заявлено до 256 тысяч токенов у версии 12B. Gemma 4 поддерживает более 35 языков непосредственно и обучалась на данных более чем 140 языков. Лицензия — Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому отдельные характеристики и возможности конкретной версии могут зависеть от реализации и настроек.

Gemma 4 12B IT QAT Q4_0 Unquantized Assistant — модель Google DeepMind на базе google/gemma-4-12B-it-assistant. Это инструкция-настроенная мультимодальная модель с плотной архитектурой Gemma 4 и причинным декодером; репозиторий содержит веса safetensors, извлечённые из конвейера Quantization-Aware Training в формате половинной точности. Такая версия предназначена для дальнейшей компиляции и исследований, а не для непосредственной загрузки как готового Q4_0-квантизованного файла. Модель принимает текст и изображения; семейство также поддерживает видео, а вариант 12B — аудио. Она генерирует текст и подходит для диалогов, рассуждений, программирования, анализа изображений и документов, распознавания речи и перевода речи в текст. Для Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка; семейство обучалось более чем на 140 языках. Модель поддерживает режим рассуждений, вызов инструментов и обработку изображений с разным разрешением. Точная лицензия репозитория — Apache 2.0. Качество и производительность зависят от выбранной среды компиляции и аппаратуры; конкретные ограничения для этого чекпойнта в карточке не описаны.

Gemma 4 26B A4B — мультимодальная модель с открытыми весами от Google DeepMind, относящаяся к семейству Gemma 4 и реализованная как модель класса Mixture-of-Experts. Она принимает текст и изображения и генерирует текст; поддерживает понимание изображений, рассуждения, генерацию и исправление кода, суммаризацию и вызов инструментов. Видео и аудио заявлены для семейства Gemma 4, но поддержка аудио указана только для вариантов E2B, E4B и 12B. Модель рассчитана на мультимодальные диалоги, анализ документов и изображений, задачи с длинным контекстом и агентные сценарии. Для вариантов Gemma 4 26B A4B заявлено контекстное окно до 256 тысяч токенов; семейство обучено более чем на 140 языках и имеет поддержку более 35 языков из коробки. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Модель распространяется по лицензии Apache 2.0. Карточка не приводит отдельной оценки ограничений именно этого варианта; мультимодальные возможности видео и аудио нельзя приписывать 26B A4B по приведённым сведениям.

Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

GLM-4.5-FP8 — открытая большая языковая модель семейства GLM-4.5, разработанная организацией Z.ai (Zhipu AI). Это вариант GLM-4.5 с точностью FP8, предназначенный для генерации текста, рассуждений, программирования и создания интеллектуальных агентов, включая сценарии с использованием инструментов. Модель построена по архитектуре Mixture-of-Experts (MoE) и содержит 355 млрд параметров, из которых активно используются 32 млрд. Она поддерживает гибридное рассуждение в двух режимах: thinking mode для сложных задач и работы с инструментами и non-thinking mode для быстрых прямых ответов. В карточке указаны языки English и Chinese; модель интегрируется с Transformers, vLLM и SGLang. Размер контекста в предоставленных данных не указан. Сильные стороны модели — сочетание возможностей рассуждения, программирования и агентных задач, а также сниженная точность FP8, потенциально позволяющая эффективнее использовать вычислительные ресурсы по сравнению с полноточными вариантами. В README приведены высокие результаты на TAU-Bench, AIME 24 и SWE-bench Verified, однако конкретные требования к аппаратному обеспечению и ограничения производительности для данной конфигурации в предоставленном фрагменте не раскрыты. Модель распространяется по лицензии MIT и допускает коммерческое использование и вторичную разработку.

GLM-4-9B-Chat — открытая диалоговая модель семейства GLM-4, разработанная Zhipu AI. Это плотная модель архитектуры ChatGLM с 10,7 млрд параметров, предназначенная для многоходового общения и генерации текста. Репозиторий содержит веса в формате Safetensors; модель рассчитана на контекст до 128 тыс. токенов. Модель подходит для ответов на вопросы, рассуждений, задач по математике и коду, а также вызова внешних инструментов и функций. В README заявлена поддержка 26 языков; среди приведённых в метаданных языков — китайский и английский, а результаты оценки включают русский и ряд других языков. Модель может служить основой для ассистентов, способных работать с длинными текстами и использовать инструменты. README приводит результаты оценок на наборах для диалога, следования инструкциям, знаний, математики, кода и многоязычности, но они не гарантируют качество в конкретном приложении. Для запуска нужны совместимые версии Transformers и подходящая инфраструктура вывода. Лицензия указана как other; README отсылает к отдельной лицензии GLM-4, поэтому условия использования следует сверять с ней.

GLM-5.2 — языковая модель компании Z.ai для длительных многошаговых задач, включая диалог и программирование. Модель объёмом 30,4 млрд параметров построена на архитектуре GLM MoE DSA и использует механизм IndexShare для снижения вычислений при работе с длинным контекстом. Заявлена поддержка контекста до 1 048 576 токенов и режимов рассуждения с разным уровнем усилий. Модель предназначена для генерации текста и диалоговых сценариев, а также для разработки кода и работы с задачами, требующими обработки больших объёмов контекста. В карточке указана поддержка английского и китайского языков. Модель доступна в формате safetensors для Transformers; README также описывает запуск через SGLang, vLLM и другие фреймворки. Лицензия — MIT.

Granite-4.2-8B (FP8) — квантизированная в формате FP8 версия языковой модели Granite 4.2, разработанной IBM Research и распространяемой через IBM Granite. Это dense reasoning language model примерно на 8 млрд параметров; в репозитории FP8-версии указано около 9 млрд параметров с тензорами BF16 и F8_E4M3. Модель предназначена для генерации текста, диалога, следования инструкциям, программирования, решения математических и многошаговых задач, а также для построения корпоративных AI-агентов с вызовом инструментов. Granite 4.2 поддерживает встроенное пошаговое рассуждение, режимы полного, отключённого и облегчённого reasoning, а также reasoning-augmented tool calling. Заявлено контекстное окно 128K токенов. Модель протестирована для диалога на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. FP8-представление снижает требования к памяти и подходит для развёртывания через Transformers, vLLM и SGLang, но требует совместимой поддержки FP8 и квантизированных тензоров. Сильные стороны модели — сочетание reasoning, кодирования, многошагового планирования и вызова инструментов при относительно компактном размере, а также возможность выбора баланса между качеством рассуждения и задержкой. В доступных первоисточниках не приведены подробные сведения о внутренней конфигурации слоёв именно FP8-варианта, полном наборе ограничений безопасности и численных характеристиках для всех сценариев; поэтому результаты требуют проверки в прикладных задачах. Репозиторий распространяется по лицензии Apache 2.0, допускающей коммерческое и академическое использование.

Granite-4.2-8B (MXFP4) — квантизированная версия языковой модели Granite-4.2-8B, разработанной командой Granite компании IBM. Это decoder-only dense Transformer для генерации текста, диалогов, рассуждений, написания кода, вызова инструментов и агентских сценариев. Репозиторий содержит вариант с представлением MXFP4; базовая модель имеет 8 млрд параметров, а квантизированный вариант на странице модели обозначен как модель размером около 5 млрд параметров. Архитектура включает GraniteForCausalLM, Grouped Query Attention с 32 attention heads и 8 KV heads, RoPE, SwiGLU и RMSNorm. Модель поддерживает встроенный режим рассуждений с тегами <think>...</think>, а также режимы полного, отключённого и облегчённого рассуждения. Нативный контекст составляет 128K токенов, заявлено расширение до 512K. Проверены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; модель текстовая и мультимодальность не заявлена. Сильные стороны — рассуждения, программирование, многошаговые задачи, tool calling, длинный контекст и многоязычный диалог при сниженных требованиях к памяти благодаря MXFP4. Ограничения включают возможное снижение качества вне английского языка, а также риск неточных, предвзятых или небезопасных ответов; вывод рассуждений может содержать промежуточные и неотшлифованные мысли. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

InternLM-20B 是上海人工智能实验室联合商汤科技、香港中文大学和复旦大学发布的 плотная авторегрессионная языковая модель с архитектурой InternLM. В карточке указано, что модель содержит 19,6 млрд параметров, имеет 60 слоёв и предварительно обучена на более чем 2,3 трлн токенов английского, китайского и программного кода. Её основное назначение — генерация текста; модель также ориентирована на понимание, рассуждения, математику, программирование и вызов инструментов. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 4096 токенов; README сообщает о возможности расширения до 16 тыс. токенов с помощью экстраполяции при инференсе. В карточке описана базовая предварительно обученная версия; SFT и RLHF относятся к отдельной Chat-версии. README сообщает о сравнительных результатах на языковых и экзаменационных тестах, но они не гарантируют качество для конкретного применения. Лицензия репозитория — Apache-2.0; в README отдельно сказано, что для коммерческого использования весов требуется запросить разрешение. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст.

InternLM2-Chat-20B — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров с поддержкой чата и контекстом 32 768 токенов по метаданным Hugging Face. README также описывает эксперименты с удлинённым контекстом до 200 тысяч токенов при использовании LMDeploy. Модель предназначена для диалогов, следования инструкциям, рассуждений, математики, программирования, творческого письма и анализа данных. Она может служить языковой основой для агентов, которые выбирают инструменты и выполняют многошаговые вызовы; запуск кода требует подключённого интерпретатора. В README приведены результаты OpenCompass, однако они зависят от версии конфигурации и не гарантируют качество в конкретном сценарии. Модель принимает текст и генерирует текст. Карточка демонстрирует использование Transformers, LMDeploy и vLLM. README сообщает, что код распространяется по Apache-2.0, веса открыты для академических исследований, а для коммерческого использования требуется бесплатная лицензия по заявке. Модель может выдавать предвзятые, дискриминационные или иные вредоносные ответы.

K2-Horizon-3.7B — плотная авторегрессионная языковая модель семейства K2-Horizon от IFM, представленная как небольшой вариант семейства. Это декодерная модель с архитектурой K2HorizonForCausalLM; в карточке указано 3,7 млрд параметров в названии, а в метаданных — 4,1 млрд. Модель принимает текст и предназначена для диалогов, генерации текста, рассуждений, программирования и агентных задач. Нативное контекстное окно составляет 524 288 токенов. Для запуска описана совместимость с Transformers, vLLM и SGLang; для vLLM приведены настройки вызова инструментов и парсер формата модели. Обучение включает предварительное обучение, этапы расширения контекста и постобучение. Для снижения повторяющихся бесконечных генераций выпущенная версия прошла дополнительный этап FTPO на LoRA-предпочтениях, после чего обновление было объединено с весами. Авторы сообщают об оценках на математических, кодовых, агентных и общих бенчмарках, а также об улучшении поведения при длинной генерации. Обучающие данные, рецепт, код и ресурсы оценки заявлены как открытые. Лицензия — Apache-2.0.

K2-Horizon-7B — плотная авторегрессионная языковая модель семейства K2-Horizon от IFM, предназначенная для генерации текста и диалогового взаимодействия. Модель имеет около 8 млрд параметров и поддерживает контекст до 524 288 токенов; карточка описывает её как 7B-core модель с окном контекста 512K. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель рассчитана на сценарии рассуждений, программирования, работы с длинным контекстом и агентных задач; README приводит результаты оценки на соответствующих бенчмарках и описывает обучение для снижения повторяющихся циклов в длинных генерациях. Доступны промежуточные контрольные точки для изучения изменений возможностей в ходе обучения, а обучающие данные, код и материалы оценки заявлены как открытые. Метаданные указывают английский язык карточки, но это не гарантирует, что модель поддерживает только английский.

unsloth/Llama-3.1-8B-unsloth-bnb-4bit — это 4-битная версия языковой модели Llama 3.1 с 8 млрд параметров, подготовленная Unsloth на основе базовой модели Meta Llama 3.1 8B. Модель работает с текстом на входе и генерирует многоязычный текст и программный код. Архитектура — авторегрессионный Transformer с поддержкой Grouped-Query Attention (GQA), контекстное окно — до 128 тысяч токенов. Модель обучена на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, при этом семейство Llama 3.1 описано как многоязычное. Модель предназначена для генерации текста и кода, диалоговых сценариев, дообучения под прикладные задачи и запуска в условиях ограниченных вычислительных ресурсов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией и подходит для локального инференса и последующего fine-tuning, однако может сопровождаться компромиссами по точности и качеству генерации. README не содержит детальных результатов бенчмарков или характеристик аппаратных требований. Использование регулируется лицензией Llama 3.1; дополнительных условий для версии Unsloth в README не указано.

Meta Llama 3 70B Instruct — разработанная Meta инструкционная языковая модель для диалоговых сценариев. Это плотная авторегрессионная трансформерная модель семейства Llama с 69,5 млрд параметров и механизмом Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей. Модель принимает текст и генерирует текст, включая код; поддерживает контекст до 8192 токенов. Модель предназначена прежде всего для общения с ассистентом на английском языке и может использоваться в коммерческих и исследовательских приложениях: для ответов на вопросы, написания и объяснения кода, а также генерации текста. Карточка отмечает высокие результаты семейства на распространённых отраслевых тестах, но не приводит их численные значения. Модель статична, обучена на офлайн-данных и может выдавать неточные или небезопасные ответы; для конкретного приложения следует настраивать дополнительные меры безопасности. Использование регулируется пользовательской коммерческой лицензией Meta Llama 3 и политикой допустимого использования.

FriendliAI публикует FP8-квантизированную версию Meta Llama 3 70B Instruct — авторегрессионной плотной трансформерной модели для генерации текста. Модель содержит 69,5 млрд параметров, использует Grouped-Query Attention и рассчитана на контекст до 8192 токенов. Вариант Instruct настроен для диалогов и работы в формате ассистента; модель принимает текст и генерирует текст и код на английском языке. FP8 повышает эффективность инференса при сохранении высокой точности, однако для этого формата требуются GPU NVIDIA Ada, Hopper или Blackwell. Модель основана на Meta-Llama-3-70B-Instruct и предназначена для коммерческого и исследовательского применения. Репозиторий указывает лицензию other; в README описана пользовательская коммерческая лицензия Meta Llama 3, условия которой необходимо соблюдать.

Meta-Llama-3-70B-Instruct-iMat-GGUF — квантизированная GGUF-версия 70-миллиардной инструкционно настроенной языковой модели Meta Llama 3, разработанной Meta. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев на английском языке. Инструкционная настройка выполнена с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Модель принимает только текст и генерирует текст или код. Она построена на авторегрессионной оптимизированной архитектуре Transformer с Grouped-Query Attention, имеет контекст длиной 8k токенов и обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. Данная сборка квантизирована с использованием importance matrix, включает варианты K и IQ, а также исправленный токен завершения для инструкционного режима. Для корректной работы требуется совместимый рантайм, например llama.cpp, актуальный chat template llama3 и правильная загрузка всех частей файлов, если модель разделена. Сильные стороны модели — большой размер, диалоговая специализация, поддержка генерации кода и улучшенная точность квантизации за счёт importance matrix. Ограничения включают английскую ориентацию, текстовую модальность, контекст 8k токенов, статичность обучающего набора и зависимость результатов от выбранного кванта и совместимости токенизатора. Указана кастомная коммерческая лицензия Llama 3; её условия определяются Llama 3 Community License и Acceptable Use Policy.

MaziyarPanahi/Meta-Llama-3-8B-Instruct-GGUF — это квантизированная версия инструкционно дообученной модели Meta-Llama-3-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского использования на английском языке. Для работы необходимо применять шаблон запросов Llama 3. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 млрд параметров и механизмом Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст или код, имеет контекст 8 тысяч токенов и обучалась на более чем 15 трлн токенов общедоступных онлайн-данных. Инструкционная версия использует supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Репозиторий содержит варианты квантизации от 2 до 16 бит, что позволяет выбирать компромисс между размером модели, скоростью и качеством вывода. Сильными сторонами являются поддержка диалоговых сценариев, генерации кода и возможность запуска через совместимые инструменты для GGUF, включая llama.cpp, с меньшими требованиями к ресурсам благодаря квантизации. Ограничения включают преимущественную ориентацию на английский язык, контекст длиной 8 тысяч токенов, статичность модели и возможные потери качества в квантизированных вариантах. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей политикой допустимого использования.

Ministral-8B-Instruct-2410 — инструкция-дообученная плотная трансформерная языковая модель компании Mistral AI с примерно 8 млрд параметров. Она предназначена для локального и периферийного запуска, диалогов и выполнения инструкций; также поддерживает вызов функций и задачи с кодом и математическими рассуждениями. Модель обучена на многоязычных данных и данных по программированию. В карточке заявлено контекстное окно до 128 тыс. токенов с чередующимся скользящим вниманием; в vLLM контекст ограничен 32 тыс. токенов. Метаданные указывают 32 768 токенов как native context. Модель рассчитана на генерацию текста и чат на нескольких языках, включая русский, английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский и корейский. Для запуска на одном GPU требуется около 24 ГБ видеопамяти; для длинного контекста требования могут быть выше. Модель выпущена по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией.

Это FP8-квантизированная версия инструкционной модели Mistral-Large-Instruct-2407, подготовленная Alpindale на основе Mistral AI. Модель относится к плотной архитектуре MistralForCausalLM и содержит 122,2 млрд параметров; веса, активации и KV-кэш представлены в FP8. Репозиторий содержит веса в формате safetensors. Модель предназначена для диалоговой генерации текста и запуска через vLLM или Aphrodite Engine. Контекстное окно составляет до 131 072 токенов. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков, а также интерфейс для вызова инструментов. Квантизация уменьшает требования к памяти и вычислениям по сравнению с полной точностью, сохраняя возможности базовой инструкционной модели для диалога, рассуждений и программирования. FP8 требует совместимого оборудования и программного стека; квантизация может повлиять на точность. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели и лицензии базовой модели.

uncensoredai/Mistral-Small-24B-Instruct-2501 — дообученная по инструкциям версия Mistral Small 3, разработанная командой Mistral AI на базе Mistral-Small-24B-Base-2501. Это плотная языковая модель с 23,4 млрд параметров для диалогов, генерации текста, рассуждений и программирования; в каталоге для неё указана задача text-generation. Модель рассчитана на многоязычных разговорных помощников, вызов функций и формирование JSON. Она поддерживает контекст до 32 768 токенов и языки, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Репозиторий содержит веса Safetensors; для запуска README рекомендует vLLM. Для инференса на GPU в bf16 или fp16 требуется около 55 ГБ видеопамяти, а локальное размещение на менее мощном оборудовании возможно после квантизации. Модель подходит для локальных ассистентов, агентных сценариев и дообучения под предметные задачи. README предупреждает, что шаблон вызова инструментов находится в разработке. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование и модификацию.

Mistral Small 4 119B A6B — мультимодальная модель общего назначения от Mistral AI, объединяющая возможности семейств Instruct, Reasoning и Devstral. Архитектура MoE содержит 128 экспертов, из которых активны 4; всего модель насчитывает 119 млрд параметров, а на токен активируется 6,5 млрд. Контекстное окно — 256 тысяч токенов. Репозиторий содержит веса safetensors в формате FP8. Модель принимает текст и изображения и выдаёт текст. Она предназначена для диалоговых ассистентов, рассуждений, программирования, агентных сценариев с вызовом функций, разбора документов и анализа изображений. Режим рассуждений можно настраивать для каждого запроса; заявлена поддержка множества языков, включая русский. Для инференса рекомендована библиотека vLLM. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование. В метаданных не указаны базовая модель или отдельное дообучение; FP8 здесь обозначает точность представленных весов. Для запуска README рекомендует актуальный vLLM, а для Transformers — основную ветку проекта.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 — большая языковая модель, разработанная NVIDIA Corporation. Она предназначена для генерации текста, программирования, длительно работающих автономных агентов, вспомогательных агентских задач и эффективного локального вывода на совместимом оборудовании. Модель поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными Attention-слоями. Общее число параметров составляет 30 млрд, из них при обработке каждого токена активны около 3 млрд. Модель работает с контекстом до 1 млн токенов и распространяется в формате NVFP4. Поддерживаются NVIDIA Blackwell, Hopper и, через режим W4A16, Ampere; заявлено развёртывание на одной NVIDIA H100 или DGX Spark с GB10. Для ускорения генерации доступны DSpark, MTP и DFlash. К сильным сторонам относятся сочетание большого общего объёма параметров с небольшим числом активных параметров, поддержка очень длинного контекста, агентских сценариев и локального вывода на подходящем оборудовании. Ограничения связаны с требованиями к совместимому NVIDIA GPU и специализированным настройкам инференса; для некоторых аппаратных конфигураций параметры поддержки требуют дополнительного подтверждения. Модель лицензируется по OpenMDW License Agreement версии 1.1 и заявлена как готовая к коммерческому использованию.

NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-dynamic — языковая модель, разработанная Red Hat на базе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 от NVIDIA. Она предназначена для генерации и преобразования текста, рассуждений и решения сложных задач, математики и естественных наук, генерации кода, следования инструкциям и вызова инструментов. Модель поддерживает вход и выход в текстовой модальности, а также tool calling. Модель построена на архитектуре NemotronHForCausalLM и содержит 550 млрд параметров, из которых 55 млрд являются активными. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная схема на токен. Это примерно вдвое снижает требования к памяти и размеру файлов, а также может повысить пропускную способность матричных вычислений примерно в два раза. Для эффективного развертывания заявлена интеграция с vLLM; в примере конфигурации используется максимальная длина последовательности 262144 токена. Заявленные языки включают английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Сильными сторонами модели являются большой общий объём параметров, активная разреженная вычислительная конфигурация, поддержка рассуждений, программирования и инструментов, а также преимущества FP8-квантизации. Ограничения включают высокие требования к вычислительной инфраструктуре и зависимость эффективного развертывания от совместимого стека, включая vLLM и специальные парсеры. Модель распространяется по лицензии openmdw-1.1; использование в нарушение применимых законов и нормативных требований исключено из области применения.

duyntnet/Qwen2.5-14B-Instruct-imatrix-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-14B-Instruct, первоначально разработанной командой Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и инференса через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель относится к авторегрессионным causal language models и ориентирована на диалог, следование инструкциям, генерацию текста, программирование, математику, работу со структурированными данными и формирование структурированных ответов, включая JSON. Указана поддержка более 29 языков, в том числе английского, китайского, русского, французского, испанского, немецкого, японского и корейского. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и GQA; модель содержит около 14,7 млрд параметров, 48 слоёв, 40 голов внимания для Q и 8 для KV. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако текущая конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN. Сильные стороны модели — улучшенные возможности в кодировании и математике, следование инструкциям, генерация длинных текстов и устойчивость к различным системным промптам. Ограничения включают необходимость совместимого инференс-движка и дополнительной настройки для контекста свыше 32 768 токенов. В метаданных указана лицензия other; конкретные условия лицензии в README не раскрыты.

sirigidipandu/qwen3-4b-instruct-2507 — текстовая причинно-авторегрессионная модель семейства Qwen3 на 3,7 млрд параметров. Карточка описывает её как обновлённую instruct-версию Qwen3-4B, обученную на этапах предварительного и последующего обучения. Модель принимает текст и генерирует ответы в диалоговом формате; поддерживает контекст до 262 144 токенов и режим без рассуждений в специальном формате thinking. Модель предназначена для следования инструкциям и диалогов, рассуждений, понимания текста, математики, естественных наук, программирования и использования инструментов. В карточке также отмечены улучшения многоязычных знаний и работы с открытыми запросами. Репозиторий использует Transformers и содержит веса в формате safetensors; предусмотрен интерфейс вызова инструментов. Ограничение: модель работает только в режиме без thinking и не предназначена для генерации специальных блоков thinking. Лицензия Apache-2.0 разрешает коммерческое использование с соблюдением её условий.

Qwen3.5-27B — постобученная мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это причинная языковая модель с визуальным энкодером на 27 млрд параметров, объединяющая Gated Delta Networks и разреженную архитектуру Mixture-of-Experts. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель предназначена для диалогов и рассуждений по тексту и изображениям, программирования, визуального понимания и сценариев с вызовом инструментов. Она поддерживает 201 язык и диалект. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов; режим рассуждений включён по умолчанию. Разработчик отмечает высокую эффективность гибридной архитектуры и широкие мультимодальные возможности. Лицензия — Apache-2.0. Для запуска доступны популярные фреймворки инференса; README рекомендует специализированные серверы для производительных нагрузок. Модель крупная, поэтому длинный контекст может требовать значительных ресурсов и при нехватке памяти его рекомендуют уменьшать.

unsloth/Qwen3.5-397B-A17B-GGUF — квантованная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen; GGUF-файлы подготовлены Unsloth. Модель предназначена для локального запуска и совместима с экосистемами, поддерживающими GGUF, а исходная модель также работает с Hugging Face Transformers, vLLM и SGLang. Это каузальная языковая модель с vision encoder для работы с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 397 млрд параметров, из которых активируется 17 млрд; используется 512 экспертов, 10 маршрутизируемых и один общий. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, диалоговые и агентские сценарии, а также обработку длинного контекста. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста и улучшенная квантование с imatrix-данными Unsloth. Ограничения включают очень большой общий размер модели и, как следствие, высокие требования к памяти и инфраструктуре; конкретные требования зависят от выбранного уровня квантования. Доступна по лицензии Apache 2.0.

cyankiwi/Qwen3.6-27B-AWQ-INT4 — квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Вариант использует квантизацию AWQ в формате INT4; размер файлов модели составляет около 20,44 ГБ. Лицензия — Apache 2.0. Модель предназначена для генерации текста, программирования, работы с агентными сценариями и анализа изображений с текстовым ответом. В README отдельно отмечены улучшения в агентном программировании, включая работу с frontend-задачами и рассуждение на уровне репозитория, а также возможность сохранять контекст рассуждений из предыдущих сообщений. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура представляет собой авторегрессионную языковую модель с vision encoder, 27 миллиардами параметров, 64 слоями и контекстом 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. В составе используются Gated DeltaNet, Gated Attention и многошаговое обучение MTP. Квантизация снижает требования к памяти и упрощает локальное развертывание, но может несколько ограничивать точность по сравнению с полноразмерной версией; конкретные потери качества для данного варианта в README не указаны.

Qwen3.6-27B with MTP — это плотная мультимодальная модель на базе Qwen/Qwen3.6-27B, представленная пользователем froggeric в формате GGUF для llama.cpp. Модель предназначена для диалога, программирования, отладки, анализа, перевода, работы с изображениями, рассуждений и использования инструментов. Заявлена поддержка английского, китайского и других языков. Модель содержит 27 млрд параметров, поддерживает текстовый и графический ввод через отдельный vision-проектор, а также контекст до 262 144 токенов при подходящей конфигурации памяти. Встроенные MTP-головы обеспечивают self-speculative decoding: llama.cpp может предсказывать несколько токенов за шаг и затем проверять их, что особенно эффективно для кода и других предсказуемых задач. Доступны варианты квантования от F16 до IQ2_M, что позволяет выбирать между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся мультимодальность, большой контекст, поддержка reasoning и tool use, встроенное ускорение генерации без дополнительной draft-модели и исправленный шаблон чата для корректной работы в C++-рантаймах. Ограничения включают зависимость от версии llama.cpp b9180 или новее, необходимость отдельного mmproj-файла для изображений, а также неодинаковую эффективность MTP: ускорение обычно выше при программировании и ниже при аналитических и творческих задачах, особенно на сильных вариантах квантования. Модель распространяется по лицензии Apache-2.0.