I.6Перевод и языковая адаптация

ThomasBaruzier/Qwen2.5-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-7B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix; исходная модель разработана командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, структурированными данными и JSON. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами для Q и 4 для KV. Поддерживаются контексты до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Основное преимущество репозитория — выбор вариантов квантизации с разным компромиссом между размером файла, качеством и требованиями к ресурсам: от IQ1_S размером около 1,8 ГБ до F16 размером около 14,5 ГБ. Более лёгкие варианты удобны для локального запуска, но могут сильнее терять качество; по приведённой таблице, F16 сохраняет базовый уровень качества, а Q6_K, Q8_0 и варианты Q5 обеспечивают близкие показатели при меньшем размере. Для использования необходима совместимая среда, например llama.cpp. Модель и производные квантизации распространяются по лицензии Apache-2.0.

Qwen3 — семейство языковых моделей, разработанное и выпущенное командой Qwen. Модели предназначены для генерации текста, диалогов, следования инструкциям, сложного рассуждения, использования инструментов и агентских сценариев. Они могут применяться в исследовательских ассистентах, системах генерации кода, корпоративных чат-ботах и многошаговых многоходовых диалогах. В семейство входят варианты размером 0,6B, 1,7B, 4B, 8B, 14B, 32B и 30B-A3B; для них доступны различные квантованные версии в формате GGUF. Qwen3 поддерживает переключение между режимами с рассуждением и без рассуждения, длинный контекст и многоязычную работу. Конкретные параметры архитектуры, длина контекста и перечень языков в README не указаны. Модель относится к категории text-generation и распространяется по лицензии Apache 2.0. Конвертацию выполнила Menlo Research.

NVFP4/Qwen3-30B-A3B-Instruct-2507 — квантизированная версия причинной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen; формат NVFP4 создан для оптимизированного развертывания. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и открытых диалоговых задач. Она поддерживает многоязычные сценарии и контекст до 262 144 токенов, работает только в нережиме рассуждений и не генерирует блоки <think></think>. Архитектура представляет собой causal language model на основе Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются при обработке запроса; 48 слоев, 128 экспертов, 8 активных экспертов, Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. К сильным сторонам относятся улучшенные instruction following, качество открытых ответов, покрытие редких знаний, программирование и работа с длинным контекстом. К ограничениям относятся отсутствие режима пошагового рассуждения и потенциальные требования к совместимому программному и аппаратному стеку для запуска NVFP4-квантизации. Лицензия — Apache 2.0.

unsloth/Qwen3.5-35B-A3B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, подготовленная Unsloth. Модель предназначена для локального запуска и применения в диалоговых системах, генерации и анализе текста, программировании, агентских сценариях, работе с изображениями и вызове инструментов. Для работы доступны варианты квантования, а также настройки включения и отключения режима рассуждений. Модель представляет собой авторегрессионную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35 млрд параметров, из которых активируется 3 млрд; размер скрытого представления составляет 2048, используется 40 слоёв и словарь размером 248 320 токенов. Модель поддерживает 201 язык и диалект, а её мультимодальность позволяет обрабатывать текст и изображения. GGUF-файлы обновлены с использованием улучшенных данных и алгоритма квантования, что ориентировано на более высокую точность при локальном инференсе. К сильным сторонам относятся сочетание мультимодального понимания, рассуждений, программирования и агентских задач с относительно низким числом активных параметров, а также возможность локального запуска через совместимые инструменты. Ограничения связаны с использованием квантованных вариантов: конкретные характеристики качества, требования к памяти, контекстное окно и поддерживаемые форматы зависят от выбранного файла и среды инференса; для данной GGUF-сборки они в README не уточнены. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-f32-GGUF — это набор GGUF-файлов с версиями модели Qwen3.5-4B, разработанной командой Alibaba Qwen и представленной в репозитории prithivMLmods. Модель представляет собой плотную мультимодальную causal language model примерно с 4 млрд параметров и встроенным vision-энкодером. Она предназначена для генерации и понимания текста, анализа изображений и видео, OCR, решения математических задач, программирования и агентских сценариев. Архитектура включает 32 слоя с гибридной схемой Gated DeltaNet и Gated Attention, размером скрытого состояния 2560 и словарём на 248 тысяч токенов для 201 языка. Заявлена поддержка контекста до 262 тысяч токенов с возможностью расширения свыше 1 млн токенов, а также переключаемый режим рассуждений для выбора между более глубоким анализом и быстрой генерацией. В комплект входят варианты BF16, F16, F32, Q8_0 и отдельные мультимодальные проекционные файлы mmproj; размеры файлов варьируются примерно от 367 МБ до 16,8 ГБ. К сильным сторонам относятся мультимодальность без необходимости в отдельном VL-компоненте, большой контекст, многоязычность и возможность запуска на ограниченных ресурсах: в README указано около 8 ГБ VRAM для BF16 и примерно 3 ГБ для 4-битной версии. К ограничениям относятся различия в качестве и размере квантованных вариантов, а также компромисс между скоростью и качеством рассуждений. Модель распространяется по лицензии Apache 2.0.

C4AI Command R 08-2024 — генеративная языковая модель, разработанная Cohere и Cohere For AI. Она предназначена для диалогов, рассуждений, суммаризации, ответов на вопросы и работы с поиском по документам (RAG); также умеет выбирать и вызывать инструменты в диалоговом интерфейсе. Модель использует авторегрессионную архитектуру Transformer с grouped-query attention, дообучена с учителем и на предпочтениях пользователей. В README указан размер 35 млрд параметров, а в метаданных — 32,3 млрд; длина контекста составляет 128K токенов. Модель принимает и генерирует только текст. Обучение охватывало 23 языка, оценка проводилась на 10; метаданные перечисляют английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский. Для вызова инструментов требуется использовать специальный шаблон диалога; отклонение от него может снизить качество. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование, также необходимо соблюдать политику допустимого использования C4AI.

Gemma 4 E2B it qat mobile ct — мультимодальная модель Google DeepMind с инструкционной настройкой, основанная на Gemma 4 E2B и подготовленная с применением QAT для мобильного исполнения. Репозиторий содержит веса в формате compressed-tensors; модель использует плотную архитектуру Gemma4ForConditionalGeneration и рассчитана на более эффективный вывод при ограниченной памяти. Лицензия — Apache 2.0. Модель принимает текст и изображения, а также поддерживает аудио; выдаёт текст. Она предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Вариант E2B оптимизирован для локального запуска на мобильных устройствах; для семейства заявлены контекст до 128 тысяч токенов и многоязычная поддержка, но отдельные значения для этого чекпойнта в метаданных не приведены. Среди поддерживаемых сценариев — OCR, разбор PDF, понимание экранов и диаграмм, распознавание рукописного текста, использование инструментов и анализ видеокадров. Качество QAT описано разработчиками как близкое к bfloat16 при меньших требованиях к памяти. Возможности конкретной мобильной версии могут зависеть от среды исполнения и аппаратного обеспечения.

Это зеркальная копия мультимодальной модели Gemma 4 E4B Instruct от Google DeepMind, подготовленная chibifire. Чекпойнт прошёл обучение с учётом квантизации Q4_0 (QAT), но в этом репозитории хранится в неквантованных весах половинной точности safetensors вместе с токенизатором, шаблоном чата и конфигурациями обработки и генерации. Модель предназначена для локального мультимодального инференса и дальнейшей конвертации. Она основана на Gemma 4 E4B Instruct и наследует её возможности диалога, рассуждений, программирования, анализа изображений и обработки аудио. Для загрузки в README приведён пример использования Transformers с AutoProcessor и AutoModelForMultimodalLM. Веса в формате safetensors являются неквантованной копией QAT-чекпойнта; обозначение Q4_0 указывает на обучение с учётом этого формата, а не на квантизацию хранимых здесь весов. Репозиторий распространяется по лицензии Apache-2.0. README отсылает к upstream-карточке и документации Gemma за сведениями о промптах и мультимодальном вводе.

Карточка модели OsGo/gemma-4-E4B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E4B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

Карточка модели OsGo/gemma-4-E4B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E4B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

Карточка модели scottc2u/gemma-4-E4B-x на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Модель разработана Meta и предназначена для генерации текста и кода, диалоговых сценариев, ответов на инструкции и других задач обработки текста. Она работает только с текстовыми данными на входе и выдаёт текст или код. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, использует Grouped-Query Attention (GQA) и содержит около 8 млрд параметров. Заявленная длина контекста составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Instruction-тюнинг выполнен с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности ответов. 4-битное представление снижает требования к памяти и может быть удобно для локального запуска и инференса на доступном оборудовании, однако потенциально ограничивает точность по сравнению с полноразмерными вариантами. Модель является статической и обучена на офлайн-данных; дата отсечения знаний — декабрь 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

duyntnet/Qwen2.5-32B-Instruct-imatrix-GGUF — набор квантованных GGUF-версий инструкционно дообученной языковой модели Qwen2.5-32B-Instruct. Репозиторий содержит производные квантования исходной модели Qwen, разработанной командой Qwen; конкретный автор квантований в README не указан. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы с кодом и математикой, обработки структурированных данных и формирования структурированных ответов, включая JSON. Это causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-attention. Модель содержит 32,5 млрд параметров, из них 31 млрд — без учёта embedding, имеет 64 слоя и Grouped-Query Attention с 40 головами Q и 8 головами KV. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов, однако текущая конфигурация репозитория настроена на 32 768 токенов; для более длинных входов требуется YaRN. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные способности в программировании и математике, следование инструкциям, генерация длинного текста, понимание таблиц и устойчивость к разнообразным системным промптам. К ограничениям относятся высокая вычислительная требовательность базовой модели и возможные компромиссы квантования по качеству, скорости и точности, зависящие от конкретного варианта GGUF. Использование поддерживается через llama.cpp, KoboldCPP, text-generation-webui и Ollama. В README указана лицензия other, без дополнительных условий лицензирования.

Карточка модели adrianxu9778/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

cyankiwi/Qwen3.8-27B-AWQ-INT4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем cyankiwi. Модель представлена в формате Hugging Face Transformers и использует квантование AWQ с точностью INT4; размер файлов модели составляет около 21,02 ГБ. Лицензия — Apache-2.0. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, а также длительных агентских сценариев с планированием и обработкой обратной связи от окружения. Это causal language model с vision encoder, которая нативно понимает изображения и видео, включая документы и STEM-диаграммы. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и скрытую размерность 5120. Архитектура сочетает Gated DeltaNet и Gated Attention, а также использует Multi-Token Prediction. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Режим рассуждений включён по умолчанию, но может отключаться для отдельных запросов; глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться с помощью preserve_thinking. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка видео, длинного контекста, управляемого рассуждения и агентского выполнения задач при относительно компактном для класса 27B размере. К ограничениям относятся потери точности, возможные для INT4-квантования, а также необходимость совместимого программного обеспечения и значительного объёма памяти для локального запуска. README не содержит подробных числовых результатов тестирования, поэтому качество на конкретных бенчмарках по этим данным оценить нельзя.

NobodyWho/Qwen_Qwen3.6-27B-GGUF — GGUF-квантизированная версия плотной модели Qwen3.6-27B, разработанной командой Qwen компании Alibaba Group и подготовленной для библиотеки NobodyWho. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений, агентных сценариев и вызова инструментов. Она также поддерживает анализ изображений при использовании вспомогательной проекционной модели mmproj-BF16.gguf. Модель содержит 27 млрд параметров, использует архитектуру qwen35 и поддерживает контекст до 262 144 токенов. Она мультимодальна, работает с текстом и изображениями, имеет широкое языковое покрытие и режим рассуждений, включённый по умолчанию. Вызов инструментов реализован нативно с грамматически ограниченным форматом вывода; варианты Q3_K_M и Q4_K_M показали результат 14/14 в тестовом наборе NobodyWho. Доступны квантизации Q3_K_M, Q4_K_M и Q8_0, причём Q3_K_M требует около 13,6 ГБ памяти, Q4_K_M — около 16,8 ГБ, а Q8_0 — около 28,6 ГБ. Сильными сторонами модели являются большой контекст, мультимодальность, развитые рассуждения и надёжный вызов инструментов. Ограничения связаны с ресурсными требованиями: Q4_K_M на системе с 24 ГБ памяти работает впритык и может использовать подкачку, а Q8_0 требует не менее 32 ГБ; вариант BF16 в репозитории не представлен. Модель и квантизации распространяются по лицензии Apache 2.0.

Cohere и Cohere Labs разработали Command R 08-2024 — авторегрессионную языковую модель с открытыми весами на 32 млрд параметров. Она использует оптимизированную архитектуру Transformer с grouped-query attention и после предварительного обучения прошла supervised fine-tuning и обучение на предпочтениях. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и обучена на 23 языках. Модель предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. Она умеет формировать ответы на основе предоставленных фрагментов документов с указанием цитируемых источников, что подходит для grounded generation и этапа генерации ответа в RAG-системах. Также предусмотрен вызов внешних инструментов в один шаг: модель выбирает инструмент и формирует параметры вызова, а выполнение выполняет приложение. В карточке указаны обучение на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, арабском, китайском, русском, польском, турецком, вьетнамском, нидерландском, чешском, индонезийском, украинском, румынском, греческом, хинди, иврите и персидском; оценивание проводилось на десяти языках. Для корректной работы с цитированием и вызовом инструментов нужны рекомендованные шаблоны запросов. Лицензия CC-BY-NC-4.0 требует соблюдения Acceptable Use Policy Cohere Labs и ограничивает коммерческое использование.

Granite 3.1 8B Instruct — языковая модель, разработанная командой IBM Granite и представленная в GGUF-формате сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального запуска и решения широкого круга задач: следования общим инструкциям, суммаризации, классификации и извлечения текста, ответов на вопросы, работы с RAG, программирования, вызова функций и обработки длинного контекста. Модель поддерживает контекст до 131 072 токенов. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; для других языков возможна дополнительная дообученная адаптация. Архитектура и точный размер файловой квантизации в README не уточняются. Сильными сторонами являются широкий набор прикладных сценариев, многоязычность и большой контекст, однако модель может генерировать неточные, вредоносные или неподходящие ответы, а качество зависит от выбранного варианта квантизации и условий запуска. Лицензия — Apache 2.0.

Kirim-V2 — многоязычная языковая модель общего назначения от Kirim-ai для диалогов, рассуждений и генерации текста. README описывает трансформерную архитектуру со смесью экспертов и разреженной активацией: в версии указаны 26 млрд параметров, из которых около 18 млрд активны при выводе. Метаданные каталога указывают 19,5 млрд параметров; это расхождение не позволяет однозначно установить размер модели. Модель использует библиотеку Transformers, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, многошагового анализа, написания и отладки кода, подготовки документации и творческих текстов. README также заявляет интеграцию веб-поиска и вызова внешних инструментов; для веб-поиска нужна соответствующая настройка API. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, китайского, японского, корейского и русского языков. Модель может выдавать правдоподобную, но неверную информацию; результат зависит от формулировки запроса и сложности задачи. Она не настроена специально для задач, критичных к безопасности, поэтому важные сведения следует проверять. Лицензия — Apache-2.0.

unsloth/meta-Llama-3.1-8B-unsloth-bnb-4bit — 4-битная версия модели Meta Llama 3.1 8B Instruct, подготовленная Unsloth. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer, дообученная с применением supervised fine-tuning и reinforcement learning from human feedback для более полезного и безопасного поведения. Модель предназначена для многоязычного диалога, генерации текста и кода, а также локального запуска и последующей тонкой настройки, включая обучение reasoning-моделей. Она работает только с текстом на входе и выдаёт текст или код на выходе, поддерживает контекст до 128 тысяч токенов и использует Grouped-Query Attention. Заявленный объём модели — 8 миллиардов параметров; данные обучения — новый набор общедоступных онлайн-данных, срез знаний — декабрь 2023 года. Ключевое преимущество этой редакции — 4-битное квантование, снижающее требования к памяти и делающее модель более подходящей для эффективного локального использования и дообучения. Ограничения включают текстовую модальность, устаревание знаний после декабря 2023 года и потенциальные потери качества, связанные с квантованием. В README указана лицензия llama3.1; разработчик базовой модели — Meta, формат и оптимизацию предоставляет Unsloth.

Ministral-8B-Instruct-2410 — инструкция-дообученная плотная трансформерная языковая модель компании Mistral AI с примерно 8 млрд параметров. Она предназначена для локального и периферийного запуска, диалогов и выполнения инструкций; также поддерживает вызов функций и задачи с кодом и математическими рассуждениями. Модель обучена на многоязычных данных и данных по программированию. В карточке заявлено контекстное окно до 128 тыс. токенов с чередующимся скользящим вниманием; в vLLM контекст ограничен 32 тыс. токенов. Метаданные указывают 32 768 токенов как native context. Модель рассчитана на генерацию текста и чат на нескольких языках, включая русский, английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский и корейский. Для запуска на одном GPU требуется около 24 ГБ видеопамяти; для длинного контекста требования могут быть выше. Модель выпущена по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией.

Карточка модели KIng241300/promptforge-nano-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen/Qwen1.5-32B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer, предназначенная для диалогов и генерации текста. В этой версии 31,7 млрд параметров; контекст — до 32 768 токенов. Модель обучена на больших массивах данных и адаптирована для общения. Семейство поддерживает несколько естественных языков, а токенизатор рассчитан на работу с разными языками и кодом; в карточке модели отдельно отмечен английский. Для варианта 32B применяются Group Query Attention, а также SwiGLU и смещение в проекциях QKV. Модель работает через Transformers и формат safetensors; для загрузки README рекомендует transformers версии 4.37.0 или новее. Модель подходит для чат-ботов, ответов на вопросы и свободной генерации текста. При переключении между языками или нестабильном качестве генерации README советует использовать параметры из generation_config.json. Лицензия в метаданных указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

surogate/Qwen3.5-9B-FP8 — FP8-квантизированный вариант мультимодальной модели Qwen3.5-9B, разработанной командой Qwen; модель основана на Qwen/Qwen3.5-9B-Base и подготовлена для использования в Surogate. Она предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Веса квантизированы методом fine-grained FP8 с размером блока 128; согласно README, показатели близки к исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Сильными сторонами являются сочетание мультимодальности, длинного контекста, высокой эффективности инференса и широкого языкового охвата. Ограничения конкретных аппаратных требований, качества на отдельных языках и результаты полного набора тестов в предоставленных данных не описаны. Модель распространяется по лицензии Apache-2.0.

Cohere и Cohere Labs разработали Command-R — авторегрессионную языковую модель на основе оптимизированного Transformer с 35 млрд параметров. После предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Это выпуск с открытыми весами, предназначенный для генерации текста, рассуждений, суммаризации и ответов на вопросы; модель поддерживает чат и работу с внешними инструментами по специальному шаблону запросов. Command-R принимает и генерирует текст, поддерживает контекст до 128 тыс. токенов и оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, китайского и арабского языков. Среди её ключевых возможностей — генерация ответов с опорой на предоставленные фрагменты документов и цитированием источников для сценариев RAG. Для работы с grounded generation и вызовом инструментов рекомендуется соблюдать шаблоны запросов из документации: отклонение от них может снизить качество. Режим быстрых цитат обменивает часть точности на меньшее число генерируемых токенов. Лицензия CC-BY-NC-4.0 требует некоммерческого использования и соблюдения политики допустимого использования Cohere Labs.

unsloth/gemma-4-12b-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 12B, подготовленная Unsloth на базе Google Gemma 4 12B-it. Исходную модель разработала Google DeepMind. Вариант предназначен для локального запуска и дообучения, в том числе на потребительских GPU, а также для использования в vLLM и Unsloth Studio. Модель поддерживает мультимодальный ввод: текст, изображения, аудио и видео, при этом генерирует текст. Она рассчитана на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с нативным вызовом функций. Семейство Gemma 4 поддерживает более 140 языков, режимы настраиваемого рассуждения, системные сообщения и контекст до 256 тысяч токенов для моделей среднего размера. Архитектура семейства использует гибридное внимание с чередованием локального скользящего и глобального внимания; конкретные дополнительные параметры архитектуры этой версии в карточке не указаны. NVFP4-квантизация уменьшает требования к памяти и ориентирована на эффективное выполнение, однако карточка не приводит количественных оценок влияния квантизации на качество или подробных ограничений модели. Для запуска рекомендуется vLLM с автоматическим выбором NVFP4-ядра; использование Marlin не рекомендуется из-за снижения скорости. Модель распространяется по лицензии Apache 2.0.

cyankiwi/gemma-4-26B-A4B-it-qat-AWQ-INT4 — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанного Google DeepMind, в формате AWQ INT4 с использованием Quantization-Aware Training. Модель основана на google/gemma-4-26B-A4B-it-qat-q4_0-unquantized и предназначена для локального и серверного развёртывания с уменьшенными требованиями к памяти; размер файлов модели составляет около 17,19 ГБ. Модель принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии, включая нативный вызов функций и поддержку системных инструкций. Для варианта 26B заявлено контекстное окно до 256K токенов. Семейство поддерживает более 140 языков; в карточке явно указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Ключевые преимущества — мультимодальность, режимы настраиваемого рассуждения, улучшенные возможности программирования и агентов, а также снижение потребления памяти благодаря QAT и INT4-квантизации при стремлении сохранить качество, близкое к bfloat16. Ограничения включают возможные потери качества из-за квантизации, требования к совместимому ПО и оборудованию, а также отсутствие в README конкретных результатов бенчмарков и детальных требований к ресурсам. Модель распространяется по лицензии Apache 2.0.

google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

RedHatAI/Llama-3.3-70B-Instruct-FP8-dynamic — инструкционная текстовая модель семейства Llama 3.3 с 70 млрд параметров, разработанная Red Hat совместно с Neural Magic на базе Meta Llama-3.3-70B-Instruct. Модель принимает текст и генерирует текст, ориентирована на коммерческое и исследовательское использование, включая диалоговые ассистенты, генерацию естественного языка, создание синтетических данных и дистилляцию моделей. Ключевая особенность модели — динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Веса квантизуются статически по каналам, а активации — динамически по токенам. Это примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений. Для эффективного развертывания рекомендуется использовать vLLM; модель валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ограничения связаны с применением FP8-квантизации, возможными изменениями качества по сравнению с исходной моделью и запретом использования за пределами перечисленных языков, а также в нарушение законодательства, Acceptable Use Policy и условий лицензии. Расширенный контекст в README не указан; в примере развертывания задан максимальный размер последовательности 32768 токенов. Распространяется по лицензии Llama 3.3 Community License.