I.6Перевод и языковая адаптация

unsloth/Qwen2.5-32B-Instruct — это инструктивная плотная языковая модель на 32 млрд параметров семейства Qwen2.5, распространяемая Unsloth в формате safetensors для библиотеки Transformers. Она предназначена для диалога и генерации текста, включая следование инструкциям, программирование, математику и создание структурированных ответов, например JSON. Модель принимает текст и выдаёт текст; её архитектура — Qwen2ForCausalLM с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Метаданные указывают контекст до 32 768 токенов, а README описывает возможность расширения до 131 072 токенов с помощью YaRN; такая настройка может снизить производительность на коротких запросах. README заявляет поддержку более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и арабский. Модель основана на Qwen/Qwen2.5-32B-Instruct и помечена метаданными как дообучение. Лицензия — Apache-2.0.

QuantFactory/Qwen2.5-7B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-7B-Instruct, созданная QuantFactory на основе модели Qwen от Alibaba Cloud с использованием llama.cpp. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также для задач программирования и математики. Это авторегрессионная causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, 28 слоёв и использует Grouped Query Attention с 28 головами Q и 4 головами KV. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для контекстов свыше 32 768 токенов требуется настройка YaRN. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский, корейский и другие. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, формирование JSON, а также развитые навыки в кодировании и математике. К ограничениям относятся возможное снижение качества или производительности на коротких текстах при статическом масштабировании YaRN и необходимость учитывать особенности используемого GGUF-квантизированного варианта. Модель распространяется по лицензии Apache-2.0.

nicecurls/gemma-4-12B-it — дообученная instruction-tuned версия Gemma 4 12B Unified, мультимодальной модели Google DeepMind. Она предназначена для диалогов, генерации текста и кода, рассуждений, работы с изображениями, видео и аудио, а также для сценариев с вызовом инструментов. Модель принимает текст, изображения, видео и аудио и генерирует текст. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; веса опубликованы в формате safetensors и доступны через Transformers. Для базовой Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов. Семейство поддерживает более 140 языков при обучении и мультиязычные сценарии; распознавание речи и перевод речи в текст поддерживаются для варианта 12B. Модель подходит для локального развертывания на достаточно мощном оборудовании, анализа документов и визуального содержимого, транскрибации речи и агентных рабочих процессов. Лицензия — Apache 2.0. Конкретные ограничения производительности этой производной версии не описаны; как и другие генеративные модели, она может ошибаться в ответах и интерпретации мультимодальных данных.

Mistral-Medium-3.5-128B-NVFP4 — квантизированная в формате NVFP4 версия Mistral Medium 3.5 128B, разработанная Mistral AI и оптимизированная NVIDIA с помощью Model Optimizer v0.44.0. NVIDIA не является разработчиком исходной модели. Это плотная Transformer-модель Mistral со 128 млрд параметров и визуальным энкодером, предназначенная для генерации текста, диалогов, программирования, сложных рассуждений, работы с изображениями и агентных сценариев. Модель принимает текст и изображения RGB с переменными размерами и соотношениями сторон, поддерживает контекст до 262 144 токенов и генерирует текст. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Доступны вызов функций, JSON-вывод, настраиваемая интенсивность рассуждений и следование системным инструкциям. Модель рассчитана на использование с vLLM на NVIDIA GPU архитектуры Blackwell и в Linux. Сильные стороны — единые веса для задач следования инструкциям, рассуждений и кодирования, длинный контекст, мультимодальное понимание изображений и поддержка структурированного и агентного взаимодействия. Ограничения включают отсутствие раскрытых сведений о тренировочных данных и необходимость дополнительного тестирования на данных конкретного применения для оценки качества, безопасности и соответствия требованиям. Модель готова к коммерческому и некоммерческому использованию; применяются условия Modified MIT license Mistral, а для развёртывания и настройки рекомендуется связаться с Mistral.

unsloth/Qwen2.5-14B-Instruct — инструкционно настроенная плотная причинная языковая модель, опубликованная Unsloth на основе Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов, генерации текста и выполнения инструкций; среди подходящих сценариев — ответы на вопросы, помощь с кодом и математикой, работа с таблицами и создание структурированных ответов, включая JSON. Модель содержит 14 млрд параметров и использует архитектуру Qwen2 с RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст до 32 768 токенов; в README описана возможность расширить его до 131 072 токенов с YaRN, а генерацию — до 8 192 токенов. Модель поддерживает многоязычные сценарии, в том числе китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Доступны веса в формате safetensors, библиотека Transformers, а также интерфейсы чата и вызова инструментов. README отмечает, что для работы с длинным контекстом требуется настройка YaRN, которая может повлиять на качество коротких запросов. Лицензия — Apache 2.0.

Карточка модели Iambackup/gemma-4-12B на Hugging Face совпадает с карточкой google/gemma-4-12B, поэтому описание составлено по ней. Gemma 4 12B Unified — мультимодальная модель с открытыми весами, разработанная Google DeepMind и относящаяся к семейству Gemma 4. Она принимает текст, изображения, видео и аудио, а выдаёт текст; для аудио предусмотрены распознавание речи и перевод речи в текст. Единая архитектура позволяет обрабатывать аудио и изображения без отдельных энкодеров, что подходит для локального запуска на потребительских устройствах. Модель имеет плотную архитектуру и гибридное внимание, сочетающее локальные скользящие окна с глобальным вниманием; заявленное окно контекста для версии 12B — до 256 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, вызова инструментов, а также понимания изображений, видео и аудио. Среди визуальных сценариев — извлечение текста из документов, OCR, разбор PDF, диаграмм и экранных интерфейсов; для аудио доступны транскрипция и перевод речи в текст. Семейство поддерживает более 35 языков в обычном использовании и обучалось на более чем 140 языках, но README не перечисляет конкретные языки этой версии. Модель распространяется по лицензии Apache 2.0. Как и другие генеративные модели, она может давать ошибочные ответы; README также указывает, что приведённые сценарии использования не являются исчерпывающими.

Gemma 4 12B IT — мультимодальная модель Google DeepMind на архитектуре Gemma4 Unified, дообученная для следования инструкциям. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает диалоги, рассуждения, программирование и вызов инструментов. Модель подходит для локального развёртывания на потребительских устройствах и для задач с длинным контекстом до 256 тыс. токенов. Модель может анализировать изображения и документы, распознавать текст и рукописный ввод, разбирать диаграммы и интерфейсы, а также анализировать видео по кадрам. Для аудио доступны распознавание речи и перевод речи в текст. Семейство Gemma 4 поддерживает более 140 языков в обучении, а карточка сообщает о мультиязычных возможностях; точный список языков для этой версии не приведён. Модель распространяется под лицензией Apache 2.0. Как и другие генеративные модели, она может допускать фактические ошибки; результаты распознавания, перевода и анализа следует проверять. Для видеовхода анализ выполняется по последовательностям кадров.

nvidia/Gemma-4-31B-IT-NVFP4 — мультимодальная модель для генерации текста, разработанная Google DeepMind на базе Gemma 4 31B IT и квантизированная NVIDIA с помощью Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для чат-ботов и диалоговых систем, суммаризации, извлечения данных из изображений, рассуждений, программирования, мультимодального анализа, function calling, исследовательских и образовательных сценариев. Модель построена на архитектуре Transformer Gemma 4 и содержит около 30,7 млрд параметров при размере словаря 262 144 токена. Она принимает текст, изображения и видео, включая видео в форматах MP4 и WebM продолжительностью до 60 секунд с частотой один кадр в секунду, а генерирует текст. Поддерживаются переменные соотношения сторон и разрешения изображений, настраиваемые бюджеты визуальных токенов от 70 до 1120, контекст до 256 тысяч токенов и более 140 языков. Архитектура использует гибридное внимание с локальными sliding-window и глобальными слоями, едиными Keys и Values в глобальных слоях и Proportional RoPE для работы с длинным контекстом. NVFP4-квантизация весов и активаций рассчитана на инференс через vLLM на NVIDIA Blackwell и Linux. По приведённым результатам NVFP4 сохраняет близкие к BF16 показатели на GPQA Diamond, AIME 2025, MMLU Pro, LiveCodeBench и Scicode, однако точные характеристики зависят от оборудования и сценария использования. Модель версии 1.0 была квантизирована с помощью nvidia-modelopt 0.42.0; для калибровки использовался англоязычный датасет CNN/DailyMail. Указана лицензия Apache License 2.0 с условиями Gemma. Для запуска заявлена интеграция с vLLM и тестирование на NVIDIA Hopper H100.

Mungert/Mistral-Small-3.2-24B-Instruct-2506-GGUF — GGUF-квантизированные версии языково-мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и опубликованной пользователем Mungert. Модель является обновлением Mistral-Small-3.1-24B-Instruct-2503 и предназначена для диалогов, следования инструкциям, генерации текста и кода, решения STEM-задач, function calling, а также анализа изображений, документов, таблиц и диаграмм. Модель содержит около 24 млрд параметров, поддерживает текстово-визуальный ввод и языки английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Версия 3.2 улучшает точность следования инструкциям, снижает вероятность зацикленной генерации и предлагает более надёжный шаблон function calling. Для создания GGUF-файлов использовался llama.cpp; автор применяет дополнительное повышение точности отдельных слоёв при квантовании, что может улучшать качество на низких разрядностях за счёт увеличения размера файлов. Сильные стороны модели — улучшенные результаты в instruction following, программировании, математике, STEM-бенчмарках и отдельных задачах компьютерного зрения. Ограничения включают зависимость качества, размера и скорости от выбранного уровня квантования, а также несколько более низкие результаты в некоторых vision-бенчмарках по сравнению с предыдущей версией. В карточке не указана длина контекстного окна. Модель распространяется по лицензии Apache-2.0 и рекомендуется к использованию через vLLM; также заявлена совместимость с transformers.

Карточка модели sana17041996/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Cohere Labs Command R+ 08-2024 — авторегрессионная языковая модель на архитектуре Transformer с grouped-query attention, разработанная Cohere Labs и Cohere. Модель содержит 104 млрд параметров, поддерживает контекст до 128K токенов и принимает и выдаёт только текст. Она предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы; обучена работать с Retrieval Augmented Generation, приводить цитаты из переданных фрагментов документов и выбирать инструменты для многошагового выполнения задач. Модель обучалась на 23 языках и оценивалась на 10. Список языков обучения включает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, арабский, китайский, русский и другие; метаданные также отмечают поддержку английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского. Для генерации с опорой на документы предусмотрен специальный шаблон промпта, отступление от которого может снизить качество. Для запуска README рекомендует Transformers версии 4.39.1 или выше. Лицензия CC-BY-NC-4.0 требует соблюдения Acceptable Use Policy Cohere Labs и ограничивает коммерческое использование.

Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound-v2 — квантованная версия базовой модели Qwen3.8-27B, разработанная goldhub с использованием AutoRound. Модель предназначена для генерации текста, рассуждений, программирования, обработки длинного контекста, а также мультимодальных задач с изображениями и видео. Заявлена поддержка английского, китайского, русского, украинского, греческого и иврита. Модель содержит 27 млрд параметров и использует гибридную схему: основные веса представлены в INT4 W4A16 с group_size 32, а критически важные компоненты, включая механизмы linear attention Gated DeltaNet, визуальный модуль, embed_tokens и lm_head, сохранены в BF16 или FP16. Заявленный контекст составляет 256K токенов, при этом стабильная работа без дополнительной настройки указана для 32K+, а для 128K–256K требуется выгрузка KV-кэша. Поддерживаются входы image-text и video-text. Сильными сторонами являются сохранение возможностей рассуждения, работы с кодом, мультимодальности и длинным контекстом после 4-битного квантования, а также пригодность для развёртывания на потребительских и профессиональных GPU. Ограничения включают большой для INT4 объём около 26,4 ГБ, потребность минимум в 32 ГБ VRAM или в двух GPU по 24 ГБ, возможные ограничения KV-кэша и риск циклической генерации при высокой температуре. В README рекомендуется vLLM; SGLang также поддерживается, но заявлен как менее производительный вариант. Модель распространяется по лицензии Apache-2.0.

Карточка модели Iambackup/gemma-4-E2B-it на Hugging Face совпадает с карточкой RedHatAI/gemma-4-E2B-it, поэтому описание составлено по ней. RedHatAI/gemma-4-E2B-it — инструктивный вариант мультимодальной модели Gemma 4, опубликованный Red Hat AI; семейство разработано Google DeepMind. Модель основана на google/gemma-4-E2B и предназначена для диалогов, генерации и редактирования текста, рассуждений, программирования и анализа мультимодальных данных. Она использует плотную архитектуру Gemma 4 и распространяется в формате Safetensors по лицензии Apache 2.0. Версия E2B принимает текст, изображения, видео и аудио и генерирует текстовые ответы. Для небольших моделей семейства заявлено контекстное окно до 128 тысяч токенов; поддерживаются многие языки. Возможности включают понимание изображений и документов, распознавание речи, перевод речи в текст, вызов инструментов и генерацию кода. Гибридное внимание и компактный размер семейства рассчитаны в том числе на локальное выполнение на устройствах с ограниченными ресурсами. Модель может ошибаться в ответах, распознавании и интерпретации мультимодальных входов; качество следует проверять для конкретного языка и сценария. README описывает возможности семейства Gemma 4 в целом, поэтому отдельные детали, не подтверждённые для E2B, не следует считать гарантированными.

granite-4.0-tiny-preview-GGUF — GGUF-квантизированные варианты 7-миллиардной instruct-модели Granite-4.0-Tiny-Preview, разработанной командой Granite компании IBM и преобразованной с помощью llama.cpp. Базовая модель — ibm-granite/granite-4.0-tiny-base-preview. Модель представляет собой гибридную fine-grained Mixture-of-Experts (MoE) архитектуру и дообучена на открытых наборах инструкций с разрешительными лицензиями и синтетических данных для задач с длинным контекстом. Дата выпуска исходной модели — 2 мая 2025 года. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает рассуждения, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог, а также обработку длинных документов и совещаний. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевая особенность данного репозитория — применение автором дополнительного повышения точности отдельных важных слоёв при квантовании через параметр --tensor-type в llama.cpp. Это может улучшать точность при низкой битности, особенно для MoE-моделей, но увеличивает размер файлов. Конкретный формат квантования и его характеристики зависят от выбранного варианта GGUF. Для запуска требуется совместимое ПО, например llama.cpp; README указывает генерацию моделей на коммите adef8178. Модель распространяется по лицензии Apache 2.0. В README не указаны точный размер контекстного окна, конкретные уровни квантования и результаты бенчмарков для данного GGUF-варианта.

Phi-3.5-mini-instruct — компактная языковая модель Microsoft из семейства Phi-3 для генерации текста и диалогов. Это плотная авторегрессионная модель на 3,7 млрд параметров, доступная в формате Safetensors и предназначенная для запуска в условиях ограниченных вычислительных ресурсов и низкой задержки. В README также описаны варианты с контекстом до 128 тыс. токенов; метаданные этой карточки указывают нативный контекст 4096 токенов, поэтому заявленную длину контекста для данного репозитория следует сверять с используемой конфигурацией. Модель дообучена следованием инструкциям и рассчитана на многоязычные диалоги, рассуждения, задачи по математике и логике, а также помощь с кодом. Её можно использовать как основу генеративных функций, для ответов на вопросы по длинным документам и их суммаризации. В карточке отмечены улучшения качества многоязычных многоходовых диалогов и рассуждений относительно Phi-3 Mini Instruct. Лицензия — MIT. Как и другие языковые модели, она может ошибаться и не оценивалась для всех возможных сценариев; перед применением в ответственных областях требуется проверка качества и безопасности. README также отмечает возможную уязвимость к длительным многоходовым jailbreak-атакам, в том числе на разных языках.

Карточка модели Gaurav1872/Qwen2.5-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

geoffmunn/Qwen3-14B-f16 — версия модели Qwen3-14B в формате GGUF F16, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. Это языковая модель на 14 млрд параметров для диалогов, следования инструкциям, рассуждений, генерации кода и работы с многоязычным текстом. Карточка описывает варианты квантования, но этот репозиторий содержит веса F16. Модель подходит для локальных ассистентов, генерации и отладки кода, ответов по документам в RAG-системах и многошаговых задач. Метаданные указывают поддержку английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Указана лицензия Apache-2.0. Размер модели составляет 14 млрд параметров. README заявляет о работе с длинными входами, но точную длину контекста не приводит. Для локального запуска требуются ресурсы, соответствующие размеру модели; потребление памяти и скорость зависят от формата весов и оборудования. Приведённые в карточке оценки квантованных вариантов не следует напрямую переносить на F16.

warshanks/Qwen3-4B-Instruct-2507-AWQ — квантованная версия Qwen3-4B-Instruct-2507, разработанной командой Qwen и опубликованной пользователем warshanks. Это авторегрессионная causal language model для генерации текста в диалогах, выполнения инструкций, рассуждений, математики, научных и программных задач, понимания текста, вызова инструментов и агентских сценариев. Модель работает только в non-thinking режиме и не формирует блоки <think></think>. Модель содержит около 4 млрд параметров, из них 3,6 млрд без учёта эмбеддингов, имеет 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 262 144 токена. Заявлены улучшения в многоязычном понимании, покрытии редких знаний, следовании инструкциям, открытой генерации и использовании инструментов. Это текстовая модель без заявленной поддержки изображений или других модальностей; конкретный набор языков в README не указан. Сильные стороны модели — большой контекст, улучшенные показатели в рассуждениях, кодировании, следовании инструкциям, творческом письме, многоязычных задачах и вызове инструментов при сравнительно небольшом размере. Ограничения включают работу только в non-thinking режиме, возможные требования к памяти при использовании длинного контекста и отсутствие в README подробных характеристик самой AWQ-квантизации, точных требований к оборудованию и результатов для всех практических сценариев. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-GGUF — это GGUF-версия мультимодальной модели Qwen3-VL-30B-A3B-Instruct, разработанной командой Qwen. Репозиторий содержит отдельно веса языковой модели и vision encoder в форматах FP16, Q8_0 и Q4_K_M для языковой части и FP16, Q8_0 для vision encoder. Модель предназначена для запуска через llama.cpp, Ollama и другие инструменты, поддерживающие GGUF, на CPU, NVIDIA GPU, Apple Silicon, Intel GPU и совместимом оборудовании. Модель работает с текстом и визуальными данными, включая изображения и видео. Она предназначена для понимания и генерации текста, визуального восприятия и рассуждений, OCR, анализа документов, пространственного анализа, распознавания объектов, видеоаналитики, визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и взаимодействия с графическими интерфейсами и инструментами. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками для улучшения анализа изображений и видео. К сильным сторонам относятся мультимодальное рассуждение, обработка длинного контекста, понимание пространственных отношений и видеодинамики, расширенное OCR и возможность выбора точности компонентов в зависимости от оборудования. Ограничения связаны с требованиями к памяти и вычислительным ресурсам, которые зависят от выбранной точности и конфигурации, а также с необходимостью использовать актуальную версию совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий подготовлен ugreen-ai с использованием материалов и методов Unsloth. Модель предназначена для локального запуска и совместима с инструментами экосистемы GGUF; исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых активируется около 3 млрд; указаны 40 слоёв, hidden dimension 2048 и словарь размером 248 320 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии, вызов инструментов и задачи с длинным контекстом, однако точный максимальный размер контекста для этой версии в README не указан. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной MoE-архитектуры, улучшенные возможности coding и tool calling, а также обновлённые данные и алгоритм квантования Unsloth Dynamic 2.0. GGUF-квантизация упрощает локальный запуск и снижает требования к ресурсам, но конкретные характеристики зависят от выбранного варианта квантизации и могут сопровождаться потерей точности по сравнению с исходными весами. Для управления режимом рассуждений предусмотрена настройка enable_thinking. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.6-27B-AWQ-INT4 — квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Вариант использует квантизацию AWQ в формате INT4; размер файлов модели составляет около 20,44 ГБ. Лицензия — Apache 2.0. Модель предназначена для генерации текста, программирования, работы с агентными сценариями и анализа изображений с текстовым ответом. В README отдельно отмечены улучшения в агентном программировании, включая работу с frontend-задачами и рассуждение на уровне репозитория, а также возможность сохранять контекст рассуждений из предыдущих сообщений. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура представляет собой авторегрессионную языковую модель с vision encoder, 27 миллиардами параметров, 64 слоями и контекстом 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. В составе используются Gated DeltaNet, Gated Attention и многошаговое обучение MTP. Квантизация снижает требования к памяти и упрощает локальное развертывание, но может несколько ограничивать точность по сравнению с полноразмерной версией; конкретные потери качества для данного варианта в README не указаны.

palmfuture/Qwen3.6-27B-GPTQ-Int4 — это GPTQ-квантизованная до Int4 версия открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной пользователем palmfuture. Модель представляет собой каузальную языковую модель с визуальным энкодером и предназначена для генерации текста и кода, выполнения инструкций, математического рассуждения, анализа изображений, агентского программирования и работы с большими контекстами. Заявлена поддержка английского, тайского, китайского и других многоязычных сценариев. Исходная модель содержит около 27 млрд параметров, 64 слоя и гибридную архитектуру Gated DeltaNet/Mamba и gated attention, дополненную MTP для многотокенного предсказания и ускорения спекулятивного декодирования. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. В данной версии основные линейные слои квантизованы в Int4 с uniform group_size=32, тогда как нормализации, эмбеддинги, языковая голова, визуальный энкодер и MTP-слои сохранены в формате bfloat16. Указана совместимость с Transformers, vLLM и SGLang; MTP-параметры проверены на vLLM 0.21.0. К преимуществам относятся существенное снижение требований к памяти по сравнению с полноразмерной версией, заявленная 100%-ная успешность GPTQ-квантизации без RTN fallback и сохранение поддержки мультимодального ввода. Ограничения включают возможное ухудшение качества из-за 4-битной квантизации, а также необходимость совместимого программного окружения и нескольких GPU для практического запуска; точные требования к инференсу в README не указаны. Лицензия — Apache-2.0.

Карточка модели Darth-Coder/my-model2.5-14b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

Nemotron-H-47B-Reasoning-128K — большая языковая модель NVIDIA для диалогов, рассуждений и обычных задач генерации текста. Она сочетает слои Mamba-2 и MLP с пятью слоями Attention, содержит 47 млрд параметров и поддерживает контекст до 128 тыс. токенов. В зависимости от системной инструкции модель может сначала сформировать рассуждение, а затем ответ, либо выдать ответ без видимого рассуждения. Модель принимает и генерирует текст. Заявлена поддержка английского, немецкого, испанского, французского, итальянского, корейского, португальского, русского, японского и китайского языков. Подходит для диалогов, ответов на вопросы, задач по математике, науке, программированию и другим темам. Доступны контрольные точки BF16 для Transformers и TensorRT-LLM, а также FB8 для TensorRT-LLM; модель рассчитана на запуск с ускорением NVIDIA GPU. Модель может выдавать неточные, неполные, нерелевантные или избыточные ответы, а также воспроизводить токсичность и предвзятость из обучающих данных. В README также отмечена уязвимость к некоторым вариантам косвенной prompt injection. Лицензия указана как other; README ограничивает назначение исследованиями и разработкой.

unsloth/Qwen3.5-9B — постобученная мультимодальная модель семейства Qwen3.5, опубликованная в формате Transformers командой Unsloth. Это причинная языковая модель с визуальным энкодером на 9 млрд параметров; архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Модель принимает текст и изображения, ведёт диалог, анализирует визуальные материалы, рассуждает и поддерживает вызов инструментов. Модель рассчитана на мультиязычное применение: карточка заявляет поддержку 201 языка и диалекта. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Веса сохранены в формате safetensors и совместимы с Transformers и рядом серверов инференса. Лицензия — Apache-2.0. Среди подходящих сценариев — вопросы по изображениям и визуальное понимание, многоязычный диалог, программирование, рассуждения и агентные задачи с использованием инструментов. Режим рассуждений включён по умолчанию; высокая пропускная способность и эффективность зависят от выбранного движка и его версии. Для длинного контекста требуются значительные ресурсы памяти, а при нехватке памяти рекомендуется уменьшить окно контекста.

Qwen3-VL-8B-Instruct-FP8 — мультимодальная instruction-модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-8B-Instruct с мелкозернистой квантизацией и размером блока 128; согласно README, её показатели почти идентичны исходной версии BF16. Модель предназначена для обработки текста, изображений и видео, генерации ответов по визуальному и текстовому контексту, OCR, анализа документов, пространственного рассуждения, понимания длительных видеоматериалов, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Заявлены возможности работы с контекстом до 256K токенов с расширением до 1M, временная привязка событий в видео, улучшенное распознавание текста на 32 языках и поддержка задач STEM и математики. Ключевые архитектурные особенности включают Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и механизм выравнивания текста с временными метками. Ограничение текущей версии заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-VL-8B-Instruct-FP8 — мультимодальная vision-language модель серии Qwen3-VL, разработанная на базе Qwen3-VL-8B-Instruct и опубликованная Unsloth. Это FP8-квантизированная версия с мелкозернистой квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии в формате BF16. Модель предназначена для понимания и генерации текста по тексту, изображениям и видео. Она поддерживает визуальное распознавание, OCR, анализ документов, пространственное и STEM-рассуждение, понимание длительных видео, генерацию HTML/CSS/JS и Draw.io по визуальным материалам, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, улучшенная работа с временной структурой видео и OCR для 32 языков. К архитектурным особенностям относятся плотная модель на 8 млрд параметров, визуальный энкодер ViT, механизмы Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового, визуального и видеоанализа, длинный контекст, пространственное рассуждение и сохранение качества после квантизации. Ограничение состоит в том, что на момент публикации веса нельзя напрямую загружать через Transformers; для развертывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

NVIDIA Llama 3.1 405B Instruct NVFP4 — квантованный чекпойнт Meta Llama 3.1 405B Instruct, подготовленный NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная плотная трансформерная языковая модель семейства Llama для генерации текста по инструкциям, диалога и интерфейсов вызова инструментов. Веса и активации линейных операторов в блоках трансформера квантованы до FP4; заявленное сокращение требований к диску и памяти GPU составляет примерно 3,5 раза. Модель содержит 403,7 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает текст и выдаёт текст. Для инференса предусмотрен TensorRT-LLM; README указывает совместимость с архитектурой NVIDIA Blackwell и Linux. Можно применять для диалоговых ассистентов, генерации и преобразования текста по инструкциям, а также сценариев с вызовом инструментов. README заявляет возможность коммерческого и некоммерческого использования; лицензия в метаданных — llama3.1. Квантование может влиять на точность, а для запуска требуется совместимое оборудование и программный стек TensorRT-LLM.

unsloth/Qwen2.5-14B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-14B, подготовленная Unsloth на основе Qwen/Qwen2.5-14B, разработанной командой Qwen. Модель предназначена для задач генерации и продолжения текста, а также для последующего дообучения, включая SFT, RLHF и continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Это авторегрессионная текстовая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к эмбеддингам, включает 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Контекстное окно составляет 131 072 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель ориентирована только на работу с текстом; сведения о других модальностях отсутствуют. К сильным сторонам относятся улучшенные по сравнению с Qwen2 возможности в программировании и математике, следование инструкциям, обработка структурированных данных и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может приводить к потере точности по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0.

AIArchiveInfo публикует побайтовую архивную копию Qwen2.5-7B-Instruct, созданную из репозитория Qwen/Qwen2.5-7B-Instruct; веса не изменялись, обучение или дообучение в этом репозитории не проводились. Это инструкционно настроенная причинная языковая модель семейства Qwen2.5 с архитектурой Qwen2ForCausalLM, примерно 7,1 млрд параметров и контекстом 32 768 токенов по метаданным. README описывает архитектуру на базе трансформера с RoPE, SwiGLU, RMSNorm и смещениями QKV; для более длинного контекста предлагается YaRN, но он может снижать производительность на коротких запросах. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов, работу с таблицами и структурированными ответами JSON, а также задачи программирования и математики. Указана поддержка более 29 языков, включая русский и английский. Использовать можно через Transformers; README рекомендует актуальную версию библиотеки. Лицензия Apache-2.0 распространяется на архивную копию согласно карточке.