I.6Перевод и языковая адаптация

Ministral 3 14B Instruct 2512 — мультимодальная модель Mistral AI для диалогов и выполнения инструкций, дообученная на базе Ministral 3 14B Base 2512 и представленная в формате FP8. Архитектура Mistral3 включает языковую модель на 13,5 млрд параметров и визуальный энкодер на 0,4 млрд; веса хранятся в safetensors, для запуска рекомендуется vLLM. Модель рассчитана на локальное и периферийное развертывание, в частности для приватных ассистентов и агентных сценариев. Она принимает текст и изображения, умеет анализировать визуальное содержимое, следовать системным инструкциям, вызывать функции и формировать JSON. Поддерживает контекст до 256 тысяч токенов и многоязычное взаимодействие, включая английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README заявлены результаты, сопоставимые с более крупной Mistral Small 3.2 24B; для запуска в FP8 указано требование около 24 ГБ VRAM, а дополнительная квантизация может снизить его. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Качество может зависеть от аппаратуры и настроек; для изображений рекомендуется близкое к квадратному соотношение сторон, а для повседневного использования — температура ниже 0,1.

Mistral-7B-Instruct-v0.2-GGUF — это квантизированная GGUF-версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI (mistralai) и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через LlamaEdge. Она использует шаблон запросов mistral-instruct и поддерживает контекст до 4096 токенов. Модель содержит около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, различающиеся размером файлов и компромиссом между требованиями к памяти и качеством: от 3,08 ГБ для Q2_K до 7,7 ГБ для Q8_0. В README не указаны поддерживаемые языки и подробности архитектуры. Варианты с низкой разрядностью требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. Модель распространяется по лицензии Apache-2.0, однако конкретные условия использования отдельных вариантов следует соотносить с лицензией исходной модели.

TheBloke/Mistral-7B-Instruct-v0.2-GGUF — это набор квантизированных файлов в формате GGUF для языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и квантизированной TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Для форматирования запросов используется шаблон Mistral: <s>[INST] {prompt} [/INST]. Модель содержит 7 миллиардов параметров; поддерживаются варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. Формат GGUF ориентирован на эффективный запуск с использованием CPU и GPU и совместим с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими перечисленными средствами. README не указывает языки, размер контекста или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. К преимуществам относятся возможность локального запуска, широкий выбор уровней квантования и поддержка различных программных инструментов. Более сильное квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; конкретные компромиссы зависят от выбранного файла. Модель распространяется по лицензии Apache-2.0.

Mistral-NeMo-Minitron-8B-Base — базовая языковая модель NVIDIA для генерации текста и адаптации под различные задачи обработки естественного языка. Это плотный авторегрессионный Transformer-декодер семейства Mistral-NeMo с 7,9 млрд параметров, 40 слоями, Grouped-Query Attention и RoPE. Модель получена из Mistral-NeMo 12B pruning-ом размерностей эмбеддингов и промежуточного слоя MLP, а затем дообучена дистилляцией на 380 млрд токенов. Модель принимает и генерирует текст; заявленная длина контекста — 8192 токена. Обучающие данные включают английский и многоязычный текст, а также код, охватывая веб-страницы, диалоги, статьи и другие материалы. Модель подходит как основа для генерации и продолжения текста, ответов на вопросы и программирования. Это базовая, а не специализированная чат-модель, поэтому для конкретных сценариев может потребоваться адаптация. По данным разработчика, обучение завершилось в августе 2024 года, а срез предобучающих данных — июнь 2023 года. Модель может воспроизводить токсичный язык и социальные предубеждения, а также выдавать неточные, неполные или избыточные ответы. В метаданных указана лицензия «other»; конкретные условия использования следует проверять в лицензии NVIDIA.

Phi-3-medium-4k-instruct-GGUF — это квантизированная GGUF-версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft и подготовленной к квантизации компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Указана поддержка нескольких языков, но их точный перечень в карточке не приведён. Модель использует архитектуру Phi, имеет контекст до 4000 токенов и поддерживает формат GGUF с вариантами квантизации от 2 до 8 бит, а также f16. Размер файлов составляет примерно от 5,14 до 27,9 ГБ. Вариант Q4_K_M обозначен как рекомендуемый баланс размера и качества, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Модель совместима с LlamaEdge версии 0.11.2 и выше и использует шаблон запросов phi-3-chat. Основное преимущество этой версии — возможность локального запуска с выбором компромисса между потреблением памяти, размером файла и качеством ответов. Низкобитные варианты экономичнее, но могут заметно терять в качестве; для большинства практических сценариев рекомендуется избегать Q2_K и ряда более агрессивных квантизаций. Карточка не содержит данных о точном числе параметров, обучающих данных, результатах оценки, аппаратных требованиях или ограничениях безопасности. Модель распространяется по лицензии MIT.

YOYO-AI/Qwen3-30B-A3B-Mixture-2507 — объединённая модель от YOYO-AI на архитектуре Qwen3 MoE. Она создана слиянием Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-30B-A3B-Instruct-2507 методом nuslerp; в README указаны параметры float32 для слияния и bfloat16 для выходных весов. Модель предназначена для диалогов, выполнения инструкций и генерации текста, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Метаданные указывают английский и китайский языки, активный размер — 2,6 млрд параметров, контекст — до 262 144 токенов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Практическое качество и ограничения отдельно не описаны; характеристики унаследованных режимов Instruct и Thinking для объединённой модели не уточнены.

Qwen3.6-35B-A3B Uncensored Heretic MLX 4bit — мультимодальная конверсия модели Qwen3.6, подготовленная froggeric на базе uncensored-варианта от llmfan46. Исходная модель разработана Alibaba Cloud. Версия предназначена для локального запуска на Apple Silicon через MLX и поддерживает работу с текстом, изображениями и видео, рассуждения, диалоги и вызов инструментов. Заявлены английский, китайский и другие языки. Модель использует гибридную архитектуру с линейными блоками внимания DeltaNet-типа и традиционным softmax-вниманием в соотношении 3:1. Веса представлены в 4-битной квантизации. Для модели исправлены параметры vision tower, а также шаблон чата: добавлена совместимость с ролями developer и инструментами, переключение режима рассуждений и обработка проблемных тегов. Указано, что архитектурно-ориентированное uncensoring с помощью Heretic и MPOA снизило частоту отказов при незначительной потере возможностей, однако конкретные результаты могут зависеть от задачи и не заменяют самостоятельное тестирование. Модель подходит для локальных чат-ассистентов, программирования, анализа изображений и мультимодальных сценариев, включая приложения с вызовом инструментов. Для работы рекомендуются mlx-lm версии 0.31.2 или выше и mlx-vlm версии 0.4.4 или выше. В README не указаны размер контекста и требования к объёму памяти. Лицензия — Apache-2.0; из-за uncensored-настройки модель может слабее применять стандартные ограничения безопасности, поэтому ответственность за фильтрацию и применение результатов лежит на пользователе.

Qwen3.8-27B-GPTQ-W4A8-MTP-Ampere — квантованная версия базовой модели Qwen/Qwen3.8-27B; разработчик в README явно не указан. Модель предназначена для генерации текста и инференса через vLLM, включая сценарии с OpenAI-совместимым API. Профиль запуска рассчитан на текстовые задачи; мультимодальная обработка не включена, несмотря на наличие vision tower в базовой конфигурации. Модель использует GPTQ-квантование: веса декодера представлены в INT4 с размером группы 128, language model head — в INT8, эмбеддинги упакованы в INT8, а MTP-модуль для speculative decoding — в INT4. Предусмотрены FP8 KV-кэш и генерация до трёх черновых токенов MTP за шаг. Заявленная максимальная длина контекста — до 250 000 токенов, однако фактические возможности зависят от доступной памяти и настроек запуска. Для работы требуется две видеокарты NVIDIA с 24 ГБ VRAM, например RTX 3090, Linux с совместимыми CUDA и драйверами, Python 3.11 и строго указанная версия vLLM 0.27.1. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной BF16-моделью и ускорение генерации благодаря speculative decoding. Ограничения включают возможное ухудшение качества из-за квантования весов и FP8 KV-кэша, необходимость специального compatibility layer и отказ от запуска с другими версиями vLLM, а также привязку тестового профиля к двум GPU. Модель распространяется по лицензии Apache 2.0.

Krasnopjorovs/Qwen3.8-27B-Imatrix-GGUF — набор квантизированных GGUF-сборок базовой модели Qwen/Qwen3.8-27B, подготовленный Krasnopjorovs с использованием llama.cpp и importance-matrix калибровки. Модель предназначена для локального запуска и задач генерации текста, рассуждений, программирования и математики; заявлена также поддержка мультимодального режима image-text-to-text при подключении совместимого mmproj-файла. README не уточняет архитектуру базовой модели, точное число параметров сверх обозначения 27B, список поддерживаемых языков и размер контекста. Доступны варианты квантизации от Q8_0, близкого к исходному качеству, до IQ4_XS и IQ4_NL для экономии памяти, с размерами примерно от 14,27 до 27,05 ГБ. Рекомендуемым вариантом общего назначения назван Q4_K_M размером 15,63 ГБ; сборки с суффиксом L используют Q8_0 для выходных и/или embedding-тензоров, что может повысить стабильность вывода при низкой разрядности. Во все кванты включена MTP-голова для speculative decoding, а для запуска через llama.cpp рекомендуется использовать draft-бюджет 3. Сильные стороны модели — выбор квантизаций под разные ограничения по памяти, поддержка мультимодального режима, калибровка на смешанном корпусе с многоязычными данными, кодом и математикой, а также возможность ускорения генерации через MTP. Ограничения связаны с потерями качества, зависящими от степени квантизации, требованиями к значительному объёму RAM или VRAM и необходимостью совместимого llama.cpp и mmproj-файла для мультимодального использования. Распространение указано по лицензии Apache-2.0.

NikiKrutan/Qwen3.8-27B-MTP-GGUF — набор GGUF-квантований базовой модели Qwen/Qwen3.8-27B, подготовленный разработчиком NikiKrutan с использованием собственного инструмента niki-allocator. Метод распределяет тип квантования отдельно для каждого тензора и выбирает варианты на основе оценок и измерений KLD. Модель предназначена для локального запуска через llama.cpp и совместимых инструментов. Согласно README, модель ориентирована на диалоговые сценарии, программирование, reasoning, сложную логику и агентные задачи. Указаны поддержка английского и русского языков, а также мультиязычные сценарии для отдельных тестовых корпусов. В карточке присутствует тег image-text-to-text, однако конкретные сведения о визуальной архитектуре и фактических возможностях работы с изображениями не приведены. Размер базовой модели — 27B параметров; используется MTP, но точные варианты квантования, требования к памяти и размер контекста не указаны. К сильным сторонам относятся ориентированная на качество покомпонентная квантование, сравнение с несколькими альтернативными GGUF-сборками и оценка по KLD, RMS Δp, вероятности совпадения наиболее вероятного токена и perplexity на корпусах для кода, reasoning, агентных задач, мультиязычных текстов, научных и юридических материалов. Ограничения — отсутствие детальных численных результатов непосредственно в тексте README, неизвестные требования к ресурсам и отсутствие независимой оценки качества исходной модели. Лицензия Apache-2.0.

Qwen3.8-27B-OQ3-GGUF — квантованная версия Qwen3.8-27B, подготовленная Ora Computing методом посттренировочной калибровочной квантизации. Модель предназначена для диалогов и генерации текста; с дополнительным vision-проектором GGUF поддерживает также входные изображения и видео. Репозиторий содержит файл модели размером 10,54 ГБ со средней точностью 3,026 бита на вес и отдельный проектор изображения размером 0,93 ГБ. В основной файл встроена голова многотокенного предсказания, которую можно использовать для ускорения декодирования в совместимых версиях llama.cpp. По приведённым в карточке тестам модель сохраняет 95,4% совокупного результата исходной версии bf16 на MMLU-Pro и AIME-25, занимая примерно в 5,3 раза меньше места. Для запуска автор рекомендует llama.cpp; заявленный родительский чекпойнт — Qwen/Qwen3.8-27B. Лицензия указана как other, поэтому условия использования следует проверять на странице репозитория.

nvidia/Qwen3-8B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми входами и генерирует текстовые последовательности, поддерживает контекст длиной до 131K токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4, что ориентировано на эффективный инференс. Поддерживается TensorRT-LLM; модель оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и предпочтительно используется в Linux. Сильной стороной модели является готовая предварительная квантизация для развертывания и потенциально более эффективный инференс на совместимом оборудовании по сравнению с CPU-сценариями. Ограничения включают зависимость от экосистемы NVIDIA и TensorRT-LLM, а также отсутствие в README подробных сведений о языках, результатах оценки качества и характеристиках исходного обучения. Для калибровки использовался датасет cnn_dailymail; наборы данных обучения и тестирования не раскрыты. Модель распространяется по лицензии Apache 2.0 и заявлена как пригодная для коммерческого и некоммерческого использования.

T-lite-it-2.1-GGUF — русскоязычная текстовая генеративная модель, разработанная t-tech. Это конвертация модели T-lite-it-2.1 из BF16 в формат GGUF с использованием llama.cpp, предназначенная для локального запуска через llama.cpp и Ollama. Модель построена на архитектуре Qwen 3 и ориентирована на универсальные задачи генерации текста, следование инструкциям, сложные рабочие процессы и агентские приложения. В отличие от T-lite-it-1.0, она поддерживает tool calling и, согласно описанию, превосходит Qwen3-8B в сценариях вызова инструментов. Оптимизированный токенизатор повышает пропускную способность генерации русского текста. Поддерживается русский язык. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>. Доступны квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q5_0 и Q4_K_M размером примерно от 5,0 до 8,7 ГБ без учёта выгрузки на GPU. Качество и требования к памяти зависят от выбранной квантизации; рекомендуется использовать наиболее качественный вариант, помещающийся в доступной RAM или VRAM. В README не указаны точный размер базовой модели, число параметров, полный набор поддерживаемых языков и официальное максимальное контекстное окно. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают, что ответственность за дополнительное обучение, контроль качества, безопасность и применение модели в промышленных или коммерческих системах несёт пользователь.

AFM-4.5B-Base — базовая языковая модель Arcee.ai для генерации текста. Она предназначена для развертывания в облаке и на периферийных устройствах и может служить основой для приложений, которым нужны ответы на запросы, математические рассуждения или помощь с кодом. Несмотря на слово Base в названии, в карточке указано, что модель прошла supervised fine-tuning на инструкционных данных, а доступная версия получена после слияния и расширения контекста. Модель построена как плотный декодерный трансформер ArceeForCausalLM с grouped-query attention и активациями ReLU². README указывает 4,5 млрд параметров, тогда как метаданные каталога — 6 млрд. Обучение включало 8 трлн токенов, в том числе данные для улучшения математических рассуждений и генерации кода. Контекст составляет 65 536 токенов. Поддерживаются английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. Модель доступна в формате safetensors и работает с библиотекой Transformers. Лицензия — Apache-2.0. Качество ответов и точность рассуждений могут зависеть от задачи; в карточке нет результатов бенчмарков, подтверждающих уровень качества в конкретных сценариях.

EXAONE-4.5-33B-FP8 — открытая мультимодальная vision-language модель, разработанная LG AI Research. Она предназначена для обработки текста и изображений, включая визуальные вопросы и ответы, анализ документов, контекстное рассуждение и общие задачи понимания мультимодального контента. Модель может применяться в ассистентах, системах работы с документами и исследовательских приложениях. Модель имеет плотную архитектуру causal language model с выделенным vision encoder: 31,7 млрд параметров приходится на языковую часть и 1,29 млрд — на визуальный энкодер, всего около 33 млрд параметров. Используются hybrid attention со sliding window размером 4096 токенов и global attention, Grouped Query Attention, 2D RoPE для визуальных представлений и контекст до 262 144 токенов. Модель поддерживает английский, корейский, испанский, немецкий, японский и вьетнамский языки. Знания ограничены декабрём 2024 года, а веса представлены в FP8-квантизации. Сильными сторонами заявлены конкурентоспособные результаты на общих мультимодальных бенчмарках, понимание документов и рассуждение с учётом корейского контекста; при этом показатели зависят от задачи, а FP8-квантизация и размер модели предъявляют повышенные требования к вычислительным ресурсам. Модель лицензирована по условиям EXAONE; точные ограничения следует уточнять в файле LICENSE.

unsloth/gemma-3n-E4B-it — инструкция-настроенная версия Gemma 3n E4B от Google, опубликованная Unsloth. Это плотная модель класса Gemma3n с архитектурой Gemma3nForConditionalGeneration и поддержкой диалога и изображений. Репозиторий содержит веса safetensors; в README для этой сборки заявлена работа только с текстом, поэтому описанные для семейства возможности обработки изображений, видео и аудио здесь не подтверждены. Модель предназначена для генерации текста и диалоговых сценариев: создания черновиков и кода, суммаризации, ответов на вопросы и работы чат-ботов. README указывает контекст до 32 тысяч токенов. Семейство Gemma 3n рассчитано на эффективный запуск на устройствах с ограниченными ресурсами благодаря выборочной активации параметров; для этой конкретной сборки общее число параметров в предоставленных метаданных не указано. Ожидаемые ограничения включают возможные фактические ошибки, смещения обучающих данных и затруднения с неоднозначными или сложными запросами. Лицензия — Gemma; перед использованием следует учитывать её условия.

unsloth/GLM-4-9B-0414-GGUF — GGUF-квантизированная версия языковой модели GLM-4-9B-0414, подготовленная Unsloth на базе модели THUDM. Модель предназначена для локального текстового общения и генерации текста, включая выполнение инструкций, программирование, математическое и общее рассуждение, создание отчётов и работу в ресурсно-ограниченных средах. Она поддерживает китайский и английский языки и относится к классу text-generation. Модель содержит 9 миллиардов параметров; точная архитектура, длина контекста, доступные варианты квантования и поддерживаемые дополнительные модальности в представленном README не указаны. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Заявленные сильные стороны исходной GLM-Z1-9B-0414 включают математическое рассуждение, выполнение общих задач и баланс между эффективностью и качеством при небольших требованиях к ресурсам. Ограничения, результаты конкретных бенчмарков и требования к оборудованию не приведены. Лицензия — MIT.

Это квантованная версия Granite 3.3 8B Instruct — инструкционной текстовой модели, разработанной командой IBM Granite. Репозиторий подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix; базовая модель указана как ibm-granite/granite-3.3-8b-instruct. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных уровней квантования Q3–Q8 и IQ, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти. Размер исходной модели составляет 8 миллиардов параметров, однако README не указывает архитектуру, языки, длину контекста или дополнительные модальности; по назначению это текстовая, а не мультимодальная модель. Сильной стороной сборки является широкий выбор квантований: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев при меньшем потреблении памяти. Более компактные варианты позволяют запускать модель на системах с ограниченной RAM, но могут снижать качество ответов. Для корректной работы следует использовать указанный шаблон prompt и совместимый llama.cpp-based runtime. Распространение осуществляется по лицензии Apache-2.0.

Kurage — многоцелевая модель Lightblue для генерации текста и сценариев RAG, дообученная на базе Qwen/Qwen2-7B-Instruct. Это плотная причинно-языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов; веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель умеет отвечать на вопросы по одному или нескольким фрагментам контекста, указывать релевантные фрагменты, расширять краткий ответ и генерировать пары вопросов и ответов из текста для предварительной индексации. Заявлена поддержка RAG на 44 языках, в том числе с контекстом на одном языке и вопросом на другом; метаданные отдельно перечисляют языки карточки модели.

Карточка модели 1024m/Llama-3.2-3B-Base на Hugging Face совпадает с карточкой alpindale/Llama-3.2-3B, поэтому описание составлено по ней. alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

bartowski/Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, однако конкретные поддерживаемые языки, размер контекста и детали архитектуры в предоставленном README не указаны. Ключевая характеристика этой версии — квантизация, которая обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей качества; конкретный уровень квантизации README не сообщает. Модель ориентирована на текстовые задачи, а сведения о мультимодальности отсутствуют. Ограничения, показатели качества и рекомендации по аппаратному обеспечению также не приведены, поэтому их нельзя достоверно оценить по имеющимся данным. Модель распространяется на условиях Llama 3.3 Community License от Meta. Лицензия предоставляет ограниченные права на использование, воспроизведение, распространение и модификацию при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», обязательное уведомление об авторских правах и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF — это набор квантованных файлов модели Llama-3.3-70B-Instruct в формате GGUF. Исходную модель разработала meta-llama, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых сценариях с инструкциями. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти, скоростью работы и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения с поддержкой GGUF. Модель работает с текстом; сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. К ограничениям относятся потенциальная потеря качества в более компактных вариантах квантования, высокие требования к ресурсам для 70-миллиардной модели и зависимость от совместимого программного обеспечения. Лицензия в предоставленных данных не указана.

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Distillio/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска задач генерации и анализа текста, а также обработки изображений при использовании совместимого файла mmproj. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и квантизацию imatrix. Доступны варианты от BF16 и Q8_0 до более компактных Q2_K и IQ3/IQ4, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым компромиссом README называет Q4_K_M размером около 17,77 ГБ; более высокое качество обеспечивают Q5 и Q6, а варианты Q2–Q3 рассчитаны на ограниченный объём оперативной памяти, но заметно уступают по качеству. Для запуска требуется совместимое программное обеспечение, в частности llama.cpp; для работы с изображениями необходим mmproj-файл. README не указывает поддерживаемые языки и размер контекста, поэтому эти характеристики нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-RTX5090 — оптимизированная для видеокарт GeForce RTX 5090 версия модели Qwen/Qwen3.8-27B. Сборка опубликована в gittensor-model-hub и квантизована с помощью NVIDIA Model Optimizer в формате NVFP4. Модель предназначена для развёртывания через SparkInfer, SGLang и vLLM на архитектуре NVIDIA Blackwell; Hopper может загрузить файлы, но не поддерживает выполнение NVFP4. Модель поддерживает работу с текстом, изображениями и видео через OpenAI-совместимый API. Она рассчитана на контекст до 262 144 токенов и помещается на одной RTX 5090 с 32 ГБ памяти; размер чекпойнта составляет около 17,92 ГБ в двух шардах. В сборке квантизирован также lm_head, а неиспользуемая MTP head удалена. Для ускорения генерации может использоваться спекулятивное декодирование с drafter DSpark v2. Сильные стороны модели — большой контекст, мультимодальный ввод, низкие требования к памяти и высокая скорость инференса на RTX 5090, особенно в связке SparkInfer и DSpark v2. Ограничения включают зависимость от Blackwell для полноценного выполнения NVFP4, необходимость специализированных движков и отдельные ограничения текущего API SparkInfer: видео поддерживается фактически, но не всегда корректно отражается в поле input_modalities. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-версия плотной языковой модели Qwen3.8-27B, подготовленная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео при использовании отдельного BF16-проектора. Указаны поддержка английского, китайского и других языков, а также мультимодальный режим image-text-to-text. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408, словарь на 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Она сохраняет встроенный механизм NextN/MTP и дополнительно поставляется с профилем HauhauCS FastMTP 32K для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизации от Q8_K_P до IQ2_M; для изображений и видео требуется отдельный vision projector. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения, что может быть полезно для свободного исследования, автоматизации и сценариев, где важна максимальная отзывчивость. При этом отсутствие защитных отказов повышает риски при работе с вредоносными или чувствительными запросами, а для критически важных длинноконтекстных агентских задач автор рекомендует более сбалансированный вариант. Модель распространяется по лицензии Apache-2.0.

Breeze-13B-32k-Instruct-v1_0 — чат-модель на базе архитектуры Mistral, созданная MediaTek Research с помощью объединения моделей через mergekit. В карточке в качестве компонентов слияния указан MediaTek-Research/Breeze-7B-32k-Instruct-v1_0; запись повторяется несколько раз. Метаданные указывают 12,5 млрд параметров, плотную архитектуру и контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Длинный контекст позволяет использовать её для ответов по объёмным текстам и продолжительных диалогов. Репозиторий содержит веса safetensors. Лицензия — Apache 2.0.

Gemma 3 12B IT QAT GGUF — мультимодальная instruction-tuned модель, разработанная Google и представленная сообществом LM Studio в формате GGUF. Это квантизированная версия базовой модели google/gemma-3-12b-it, подготовленная с применением Quantization Aware Training для повышения качества 4-битного вывода. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии обработки текста и изображений. Она поддерживает контекст до 128 000 токенов и максимальную длину вывода 8 192 токена. Изображения обрабатываются после нормализации до разрешения 896 × 896. Сведения о поддерживаемых языках и точном числе параметров, помимо обозначения 12B, в README не указаны. Ключевое преимущество — сочетание мультимодальности, длинного контекста и оптимизированного 4-битного квантования, что может снизить требования к ресурсам по сравнению с полноточной моделью. Ограничения включают возможные неточности, вредные или неподходящие ответы, характерные для генеративных моделей. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

Lightricks публикует эту версию Gemma 3 — мультимодальную модель Google Gemma 3 12B IT с инструкционной настройкой, представленную в формате safetensors. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы по изображениям, извлечения визуальной информации, суммаризации и других задач по текстовым инструкциям. Модель относится к семейству Gemma 3 с плотной архитектурой Gemma3ForConditionalGeneration и основана на google/gemma-3-12b-it. В карточке семейства указаны контекстное окно до 128 тысяч токенов и поддержка более 140 языков. Модель рассчитана на применение в чат-ботах, виртуальных помощниках, создании и редактировании текстов, а также для понимания изображений; её размер допускает локальное развёртывание на подходящем оборудовании. Качество ответов зависит от данных и формулировки запроса: возможны ошибки в фактах, предвзятость и трудности с нюансами языка и сложными задачами. Модель распространяется по лицензии Gemma. Для использования следует соблюдать условия этой лицензии и политику допустимого использования Gemma.