I.6Перевод и языковая адаптация

JunHowie/Qwen3-4B-Instruct-2507-GPTQ-Int4 — это 4-битная GPTQ-квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, созданная на базе модели Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит квантование с размером группы 128 и настройкой desc_act=False, которая, согласно описанию, повышает эффективность генерации токенов по сравнению с более ранними квантованными версиями. Модель предназначена для генерации текста и выполнения инструкций, включая понимание текста, логическое рассуждение, математику, науку, программирование, использование инструментов и открытые творческие задачи. Она поддерживает несколько языков и рассчитана на работу в режиме без рассуждений: модель не генерирует блоки <think></think>. Базовая архитектура — causal language model с 4,0 млрд параметров, 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и Grouped Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Квантование уменьшает требования к памяти и может быть полезно для локального или высокопроизводительного развертывания, в частности через vLLM; для работы указана зависимость vllm>=0.9.2. Ограничения связаны с потерями качества, возможными при 4-битном квантовании, а также с тем, что это текстовая, а не мультимодальная модель. Лицензия — Apache 2.0.

Smoffyy/Qwen3.5-4B-Instruct-Revised-GGUF — переработанная GGUF-квантизация модели Qwen3.5-4B, разработанной командой Qwen. Автор варианта Smoffyy конвертировал исходные веса в формат GGUF с помощью llama.cpp и заменил официальный шаблон чата на собственный исправленный шаблон. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания; это мультимодальная causal language model с vision encoder. Для работы с изображениями требуется отдельный файл mmproj-f16.gguf. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Заявлена поддержка 201 языка и диалекта. Вариант сохраняет возможности исходной модели, но исправляет проблемы шаблона чата, включая управление режимом рассуждений, пустые блоки рассуждений и поддержку роли developer. По умолчанию включён режим без рассуждений; его можно переключать специальными токенами в системном запросе. В README приведён пример использования q4_k_m с контекстом 64k, требующий около 7 ГБ VRAM; рекомендуемые требования к видеопамяти зависят от уровня квантизации. К ограничениям относятся потеря части качества по сравнению с полноразмерными весами при использовании более сильной квантизации, а также необходимость скачивать дополнительный мультимодальный проектор для обработки изображений. Модель и производные работы распространяются по лицензии Apache 2.0.

abhishekchohan/Qwen3.8-27B-AWQ-INT4 — это 4-битная AWQ-квантизированная версия модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста, рассуждений, математических и научных задач, программирования, обработки мультиязычных запросов и работы с изображениями. Она поддерживает визуально-текстовые сценарии благодаря встроенному ViT-энкодеру. Модель имеет гибридную архитектуру с 64 текстовыми слоями, включающими стандартное attention и линейное внимание DeltaNet, а также контекст до 262 144 токенов. Используется weight-only формат W4A16: веса хранятся в INT4 с group size 32 и асимметричными zero-point, KV-кэш — в BF16. Размер весов составляет около 20 ГБ, благодаря чему модель рассчитана на запуск с родным контекстом на одной GPU с 48 ГБ памяти. На GPU с 96 ГБ возможно расширение контекста до 524 288 токенов через YaRN, однако retrieval за пределами 262 144 токенов не проверялся. Главное преимущество — существенное снижение требований к памяти при сохранении результатов, близких к BF16-версии: на 9 из 10 заявленных тестов различия находятся в пределах статистического шума, а поиск информации на длинном контексте успешно проверен до 262 144 токенов. Ограничения включают заметное снижение результата в MathVision, неполную проверку визуальных возможностей, отсутствие оценки агентных сценариев и инструментального вызова, а также отсутствие количественной валидации speculative decoding. Модель распространяется по лицензии Apache-2.0.

XVERSE-13B — многоязычная языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Это плотная decoder-only модель на архитектуре Transformer с 13,2 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит веса PyTorch; лицензия Apache-2.0 разрешает коммерческое использование на её условиях. Модель предназначена для генерации текста, многоходового диалога, ответов на вопросы и суммаризации. Она обучалась на разнообразных данных более чем на 40 языках; в карточке особо отмечены китайский и английский, а также русский и испанский. BPE-токенизатор использует словарь размером 100 534 токена. В карточке также приведены оценки на тестах по пониманию языка, рассуждениям, математике и программированию. Как и другие большие языковые модели, XVERSE-13B может генерировать неточные, предвзятые или оскорбительные ответы. Для конкретного применения разработчикам рекомендуется проверять безопасность и качество ответов. В README указана более новая версия XVERSE-13B-2, обученная на большем объёме данных; описываемая здесь модель — исходная версия.

EngGPT2-16B-A3B — языковая модель компании Engineering Ingegneria Informatica S.p.A., обученная с нуля как открытая по весам, но проприетарно лицензируемая модель для европейских и итальянских сценариев. Она предназначена для диалогов, генерации текста, рассуждений, следования инструкциям, генерации кода и использования в инструментальных рабочих процессах. Карточка сообщает о конкурентных результатах на тестах знаний, математики, следования инструкциям и кода. Модель построена на архитектуре Transformer с разреженной смесью экспертов (MoE): около 16 млрд параметров всего и около 3 млрд активных при генерации. В ней 24 слоя, по 64 эксперта на слой, из которых для каждого токена активируются 8; также используются GQA, SwiGLU, RoPE и RMSNorm. Заявлена поддержка английского, итальянского, французского, немецкого, португальского и испанского языков; предусмотрены режимы без рассуждений, рассуждений на итальянском или английском и краткого turbo-рассуждения. Длина контекста в предоставленных данных не указана. Разработчик позиционирует модель как эффективную альтернативу плотным моделям сопоставимого масштаба для организаций и исследовательских задач; примерно четверть обучающих данных составлял итальянский язык. Модель требует Transformers версии 4.57.0 и загрузки пользовательской архитектуры через trust_remote_code=True. Лицензия указана как проприетарная, поэтому условия использования следует сверять с лицензией репозитория.

Fusion-14B-Instruct — объединённая языковая модель на архитектуре Qwen2, созданная автором репозитория с помощью mergekit. В основе объединения лежит Qwen/Qwen2.5-14B; также использованы arcee-ai/Virtuoso-Small и qingy2024/Qwen2.5-Math-14B-Instruct-Preview. Применён метод DARE TIES, веса сохранены в формате safetensors; размер модели — 14 млрд параметров. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, рассуждений и математических задач. Она поддерживает интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. В метаданных указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Лицензия в предоставленных данных не указана.

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.

unsloth/gemma-4-E2B-it-unsloth-bnb-4bit — 4-битно квантованная версия инструкционно настроенной модели Google Gemma 4 E2B, подготовленная Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентных сценариев и мультимодального понимания входных данных на локальных устройствах, включая ноутбуки и мобильные устройства. Модель использует плотную архитектуру Gemma 4 с 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоями, гибридным механизмом внимания и контекстом до 128 тысяч токенов. Она принимает текст, изображения и аудио и генерирует текст; поддерживается более 140 языков. Доступны настраиваемые режимы рассуждения, нативная поддержка системных инструкций и вызова функций. Квантование BNB в формате 4-bit снижает требования к памяти и облегчает локальный запуск, однако может уменьшать точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0. В README не приведены подробные результаты бенчмарков, требования к аппаратному обеспечению или количественная оценка влияния квантования на качество, поэтому её производительность в конкретных задачах требует практической проверки.

GlotLID — модель идентификации языка на базе fastText, разработанная командой cis-lmu. Актуальная версия V3 определяет язык текста среди 2102 меток, включая трёхбуквенные коды ISO с указанием письменности; доступны также предыдущие версии модели. Модель предназначена для автоматического определения языка коротких или длинных текстовых фрагментов, в том числе для маршрутизации текста по языковым обработчикам и предварительной разметки многоязычных корпусов. В метаданных указана задача text-classification, библиотека fastText и набор языковых тегов; README связывает разработку с исследованием EMNLP 2023 и датасетами GlotSparse, GlotStoryBook и glotlid-corpus. Модель выдаёт метку языка, а качество распознавания зависит от объёма и качества входного текста и покрытия конкретного языка в обучающих данных. Лицензия указана как other, поэтому перед использованием следует свериться с условиями репозитория.

GPT-3.5 Turbo 16k — вариант модели GPT-3.5 Turbo с увеличенным контекстным окном, разработанный OpenAI. Он предназначен для генерации текста и диалогов, в том числе для запросов, в которых нужно передать большой объём текста за один раз. По карточке модель обрабатывает примерно 20 страниц текста в одном запросе; использование обходится дороже, чем у стандартной версии GPT-3.5 Turbo.

RedHatAI/Llama-3.1-8B-Instruct — текстовая инструкционно настроенная модель Meta на архитектуре Llama 3.1, опубликованная Red Hat AI. Это авторегрессионный трансформер с 7,5 млрд параметров, использующий Grouped-Query Attention; карточка описывает настройку SFT и RLHF для диалоговых задач. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и оснащена интерфейсом для вызова инструментов. Модель предназначена для многоязычного общения в роли ассистента, ответов на запросы и генерации текста, в том числе в коммерческих и исследовательских сценариях. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Метаданные указывают на производность от meta-llama/Llama-3.1-8B-Instruct; основание этой связи с описанным в README инструкционным вариантом Meta не уточняется. Карточка сообщает о проверке на платформах Red Hat AI и описывает меры безопасности, но не приводит результаты бенчмарков именно этой копии. К ограничениям относятся возможные ошибки и риски небезопасных ответов, а также рекомендованная поддержка только перечисленных языков; интеграцию и защиту инструментов должен обеспечивать разработчик приложения. Лицензия — Llama 3.1 Community License с условиями допустимого использования.

Qwen2.5-3B-Instruct-GPTQ-Int8 — квантованная 8-битная версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Это авторегрессионная causal language model для генерации текста и диалоговых сценариев, включая ответы на инструкции, чат-ботов, работу со структурированными данными, а также задачи программирования и математики. Модель содержит около 3,09 млрд параметров, 36 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Применяется Grouped Query Attention с 16 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель работает с текстом и заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, формирование JSON, а также возможности в программировании и математике. 8-битная GPTQ-квантизация может снизить требования к памяти по сравнению с полноразмерной версией, однако README не приводит конкретных результатов оценки качества и производительности. Для использования рекомендуется актуальная версия библиотеки Transformers; модель распространяется по лицензии qwen-research, обозначенной как other.

Qwen2-7B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2, разработанная командой Qwen. Это вариант Qwen2-7B-Instruct, представленный в формате GGUF для локального запуска и инференса с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, работу с инструкциями, понимание и создание текста, программирование, математику, рассуждения и многоязычные задачи. Модель содержит 7 миллиардов параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями QKV в механизме внимания и group query attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны версия fp16 и квантизованные варианты GGUF: q5_0, q5_k_m, q6_k и q8_0. Точная длина контекста и полный список поддерживаемых языков в README не указаны. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся инструкционная настройка, пригодность для локального развёртывания, совместимость с llama.cpp и возможность выбирать между несколькими уровнями квантизации, балансируя качество и требования к ресурсам. Ограничения включают зависимость производительности и качества от выбранного формата GGUF и аппаратной конфигурации, а также отсутствие в предоставленных данных подробных результатов по прикладным задачам и информации о безопасностных ограничениях. Лицензия — Apache-2.0.

QuantTrio/Qwen3.5-35B-A3B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий QuantTrio содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантизация выполнена методом data-free, без калибровочного датасета. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и анализа изображений с текстовыми запросами. Модель представляет собой causal language model с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35B параметров, из которых при обработке активируется около 3B; указаны 40 слоёв, hidden dimension 2048 и контекст до 32768 токенов в рекомендуемой конфигурации vLLM. Поддерживаются 201 язык и диалект. Доступны вызовы инструментов, reasoning-режим и speculative decoding через соответствующие возможности vLLM. Ключевые преимущества — существенно меньшие требования к памяти по сравнению с полной версией модели, эффективный MoE-инференс и поддержка текстово-визуальных задач. Ограничения включают зависимость от очень новых версий vLLM и Transformers, CUDA 12.8, специальных параметров запуска и настройки expert parallelism при распределённом инференсе; README не содержит независимых результатов бенчмарков для этой AWQ-версии. Модель распространяется по лицензии Apache-2.0.

ZuzeTt/Qwen3.5-4B-imatrix-GGUF — мультимодальная causal language model с vision encoder из семейства Qwen3.5, разработанная командой Qwen. Модель основана на Qwen/Qwen3.5-4B-Base и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet и разреженной Mixture-of-Experts с механизмом Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Репозиторий содержит артефакты в формате GGUF, полученные с использованием llama.cpp; README также указывает совместимость исходной модели с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большое контекстное окно, компактный размер и архитектурная оптимизация для производительного инференса. Ограничения конкретной imatrix-квантизации, включая точность, требования к памяти и поддерживаемые варианты квантования, в README подробно не указаны. Лицензия — Apache 2.0.

Mungert/Qwen3.5-9B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, опубликованная Mungert и основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для генерации и понимания текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она совместима с llama.cpp и экосистемой инструментов, поддерживающих формат GGUF. Модель содержит около 9 млрд параметров и объединяет языковую модель с vision encoder. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; языковая часть включает 32 слоя, скрытую размерность 4096 и промежуточную размерность feed-forward-блоков 12288. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Особенность этой сборки — модифицированная квантизация GGUF: для отдельных важных слоёв вручную повышается точность сверх стандартной конфигурации IMatrix. Это увеличивает размер файла, но, по заявлению автора, может улучшать точность при низкой разрядности, особенно для моделей с MoE. Конкретные результаты тестирования данной сборки и доступные варианты квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

Riyan200324200324/Qwen3.8-27B — это GGUF-версия модели Qwen3.8-27B, основанная на Qwen/Qwen3.8-27B и модифицированная HauhauCS в профиле Aggressive. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Aggressive-профиль ориентирован на прямые ответы без выраженного отказного поведения и с минимальным вступлением на сложных запросах; при этом README предупреждает, что для критически важных задач с длинным контекстом более сбалансированный профиль может быть надёжнее. Это плотная причинная языковая модель на 27 млрд параметров с отдельным vision-проектором BF16 для мультимодального ввода. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенный MTP/NextN и дополнительный профиль ускорения HauhauCS FastMTP 32K. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Заявлены английский, китайский и мультиязычный режимы. Сильные стороны модели — широкий набор текстовых и мультимодальных возможностей, большой контекст, варианты GGUF-квантизации от Q2 до Q8 и ускорение FastMTP. Ограничения включают зависимость мультимодального режима от отдельного vision-проектора, возможное снижение качества при агрессивной квантизации и менее осторожное поведение из-за uncensored-профиля. Модель распространяется по лицензии Apache-2.0.

T5Gemma 2 1B-1B — мультимодальная модель Google с открытыми весами, построенная на основе Gemma 3. Это предварительно обученная модель типа encoder-decoder: в репозитории представлены энкодер и декодер примерно по 1 млрд параметров, адаптированные с использованием UL2. Модель принимает текст и изображения и генерирует текст; заявлено окно контекста до 128 тысяч токенов и поддержка более 140 языков. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и анализ документов. Её сравнительно небольшой размер позволяет запускать её на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. В архитектуре используются общие эмбеддинги слов для энкодера и декодера, а также объединённые self-attention и cross-attention декодера. Модель может ошибаться в фактах, испытывать трудности со сложными или неоднозначными запросами и отражать предвзятость обучающих данных. Лицензия — Gemma; разработчики приложений отвечают за безопасность модели и её результатов.

LGAI-EXAONE/EXAONE-4.5-33B-AWQ — квантованная версия мультимодальной модели EXAONE 4.5, разработанной LG AI Research. Модель объединяет причинную языковую модель и визуальный энкодер и предназначена для работы с текстом и изображениями, включая понимание документов, визуально-языковые задачи, рассуждения и обработку контекста на корейском языке. Поддерживаются английский, корейский, испанский, немецкий, японский и вьетнамский языки. Модель имеет 33 млрд параметров: 31,7 млрд приходится на языковую часть и 1,29 млрд — на визуальный энкодер. Используется плотная архитектура с 64 основными слоями и одним MTP-слоем, гибридным вниманием, включающим локальное Sliding Window Attention и глобальное внимание. Размер контекста составляет 262 144 токена, отсечка знаний — декабрь 2024 года. Версия AWQ применяет 4-битное группажное квантование весов W4A16g128, что снижает требования к памяти, но может уменьшать точность по сравнению с исходной моделью. Сильными сторонами заявлены конкурентные результаты на общих бенчмарках, превосходство сопоставимых по размеру моделей в понимании документов и корейском контекстном рассуждении, а также поддержка изображений. Ограничения включают возможные потери качества из-за квантования, ограниченность знаний датой отсечки и отсутствие в README подробностей о требованиях к оборудованию, производительности и безопасном применении. Лицензия указана как exaone; дополнительные условия следует уточнять в файле LICENSE.

unsloth/gemma-3-4b-it-unsloth-bnb-4bit — 4B-параметричная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind и представленная в 4-битном формате BNB благодаря Unsloth. Модель основана на google/gemma-3-4b-it и предназначена для запуска и дообучения с использованием библиотеки Transformers, в том числе на устройствах с ограниченными ресурсами. Модель поддерживает мультимодальный ввод: текст и изображения, при этом генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Заявлены контекст до 128K токенов для версии 4B и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, однако в метаданных этой конкретной карточки явно указан английский язык. Ключевое преимущество — уменьшенный размер и 4-битное квантование, упрощающие локальное развертывание и снижающие требования к памяти; Unsloth также заявляет о selectively quantized Dynamic Quants с улучшенной точностью по сравнению со стандартным 4-битным квантованием. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в представленном README подробных данных о точной архитектуре, показателях качества и поддерживаемом наборе языков именно для этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Huozi 3.0 — большая языковая модель, разработанная Центром социального вычисления и информационного поиска Харбинского технологического института (HIT-SCIR). Это дообученная для следования инструкциям версия Chinese-Mixtral-8x7B с архитектурой разреженной смеси экспертов Mixtral (MoE): в README указано 46,7 млрд параметров, из которых при генерации активируются около 13 млрд. Модель поддерживает контекст до 32 768 токенов и принимает текст, выдавая текст. Модель предназначена для диалогов и выполнения инструкций на китайском и английском языках. В карточке заявлены возможности рассуждать над математическими задачами, генерировать код, работать с длинными текстами и давать более безопасные ответы; поддерживаются сценарии развёртывания через Transformers, vLLM и OpenAI-совместимый API. В метаданных репозитория указано 7,2 млрд параметров, что расходится с описанием полного MoE-чекпойнта в README. Репозиторий содержит веса в формате safetensors. В README для исходного кода указана лицензия Apache 2.0; коммерческое использование модели требует регистрации и письменного разрешения правообладателя. Модель может выдавать фактически ошибочные, предвзятые или вредоносные ответы, поэтому результаты следует проверять.

Карточка модели meta-llama/Llama-3.1-405B-Instruct-FP8 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-405B, поэтому описание составлено по ней. Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

MaziyarPanahi/Mistral-Large-Instruct-2411-GGUF — это набор файлов модели в формате GGUF для Mistral-Large-Instruct-2411, разработанной компанией mistralai и преобразованной в GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сервисах, совместимых с GGUF. Формат GGUF поддерживается llama.cpp и рядом библиотек и интерфейсов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и ctransformers. Это позволяет запускать модель локально, в том числе с аппаратным ускорением и через OpenAI-совместимые серверы, в зависимости от выбранного инструмента. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Сведения об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, точных характеристиках вариантов квантования и лицензии в README не указаны. Поэтому пригодность конкретного варианта для определённых задач и аппаратной конфигурации следует оценивать отдельно.

Sci-fi-vy/Mistral-Small-3.2-24B-Instruct-2506-GGUF — это GGUF-версия инструкционной мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506. Базовую модель разработала Mistral AI, а данный репозиторий предоставляет её представление GGUF с исправленным chat template. Модель предназначена для диалогов, следования инструкциям, генерации текста и кода, обработки изображений, а также вызова функций и инструментов. Модель содержит около 24 млрд параметров и поддерживает контекст до 128K токенов. Она рассчитана на работу с текстом и изображениями и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к бесконечным и повторяющимся генерациям и вызов функций. В README также приведены результаты тестов по диалоговым задачам, STEM, программированию и анализу изображений; однако показатели немного различаются в зависимости от бенчмарка. Формат GGUF удобен для локального запуска через llama.cpp и Ollama; также исходная модель поддерживает vLLM и Transformers. Для работы рекомендуется низкая температура около 0,15, а для llama.cpp требуется включить Jinja-шаблоны. Ограничениями являются значительные требования к ресурсам для полной версии и возможные потери качества, зависящие от выбранной квантизации; README не указывает точные параметры всех доступных вариантов GGUF. Модель распространяется по лицензии Apache-2.0.

MyAwesomeModel — модель из репозитория liufeftwer145, распространяемая через Hugging Face и предназначенная для извлечения признаков; в метаданных указаны библиотека Transformers, PyTorch и тег BERT. README описывает обновлённую версию модели с улучшенными способностями к рассуждению и выводу, а также применением алгоритмической оптимизации на этапе post-training. Модель заявлена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и текста, суммаризации, перевода, диалогов, поиска знаний и следования инструкциям. README также упоминает поддержку системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска, а также доступ через чат-интерфейс и API. В README приведены результаты внутренних или заявленных benchmark-оценок по нескольким категориям, включая математику, программирование и общую логику; для AIME 2025 указано повышение точности с 70% до 87,5% по сравнению с предыдущей версией. Рекомендуемая температура составляет 0,6. Модель распространяется по лицензии MIT.

Param2-17B-A2.4B-Thinking — мультиязычная языковая модель BharatGen на архитектуре Mixture-of-Experts. В README заявлено 17 млрд параметров всего и 2,4 млрд активных на токен, а в метаданных Hugging Face указано 1,7 млрд параметров; поэтому размер модели в каталоге расходится между источниками. Модель использует 64 специализированных эксперта и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов на английском, хинди и 21 индийском языке. Заявлены рассуждения, математика, генерация кода и вызов инструментов; модель можно применять для длинных многоязычных запросов, структурированных ответов и последующей тонкой настройки. В метаданных подтверждены библиотека Transformers, формат safetensors и чат-возможность. README рекомендует детерминированное декодирование для стабильных ответов и указывает требование Transformers 4.52.3. Сведения о лицензии в предоставленных данных отсутствуют.

Phi-4-mini-instruct-GGUF — квантизированная GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового применения, включая задачи обработки естественного языка и работы с кодом. Она распространяется в нескольких вариантах квантизации для запуска с llama.cpp и LlamaEdge. Модель работает с текстовой модальностью, поддерживает контекст размером до 128 000 токенов и заявлена как многоязычная. В README перечислена поддержка арабского, китайского, чешского, датского, нидерландского, английского, финского, французского, немецкого, иврита, венгерского, итальянского, японского, корейского, норвежского, польского, португальского, русского, испанского, шведского, тайского, турецкого и украинского языков. Размер исходной модели и сведения об архитектуре в README не указаны. Основное преимущество представленной версии — выбор между несколькими уровнями квантизации с размером файлов от 1,68 до 7,68 ГБ, что позволяет адаптировать модель к доступной памяти и требованиям к качеству. Варианты с низкой разрядностью экономичнее, но могут заметно снижать качество; наиболее сбалансированными в README названы Q4_K_M, Q5_K_M и Q5_K_S. Для использования требуется совместимый рантайм и шаблон prompt типа phi-4-chat. Модель распространяется по лицензии MIT.

Qwen1.5-4B-Chat-GPTQ-Int4 — диалоговая языковая модель серии Qwen1.5, разработанная командой Qwen. Это decoder-only модель на архитектуре Transformer, предназначенная для генерации текста и взаимодействия в формате чата: ответов на вопросы, ведения диалога, подготовки текстов и других задач обработки естественного языка. Модель содержит около 4 миллиардов параметров и представлена в формате GPTQ с 4-битным квантованием Int4, что снижает требования к памяти при запуске. Она поддерживает текстовую модальность, многоязычную работу и контекст до 32K токенов. В архитектуре заявлены активация SwiGLU, смещения в QKV-внимании и улучшенный токенизатор, адаптированный к естественным языкам и программному коду. Модель была предварительно обучена на большом объёме данных, а затем дообучена с использованием supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактный размер, удобный для локального развертывания квантованный формат, чатовая настройка и поддержка длинного контекста. Ограничения включают статус beta-версии, возможные проблемы при переключении между языками и отсутствие в описании данных о гарантированной точности, безопасности или поддерживаемых языках, кроме заявленной многоязычности. Указана лицензия Tongyi Qianwen Research; подробные условия приведены в файле лицензии репозитория.

QuantFactory/Qwen2.5-3B-Instruct-GGUF — квантизированная версия модели Qwen2.5-3B-Instruct, созданная QuantFactory с использованием llama.cpp на основе Qwen/Qwen2.5-3B-Instruct. Это каузальная языковая модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, написание длинных текстов, работу со структурированными данными и генерацию JSON. Она также ориентирована на задачи программирования и математики. Модель содержит 3,09 млрд параметров, имеет 36 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Используется Grouped-Query Attention: 16 голов для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Квантизация в формате GGUF предназначена для локального запуска через совместимое программное обеспечение на базе llama.cpp и может снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью. README не содержит сведений о конкретном уровне квантизации, точных требованиях к памяти, производительности или ограничениях качества, поэтому их нельзя определить по предоставленным данным. Модель распространяется по лицензии qwen-research; указанная лицензия доступна по ссылке на исходную модель Qwen/Qwen2.5-3B-Instruct.

ibrahimkettaneh/Qwen2.5-72B-Instruct-abliterated-AWQ — производная версия Qwen2.5-72B-Instruct, опубликованная пользователем Ibrahim Kettaneh на Hugging Face. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий содержит веса в формате Safetensors, квантизированные методом AWQ до 4 бит, и предназначен для локального запуска текстовой генерации и диалоговых приложений на совместимом оборудовании. Отдельная карточка модели для этого производного репозитория отсутствует, поэтому сведения о специфических изменениях, внесённых в вариант «abliterated», не задокументированы надёжно. Архитектурно это causal language model семейства Qwen2.5 с примерно 72,7 млрд параметров, 80 слоями, RoPE, SwiGLU, RMSNorm и grouped-query attention: 64 головы для Q и 8 для KV. Исходная instruction-tuned модель поддерживает генерацию текста, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский. Полный контекст составляет до 131 072 токенов, а рекомендуемая длина генерации — до 8192 токенов; для очень длинного контекста требуется настройка YaRN. К сильным сторонам относятся большой масштаб, развитые способности к рассуждению, коду и обработке длинного контекста, а 4-битная AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами. Ограничения — высокая вычислительная требовательность даже после квантизации, возможное снижение качества из-за квантизации и отсутствие надёжно опубликованных оценок именно этого варианта. На странице производного репозитория отдельная лицензия не указана; у исходной Qwen2.5-72B-Instruct указана лицензия Qwen, поэтому условия использования следует проверять по лицензии исходной модели и файлам конкретного репозитория.