I.11Классификация, ранжирование и сопоставление

unsloth/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit — 4-битная версия модели Qwen3-VL-2B-Instruct, опубликованная Unsloth и основанная на модели Qwen. Это мультимодальная instruct-модель для понимания и генерации текста по изображениям, а также для работы с визуальными и текстовыми данными. Она предназначена для описания изображений, визуального рассуждения, анализа документов и видео, OCR, решения STEM- и математических задач, генерации HTML/CSS/JS и Draw.io по визуальным примерам, а также взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру и размер 2B параметров; поддерживает текст и изображения, а заявленные возможности включают обработку видео и пространственное рассуждение. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных позиционных представлений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — сочетание текстового и визуального понимания, работа с длинным контекстом, видео, пространственными отношениями и документами, а также сниженные требования к памяти благодаря 4-битному квантованию. Ограничения, результаты тестов и точные требования к оборудованию в README не описаны; квантование может влиять на точность по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

FuriosaAI публикует эту сборку Qwen3-VL-32B-Thinking вместе с пакетом Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Это плотная мультимодальная модель с 32 млрд параметров: она сочетает визуальный энкодер и трансформерный декодер, использует Interleaved-MRoPE и слияние признаков DeepStack. Квантизация не применялась; веса сохраняют точность исходной модели Qwen/Qwen3-VL-32B-Thinking. Модель принимает изображения и текст, а отвечает текстом. Она предназначена для распознавания текста на изображениях, анализа документов и диаграмм, пространственных рассуждений и понимания видео. Версия Thinking формирует рассуждение перед итоговым ответом; также поддерживается вызов инструментов. README описывает запуск через Furiosa-LLM на RNGD, а также совместимость с vLLM, SGLang и Transformers. Модель выпущена под лицензией Apache 2.0. Для запуска на RNGD требуется конфигурация с 32 PE, распределёнными по четырём картам RNGD; отдельные ограничения качества в предоставленных материалах не описаны.

cyankiwi/Qwen3-VL-4B-Instruct-AWQ-4bit — квантованная 4-битная версия мультимодальной инструкционной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Модель предназначена для задач, где требуется совместное понимание текста и изображений, включая описание и анализ изображений, визуальное рассуждение, распознавание текста, работу с документами, анализ видео, пространственное понимание, генерацию кода и взаимодействие с графическими интерфейсами через визуального агента. Модель использует плотную архитектуру и относится к классу vision-language моделей; заявленный размер базовой модели — 4 млрд параметров. Поддерживаются текстовые и визуальные входы, включая изображения и видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для моделирования временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Заявлена нативная длина контекста 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — расширенное понимание изображений и видео, пространственное и мультимодальное рассуждение, OCR в сложных условиях, обработка длинных документов и видеоматериалов, а также сценарии визуального программирования и управления интерфейсами. Ограничения, конкретные показатели производительности и требования к аппаратному обеспечению для данной AWQ-версии в README не указаны; 4-битное квантование может влиять на точность по сравнению с полной точностью. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Thinking-1M-GGUF — мультимодальная vision-language модель в формате GGUF, подготовленная Unsloth на базе Qwen/Qwen3-VL-4B-Thinking. Это reasoning-ориентированная версия семейства Qwen3-VL с плотной архитектурой и примерно 4 млрд параметров, предназначенная для локального и эффективного развёртывания, в том числе через llama.cpp с использованием шаблонов чата Jinja. Модель принимает текст и изображения, а также ориентирована на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, распознавания и анализа изображений, OCR, понимания документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Заявлены улучшенные возможности визуального распознавания, анализа временной структуры видео и работы с длинным контекстом: базовый контекст составляет 256K токенов с возможностью расширения до 1M. Ключевые архитектурные особенности включают Interleaved-MRoPE для пространственно-временного позиционного кодирования, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками для анализа событий в видео. Заявлена поддержка OCR на 32 языках, однако полный список языков модели в карточке не приведён. Сильными сторонами являются сочетание текстового и визуального рассуждения, работа с длинными документами и видео, пространственное понимание и сценарии visual agent. Ограничения включают зависимость качества от используемой квантизации GGUF, вычислительных ресурсов и совместимости программного окружения; конкретные параметры квантизации и результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

RQwen-v0.1 — диалоговая языковая модель, разработанная ehristoforu и дообученная методом SFT на базе Qwen/Qwen2.5-14B-Instruct с использованием Unsloth и Transformers. Она предназначена для генерации текста и общения в формате ChatML на английском и русском языках. Модель имеет плотную архитектуру Qwen2, 14 млрд параметров и контекстное окно длиной 32 768 токенов. В карточке отмечены reflection tuning, работа с логикой и длинным контекстом, а метаданные указывают поддержку следования инструкциям и интерфейса вызова инструментов. Для модели заявлена лицензия Apache-2.0.

CultriX/SeQwence-14Bv3 — объединённая модель семейства Qwen2, созданная CultriX методом DARE TIES с помощью mergekit. В качестве основы использована CultriX/SeQwence-14Bv1, также в объединение вошли CultriX/SeQwence-14Bv2 и CultriX/Qwestion-14B. Модель предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Она содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов. В карточке приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH. Модель принимает текст и генерирует текст. Языковая поддержка отдельно не перечислена. Репозиторий содержит веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Swift-Qwen3.8-27B-GGUF — квантованная версия reasoning-эффективной производной модели Qwen3.8-27B, разработанная компанией UkisAI. Модель предназначена для задач рассуждения, включая общие вопросы, математику, следование инструкциям и программирование, где важны качество ответов и скорость генерации. По данным README, модель распространяется в формате GGUF и предназначена для использования с llama.cpp. Она сохраняет производительность, близкую к базовой Qwen3.8-27B: заявлено снижение качества менее чем на 1% при сокращении числа thinking-токенов в среднем на 58,3% и ускорении до 1,95 раза на ряде задач. В опубликованных тестах результаты Swift близки к базовой модели на GPQA-Diamond, MMLU-Pro, C-Eval, IFBench и математических бенчмарках, однако на некоторых из них качество ниже. Модель подходит для локального запуска и приложений, которым требуется эффективное рассуждение при ограниченных вычислительных ресурсах. Сведения о поддерживаемых языках, размере контекста и точном методе квантования в представленном README не указаны, поэтому эти характеристики нельзя определить достоверно. Модель распространяется по лицензии swift-open-license-1.0; README также содержит ссылку на условия доступа и enterprise-лицензирования.

Trillion-7B-preview — предварительная версия языковой модели, представленная командой TrillionLabs. Это плотная авторегрессионная модель семейства Llama с архитектурой Transformer Decoder, RoPE, SwiGLU и RMSNorm; в README указано 7,76 млрд параметров, 32 слоя и контекст 4096 токенов. Модель прошла предварительное обучение и последующее обучение для диалогов и выполнения инструкций. Модель предназначена для генерации текста, общения, ответов на вопросы, рассуждений и помощи с кодом. Разработчики заявляют поддержку английского, корейского, японского и китайского языков и отмечают особенно сильные результаты на корейских тестах. В опубликованных оценках модель показывает конкурентные результаты, однако качество зависит от задачи и языка. Это предварительный выпуск без комплексных механизмов безопасности; сведения модели ограничены данными до августа 2023 года, а для языков помимо английского, корейского, японского и китайского возможно снижение качества. Лицензия репозитория — Apache-2.0.

Sakalti разработал ultiima-32B-v1.5 — объединённую языковую модель на архитектуре Qwen2 с 32 млрд параметров. Она создана методом TIES с помощью mergekit: в качестве основы использована Qwen/Qwen2.5-32B, объединённая с Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Она работает с текстом и поддерживает контекст до 131 072 токенов. Модель подходит для создания чат-ботов, подготовки текстовых ответов и запросов к инструментам в приложениях. В репозитории веса представлены в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

Vikhr-7B-instruct_0.4 — русскоязычная инструкционная чат-модель семейства Vikhr, разработанного Александром Николичем, Константином Королёвым и Артёмом Шелмановым. Это плотная causal language model на архитектуре семейства Llama с классом MistralForCausalLM и 7,3 млрд параметров; модель распространяется в формате Safetensors и рассчитана на контекст до 32 768 токенов. Версия 0.4 продолжает релиз 0.3–0.4: авторы увеличили объём данных SFT, чтобы улучшить стабильность работы с JSON, многоходовыми диалогами, длинным контекстом и сложными запросами. Модель предназначена для генерации текста и диалогового взаимодействия на русском и английском языках. Для практического применения доступны материалы для Google Colab и упоминание GGUF. Известные ограничения и условия лицензирования в предоставленной карточке не описаны.

airoboros-c34b-2.2 — экспериментальная инструкционная языковая модель, разработанная Jon Durbin и дообученная на преимущественно синтетических данных набора airoboros-2.2. Это плотная модель семейства LLaMA с 33,5 млрд параметров, рассчитанная на генерацию текста и следующие инструкции; заявленная длина контекста — 16 384 токена. Карточка описывает формат диалога с отдельными строками USER и ASSISTANT и рекомендует останавливать генерацию при начале следующей реплики USER. Модель ориентирована на ответы по предоставленному контексту, выполнение инструкций, викторины и вопросы с вариантами ответа, генерацию кода и планов для сценариев с инструментами. Она также умеет формировать JSON или YAML для запросов, похожих на вызов функций, но сама по себе не вызывает инструменты. Автор отмечает, что модель может следовать системным инструкциям, однако их можно переопределить; контекстное обучение призвано ограничивать ответы источником, но не гарантирует отсутствия галлюцинаций. Для весов указана лицензия Llama 2. Карточка называет модель экспериментальной и описывает обучение на синтетических данных; отдельные языки и специализированная предметная область не заявлены.

Apertus-70B-2509 — большая языковая модель семейства Apertus, разработанная Swiss AI Initiative. Это плотный авторегрессионный трансформер с 97,7 млрд параметров по метаданным репозитория; в карточке семейство описано как модель на 70 млрд параметров. Модель обучена с нуля на 15 трлн токенов, а затем прошла supervised fine-tuning и выравнивание QRPO. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста, многоязычных запросов и работы с длинным контекстом до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков и возможность использования инструментов; модель рассчитана на запуск через Transformers, vLLM, SGLang и MLX. Разработчики также описывают её как полностью открытую и обученную на данных с соблюдением требований согласия и отказа от использования. Модель подходит для диалоговых и агентных сценариев, ответов на вопросы, создания и продолжения текста, а также задач на разных языках. Генерируемый текст может содержать фактические ошибки, логические несоответствия и предвзятость; встроенного фильтра персональных данных нет, поэтому важную информацию нужно проверять, а защиту от вывода персональных данных организовывать отдельно.

Apertus-v1.5-70B-FP8 — квантованный чекпойнт мультимодальной модели Apertus 1.5 70B, разработанной Swiss AI и опубликованной onprem-ai. Модель предназначена для генерации и обработки текста, а также работы с изображениями и аудио; поддержка мультимодальных возможностей исходной модели сохранена. В README языки и точное устройство базовой архитектуры не указаны. Веса сжаты методом FP8_DYNAMIC для линейных проекций, тогда как lm_head, эмбеддинги, vision tokenizer и audio tokenizer остаются в BF16. Размер чекпойнта составляет около 71 GiB против 135 GiB у исходной BF16-версии, при этом на тесте MMLU заявлена отсутствие измеримой потери качества. На видеокарте с 96 GiB памяти после загрузки весов остаётся примерно 14 GiB под KV-кэш, что позволяет получить около 60 тысяч токенов контекста при использовании FP8 KV-кэша; это оценка для конкретного сценария развертывания, а не явно указанное максимальное окно контекста. Модель подходит для локального и серверного инференса, включая мультимодальные приложения, вызов инструментов и задачи рассуждения при наличии соответствующей поддержки. Основные преимущества — высокое сохранение качества исходной модели, почти двукратное сокращение занимаемой памяти и сохранённые возможности работы с изображениями и аудио. Ограничения включают требование vLLM с поддержкой архитектуры Apertus 1.5, несовместимость с SGLang для compressed-tensors, а также необходимость примерно 96 GiB GPU-памяти для полноценного мультимодального запуска; для текстового инференса с коротким контекстом может подойти карта на 80 GiB. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и jondurbin/bagel-dpo-7b-v0.1. Веса объединены методом SLERP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Обучающие данные включают наборы для вопросов и ответов, рассуждений, математики, кода и диалогов, поэтому модель подходит для широкого спектра текстовых запросов. Указана лицензия Apache-2.0.

bagel-dpo-8x7b-v0.2-GGUF — это квантизированная версия текстовой генеративной модели bagel-dpo-8x7b-v0.2, разработанной jondurbin и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b4222 и метода imatrix. Модель распространяется для локального запуска, в частности через LM Studio. Модель предназначена для генерации текста в формате инструкций и диалогов, а также может применяться к широкому кругу задач: ответам на вопросы, рассуждениям, программированию, работе с естественным языком, математике, извлечению и пониманию информации и ролевым сценариям. В обучении или дообучении использовался широкий набор датасетов, включая MMLU, ARC, BoolQ, DROP, Spider, SQuAD, MathInstruct, CodeParrot и наборы диалогов и preference-данных DPO. Доступны варианты квантизации от Q2_K и Q3 до Q8_0 с размером файлов примерно от 17,44 до 49,63 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Модель работает с текстом; сведения о поддерживаемых языках, размере контекста и точной архитектуре в README не указаны. Ограничения включают возможное снижение качества в компактных вариантах квантизации и высокие требования к памяти. Лицензия — Apache-2.0.

Citaman/command-r-16-layer — текстовая генеративная модель, созданная Citaman с помощью mergekit. В README описано объединение SLERP весов Citaman/command-r-17-layer, а конфигурация использует срезы слоёв 0–16 и 1–17; метаданные каталога классифицируют модель как дообучение указанной базовой модели. Модель основана на плотной архитектуре CohereForCausalLM и содержит 15,3 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и выдаёт текст. Контекстное окно составляет 8192 токена. Репозиторий распространяет веса в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

Dirk-Qwen3.8-27B-MLX-oQ4e — это квантизированная версия базовой модели Qwen3.8-27B от Qwen, подготовленная peculiar-ragdoll для запуска на Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Модель предназначена для текстовых и визуальных запросов, генерации ответов, анализа изображений, агентного программирования и других сценариев, где важны скорость, компактность и экономное использование токенов. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживает английский и китайский языки, сохраняет vision tower и MTP head для multi-token-prediction и speculative decoding. Используется смешанная imatrix-калиброванная квантизация oQ4e примерно 4,9 bpw; размер модели составляет около 15,8 ГБ, что позволяет запускать её на Mac с 24 ГБ памяти с запасом под контекст. Заявлено окно контекста до 262 144 токенов при использовании соответствующей настройки runtime. В комплект включён Sharp chat template v22.5.0 с компактным стилем ответов и управляемым уровнем reasoning_effort от low до xhigh; по умолчанию используется medium. Сильные стороны модели — поддержка изображений без отдельного projector-файла, возможность ускорения генерации с помощью MTP, компактные ответы и адаптация под локальный запуск на Apple Silicon. Ограничения связаны с потерями точности, характерными для квантизации, зависимостью от совместимого vision loader и runtime, а также с тем, что заявленные собственные benchmark-результаты ещё находятся в процессе измерения. Для корректной работы рекомендуется mlx-vlm версии 0.6.3 или новее; mlx-lm использовать не следует. Модель распространяется по лицензии Apache-2.0.

ELYZA-Thinking-1.0-llm-jp-4-33b — языковая модель с рассуждениями, разработанная ELYZA, Inc. на основе llm-jp/llm-jp-4-33b-base. Это плотная авторегрессионная модель семейства Llama с 32,2 млрд параметров и контекстом 65 536 токенов; веса доступны в формате safetensors, лицензия — Apache 2.0. Модель предназначена прежде всего для японского рассуждения и следования инструкциям, включая задачи по математике, программированию, STEM, японским знаниям и работе с инструментами. ELYZA провела промежуточное обучение, дообучение на инструкциях и обучение с подкреплением на проверяемых задачах, добавляя японские данные и сохраняя англоязычные материалы. Поддерживаются японский и английский языки. Модель подходит для диалоговых приложений, решения сложных задач и сценариев с вызовом инструментов. README отмечает ограничение формата Harmony: параллельные вызовы инструментов не поддерживаются. Для работы с моделью описаны варианты запуска через vLLM и Transformers.

Kanana-2-1.3B-Instruct — компактная языковая модель Kakao для диалогов и выполнения инструкций. Это плотная авторегрессионная модель примерно с 1 млрд параметров, полученная из Kanana-2-3B с помощью каскадного pruning и дистилляции, а затем настроенная для следования инструкциям. Модель использует гибридное внимание: три слоя Sliding Window Attention на каждый слой полного внимания; размер окна — 1024 токена. Поддерживает контекст до 32 768 токенов и снижает расход памяти KV-кэша при длинном контексте. Модель рассчитана на компактное развёртывание, в том числе на устройствах с ограниченными ресурсами. Она предназначена для общения и генерации текста по инструкциям; в карточке серии также описаны оценки для задач работы с инструментами, кода, математики и знаний. Токенизатор повышает эффективность обработки корейского языка по сравнению с предыдущим поколением Kanana. Для запуска доступны Transformers с пользовательским кодом архитектуры, vLLM и SGLang с настройкой из репозитория. Лицензия в метаданных указана как other; конкретные условия следует сверить с файлами лицензии репозитория. Для SGLang карточка рекомендует версию 0.5.1 и предупреждает о снижении точности и скорости при использовании backend flashinfer.

KRONOS-8B-V3 — языковая модель, созданная командой T145 слиянием нескольких предварительно обученных моделей методом TIES в mergekit; базой слияния служит unsloth/Meta-Llama-3.1-8B. В состав также вошли mukaj/Llama-3.1-Hawkish-8B, KRONOS-8B-V1-P1, KRONOS-8B-V1-P3 и Meta-Llama-3.1-8B-Instruct. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов, а также имеет интерфейс для вызова инструментов. Поддерживает контекст до 131 072 токенов. В карточке приведены результаты оценок на IFEval и BBH, но сведений о поддерживаемых естественных языках и лицензии нет. Доступные веса размещены в формате safetensors.

Jongbin-kr/llama-3.1-8b-instruct-4x1-moe-switch-top1 — диалоговая языковая модель на архитектуре Llama 3.1, разработанная Jongbin. Она предназначена для генерации текста и общения по инструкциям; среди сценариев — ответы на вопросы, помощь в написании текстов и использование интерфейса вызова инструментов. Модель построена на базе meta-llama/Llama-3.1-8B-Instruct и содержит около 7,5 млрд параметров. В каждом слое Transformer используются четыре клонированных FFN-эксперта, а маршрутизатор выбирает одного эксперта для каждого токена. В отличие от варианта с нормализованным коэффициентом гейта, выбранный эксперт сохраняет исходную вероятность softmax. При обучении использованы коэффициент балансировки нагрузки 0,01 и z-loss маршрутизатора 0,001. Контекст — до 131 072 токенов; модель работает через Transformers, веса доступны в формате safetensors. Модель унаследовала многоязычные возможности базовой Llama 3.1 8B Instruct, однако README не перечисляет конкретные поддерживаемые языки. Для загрузки требуется trust_remote_code=True. Лицензия — llama3.1; применяются условия лицензии Llama 3.1 от Meta.

Llama-3_1-Nemotron-51B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Llama-3.1 Nemotron 51B-Instruct от NVIDIA, подготовленная пользователем ymcki. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указан английский язык. Для общения используется шаблон с ролями System, User и Assistant. Модель содержит около 51 млрд параметров и поддерживает запуск через llama.cpp. Доступны варианты квантизации Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, IQ4_XS, Q4_0, IQ3_M, IQ3_S, IQ3_XXS и Q3_K_S с размером файлов примерно от 20,19 до 42,26 ГБ. Более точные варианты обеспечивают качество, близкое к исходной модели, но требуют больше памяти; менее точные подходят для оборудования с ограниченным объёмом памяти, однако сильнее уступают по показателям perplexity и могут работать медленнее на CPU и Apple Silicon. Для полноценной работы требуется версия llama.cpp начиная с b4380 с поддержкой переменного Grouped Query Attention для DeciLMForCausalLM. При самостоятельной конвертации следует учитывать проблему старого конвертера с параметром rope_theta: без исправления модель может некорректно работать с запросами длиннее 4 тысяч токенов. Модель распространяется по лицензии NVIDIA Open Model License Agreement; точные условия определяются текстом этой лицензии.

Llama-3-70B-Instruct-Gradient-262k — это дообученная Gradient версия Meta Llama 3 70B Instruct, разработанная Gradient при поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговой генерации текста и обработки очень длинных входных последовательностей: README сообщает о расширении контекста исходной модели с 8 тысяч до более чем 262 тысяч токенов за счёт настройки RoPE theta и обучения на дополнительных данных. В метаданных указаны архитектура LlamaForCausalLM, 69,5 млрд параметров и контекст 262 144 токена. Модель подходит для диалоговых помощников, анализа длинных документов и сценариев, где нужно учитывать большой объём контекста за один запрос. Карточка описывает англоязычный вариант; поддержка других языков не подтверждена. Для запуска предлагаются Transformers или TGI, а веса опубликованы в формате safetensors. Использование регулируется лицензией Llama 3; перед развёртыванием следует учитывать её условия и проверять ответы модели, поскольку возможны ошибки и остаточные риски безопасности.

Llama-4-Scout-17B-16E-Instruct-GGUF — квантизированная версия инструкционной модели Llama 4 Scout, разработанной Meta. Вариант опубликован в формате GGUF сообществом lmstudio-community и квантизирован bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии, ответы на вопросы, создание и преобразование текста, а также локальный запуск в совместимом программном обеспечении. Из доступных данных известно, что базовая модель называется Llama-4-Scout-17B-16E-Instruct; обозначение указывает на конфигурацию 17B-16E, однако точные сведения об архитектуре, размере активной части модели, контекстном окне, поддерживаемых языках и модальностях в README не приведены. Формат GGUF удобен для локального вывода и может снизить требования к ресурсам, но квантизация способна повлиять на качество по сравнению с исходными весами; конкретный уровень квантизации также не указан. Модель распространяется по Llama 4 Community License от Meta с требованиями к атрибуции, маркировке «Built with Llama», соблюдению Acceptable Use Policy и специальными коммерческими условиями для продуктов с более чем 700 миллионами активных пользователей в месяц.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 — мультимодальная instruct-модель, разработанная Red Hat совместно с Neural Magic на основе Meta Llama-4-Scout-17B-16E-Instruct. Она предназначена для диалоговых приложений, генерации и обработки текста, а также задач image-text-to-text с изображениями и текстовыми запросами на входе и текстом на выходе. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель использует архитектуру Llama4ForConditionalGeneration. Её веса квантизированы в INT4 по схеме W4A16 без квантизации активаций, что примерно на 75% снижает требования к памяти GPU и размер на диске по сравнению с представлением весов в 16 бит. Для инференса предусмотрена интеграция с vLLM, Red Hat AI Inference Server, Red Hat Enterprise Linux AI и OpenShift AI; модель валидирована в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и сниженные требования к ресурсам благодаря квантизации. README не указывает число активируемых параметров, максимальную длину контекста, точные показатели качества или аппаратные требования, поэтому производительность в конкретных сценариях следует проверять отдельно. Модель выпущена 25 апреля 2025 года и распространяется по лицензии Llama 4; применяются условия лицензии Meta Llama 4.

Marco-Nano-Instruct — многоязычная причинная языковая модель семейства Marco-MoE, разработанная Alibaba International Digital Commerce. Это вариант Marco-Nano-Base, дообученный для следования инструкциям, диалога и вызова инструментов. Модель построена на декодерном Transformer с разреженными MoE-слоями; в карточке указано 507,9 млн параметров, а в README — 8 млрд общих и 0,6 млрд активируемых параметров на токен. Эти значения расходятся, поэтому размер следует трактовать с осторожностью. Модель предназначена для генерации ответов, следования инструкциям, рассуждений, ответов на вопросы и многоязычных сценариев, включая перевод. README сообщает о поддержке 29 языков, в том числе русского, английского и китайского; контекст в метаданных — 32 768 токенов. Для инференса рекомендован vLLM; указано, что SGLang не поддерживает эту конфигурацию MoE с tied embeddings. Лицензия — Apache-2.0. В README приведены сильные сравнительные результаты на англоязычных, многоязычных и культурно-региональных бенчмарках, но они не гарантируют качество для любого запроса или языка.

EasierAI/Mistral-NeMo-12B — набор GGUF-квантизованных версий Mistral-Nemo-Instruct-2407, опубликованный с указанием quantized_by: bartowski и предназначенный для запуска через llama.cpp и LM Studio. Модель относится к классу генеративных текстовых моделей и поддерживает формат диалоговых запросов с шаблоном <s>[INST]{prompt}[/INST]. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, включая чат и другие задачи обработки текста. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Архитектура, точное число параметров и размер контекста в предоставленных данных не указаны; идентификатор 12B присутствует только в названии репозитория. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix и llama.cpp; некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Более сильное сжатие уменьшает потребление памяти, но может снижать качество. Лицензия — Apache-2.0.

zetasepic/Mistral-Small-Instruct-2409-abliterated — производная версия Mistral-Small-Instruct-2409, созданная автором репозитория с применением метода «abliteration». Это плотная инструкционная языковая модель семейства Mistral на 22 млрд параметров с архитектурой MistralForCausalLM, предназначенная для диалогов и генерации текста; метаданные также указывают интерфейс вызова функций. Модель принимает текст и рассчитана на контекст до 32 768 токенов. Карточка сообщает об использовании кода для abliteration, но не описывает процедуру, результаты, языковое покрытие или ограничения этой версии. Базовая модель — mistralai/Mistral-Small-Instruct-2409. Файлы представлены в формате safetensors; указанная библиотека — Transformers. Лицензия в предоставленных данных не приведена.

amd/Mixtral-8x7B-Instruct-v0.1-FP8-KV — FP8-квантизированная версия модели Mixtral-8x7B-Instruct-v0.1, разработанная Advanced Micro Devices (AMD) на базе модели Mistral AI. Квантизация выполнена с помощью Quark с использованием калибровочных образцов из датасета Pile. Модель предназначена для эффективного развертывания и инференса через backend vLLM, включая сценарии на одной или нескольких GPU. Все линейные слои, кроме lm_head и слоёв, содержащих *.gate, используют симметричное тензорное представление FP8 для весов и активаций; KV-кэш также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, однако способен приводить к потере точности по сравнению с исходной моделью. В оценке на wikitext2 perplexity составила 4,2187 против 4,1391 у исходной Mixtral-8x7B-Instruct-v0.1; результаты получены в режиме псевдоквантизации и приведены только для справки. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель распространяется по лицензии Apache License 2.0.