I.11Классификация, ранжирование и сопоставление

Llama 3.1 Tulu V2 70B — языковая модель-ассистент, разработанная Allen Institute for AI (Ai2) и дообученная на базе meta-llama/Meta-Llama-3.1-70B. Это плотная модель семейства Llama с 69,5 млрд параметров; она обучена на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Основной язык — английский. Контекст составляет до 131 072 токенов. Модель предназначена для диалоговых ответов на инструкции и общих задач генерации текста: например, для ответов на вопросы, написания текстов, помощи с рассуждениями и кодом. Карточка приводит результаты на тестах знаний, математики, программирования, следования инструкциям и безопасности, но отдельные оценки не гарантируют качество в конкретном сценарии. Модель не проходила этап RLHF, направленный на безопасные ответы, и не использует встроенную фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; исходная модель распространяется по лицензии сообщества Meta Llama 3.1, условия которой также следует учитывать.

casperhansen/llama-3.2-3b-instruct-awq — это общественно созданная AWQ-квантизованная версия текстовой instruction-tuned модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий содержит модель примерно на 3 млрд параметров в формате Safetensors с 4-битным представлением AWQ, предназначенным для снижения требований к памяти и запуска на устройствах с ограниченными вычислительными ресурсами. Модель рассчитана на многоязычный диалог, следование инструкциям, ассистентские сценарии, извлечение знаний, суммаризацию, написание и перефразирование текста. Архитектура — авторегрессионный оптимизированный Transformer с Grouped-Query Attention; исходная модель обучена с применением supervised fine-tuning и reinforcement learning from human feedback. Это текстовая модель: принимает и генерирует текст, включая код. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Сильные стороны — небольшой размер, сниженное потребление памяти благодаря 4-битной AWQ-квантизации, 3.21 млрд параметров и пригодность для локального инференса. Ограничения включают меньшую мощность по сравнению с более крупными моделями, текстовый характер без обработки изображений и возможные потери качества из-за квантизации. Для исходной текстовой Llama 3.2 заявлен контекст до 128k токенов, а для квантизованных вариантов — до 8k токенов; дата отсечения знаний — декабрь 2023 года. Для базовой Llama 3.2 применяется специальная коммерческая Llama 3.2 Community License с требованиями к перераспределению, указанием атрибуции и соблюдением Acceptable Use Policy. В карточке репозитория casperhansen отдельная лицензия не указана, поэтому условия использования следует проверять с учётом лицензии исходной модели Meta.

mlx-community/Llama-3.3-70B-Instruct-4bit — 4-битная версия инструкционной модели Llama 3.3 70B, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации и понимания текста, диалоговых систем, следования инструкциям, ответов на вопросы, суммирования и других задач обработки естественного языка. Модель имеет около 70 миллиардов параметров и работает в 4-битном квантованном формате, что снижает требования к памяти по сравнению с полной версией, но может влиять на точность и качество ответов. Поддерживаются английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Модальность — текстовая; сведения о размере контекстного окна и точной архитектуре в README не указаны. Сильной стороной модели является сочетание большого размера, инструкционного обучения, многоязычности и более эффективного размещения благодаря 4-битному представлению. Ограничения включают возможные потери качества из-за квантования, высокие требования к ресурсам по сравнению с небольшими моделями и отсутствие заявленной поддержки других модальностей. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов требуется включать текст лицензии, указывать «Built with Llama» и соблюдать Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

cortecs/Llama-3.3-70B-Instruct-FP8-Dynamic — динамически квантованная версия Meta Llama 3.3 70B Instruct, разработанная на базе модели meta-llama/Llama-3.3-70B-Instruct. Это большая языковая модель с 70 миллиардами параметров, предварительно обученная и дообученная по инструкциям для генерации текста и многоязычного диалога. Модель предназначена для чат-ботов, ассистентов и других приложений, связанных с обработкой и генерацией текста. Она поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский языки. Указанный показатель восстановления точности составляет 99,67%; приведённые оценки показывают небольшое снижение результатов относительно исходной Llama-3.3-70B-Instruct, при этом в отдельных тестах показатели практически совпадают. Ключевая особенность модели — формат FP8 Dynamic, который предназначен для более эффективного размещения и выполнения крупной модели при сохранении близкого к исходному качества. Данные о размере контекста, поддерживаемых модальностях помимо текста и конкретных аппаратных требованиях в README не указаны. Модель распространяется по лицензии Meta Llama 3, ссылка на условия приведена в карточке.

ThomasBaruzier/Meta-Llama-3.1-70B-Instruct-GGUF — это версия большой языковой модели Meta Llama 3.1 70B Instruct, опубликованная пользователем ThomasBaruzier в формате GGUF. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая ответы на вопросы, написание и преобразование текстов, суммирование и другие задачи обработки естественного языка. Модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров и поддерживает текстовую модальность. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Формат GGUF ориентирован на локальный запуск и совместимость с соответствующими инструментами инференса, однако конкретный тип квантования, требования к памяти и размер контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются большой размер, инструкционное дообучение и многоязычная поддержка. Ограничения включают высокие потенциальные требования к вычислительным ресурсам, а также возможные ошибки, неточности и нежелательные результаты, характерные для генеративных моделей. Модель распространяется по Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, требования к атрибуции и маркировке «Built with Llama», а также применимую Acceptable Use Policy.

MaziyarPanahi/Mistral-7B-Instruct-v0.3 — версия Mistral-7B-Instruct-v0.3, размещённая Maziyar Panahi. Это плотная языковая модель Mistral на 7,1 млрд параметров, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов и генерации ответов на текстовые запросы, включая сценарии с вызовом функций. Модель поддерживает контекст до 32 768 токенов и использует формат safetensors. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и генерации текста. В README указаны расширенный словарь токенизатора и поддержка function calling. Карточка предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соответствовать требованиям к ограничению контента. Лицензия — Apache-2.0.

SanctumAI/Mistral-7B-Instruct-v0.3-GGUF — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и подготовленной в формате GGUF командой SanctumAI. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая использование через локальные приложения, поддерживающие GGUF. Она также поддерживает function calling. Модель основана на Mistral-7B-v0.3 и использует расширенный словарь размером 32 768 токенов и tokenizer v3. В репозитории доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 2,72 до 14,50 ГБ. Для полного контекста до 32 000 токенов заявленные требования к памяти варьируются от 6,78 до 17,74 ГБ в зависимости от варианта. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Ключевое преимущество — возможность запускать модель локально с выбором компромисса между размером, требованиями к памяти и сохранением качества. Ограничения связаны с потерями качества при низкой степени квантизации и с тем, что это сравнительно компактная 7-миллиардная модель, поэтому её возможности уступают более крупным моделям в сложных задачах. Модель распространяется по лицензии Apache-2.0.

Phi-3-mini-4k-instruct-llamafile — переносимая исполняемая упаковка модели Microsoft Phi-3-mini-4k-instruct, подготовленная в формате llamafile. Она предназначена для локальной генерации текста, диалоговых приложений, ответов на инструкции, суммаризации, задач на понимание языка, математику, программирование и логическое рассуждение. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4 096 токенов. Это текстовая instruction-tuned модель, прошедшая supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и мер безопасности. В поставку входят исполняемые веса, запускаемые на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64; предусмотрены CLI-интерфейс, веб-интерфейс и совместимый с OpenAI API режим. Для запуска рекомендуется не менее 32 ГБ оперативной памяти. К сильным сторонам относятся компактный размер, возможность локального автономного запуска и высокая производительность среди моделей с менее чем 13 млрд параметров по ряду задач, включая понимание языка, здравый смысл, математику, код и рассуждение. Ограничения — поддержка английского языка, контекст 4K и потребность в значительных вычислительных ресурсах; конкретные возможности зависят от выбранного формата весов и оборудования. Сам llamafile распространяется по лицензии Apache 2.0, а содержащиеся веса Phi-3 опубликованы Microsoft под лицензией MIT.

duyntnet/Qwen2.5-3B-Instruct-imatrix-GGUF — набор imatrix-квантизаций в формате GGUF для instruction-tuned модели Qwen2.5-3B-Instruct, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы со структурированными данными и форматированными ответами, включая JSON, а также для задач программирования и математики. Это авторегрессионная causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также возможности в программировании и математике. Формат GGUF и совместимость с llama.cpp, KoboldCPP, text-generation-webui и Ollama подходят для локального запуска, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантизации. В репозитории указана лицензия other; дополнительные условия лицензирования не раскрыты.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

Qwen3-4B-Instruct-2507-AWQ-4bit — это 4-битная AWQ-квантизованная версия причинной языковой модели Qwen3-4B-Instruct-2507. Базовую модель разработала команда Qwen, а данную квантизованную сборку опубликовал пользователь cyankiwi. Квантизация выполнена с использованием llm-compressor, схемы W4A16_ASYM для линейных слоёв и набора данных Llama-Nemotron-Post-Training-Dataset; слой lm_head не квантизовался. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, вызова инструментов и агентских сценариев. Она работает только в non-thinking mode и не формирует блоки <think></think>. Заявлены улучшенные многоязычные возможности и поддержка контекста длиной до 262 144 токенов, однако конкретный перечень языков не указан. Архитектура включает 4,0 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для Q и 8 для KV; число параметров без эмбеддингов — 3,6 млрд. Квантизация снижает требования к памяти и может упростить локальное развертывание, но способна влиять на качество по сравнению с полной точностью. В README не приведены точные аппаратные требования и детальное описание ограничений квантизованной версии. Лицензия — Apache-2.0.

AxionML/Qwen3.5-0.8B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-0.8B, разработанная AxionML для открытого и готового к развёртыванию использования. Модель представляет собой каузальную языковую модель с vision-энкодером и поддерживает обработку текста и изображений. Она предназначена для генерации и понимания текста, визуального анализа, рассуждений, программирования и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и имеет нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Версия NVFP4 создана с помощью NVIDIA TensorRT Model Optimizer: веса и активации линейных слоёв представлены в 4-битном формате FP4, что уменьшает размер на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся небольшой размер, экономичное хранение и инференс, длинный контекст и мультимодальность. К ограничениям относятся возможная потеря качества из-за агрессивной 4-битной квантизации и зависимость производительности от совместимого оборудования и программного стека; модель ориентирована прежде всего на GPU с поддержкой NVFP4, включая архитектуру NVIDIA Blackwell. Доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

Qwen3.5-9B-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen группы Alibaba. Модель предназначена для генерации текста по текстовым запросам, а также для обработки интерleaved-входов с изображениями и текстом; базовая модель также поддерживает видео. Предусмотрен режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена, с возможностью расширения посредством RoPE scaling. Заявлена поддержка 201 языка и диалекта. Квантизация выполнена по схеме W4A16: веса линейных слоёв языковой модели представлены в 4-битном формате, а активации — в 16-битном; vision tower, router gates и lm_head сохранены в более высокой точности. Главное преимущество версии AWQ — уменьшенные требования к дисковому пространству и VRAM при сохранении возможностей базовой vision-language модели, что делает её подходящей для запуска на одной потребительской GPU. Для инференса требуется совместимая GPU с поддержкой INT4 Marlin и свежая версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration; работоспособность проверена на NVIDIA Blackwell. Ограничения включают зависимость от поддержки compressed-tensors в используемом стеке и потенциальные потери точности, характерные для квантизации, хотя vision tower намеренно не квантизован для сохранения качества понимания изображений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.5-9B.

Qwen3.8-27B-heretic-ara-Q4_K_M-MTP-GGUF — квантизированная GGUF-версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, подготовленная cygnal. Модель основана на Qwen3.8-27B и распространяется с сохранёнными тензорами MTP (Multi-Token Prediction) для ускоренного декодирования, а также с отдельным vision-проектором mmproj для обработки изображений. В карточке заявлены поддержка английского и китайского языков и мультимодальный сценарий image-text-to-text. Модель предназначена для диалогов, генерации и анализа текста, программирования, технических задач, извлечения структурированных данных и понимания изображений. Основной файл Q4_K_M имеет размер около 16 ГБ и использует квантизацию с 4,83 битами на вес. Для запуска рекомендован llama.cpp; заявлена поддержка контекста до 32768 токенов в типовой конфигурации. MTP может заметно повысить скорость генерации, особенно на совместимом оборудовании AMD Strix Halo, однако для запросов с изображениями в ROCmFPX его необходимо отключать из-за ограничений реализации. Сильными сторонами являются сочетание текстовых и визуальных возможностей, наличие MTP, поддержка OpenAI-совместимого API и несколько вариантов запуска для стандартного llama.cpp и ROCmFPX. Ограничения включают высокие требования к памяти, зависимость производительности от оборудования и backend, а также необходимость отдельного mmproj-файла для изображений. Исходная модель описана как uncensored-версия с изменённым поведением отказов, поэтому её ответы требуют дополнительной проверки и настройки мер безопасности. Лицензия — Apache-2.0.

unsloth/Qwen3-VL-4B-Thinking-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-4B-Thinking, разработанной командой Qwen и подготовленной Unsloth с исправлениями шаблона чата. Модель предназначена для обработки текста и изображений, визуального понимания и рассуждений, анализа документов, OCR, STEM- и математических задач, пространственного анализа, понимания видео, а также взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру с 4 млрд параметров и относится к reasoning-ориентированной версии Thinking. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M, а также обработки изображений, видео и текста. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — сочетание языкового и визуального понимания, мультимодальное рассуждение, работа с длинным контекстом, пространственными отношениями, видео и сложными визуальными документами. Ограничения, связанные с точностью, вычислительными требованиями и конкретными параметрами GGUF-квантизации, в README не описаны; фактические возможности зависят от используемого варианта файла и среды запуска. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-v2-GGUF — набор GGUF-квантизаций модели Qwythos-9B-v2, разработанной Empero AI, предназначенный для запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Модель ориентирована на рассуждения, генерацию текста, вызов функций и мультимодальные сценарии с анализом изображений. Это 9-миллиардная гибридная модель с сочетанием блоков Gated-DeltaNet линейного внимания и полноформатного внимания в соотношении 3:1. Доступны варианты от Q4_K_M до BF16, включая версии с восстановленной MTP-головой для speculative decoding. Заявлены английский язык, контекст до 1 млн токенов с YaRN и поддержка изображений через отдельный vision projector, совместимый с Qwen3.5-9B. Версия v2 устраняет зацикливание при жадном и низкотемпературном декодировании, сохраняя показатели знаний и рассуждений на уровне базовой модели или выше; модель при этом намеренно uncensored. Для работы с изображениями требуется файл mmproj, а для MTP-ускорения — свежая сборка llama.cpp с поддержкой draft-mtp. Q4_K_M рекомендуется как начальный вариант благодаря балансу размера и качества, однако квантизация может снижать точность по сравнению с BF16. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B — базовая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, предназначенная для генерации текста и продолжения запросов. Yi-1.5 получена непрерывным предварительным обучением модели Yi на высококачественном корпусе объёмом 500 млрд токенов; в линейке также есть отдельные версии Chat, но данный репозиторий содержит базовую модель. Модель подходит для языкового понимания, чтения с пониманием, рассуждений, математики и программирования. В карточке семейства указаны контексты 4K, 16K и 32K; для этой модели в метаданных указан native context 4096 токенов. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

GaelicThunder/DeepSeek-V4-Flash-Vision-Exp-ablit-EXL3-Kalibrated — квантизированная версия DeepSeek-V4-Flash-Vision-Exp от DeepSeek, подготовленная GaelicThunder на основе MixedK-пака vcruz305 и abliterated-варианта drowzeys. Модель предназначена для мультимодальных задач «текст плюс изображение», включая анализ изображений и генерацию текста, а также для обычных сценариев работы с текстом, математикой и кодом. Это MoE-модель с 256 маршрутизируемыми экспертами в каждом слое, представленная в формате EXL3 с mixed-precision-квантизацией: экспертные веса распределены между 2- и 3-битным представлением, при этом 22 слоя дополнительно переквантизированы в калиброванный 3-битный формат. Остальные тензоры используют BF16 или FP8 в зависимости от компонента. Пакет занимает около 106 GB и рассчитан на запуск на одной NVIDIA DGX Spark с GB10 и 128 GB памяти. Поддерживаются контекст до 245 760 токенов, speculative decoding, CUDA graphs и обработка от одного до трёх изображений на запрос. Языки явно не указаны. По приведённым измерениям модель сохраняет около 90% вероятности токенов оригинальной модели в среднем, с особенно сильными результатами на математике; заявлены также показатели для прозы и кода. Ограничения включают высокие требования к памяти и специализированному стеку запуска, длительную первичную компиляцию ядер и известную ошибку декодирования, из-за которой иногда появляется токен «)Skip»; в рекомендуемом сценарии она подавляется прокси. Модель распространяется по лицензии MIT.

unsloth/gemma-3-27b-it-qat-GGUF — instruction-tuned мультимодальная модель семейства Gemma 3, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF с QAT-квантизацией. Модель основана на google/gemma-3-27b-it-qat-q4_0-unquantized и имеет размер 27 млрд параметров. Она принимает текст и изображения, а генерирует текст; поддерживает более 140 языков, включая английский, указанный в карточке модели. Изображения нормализуются до разрешения 896×896 и представляются как 256 токенов каждое. Контекстное окно составляет 128K токенов, максимальный объём генерируемого ответа — 8192 токена. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Большое контекстное окно и мультимодальность подходят для работы с длинными документами и визуальными данными, а GGUF и квантизация ориентированы на локальное развертывание на ноутбуках, настольных компьютерах и собственной инфраструктуре с ограниченными ресурсами. К возможным ограничениям относятся компромисс между эффективностью и качеством, связанный с квантизацией, а также отсутствие в доступных данных подробностей об аппаратных требованиях, результатах тестирования и ограничениях безопасности. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

Hunyuan-A52B-Instruct — разговорная языковая модель семейства Hunyuan от Tencent, представленная в этом репозитории в формате safetensors для Hugging Face. Это конверсия модели Hunyuan-Large-Instruct: архитектура Transformer с механизмом Mixture of Experts (MoE), около 29,1 млрд параметров по метаданным; в исходном описании Hunyuan-Large указаны 389 млрд общих параметров и 52 млрд активных параметров. Модель принимает текст и генерирует текст, поддерживает контекст до 128K токенов и предназначена для диалога и широкого круга языковых задач. Модель подходит для ответов на вопросы, чтения и анализа длинных текстов, рассуждений, решения математических задач и работы с китайским и английским языками. В README описаны методы сокращения затрат на KV-кэш и улучшения обучения экспертов; также приведены высокие результаты на ряде языковых и математических бенчмарков. Указанная в README скорость относится к запуску на M2 Ultra с 192 ГБ памяти и не гарантирует такую производительность на другом оборудовании. Сведения о лицензии в предоставленных данных отсутствуют.

Карточка модели kakaocorp/kanana-2-30b-a3b-base-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Linkbricks-Horizon-AI-Avengers-V2-78B — многоязычная разговорная языковая модель, дообученная специалистом компании Linkbricks на базе MaziyarPanahi/calme-3.2-instruct-78b. Это плотная модель семейства Qwen2 с 76,7 млрд параметров и контекстом 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. В README описаны этапы SFT, DPO, ORPO и слияния моделей, а также поддержка вызова функций и инструментов. Модель предназначена для генерации текста и диалогов, анализа отзывов клиентов и публикаций в социальных сетях, написания текстов и кода, решения математических и логических задач. Обучение включало многоязычные новостные и wiki-корпуса, а также данные для задач на корейском, японском, китайском и английском языках, включая переводы, суммаризацию и вопросы-ответы. По данным карточки, лицензия — Apache-2.0. Карточка описывает заявленные возможности, но не приводит результатов независимых оценок качества. Размер модели требует значительных вычислительных ресурсов для запуска; поддержка конкретных языков и сценариев может различаться по качеству.

Карточка модели crusoeai/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Llama-3 70B Gradient Instruct 524K — языковая модель Gradient, созданная при поддержке вычислительных ресурсов Crusoe Energy на основе Meta-Llama-3-70B-Instruct. Это плотная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста в диалогах и работы с длинными контекстами. Авторы сообщают о расширении контекста исходной модели с 8 тысяч до более чем 524 тысяч токенов за счёт настройки RoPE theta и обучения примерно на 400 млн токенов суммарно; нативная длина контекста по метаданным — 524 288 токенов. Модель подходит для диалоговых помощников, анализа длинных документов и других сценариев, где запрос и большой объём исходного текста нужно учитывать одновременно. Карточка рекомендует Transformers или TGI для запуска. Модель принимает и выдаёт текст; в метаданных указан английский язык. Лицензия — Llama 3, с условиями использования Meta Llama 3 Community License. Как и другие большие языковые модели, она может ошибаться и требует проверки ответов и настройки защитных мер под конкретное применение.

MiMo-V2-Flash-Base — базовая языковая модель Xiaomi для генерации текста, рассуждений и агентных сценариев. Карточка описывает семейство Mixture-of-Experts с гибридным вниманием, сочетающим локальные окна и глобальное внимание, а также механизмом Multi-Token Prediction для ускорения генерации. В README семейства указаны 309 млрд параметров всего и 15 млрд активных; метаданные этого репозитория указывают 12B параметров и формат safetensors FP8, поэтому размер в каталоге может отражать иной способ подсчёта или вариант весов. Модель рассчитана на длинные контексты до 256 тыс. токенов и задачи генерации текста, сложного рассуждения и работы в агентных процессах. Метаданные также отмечают разговорный режим и интерфейс вызова инструментов. README приводит результаты базовой и постобученной версий семейства, но не позволяет однозначно приписать все заявленные возможности именно этому базовому чекпойнту. Модель создана Xiaomi и распространяется по лицензии MIT. Заявленные характеристики ориентированы на эффективный инференс и работу с длинными контекстами; фактическая скорость и качество зависят от оборудования и используемой конфигурации.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w4a16 — квантизированная версия Mistral-Small-24B-Instruct-2501. Базовую модель разработала Mistral AI, а представленную оптимизированную сборку подготовила Neural Magic. Модель принимает текст и генерирует текст, предназначена для диалоговых приложений, ответов на вопросы и других задач text-to-text и text-generation. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Архитектура основана на Mistral-Small-24B-Instruct-2501 и содержит около 24 миллиардов параметров. Выполнена квантизация весов линейных операторов в трансформерных блоках до INT4; активации не квантизированы. По данным README, это снижает число бит на параметр с 16 до 4, а требования к дисковому пространству и памяти GPU — примерно на 75%. Модель оптимизирована для инференса через vLLM; в конфигурации развертывания указан максимальный контекст 32768 токенов. Ключевое преимущество сборки — уменьшенные требования к памяти при сохранении назначения исходной instruct-модели, что упрощает запуск на GPU. Ограничение заключается в том, что квантизация может влиять на качество генерации по сравнению с полной точностью, однако конкретные результаты бенчмарков в README не приведены. Модель проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Лицензия — Apache-2.0.

Карточка модели Openintelligent123/Phi-4-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи, требующие обработки очень длинного контекста, при сохранении возможностей на коротких запросах. В метаданных указана поддержка английского языка. Модель имеет контекстное окно до 1 миллиона токенов, что делает её подходящей для анализа больших документов и других длинных последовательностей. При этом для последовательностей свыше 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Размер исходной модели составляет 14 миллиардов параметров; сведения о конкретном методе и уровнях GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточный, неподходящий или вредоносный контент, поэтому результаты требуют проверки. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen при Alibaba Cloud и опубликованной сообществом Unsloth. Модель предназначена для диалоговых ассистентов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Исходная модель содержит около 1,54 млрд параметров, 28 слоёв и Grouped Query Attention с 12 головами Q и 2 головами KV. Указанный контекст исходной модели составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта bnb-4bit — сниженное потребление памяти и возможность запуска на более доступном оборудовании; при этом квантование может уменьшать точность по сравнению с полноформатной моделью. Размер 1,5 млрд параметров делает модель подходящей для локального инференса и ресурсоограниченных приложений, однако её возможности и качество уступают более крупным моделям. Для работы рекомендуется актуальная версия библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.