I.11Классификация, ранжирование и сопоставление

Qwen3-VL-8B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-8B-Thinking с мелкозернистым квантованием и размером блока 128; заявлено, что её метрики почти идентичны исходной версии в формате BF16. Модель предназначена для генерации текста по изображениям и тексту, визуального и мультимодального рассуждения, анализа видео, OCR, понимания пространственных отношений, а также агентского взаимодействия с графическими интерфейсами и инструментами. Модель поддерживает работу с изображениями, видео и текстом. Среди заявленных возможностей — понимание длинного контекста до 256K токенов с возможностью расширения до 1M, анализ книг и продолжительных видео, распознавание текста на 32 языках, улучшенное понимание STEM-задач, временной привязки событий в видео и генерация Draw.io/HTML/CSS/JS по изображениям и видео. В архитектуре упоминаются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Конкретный набор языков, точные ограничения контекста для этой сборки и сведения о вычислительных требованиях в README не указаны. Сильные стороны — сочетание визуального восприятия, рассуждения, OCR, пространственного и видеоанализа при существенно меньшем размере представления благодаря FP8-квантованию. Ограничение на момент публикации README заключается в том, что Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3-4B-GGUF — это квантизированная версия текстовой instruction-following модели Qwen3-4B, разработанной командой Qwen. Репозиторий предоставляет модель в формате GGUF, адаптированном прежде всего для инференса через библиотеку NobodyWho; GGUF-квантизации подготовлены bartowski. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций и сценариев с вызовом инструментов или функций. Она поддерживает режим рассуждений с явным выводом пошагового решения и работает более чем со 100 языками. Указана только текстовая модальность. Модель содержит около 4 миллиардов параметров и поддерживает контекст длиной до 32 768 токенов. В README приведён вариант Q4_K_M, однако характеристики других вариантов квантизации могут отличаться. К сильным сторонам относятся сравнительно небольшой размер, переносимый формат GGUF, поддержка мультиязычной генерации, инструментальных вызовов и режима рассуждений. Ограничения включают неизвестную дату отсечения знаний и отсутствие опубликованных бенчмарков в данном README; также квантизация может влиять на качество и скорость по сравнению с исходной моделью. Лицензия — Apache 2.0.

Карточка модели luckyChenY/trainedmolde на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

DeepSeek-R1-Distill-Qwen-7B — текстовая генеративная модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная DeepSeek и размещённая ljsysfurry как зеркало полных весов. Она предназначена для диалогов, генерации текста и рассуждений, а также может служить локальной базой для агентных приложений. Модель принимает текст и выдаёт текст; README указывает исходный репозиторий deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и описывает интеграцию с AgentFrame. В метаданных заявлен контекст длиной 131 072 токена. README отдельно упоминает до 1,38 млн токенов при использовании AgentFrame и сжатия KV-кэша; это характеристика связки с фреймворком, а не подтверждённый нативный контекст модели. Модель имеет формат safetensors и поддерживает чатовый интерфейс и интерфейс вызова инструментов. Карточка называет репозиторий резервной копией исходных весов, поэтому это зеркало, а не отдельное дообучение. Лицензия — MIT. Данные не подтверждают отдельные результаты оценки качества; для длинного контекста сверх 131 072 токенов требуется описанная в README инфраструктура AgentFrame.

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

DeepSeek-V4-Flash-DSpark — это вариант контрольной точки DeepSeek-V4-Flash, разработанный DeepSeek AI. Он не является отдельной моделью: к тому же чекпойнту подключён дополнительный модуль speculative decoding для ускорения инференса. Для запуска предусмотрен отдельный пример инференса, однако подробности его использования в представленных данных не приведены. Базовая DeepSeek-V4-Flash — языковая модель архитектуры Mixture-of-Experts с 284 млрд общих параметров, из которых 13 млрд активируются при обработке токена. Модель поддерживает контекст до 1 млн токенов и поставляется в смешанной точности FP4 + FP8: параметры MoE-экспертов используют FP4, а большинство остальных параметров — FP8. В архитектуре применяются гибридное внимание Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections; обучение проводилось на более чем 32 трлн токенов с использованием оптимизатора Muon и последующего дообучения с SFT, GRPO и on-policy distillation. Модель предназначена для задач работы с длинным контекстом, генерации и анализа текста, рассуждений, программирования и агентских сценариев. Её сильные стороны — большой контекст, относительно небольшое число активных параметров для MoE-модели и оптимизации, направленные на снижение вычислительных затрат и потребления KV-кэша. При этом README не содержит сведений о поддерживаемых языках, конкретных ограничениях качества, системных требованиях и характеристиках speculative decoding. Модель распространяется по лицензии MIT.

ERNIE-4.5-21B-A3B-Thinking-GGUF — текстовая MoE-модель, разработанная Baidu и представленная в формате GGUF. Она предназначена для сложных задач рассуждения, включая логические задачи, математику, естественные науки, программирование, генерацию текста и академические тесты. Модель также поддерживает эффективное использование инструментов и вызовы функций. Модель содержит 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Архитектура включает 28 слоёв, 20 Q-голов и 4 KV-головы, 64 текстовых эксперта с активацией 6 экспертов, 64 vision-эксперта с активацией 6 экспертов и 2 общих эксперта. Указана длина контекста 131 072 токена. Основная модальность — текст; заявленные языки — английский и китайский. К сильным сторонам относятся улучшенные качество и глубина рассуждений, поддержка длинного контекста, инструментов и function calling, а также вычислительная эффективность MoE-архитектуры благодаря активации только части параметров на каждом токене. README рекомендует модель прежде всего для высокосложных задач, однако отмечает повышенную длину рассуждений, что может увеличивать задержку и расход ресурсов. Для запуска полной модели указана конфигурация с GPU объёмом 80 ГБ и FastDeploy 2.2; для работы через Transformers требуется версия 4.54.0 или новее. Модель распространяется по лицензии Apache 2.0.

Darwin-35B-A3B-Opus — мультимодальная модель типа mixture-of-experts, разработанная командой FINAL-Bench и опубликованная в GGUF-квантизациях пользователем bartowski. Модель предназначена для генерации текста, сложных рассуждений, работы с мультиязычными запросами, задачами программирования, агентскими сценариями и вызовами инструментов. Заявлена поддержка обработки изображений и текста, а также длинного контекста до 262 тысяч токенов. Модель содержит 35 миллиардов параметров, из которых около 3 миллиардов активируются на один запрос, однако конкретные архитектурные детали в README не указаны. Заявлена поддержка 201 языка; среди явно перечисленных — английский, китайский, корейский, японский, немецкий, французский, испанский, русский и арабский. В качестве ориентиров приведены непроверенные результаты: 90% на GPQA Diamond и 85% на MMMLU. Доступны варианты от BF16 и Q8_0 до более компактных IQ4 и Q4, причём README рекомендует ряд Q4–Q6-квантизаций как компромисс между качеством и размером. Сильными сторонами модели являются заявленные продвинутые способности к рассуждению, мультимодальность, многоязычность, поддержка длинного контекста и широкий выбор квантизаций для локального запуска через llama.cpp и совместимые приложения. Ограничения включают крупные требования к дисковому пространству и вычислительным ресурсам, зависимость возможностей от используемого варианта квантизации и отсутствие подтверждённых в README результатов тестирования. Модель и её квантизации распространяются по лицензии Apache-2.0.

llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

AtomicChat/gemma-4-26B-A4B-it-GGUF — это GGUF-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалогов, рассуждений и других сценариях, поддерживаемых базовой text-generation-моделью. Для запуска в llama.cpp требуется применять шаблон чата Gemma 4 с параметром --jinja. Модель использует архитектуру Mixture-of-Experts: 25,2 млрд параметров всего и около 3,8 млрд активных на каждый токен, 30 слоёв, 128 маршрутизируемых экспертов с выбором top-8, гибридное внимание с локальным окном 1024 токена и глобальным вниманием, 16 attention heads и 8 KV heads. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые квантизации и не включает vision projector. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, режимы рассуждения и широкий выбор квантизаций от Q2_K до Q8_0. Квантизация с importance matrix призвана сохранить качество оригинальной модели, но низкобитные варианты могут заметно терять качество; Q4_K_M обозначен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 — как варианты с минимальными потерями. Размер файлов составляет примерно от 10,6 до 26,9 ГБ, поэтому требуются значительные оперативная память или видеопамять. Модель распространяется по лицензии Apache-2.0.

llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

Infinity-Instruct-3M-0625-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций. Она не обучалась с подкреплением на основе отзывов людей (RLHF) и использует шаблон чата OpenHermes-2.5-Mistral-7B. Модель подходит для многошаговых диалогов, ответов на вопросы, помощи с кодом и математикой, а также для повседневных задач на естественном языке. В README приведены результаты MT-Bench 8,1 и AlpacaEval 2.0 31,42; это оценки из карточки, а не гарантия качества для конкретных запросов. Метаданные указывают контекст до 32 768 токенов и английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0, однако авторы ограничивают использование связанных ресурсов академическими исследованиями и запрещают коммерческое применение.

Klear-46B-A2.5B-Instruct — инструктивная версия разреженной языковой модели семейства Klear, разработанная командой Kwai-Klear компании Kuaishou и дообученная с помощью DPO на базе Kwai-Klear/Klear-46B-A2.5B-Base. Архитектура MoE содержит 46 млрд параметров, из которых при генерации активны около 2,5 млрд; в каждом слое задействуются 8 экспертов и один общий эксперт. Модель принимает текст и генерирует текст в диалоговом формате, поддерживает китайский и английский языки и контекст до 65 536 токенов. Модель предназначена для диалогов, следования инструкциям и генерации текста, включая задачи общего характера, программирование и рассуждения. Разреженная активация экспертов рассчитана на повышение эффективности инференса по сравнению с плотной моделью сопоставимого общего размера. Для запуска README указывает Transformers версии 4.56.0 или новее с trust_remote_code=True, а для vLLM — форк разработчиков. Модель распространяется по лицензии Apache-2.0.

Meta Llama 3.1 405B Instruct — разработанная Meta инструктивно дообученная большая языковая модель для диалогового взаимодействия. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; вариант Instruct использует supervised fine-tuning и обучение с подкреплением на основе обратной связи от людей. Модель работает с текстом на входе и выходе и рассчитана на многоязычные сценарии. Модель предназначена для диалоговых помощников, ответов на вопросы и генерации текста по инструкциям, а также для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для некоторых дополнительных возможностей, включая интеграцию с инструментами, требуется самостоятельная настройка приложения. Модель представляет собой статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться по языкам и сценариям, а выводы требуют проверки. Использование регулируется пользовательской лицензией Meta Llama 3.1 Community License и Acceptable Use Policy; до коммерческого или иного применения следует ознакомиться с их условиями.

Meta Llama 3.1 70B Instruct — крупная текстовая языковая модель Meta для диалоговых сценариев. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention; версия Instruct прошла supervised fine-tuning и обучение с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, рассчитана на многоязычный диалог и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель предназначена для создания чат-ассистентов, ответов на вопросы и других задач генерации естественного языка. Её также можно применять для создания синтетических данных и улучшения других моделей. Модель относится к семейству Llama 3.1 размером 70 млрд параметров; в репозитории используются веса Safetensors, библиотека Transformers, а для экономии памяти доступны варианты запуска с 8- и 4-битным представлением. Карточка сообщает о сильных результатах семейства на распространённых отраслевых тестах, но не приводит здесь конкретных показателей для этой версии. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки в целевом применении, а карточка не рекомендует диалог на неподдерживаемых языках без дообучения и дополнительных системных мер. Условия использования задаёт пользовательская Llama 3.1 Community License с Acceptable Use Policy; лицензия допускает коммерческое и исследовательское применение при соблюдении этих условий.

Llama-3.1-Nemotron-70B-Instruct-HF — текстовая модель NVIDIA на архитектуре Llama 3.1 с 69,5 млрд параметров. Это версия в формате Hugging Face Transformers, преобразованная из Llama-3.1-Nemotron-70B-Instruct; исходная модель Meta Llama-3.1-70B-Instruct была дообучена NVIDIA методом RLHF, включая REINFORCE, на предпочтениях из HelpSteer2 и данных модели Nemotron-70B-Reward. Модель предназначена для диалогов и выполнения общих инструкций: она генерирует ответы на пользовательские запросы и ориентирована на их полезность, связность и соответствие предпочтениям. Принимает текст, выдаёт текст, поддерживает контекст до 128 тысяч токенов и интерфейс вызова инструментов. В карточке приведены высокие результаты на Arena Hard, AlpacaEval 2 LC и MT-Bench; показатели могут отличаться от оценки исходной версии в NeMo-Aligner. Модель общего назначения, не настроенная специально для математики или узкопрофильных областей. Для запуска через Transformers в README указаны две или более видеокарты с 80 ГБ памяти каждая и не менее 150 ГБ свободного места на диске. Лицензия — Llama 3.1; применяются условия лицензии Meta Llama 3.1.

unsloth/Llama-3.2-1B-Instruct — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta и опубликованная Unsloth. Это плотная авторегрессионная трансформерная модель с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров. В карточке указаны диалоговый режим и интерфейс вызова инструментов; модель принимает и генерирует текст, а контекстное окно составляет 131 072 токена. Модель предназначена для многоязычных диалогов, ответов на вопросы, суммаризации и помощи в написании текста, в том числе в сценариях агентного поиска и использования инструментов. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; модель обучалась на более широком наборе языков. Репозиторий содержит веса Safetensors и указывает лицензию Llama 3.2 Community License — специальную лицензию Meta с условиями коммерческого использования. Компактный размер облегчает развёртывание по сравнению с более крупными моделями, однако качество и надёжность ответов требуют проверки для конкретного применения.

Llama 3 Tulu 2 70B — большая языковая модель-помощник, разработанная AllenAI и дообученная на базе Meta Llama 3 70B. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Модель содержит 69,5 млрд параметров, использует архитектуру Llama с плотной causal language model и принимает текст для генерации текста. Заявленная основная языковая ориентация — английский; родной контекст составляет 2048 токенов. Модель предназначена для диалогов с помощником, выполнения инструкций, ответов на вопросы, рассуждений и генерации кода. В карточке приведены результаты тестирования на MMLU, GSM8k, BBH, TyDiQA и HumanEval, однако они не гарантируют качество в конкретном приложении. По сведениям README, модель не проходила этап RLHF для согласования безопасных ответов и может выдавать проблемный контент, особенно по соответствующему запросу. Лицензия репозитория — Apache 2.0.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w8a8 — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic. Это авторегрессионная текстовая модель архитектуры LlamaForCausalLM, предназначенная прежде всего для диалоговых ассистентов, генерации текста и коммерческого или исследовательского использования. Поддерживаемые в карточке языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель принимает и возвращает текст; заявленный сценарий развертывания использует контекст до 8192 токенов. Модель применяет INT8-квантизацию весов и активаций с использованием GPTQ и библиотеки llm-compressor. Квантизация уменьшает требования к памяти GPU и размер файлов примерно на 50%, а также заявлено увеличение пропускной способности матричных умножений примерно в 2 раза по сравнению с представлением FP16. Линейные операторы в трансформерных блоках квантизуются по каналам для весов и динамически по токенам для активаций; отдельные компоненты, включая lm_head, не квантизуются. По результатам, приведённым в README, модель сохраняет большую часть качества исходной версии: заявлены показатели восстановления 98,8% для Arena-Hard, 99,9% для OpenLLM v1, 100,0% для OpenLLM v2, 98,7% для HumanEval pass@1 и 98,9% для HumanEval+ pass@1. Основное ограничение — возможная потеря качества из-за квантизации, а также необходимость совместимого программного обеспечения и аппаратных ресурсов; для эффективного развертывания рекомендуется vLLM, в примере используются два GPU. Модель распространяется по лицензии Llama 3.1; использование должно соответствовать применимым законам и ограничениям.

hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 — созданная сообществом квантованная версия Meta-Llama-3.1-8B-Instruct, первоначально разработанной Meta AI. Это генеративная текстовая instruction-tuned модель на 8 млрд параметров для многоязычного диалога, ответов на вопросы и других задач генерации текста. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель использует архитектуру Llama 3.1 и формат AWQ INT4: исходные веса FP16 преобразованы с помощью AutoAWQ в 4-битное представление GEMM с zero-point quantization и размером группы 128. Версия предназначена для запуска через Transformers, AutoAWQ или Text Generation Inference; для загрузки контрольной точки требуется около 4 ГиБ VRAM, не считая KV-кэша и CUDA graphs. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходной FP16-версией. В README максимальный контекст модели не указан. Модель распространяется по лицензии Llama 3.1; для использования необходимо учитывать условия этой лицензии. Это текстовая модель без поддержки изображений или других модальностей, а сведения о конкретных ограничениях качества и результатах бенчмарков для данной квантованной версии не приведены.

Mistral-7B-Instruct-v0.3 — плотная языковая модель Mistral AI на 7,1 млрд параметров, дообученная следовать инструкциям на базе Mistral-7B-v0.3. Она предназначена для диалогов, генерации текста по запросам и вызова функций. Модель поддерживает контекст до 32 768 токенов, использует токенизатор v3 и расширенный словарь из 32 768 токенов; для работы доступны веса в формате safetensors. Модель подходит для чат-ботов, ответов на вопросы и выполнения инструкций в приложениях, использующих генерацию текста. Карточка не указывает конкретные языки обучения или поддержки. В README отмечено, что у модели нет встроенных механизмов модерации, а сам чекпойнт предоставлен «как есть» и может быть неактуальным. Лицензия — Apache-2.0.

MaziyarPanahi/Mistral-Large-Instruct-2411-GGUF — это набор файлов модели в формате GGUF для Mistral-Large-Instruct-2411, разработанной компанией mistralai и преобразованной в GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сервисах, совместимых с GGUF. Формат GGUF поддерживается llama.cpp и рядом библиотек и интерфейсов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и ctransformers. Это позволяет запускать модель локально, в том числе с аппаратным ускорением и через OpenAI-совместимые серверы, в зависимости от выбранного инструмента. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Сведения об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, точных характеристиках вариантов квантования и лицензии в README не указаны. Поэтому пригодность конкретного варианта для определённых задач и аппаратной конфигурации следует оценивать отдельно.

Hermes-4.3-36B-GGUF — это GGUF-квантизированная версия языковой модели Hermes-4.3-36B, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая ассистирование, рассуждения, ролевое взаимодействие, работу с JSON и структурированными ответами, function calling и использование инструментов. Модель содержит 36 млрд параметров и поддерживает текстовый ввод и вывод. В карточке заявлен английский язык; контекстное окно и точная архитектура не указаны. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и более компактные форматы. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее снижают качество ответов. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Рекомендуемые варианты позволяют выбирать баланс между качеством и потреблением памяти, однако крупные файлы требуют значительных аппаратных ресурсов. Лицензия — Apache-2.0.

OpenChat 3.5 — диалоговая языковая модель, разработанная командой OpenChat и дообученная методом C-RLFT на смеси публичных инструкционных данных разного качества. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовые сообщения, выдавая текстовые ответы в формате диалога. Модель предназначена для общения с пользователем, ответов на вопросы и выполнения инструкций; её также можно применять для генерации и объяснения кода, математики и рассуждений. Заявленный контекст — 8192 токена. В README приведены результаты на нескольких бенчмарках, включая MT-Bench, HumanEval и GSM8K; эти результаты зависят от методики оценки и не гарантируют качество в конкретной задаче. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают о возможных ошибках и вымышленных сведениях, слабых местах в сложных рассуждениях, математике и программировании, а также о вероятности вредных или предвзятых ответов; важные результаты следует проверять, а для чувствительных сценариев применять дополнительные меры безопасности.

Ornith-1.5-9B-OptiQ-4bit — квантованная версия языковой reasoning-модели Ornith-1.5-9B-MLX, разработанной ornith-ai и адаптированной сообществом mlx-community для MLX. Модель предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. Указан английский язык. Модель основана на архитектуре Qwen3.5 с 9 млрд параметров и 32 слоями. Используется смешанная покомпонентная квантизация OptiQ: 116 компонентов представлены в 4-битном формате, 134 — в 8-битном, размер группы — 64. На диске модель занимает около 7 ГБ; обозначение 4bit относится к семейству квантов, а не к среднему числу бит на параметр. Для запуска используются mlx-lm и mlx-optiq, доступен совместимый с OpenAI и Anthropic серверный интерфейс с поддержкой смешанной точности KV-кэша. Сильными сторонами являются уменьшенный размер, локальная работа на Apple Silicon и сохранение более высокой точности в чувствительных слоях за счёт смешанной квантизации. Ограничения включают специализацию на экосистеме MLX и Apple Silicon, а также необходимость выделять модели достаточный бюджет токенов для reasoning-сценариев. Модель распространяется по лицензии Apache-2.0.

Это версия Phi-3 Medium-4k-Instruct от Microsoft, преобразованная в формат ONNX и оптимизированная для запуска через ONNX Runtime на CPU. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов. Вариант рассчитан на диалог и выполнение инструкций; исходная модель прошла supervised fine-tuning и direct preference optimization. Модель подходит для генерации ответов и текста, задач на понимание языка, рассуждения, математику и код. В README заявлена скорость около 20 токенов в секунду на Intel Core i9-10920X и минимальная конфигурация с 16 ГБ оперативной памяти. Репозиторий содержит CPU-вариант ONNX с квантизацией INT4 методом RTN. Лицензия — MIT.

Qwen2-1.5B-Instruct — инструктивно дообученная языковая модель из серии Qwen2, разработанной командой Qwen. Она предназначена для диалогов и генерации текста по пользовательским инструкциям, включая задачи понимания языка, программирования, математики и рассуждений. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Transformer с декодером Qwen2 и поддерживает контекст до 32 768 токенов. В карточке отмечены улучшенный токенизатор для нескольких естественных языков и кода, а также конкурентные результаты на тестах понимания, генерации, программирования и математики. Репозиторий содержит веса safetensors; для работы с библиотекой Transformers рекомендуется версия 4.37.0 или новее. Модель распространяется по лицензии Apache-2.0.

Карточка модели SpectreFestival/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

AtomicChat/Qwen2.5-7B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального офлайн-использования через совместимые инструменты, включая llama.cpp, Ollama, LM Studio и Jan. Модель имеет 7,6 млрд параметров, 28 слоёв и архитектуру плотного декодера Qwen2ForCausalLM с гибридным вниманием: sliding-window attention и глобальным вниманием. Заявленная длина контекста составляет 32 768 токенов, размер словаря — 152 064 токена. Поддерживается только текстовый ввод и вывод; заявлена многоязычная работа более чем с 29 языками, включая китайский, английский, французский, испанский, немецкий, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты GGUF-квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0. Квантизация с importance matrix помогает сохранить качество исходной модели при уменьшении размера; Q4_K_M рекомендуется как компромисс между размером, скоростью и качеством, а Q8_0 обеспечивает практически исходную точность, но требует около 8,1 ГБ. Ограничения связаны с потерями качества у низкобитных вариантов и необходимостью применять шаблон чата Qwen2.5; в llama.cpp следует использовать параметр --jinja. Исходная модель распространяется по лицензии Apache 2.0; квантизация выполнена Atomic Chat.