I.11Классификация, ранжирование и сопоставление

YAYI2-30B — базовая версия мультиязычной большой языковой модели, разработанной компанией Wenge Technology (中科闻歌). Модель построена на архитектуре Transformer с плотной причинно-языковой архитектурой YayiForCausalLM и содержит 36,3 млрд параметров по метаданным; в README масштаб обозначен как 30B. Она предварительно обучена на 2,65 трлн токенов качественных многоязычных данных. Контекст — до 4096 токенов. Модель предназначена для генерации текста и может служить основой для прикладных решений, включая понимание языка, ответы на вопросы, математические и логические рассуждения, а также генерацию кода. В README упомянуты дообучение на инструкциях и RLHF для семейства YAYI 2, однако этот выпуск обозначен как Base-модель. Репозиторий содержит веса PyTorch. Для запуска BF16/FP16 требуется не менее 80 ГБ видеопамяти; README рекомендует Python 3.8+, PyTorch 2.0.1+ и CUDA 11.7+. Лицензия указана как other, поэтому условия использования следует сверить с файлами лицензии репозитория. Описание не устанавливает точный перечень поддерживаемых языков.

ZOZ-Reasoning-Master-3B — компактная языковая модель на 3,09 млрд параметров, разработанная z51722369 на архитектуре Qwen2 и дообученная для работы в роли диалогового агента с инструментами. В карточке описан трёхэтапный процесс обучения: настройка вызова функций и соблюдения схем, дообучение на задачах поиска и рассуждения в длинном контексте, затем диалоговое выравнивание на Magpie-Pro. Указанная в README базовая модель — Qwen2.5-3B-Instruct; метаданные связывают модель с z51722369/ZOZ-Function-Master-3B-LongContext. Модель предназначена для локальных RAG-систем, извлечения данных из документов и многошаговых диалогов, а также для маршрутизации запросов и вызова API или вебхуков. Она принимает текст, поддерживает контекст до 32 768 токенов и выдаёт текст, включая структурированные ответы и вызовы инструментов. README сообщает, что поставляются объединённые веса FP16; лицензия — Apache-2.0. Среди ограничений автор отмечает, что модель на 3B параметров уступает крупным моделям в энциклопедических знаниях и лучше работает, когда ответ опирается на предоставленный контекст или инструменты. Хотя размер контекста составляет 32K токенов, для баланса скорости и памяти в README рекомендованы последовательности длиной 1 024–4 096 токенов.

adamo1139/aya-expanse-32b-ungated — открытая версия весов Aya Expanse 32B от Cohere For AI без ограничения доступа через gated-доступ. Это авторегрессионная плотная трансформерная языковая модель семейства Cohere с 32,3 млрд параметров, предназначенная для генерации текста и диалогов на 23 языках. Модель принимает и выдаёт текст; метаданные указывают контекст 8192 токена. Модель подходит для многоязычных диалоговых помощников, ответов на вопросы, создания и перефразирования текстов на поддерживаемых языках. В карточке описаны supervised fine-tuning, обучение на предпочтениях, настройка безопасности и слияние моделей в процессе подготовки Aya Expanse. Для распространения указана лицензия CC-BY-NC-4.0; карточка также требует соблюдать политику допустимого использования Cohere For AI.

Behemoth-Gigaberg-SLERP-0.2 — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из Behemoth-123B-v1.2 и Gigaberg-Mistral-Large-123B. Модель предназначена для генерации текста и диалогового общения; в метаданных также заявлен интерфейс вызова инструментов. Модель содержит 122,2 млрд параметров, использует формат safetensors и имеет контекстное окно до 131 072 токенов. Она принимает текст и генерирует текст. Данные о поддерживаемых естественных языках в предоставленной карточке не приведены. Лицензия и конкретные ограничения применения в предоставленных данных не описаны. Качество и надёжность ответов могут зависеть от запроса и сценария использования; ответы следует проверять, особенно при вызове инструментов.

C4AI Command-R v01 — авторегрессионная плотная языковая модель Cohere и Cohere For AI на 35 млрд параметров, выпущенная с открытыми весами. Она предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и работы с RAG; также обучена формировать вызовы инструментов в специальном формате диалога. Модель принимает и генерирует текст. Она построена на оптимизированном трансформере, после предварительного обучения прошла дообучение с учителем и обучение на предпочтениях. Контекст составляет 128K токенов. Модель рассчитана на английский, французский, немецкий, испанский, итальянский, бразильский португальский, японский, корейский, упрощённый китайский и арабский; русский входил в дополнительные языки предобучения, но не указан среди языков, на которых модель специально оптимизирована. Весам требуется следовать лицензии CC-BY-NC-4.0 и Политике допустимого использования C4AI. Для вызова инструментов рекомендуется использовать предусмотренный шаблон диалога: отклонение от него может снизить качество. README указывает на сильные возможности RAG, но для их использования нужно предоставить модели найденные документы и соответствующий формат запроса.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

Dolphin-Mistral-24B-Venice-Edition-1.2-GGUF — это набор квантованных GGUF-версий модели Dolphin-Mistral-24B-Venice-Edition, разработанный пользователем douganger на основе релиза 1.2 от dphn. Модель предназначена для запуска локально с использованием совместимых инструментов, включая llama.cpp, и ориентирована на мультимодальные сценарии с обработкой текста и изображений, а также на работу с инструментами. Архитектурно это модель семейства Mistral с размером около 24 млрд параметров; доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 10,69 до 23,33 ГБ. Для версии 1.2 заявлены поддержка vision, контекст длиной до 131 тыс. токенов и улучшенный tool calling. Vision-адаптеры и importance matrix включены в сборку. README не указывает полный перечень поддерживаемых языков. Сильные стороны модели — широкий контекст, мультимодальность, улучшенная работа с инструментами и несколько вариантов квантования с разным компромиссом между размером и качеством; Q4_K_M обозначен как хороший вариант по умолчанию, а Q8_0 — практически эквивалентный исходным весам BF16. Ограничения связаны с требованиями к памяти, зависящими от выбранного квантования, а также с тем, что фактическая поддержка vision и tool calling зависит от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Gemma 2 9B Instruct — языковая модель Google с открытыми весами, построенная на архитектуре decoder-only и адаптированная для следования инструкциям и диалога. Она принимает текст и генерирует текст; семейство Gemma описано как ориентированное на английский язык. Репозиторий содержит производную версию базовой модели google/gemma-2-9b и файлы safetensors для использования с Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и рассуждений по заданному контексту. Относительно компактный размер семейства позволяет запускать модели Gemma на локальных компьютерах или собственной облачной инфраструктуре, хотя фактические требования зависят от конфигурации запуска. Модель может ошибаться в фактах, хуже справляться со сложными или неоднозначными запросами и отражать предвзятость обучающих данных. Использование регулируется лицензией Gemma.

unsloth/GLM-4.6V-GGUF — GGUF-версия мультимодальной модели GLM-4.6V из семейства GLM-V. Исходную модель разработала команда Z.ai, а данный вариант подготовлен Unsloth с использованием формата GGUF и методов квантования Unsloth Dynamic 2.0. Модель предназначена для облачных и высокопроизводительных кластерных сценариев, а также для задач мультимодальных агентов. GLM-4.6V поддерживает обработку изображений и текста, включая документы, скриншоты, страницы с таблицами, графиками и сложной разметкой. Она рассчитана на контекст до 128 тысяч токенов, поддерживает китайский и английский языки и имеет заявленный размер 106 млрд параметров. Ключевые возможности включают визуальное понимание, мультимодальный Function Calling, интерливинг изображений и текста, анализ длинных и многодокументных материалов, а также восстановление интерфейсов по скриншотам с генерацией и редактированием HTML/CSS. Сильными сторонами являются сочетание визуального восприятия с выполнением действий через инструменты, работа с насыщенными документами и заявленная конкурентоспособность на мультимодальных бенчмарках. Ограничения связаны с очень крупным размером модели и высокими требованиями к вычислительным ресурсам; конкретные требования к памяти и характеристики квантования в предоставленных данных не указаны. Модель распространяется по лицензии MIT.

Hermes-2-Theta-Llama-3-8B-GGUF — это квантизированная версия текстовой инструкционной модели Hermes-2-Theta-Llama-3-8B. Исходная модель разработана NousResearch, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp и метода imatrix. Модель основана на NousResearch/Hermes-2-Pro-Llama-3-8B и обучалась с применением методов дообучения, DPO, RLHF, дистилляции и синтетических данных, включая датасет teknium/OpenHermes-2.5. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций на английском языке. Заявлены возможности работы с function calling и JSON mode; для общения используется шаблон ChatML с системными, пользовательскими и ассистентскими сообщениями. Это текстовая модель без заявленной поддержки изображений или других дополнительных модальностей. Размер базовой модели — 8B параметров, однако точный размер контекста в README не указан. Главное преимущество набора — наличие множества вариантов квантизации с разным соотношением качества и требований к памяти: от Q8_0 размером 8,54 ГБ до IQ1_M размером около 2,39 ГБ. В README наиболее рекомендуются варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия в предоставленных данных не указана.

Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP — квантизированная версия модели Huihui-Qwen3.6-27B-abliterated, опубликованная пользователем или организацией sakamakismile и основанная на семействе Qwen3.5. Это гибридная модель с чередованием linear attention и периодических блоков full attention, дополненная встроенной MTP-головой для speculative decoding. Модель предназначена для генерации текста, рассуждений и вызова инструментов; заявлена также мультимодальная совместимость с визуальными и видеотокенами, но данный вариант ориентирован на текстовый режим. Модель использует формат NVFP4 с конфигурацией modelopt W4A4 и имеет размер 27B параметров. Поддерживается контекст до 262144 токенов, при этом в рекомендуемой конфигурации используется 65536 токенов. Предусмотрен вывод рассуждений в тегах <think> и XML-вызовы инструментов. Для ускорения генерации применяется MTP с тремя спекулятивными токенами; в приведённых тестах на четырёх NVIDIA RTX PRO 2000 Blackwell заявлены скорости около 81–83 токенов в секунду для одного потока и до примерно 880 токенов в секунду при 24 одновременных запросах. К сильным сторонам относятся поддержка длинного контекста, экономичное KV-кэширование, ускоренная генерация и интеграция с vLLM. Основные ограничения — необходимость четырёх GPU NVIDIA Blackwell по 16 ГБ, совместимого ПО и CUDA 13.x для оптимальных NVFP4-ядер, а также возможные риски, связанные с характером abliterated-модели и отсутствием заявленных ограничений безопасности. Лицензия — Apache-2.0.

LFM2-1.2B — компактная языковая модель, разработанная Liquid AI для работы на периферийных устройствах и локального развертывания. Это плотная авторегрессионная модель семейства LFM2 с 1,1 млрд параметров. Архитектура сочетает 10 блоков коротких свёрток с двойными затворами и 6 блоков группового внимания GQA. Модель принимает текст и генерирует текст; предусмотрены шаблон диалога в стиле ChatML и интерфейс для вызова инструментов. Контекст по метаданным каталога — до 128 000 токенов. Модель рассчитана на многошаговые диалоги, агентные сценарии, извлечение данных, RAG и творческое письмо. Liquid AI заявляет о высокой скорости и экономном использовании памяти на CPU, GPU и NPU, что подходит для смартфонов, ноутбуков и автомобильных систем. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. README рекомендует дообучать модель под узкие задачи и не рекомендует полагаться на неё в задачах, требующих глубоких знаний или навыков программирования. Лицензия обозначена в метаданных как other; конкретные условия следует проверять в репозитории модели.

Light-IF-32B — дообученная компанией Qihoo 360 языковая модель на базе Qwen/Qwen3-32B, предназначенная для точного выполнения сложных инструкций. В карточке указаны архитектура Qwen3ForCausalLM с плотными весами и 29,7 млрд параметров; модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, а нативный контекст составляет 40 960 токенов. При дообучении применялись Entropy-SFT и token-wise entropy-adaptive reinforcement learning (TEA-RL), чтобы улучшить планирование и самопроверку ответа при выполнении инструкций с множеством ограничений. В README сообщается о результатах на бенчмарках SuperClue, IFEval, CFBench и IFBench и о сравнении с более крупными моделями; приведённая таблица неполная, поэтому конкретные результаты Light-IF-32B из неё определить нельзя. Модель подходит для диалоговых систем и задач, где важно соблюдать сложные требования к ответу. Она унаследована от многоязычной Qwen3, однако конкретный список поддерживаемых языков в предоставленных данных не приведён. Лицензия — Apache-2.0.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

unsloth/Llama-3.2-3B-bnb-4bit — 4-битная версия языковой модели Llama 3.2 с 3 млрд параметров, подготовленная Unsloth на базе Meta Llama 3.2. Это авторегрессионная текстовая модель с архитектурой оптимизированного Transformer и механизмом Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на многоязычные задачи, включая диалоговые системы, агентный поиск с извлечением данных и суммаризацию. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель работает в режиме «текст на входе — текст на выходе»; сведения о размере контекста в карточке не указаны. Благодаря 4-битному квантованию версия рассчитана на более экономичное по памяти развертывание и удобна для локального использования и дообучения. Сильными сторонами являются компактный размер, сниженные требования к памяти и поддержка сценариев дообучения через инструменты Unsloth. Ограничения включают текстовую, а не мультимодальную специализацию, статичность модели и отсутствие гарантии актуальности знаний, поскольку она обучена на офлайн-данных. Использование регулируется кастомной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy Meta.

Llama-3-70B-Synthia-v3.5 — универсальная языковая модель семейства Llama 3, дообученная разработчиком migtissera на наборе Synthia-v3.5 и других общедоступных данных. Вычислительные ресурсы для обучения предоставила KindoAI. Модель предназначена для следования инструкциям и продолжительных диалогов. Её можно применять для ответов на вопросы, написания и редактирования текста, объяснений и диалоговых сценариев. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 69,5 млрд параметров; она принимает текст, выдаёт текст и поддерживает контекст до 8192 токенов. В карточке приведены результаты оценивания на нескольких наборах задач, включая IFEval и BBH. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неуместный контент; автор характеризует её как uncensored и рекомендует проверять ответы. Репозиторий содержит веса в формате safetensors. Лицензия — Llama 3 License (llama3).

LwQ-Reasoner-10B — дообученная модель prithivMLmods для генерации текста и диалогов. Она основана на плотной авторегрессионной архитектуре Llama и обучена на синтетических наборах данных для рассуждений. Размер модели — 9,9 млрд параметров, контекстное окно — 32 768 токенов; веса доступны в формате safetensors, запуск предполагает библиотеку Transformers. Модель предназначена для многоязычных диалогов, следования инструкциям и решения задач, требующих математических рассуждений или использования заданного контекста. Её можно применять в чат-ботах, обучающих помощниках, для ответов на вопросы, составления сводок и генерации текстов. Карточка указывает лицензию Llama 3.1. Качество может различаться между языками; модель может ошибаться в узкоспециализированных темах и сложных многошаговых рассуждениях, а неоднозначные инструкции способны ухудшить результат. При работе с длинными материалами нужно учитывать ограничение контекста, а для запуска модели такого размера требуются значительные вычислительные ресурсы.

Magstral 123B — плотная языковая модель на архитектуре Mistral, созданная автором lodrick-the-lafted слиянием весов anthracite-org/magnum-v2-123b и mistralai/Mistral-Large-Instruct-2407. Автор описывает её как простое слияние в пропорции 50/50 методом SLERP, призванное приблизить Magnum v2 к обычному варианту Mistral Large. Модель предназначена для генерации текста и диалогов; каталог также отмечает интерфейс вызова инструментов. Она содержит 122,2 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Карточка не уточняет языки, на которых модель особенно эффективна, и не приводит результатов оценки качества. В репозитории указана лицензия other; конкретные условия использования следует проверять в файлах лицензии модели и её базовых компонентов. Большой размер модели требует значительных вычислительных ресурсов.

NousResearch/Meta-Llama-3.1-70B — текстовая большая языковая модель, разработанная Meta и представленная в репозитории NousResearch. Это плотная авторегрессионная модель семейства Llama 3.1 с архитектурой оптимизированного Transformer и Grouped-Query Attention; объём — 69,5 млрд параметров. Модель принимает и генерирует текст, а контекстное окно составляет до 131 072 токенов. Модель предназначена для генерации текста и многоязычного диалогового взаимодействия: её можно применять как основу для чат-ассистентов, а также для адаптации под различные задачи генерации естественного языка. Поддерживаемые языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Карточка описывает инструктивно настроенные модели семейства как прошедшие SFT и RLHF, но не уточняет отдельно тип настройки именно этого репозитория. К преимуществам относятся большой контекст и поддержка нескольких языков. Возможны ошибки и небезопасные ответы; качество на языках вне перечисленных поддерживаемых языков не гарантируется. Модель распространяется по пользовательской коммерческой лицензии Llama 3.1 Community License, условия которой следует проверить перед использованием.

ThomasBaruzier/Meta-Llama-3.1-8B-Instruct-GGUF — это инструкция-ориентированная языковая модель в формате GGUF, основанная на Meta Llama 3.1 и опубликованная пользователем ThomasBaruzier. Разработчик исходной модели — Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, связанных с диалоговыми системами, ответами на вопросы и обработкой естественного языка. Из доступных данных известно, что модель содержит 8 миллиардов параметров, относится к семейству Llama 3.1 и поддерживает текстовую модальность. В карточке заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Формат GGUF ориентирован на локальный запуск и совместимую с ним инфраструктуру вывода, однако конкретный вариант квантования, требования к памяти, размер контекста и показатели качества в README не указаны. Сильными сторонами модели являются инструкционная настройка, многоязычная поддержка и относительно компактный размер по сравнению с более крупными моделями семейства. Ограничения включают отсутствие подробных сведений о квантовании, производительности и фактическом качестве на отдельных языках, а также типичные для генеративных языковых моделей риски неточных или нежелательных ответов. Модель распространяется по лицензии Llama 3.1 Community License от Meta с требованиями соблюдать Acceptable Use Policy, сохранять уведомление об авторских правах и выполнять условия атрибуции при распространении.

ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4 — это 4-битная AWQ-квантизированная версия Meta-Llama-3.3-70B-Instruct, первоначально выпущенной Meta AI и опубликованной в данном варианте пользователем ibnzterrell. Модель представляет собой крупную instruction-tuned языковую модель с текстовым вводом и выводом, предназначенную для генерации текста и многоязычного диалога. Модель подходит для чат-ассистентов, ответов на вопросы и других сценариев текстовой генерации на английском, французском, итальянском, португальском, хинди, испанском, тайском и немецком языках. Исходная модель имеет размер 70B параметров; доступный вариант использует INT4-квантизацию AWQ с GEMM-ядрами, zero-point quantization и размером группы 128. Для загрузки контрольной точки требуется около 35 ГиБ VRAM без учёта KV-кэша и CUDA Graphs, поэтому необходим некоторый дополнительный запас видеопамяти. Поддерживаются Transformers, AutoAWQ, Text Generation Inference и vLLM. К основным преимуществам относятся значительно сниженные требования к памяти по сравнению с полноточной версией и возможность запуска большой многоязычной instruction-tuned модели на совместимом оборудовании. Ограничения связаны с потерями качества, возможными при 4-битной квантизации, высокой потребностью в ресурсах и тем, что README не содержит сведений о длине контекста. Модель распространяется по лицензии Llama 3.3.

MetaMath-Cybertron-Starling-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP диалоговая языковая модель, созданная на основе mistralai/Mistral-7B-Instruct-v0.2 и Q-bert/MetaMath-Cybertron-Starling. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии Apache-2.0.

cyankiwi/MiniCPM-SALA-AWQ-8bit — 8-битная AWQ-квантизованная версия модели MiniCPM-SALA, разработанной OpenBMB. Модель предназначена для генерации текста, включая работу с длинными документами, анализом контекста, математическими и программными задачами. Заявлена поддержка китайского и английского языков и совместимость с Transformers. Архитектура MiniCPM-SALA сочетает 25% слоёв со sparse attention InfLLM-v2 и 75% слоёв с linear attention Lightning Attention. Гибридный подход рассчитан на эффективную работу с последовательностями длиной до 1 млн токенов и снижает требования к вычислениям и KV-кэшу; разработчики заявляют ускорение до 3,5 раза по сравнению с плотной моделью Qwen3-8B на последовательностях длиной 256 тысяч токенов. Для сохранения качества на коротком и длинном контексте используются HyPE и метод адаптации HALO. Точный размер модели в README не указан, однако упоминается класс моделей масштаба около 9B. К сильным сторонам относятся большой контекст, высокая эффективность инференса и возможность запуска на потребительских GPU, включая NVIDIA RTX 5090. Ограничения включают зависимость от специализированного программного окружения для оптимального инференса, включая CUDA 12.x или новее и компоненты SGLang; характеристики и качество именно данной AWQ-версии отдельно не приведены. Лицензия — Apache 2.0.

Mistral-7B-Instruct-v0.1-GGUF — это квантизированная версия текстовой instruct-модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в средах, совместимых с GGUF и LlamaEdge. Модель основана на архитектуре Mistral, имеет 7 миллиардов параметров и поддерживает только текстовую модальность. Размер контекста составляет 4096 токенов, а для взаимодействия используется шаблон mistral-instruct: <s>[INST] {prompt} [/INST]. README не указывает поддерживаемые языки. Доступны варианты квантизации от 2 до 8 бит размером примерно от 2,7 до 7,7 ГБ; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые, поскольку обеспечивают баланс между размером и качеством. Основные преимущества модели — возможность локального запуска, широкий выбор уровней квантизации и совместимость с LlamaEdge версии 0.2.8 и выше. Более агрессивная квантизация уменьшает требования к ресурсам, но может приводить к заметной потере качества. Лицензия модели — Apache-2.0.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Mistral-Large-Instruct-2407-4bit — крупная инструкционная языковая модель семейства Mistral, подготовленная сообществом mlx-community. Она конвертирована из mistralai/Mistral-Large-Instruct-2407 в формат MLX с использованием mlx-lm и предназначена для запуска на устройствах, поддерживающих экосистему MLX. Модель содержит около 122,2 млрд параметров, использует 4-битную квантизацию и поддерживает контекст длиной до 32 768 токенов. Она ориентирована на генерацию текста по инструкциям: диалоги, ответы на вопросы, составление и редактирование текстов, суммирование и другие сценарии применения общей языковой модели. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Для использования требуется библиотека mlx-lm. 4-битная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с полноточной или менее квантизованной версией. Модель распространяется по лицензии Mistral Research License (MRL-0.1), указанной в карточке как license: other.

Kaoeiri/MS_Moingooistral-2409-22B — объединённая языковая модель, созданная Kaoeiri с помощью mergekit методом task arithmetic на основе unsloth/Mistral-Small-Instruct-2409 и Kaoeiri/Moingooistrial-22B-V1-Lora. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM, размером 22 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова функций. Репозиторий содержит веса safetensors; в README указаны bfloat16 и объединённый токенизатор. Сведения о конкретных языках и специализации по предметной области в доступных данных отсутствуют. Лицензия в предоставленных источниках не указана.

Sakalti/Neptuno-Alpha — объединённая языковая чат-модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве базовой модели использована Sakalti/Neptuno-3B, а в объединении также участвовала bunnycore/Qwen2.5-3B-RP-Mix. Модель содержит 3,1 млрд параметров, распространяется в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и следование инструкциям. Она принимает текст и выдаёт текст; в метаданных также указаны возможности чата и интерфейс вызова инструментов. В карточке указана лицензия other, поэтому условия использования следует сверять с лицензией и условиями исходных моделей.

openchat-3.5-0106-Mistral-7B-Instruct-v0.2 — диалоговая языковая модель на архитектуре Mistral, созданная объединением весов mistralai/Mistral-7B-Instruct-v0.2 и openchat/openchat-3.5-0106 методом SLERP. Модель разработана на основе открытых моделей Mistral AI и OpenChat; в репозитории представлены веса в формате safetensors. Размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста в диалоге и выполнения инструкций: её можно использовать для ответов на вопросы, составления текстов и ведения чат-диалогов. В метаданных указаны задача text-generation и возможность chat. Лицензия — Apache-2.0. Языки модели в предоставленных данных не перечислены.

FuseAI/OpenChat-3.5-7B-Mixtral — диалоговая языковая модель, выпущенная проектом FuseChat при Университете Сунь Ятсена. Это целевая модель, полученная на этапе попарного слияния знаний OpenChat-3.5-7B с другой чат-моделью. В репозитории указаны 7,1 млрд параметров, архитектура Mistral с плотной структурой и контекст до 8192 токенов. Модель предназначена для диалогов, ответов на вопросы и выполнения текстовых инструкций общего назначения. README описывает подход FuseChat: модели обучаются для переноса знаний, а затем объединяются в пространстве параметров; для оценки использовались многоходовые диалоги MT-Bench по письму, ролевым сценариям, рассуждениям, математике, программированию, STEM и гуманитарным темам. Карточка позиционирует модель как компонент для дальнейшего слияния с другими целевыми моделями FuseChat. Модель принимает текст и генерирует текст. В метаданных указан английский язык, библиотека Transformers и формат Safetensors. Лицензия — Apache 2.0. README не сообщает отдельные результаты оценки именно этого чекпойнта, поэтому показатели итоговой FuseChat-7B-VaRM не следует переносить на него.