I.11Классификация, ранжирование и сопоставление

airoboros-7b-gpt4-1.4 — полноточная дообученная модель семейства LLaMA с плотной архитектурой, созданная jondurbin на синтетических данных, сгенерированных GPT-4. Веса представлены в формате PyTorch; модель содержит около 6,6 млрд параметров и рассчитана на контекст до 2048 токенов. Модель предназначена для диалогов и генерации текста: она отвечает на вопросы, выполняет инструкции, помогает с программированием, письмом, загадками и ролевыми сценариями. Отдельно автор описывает режим ответов по предоставленному контексту, настроенный на использование информации из него. Обучающие примеры кода охватывают десять языков программирования, однако карточка не перечисляет естественные языки, на которых модель обучалась. Автор отмечает, что модель почти не тестировалась, поэтому качество и надёжность ответов не валидированы. В обучающем шаблоне заложено стремление отвечать без отказов независимо от законности или моральной стороны запроса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

win10/BigLiberated-20B-V2 — разговорная языковая модель на архитектуре Qwen2, созданная слиянием предварительно обученных моделей с помощью mergekit и метода passthrough. В README указана участвовавшая в слиянии модель abacusai/Liberated-Qwen1.5-14B. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 19,4 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Лицензия в предоставленных данных не указана.

arcee-ai/DeepSeek-V3-0324-bf16 — конверсия модели DeepSeek V3 от Arcee AI в формат BF16. По метаданным это плотная авторегрессионная языковая модель архитектуры DeepseekV3ForCausalLM с 37,6 млрд параметров и контекстом до 163 840 токенов. Предназначена для генерации текста в диалогах и сценариях с интерфейсом вызова инструментов. Модель принимает текст и выдаёт текст. В карточке указана лицензия MIT. README сообщает о преобразовании весов из FP8 в BF16, но не даёт подробностей об обучении или результатах оценки.

Experiment28Meliodas-7B — автоматически объединённая модель, созданная Maxime Labonne из yam-peleg/Experiment28-7B и AurelPx/Meliodas-7b-dare с помощью mergekit. Это плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста; заявленная длина контекста составляет 32 768 токенов. Слияние выполнено методом SLERP с разными коэффициентами для слоёв self-attention и MLP. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка содержит пример загрузки через Transformers, но не описывает специальные предметные области или гарантии качества; результаты зависят от запроса и сценария использования.

Experiment28T3q_Experiment26Strangemerges_30 — объединённая модель семейства Mistral, созданная MaziyarPanahi на основе automerger/Experiment28T3q-7B и automerger/Experiment26Strangemerges_30-7B. Это плотная авторегрессионная модель с архитектурой MistralForCausalLM, содержащая 7,1 млрд параметров и поддерживающая контекст до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу, в том числе для диалогов и продолжения текста. В репозитории используются веса Safetensors. Указана лицензия Apache-2.0.

Experiment28T3q_OgnoShadow — объединённая модель семейства Mistral с 7,1 млрд параметров, созданная на основе automerger/Experiment28T3q-7B и automerger/OgnoShadow-7B. Она предназначена для генерации текста и может использоваться в диалоговых и других текстовых приложениях.

Efficient-Large-Model/Gemma-2-2B-it — инструктивно дообученная текстовая модель семейства Gemma 2, основанного Google на технологиях и исследованиях, использованных при создании Gemini. Это декодерная плотная языковая модель с 2,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и работает с контекстом до 8192 токенов. Модель предназначена для генерации текстов, диалоговых интерфейсов, ответов на вопросы, суммаризации и задач рассуждения. Её сравнительно компактный размер подходит для запуска на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. README указывает английский как язык моделей Gemma; отдельные коды языков для этого репозитория в метаданных не приведены. Ответы могут содержать фактические ошибки или устаревшую информацию; модель также может испытывать трудности с неоднозначными формулировками, сложными задачами и тонкими языковыми нюансами, а обучающие данные могут отражать предвзятость. Репозиторий использует лицензию Gemma; перед применением следует учитывать её условия и политику допустимого использования Gemma.

Gemma 2 2B Instruct — компактная языковая модель Google из семейства Gemma, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3496. Модель предназначена для генерации текста и диалоговых сценариев общего назначения, а также может использоваться для автодополнения и черновой генерации на устройствах с ограниченными ресурсами и низким энергопотреблением. Модель содержит около 2 миллиардов параметров и обучена на 2 триллионах токенов, включавших веб-документы, программный код и математические материалы. Она поддерживает работу с текстом; в README отдельно отмечены крупный словарь Gemma 2, потенциальные преимущества для многоязычных задач и программирования, однако точный список языков и размер контекстного окна не указаны. Для корректного диалога требуется шаблон Google Gemma Instruct; системный промпт не поддерживается. Сильными сторонами модели являются небольшой размер, пригодность для локального запуска и специализация на общих текстовых, кодовых и математических задачах. Ограничениями выступают меньшая емкость по сравнению с крупными моделями, отсутствие мультимодальности и неподдержка системных инструкций; модель также может генерировать неточные, вредные или неуместные ответы. Доступ регулируется лицензией Google Gemma: на Hugging Face требуется ознакомиться с условиями и принять лицензию.

Granite-4.1-8B-SFT-Claude-Opus-Reasoning-Unsloth — дообученная модель ermiaazarkhalili на базе IBM Granite-4.1-8B. Это плотная авторегрессионная модель класса GraniteForCausalLM с примерно 8,4 млрд параметров по метаданным и контекстом до 131 072 токенов. Модель прошла supervised fine-tuning на наборе distillation-данных с рассуждениями Claude; адаптер LoRA слит с базовыми весами. Поддерживает диалоговую генерацию текста и интерфейс вызова инструментов. Модель предназначена для генерации ответов и диалоговых сценариев, требующих следования инструкциям и пошаговых рассуждений. Она унаследовала многоязычные возможности Granite-4.1-8B, рассчитанной на работу с текстом и кодом. Карточка приводит только значения обучающей потери и не сообщает результатов тестирования на прикладных бенчмарках. Лицензия — Apache-2.0. К ограничениям относятся непроверенное качество вне обучающего набора, а также унаследованные от базовой модели смещения, пределы знаний и типичные ошибки. Поскольку LoRA-адаптер слит с весами, отделить его от результата дообучения нельзя.

Richard Young выпустил эту модифицированную версию IBM Granite 4.2 3B, созданную с помощью Heretic и методом abliteration без переобучения. Это плотный декодерный трансформер GraniteForCausalLM на 3,4 млрд параметров с контекстом 131 072 токена; модель предназначена для генерации текста и диалогов, рассуждений, написания кода и вызова инструментов. В карточке заявлены режимы рассуждения и поддержка 12 языков: английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского. Модификация уменьшает частоту отказов отвечать на запросы: в приведённом автором тесте отказов было 27 из 100 против 98 из 100 у исходной модели. Это не гарантирует полного отсутствия отказов, а изменение может приводить к небезопасным или неточным ответам. Модель распространяется под лицензией Apache 2.0; автор указывает сценарии исследования, творческого письма, обучения методам выравнивания и локального запуска.

Hy3-NVFP4 — квантизированная версия языковой модели Tencent Hy3, созданная Tiyuvta. Модель предназначена для генерации текста, диалоговых сценариев и задач с вызовом инструментов. Это открытый артефакт весов, а не готовый облачный endpoint. Модель представляет собой weight-only NVFP4-квантизацию W4A16 в формате safetensors, выполненную из официального BF16-чекпойнта Tencent Hy3 с помощью NVIDIA Model Optimizer 0.46.0. В архитектуре используются mixture-of-experts и multi-token prediction. Большинство весов маршрутизируемых экспертов, включая MTP-слой, хранятся в NVFP4, тогда как attention, embeddings, output head, нормы, router и ряд других компонентов используют BF16 или исходную точность. Активации экспертов остаются в BF16, KV-кэш этой квантизацией не изменяется. Артефакт квалифицирован на серверном движке Tiyuvta на четырёх NVIDIA RTX PRO 6000 Blackwell Server Edition. Проверка показала близость к эталонному ModelOpt-прогону, корректную работу MTP, tool calling, конкурентных запросов и повторного использования кэша. При этом модель ещё не прошла полноценную настройку производительности, экспериментальный wave-режим отключён, а заявленные характеристики производительности отсутствуют. В README не указаны размер модели, поддерживаемые языки и длина контекста. Лицензия — Apache-2.0, унаследованная от исходной модели. Для использования требуется совместимый runtime с поддержкой NVFP4 и соответствующей конфигурации; опубликованный репозиторий содержит модельный артефакт, но Tiyuvta не предоставляет для него hosted model ID.

Это декензурированная версия K2-Horizon-MoVA-36B-A4B, созданная с помощью Heretic v1.4.0. Исходная модель разработана IFM и представляет собой разреженную архитектуру Mixture-of-Experts с механизмом внимания Mixture-of-Values (MoVA). В README указано 36 млрд параметров модели и около 4 млрд активных на токен; метаданные каталога указывают 3,7 млрд параметров. Контекст модели — до 524 288 токенов. Модель предназначена для генерации текста в диалоге, рассуждений и агентных сценариев; поддерживает интерфейс вызова инструментов. В карточке описано снижение частоты отказов после abliteration, однако в приведённом сравнении модель всё ещё отказывала в 56 из 100 запросов против 98 у оригинала. Указанные языковые сведения ограничены английским. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers; в README также приведены инструкции для vLLM и SGLang. Лицензия — Apache-2.0. Для запуска исходной конфигурации автор приводит пример с двумя ускорителями H200; это не устанавливает минимальные требования для всех вариантов развёртывания.

Это дообученная диалоговая модель kihyun-K на базе kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в чате и поддерживает интерфейс вызова инструментов. Модель построена на архитектуре Llama, содержит 7,5 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В карточке указаны английский язык и лицензия Apache 2.0. README сообщает, что модель обучали с использованием Unsloth и библиотеки TRL для Hugging Face.

KoAlpaca-RealQA-Solar-Ko-Recovery-11B-Merged — разговорная языковая модель, разработанная beomi. Это слитая LoRA-модель на базе beomi/Solar-Ko-Recovery-11B, дообученная для ответов на вопросы и диалоговых сценариев. Модель использует плотную авторегрессионную архитектуру LlamaForCausalLM и содержит 10,7 млрд параметров; максимальный контекст — 4096 токенов. Репозиторий распространяет веса в формате safetensors. Модель предназначена для генерации текста в диалоге, понимания запросов, письма, рассуждений, решения математических задач и помощи с кодом. В README приведены результаты оценки LogicKor для одно- и многоходовых сценариев, включая режимы с одним примером и пошаговым рассуждением. Базовая модель ориентирована на корейский и английский языки; README не уточняет отдельные языковые показатели этой версии. Лицензия — Apache-2.0.

L3.3-70B-Euryale-v2.3-GGUF — это квантизированная версия языковой модели L3.3-70B-Euryale-v2.3, разработанной Sao10K и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp или совместимые приложения, включая LM Studio. Доступно множество вариантов квантизации с разным балансом между качеством и размером — от Q8_0 размером около 75 ГБ до более компактных вариантов Q2 и IQ3. Модель относится к классу text-generation и содержит 70B параметров согласно идентификатору базовой модели. Квантизация выполнена с использованием imatrix и специального набора данных; для некоторых вариантов предусмотрена оптимизация под ARM, AVX или определённые аппаратные возможности. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, мультимодальность и результаты бенчмарков. Сильной стороной модели является широкий выбор квантизаций: Q6_K и Q5 считаются высококачественными, а Q4-варианты предлагают более доступный размер для большинства сценариев локального запуска. Ограничениями являются значительные требования к памяти даже у компактных вариантов, а также возможное снижение качества при агрессивной квантизации. Для отдельных ARM-оптимизированных файлов требуются конкретные аппаратные инструкции; некоторые варианты не рекомендуется использовать на Mac. Указанная лицензия — Llama 3.

LiquidAI/LFM2.5-1.2B-JP-202606-ONNX — это ONNX-экспорт универсальной чат-модели LFM2.5-1.2B-JP-202606, разработанной Liquid AI. Модель предназначена для генерации текста и диалоговых сценариев, включая агентские рабочие процессы, использование инструментов, структурированный вывод и создание двуязычных ассистентов на английском и японском языках. Экспорт поддерживает запуск через ONNX Runtime, Transformers.js и WebGPU в браузере или Node.js. Модель содержит около 1,17 млрд параметров, 16 слоёв, включая 10 double-gated LIV convolution blocks и 6 GQA blocks, поддерживает контекст до 32 768 токенов и словарь размером 65 536 токенов. Доступны варианты FP32, FP16, INT8 и INT4; рекомендуемый для WebGPU файл model_q4f16.onnx сочетает INT4-веса и FP16-компоненты и занимает около 744 МБ. Модель поддерживает английский и японский языки, а дата отсечения знаний указана как середина 2024 года. Ключевые преимущества — небольшой размер, несколько вариантов точности и возможность кроссплатформенного локального запуска, включая браузерный WebGPU. Ограничения включают отсутствие опубликованных в этом README benchmark-результатов и подробностей обучения, а также потенциальные компромиссы между качеством, скоростью и размером при использовании квантованных вариантов. Модель распространяется по лицензии LFM1.0; дополнительные условия следует уточнять в файле LICENSE.

unsloth/Llama-3.1-Nemotron-70B-Instruct — текстовая диалоговая модель NVIDIA на архитектуре Llama 3.1, опубликованная Unsloth. Это версия с дообучением NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF; в карточке каталога указан датасет HelpSteer2. Модель предназначена для генерации ответов на инструкции и запросы в диалоге, а также поддерживает интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров. Она принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Llama 3.1. README направляет к исходной карточке NVIDIA за дополнительными сведениями; подробные ограничения и оценка качества в предоставленных данных не описаны.

QuantFactory/Llama3-8B-Chinese-Chat-GGUF — это квантизированная GGUF-версия модели shenzhi-wang/Llama3-8B-Chinese-Chat, созданная с помощью llama.cpp. Исходная модель дообучена на базе Meta-Llama-3-8B-Instruct с использованием метода ORPO и фреймворка LLaMA-Factory; в README автором указана QuantFactory. Модель предназначена для диалогового применения и генерации текста на китайском и английском языках: она ориентирована на ответы на китайские запросы, написание и редактирование текстов, решение математических задач, программирование и соблюдение базовых ограничений безопасности. По сравнению с исходной Meta-Llama-3-8B-Instruct она должна реже отвечать на китайские вопросы по-английски, меньше смешивать языки и использовать меньше эмодзи, обеспечивая более формальный стиль. Указана длина контекста 8192 токена; архитектура — семейство Llama 3, размер — 8 млрд параметров. Модель работает в текстовой модальности, а формат GGUF предназначен для использования с совместимыми инструментами, включая llama.cpp. К ограничениям относятся возможные ошибки в фактах, рассуждениях, математике и коде, что видно по приведённым примерам, а также отсутствие гарантии полной безопасности или качества ответов. В README не указаны конкретный вариант квантизации, требования к памяти и производительности, поэтому совместимость и скорость необходимо проверять для выбранной конфигурации. Лицензия обозначена как other с названием llama3; применимые условия следует уточнять в файле LICENSE и лицензии исходной модели.

Llama-3-8B-Instruct-Gradient-1048k-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Gradient-1048k, разработанной Gradient AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона сообщений Llama 3; заявленный контекст — до 1 048 000 токенов. Указан английский язык, поддерживается текстовая модальность. Модель основана на архитектуре Llama 3 с примерно 8 млрд параметров. Набор включает варианты квантизации от Q8_0 до Q2_K и IQ2–IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Наиболее качественными в README названы Q8_0 и Q6_K, а Q5_K_M, Q5_K_S, Q4_K_M и другие варианты рекомендованы как компромисс между качеством и потреблением ресурсов. Файлы предназначены для запуска через llama.cpp; квантизация выполнена с использованием imatrix. Сильными сторонами являются большой заявленный контекст, широкий выбор уровней квантизации и возможность локального запуска на оборудовании с разным объёмом памяти. Более сильное сжатие уменьшает размер модели, но снижает качество генерации; варианты Q2 и часть Q3 описаны как низкокачественные или пригодные главным образом при жёстких ограничениях памяти. В README указана лицензия llama3; отдельные требования исходной модели и ограничения применения следует уточнять в условиях этой лицензии.

LMCocktail-Mistral-7B-v1-Mistral-7B-Instruct-v0.1 — плотная языковая модель семейства Mistral, созданная объединением Mistral-7B-Instruct-v0.1 и Yhyu13/LMCocktail-Mistral-7B-v1 методом SLERP. Веса представлены в формате Safetensors; модель насчитывает 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Её можно применять в чат-ботах и для создания ответов на текстовые запросы. Данные о поддерживаемых естественных языках в карточке не приведены. Модель распространяется по лицензии Apache-2.0. Качество и поведение при объединении моделей могут различаться в зависимости от запроса; отдельные ограничения в карточке не описаны.

bartowski/lordx64_Qwable-v1-GGUF — набор GGUF-квантизованных версий модели Qwable-v1, разработанной lordx64. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и агентских сценариев, включая использование инструментов, цепочки рассуждений и генерацию текста; в метаданных она также отмечена как image-text-to-text, однако подробности о поддерживаемых визуальных возможностях не приведены. Указан английский язык, а обучение связано с датасетом agentic-distill-fable-5-sft. В тегах упоминаются Qwen3, Qwen3.6, MoE, distillation и chained distill, но точная архитектура, число параметров и размер контекста в README не указаны. Доступны варианты от BF16 и Q8_0 до более компактных IQ- и Q3-квантизаций. Размер файлов варьируется примерно от 15,98 до 71,07 ГБ; Q4_K_M обозначен как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как рекомендуемые варианты более высокого качества. Более сильные квантизации обеспечивают лучшее сохранение качества, тогда как низкобитные версии экономят оперативную память, но могут заметно уступать в качестве. Для запуска предлагаются llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты, однако для недавно поддерживаемых архитектур может потребоваться обновление ПО. Лицензия модели указана как AGPL-3.0. README не содержит результатов бенчмарков, точных требований к оборудованию, данных о размере контекста и детального описания ограничений, поэтому производительность и фактические мультимодальные возможности следует проверять отдельно.

M7Yamshadowexperiment28_Strangemerges_32Shadow — объединённая методом SLERP модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель создана объединением automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Shadow-7B. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Magnum-v2-72b — диалоговая языковая модель Anthracite, созданная для генерации связного текста с качеством прозы, которое авторы стремились приблизить к Claude 3 Sonnet и Opus. Это полноразмерное дообучение Qwen2-72B-Instruct на наборах инструкций и текстовых данных; модель содержит 71,5 млрд параметров и распространяется в формате safetensors. Модель принимает текстовые запросы в формате ChatML и предназначена для диалогов, ответов на вопросы и написания текстов. Поддерживает девять языков, включая английский, русский, китайский и японский. Длина контекста — 32 768 токенов. В README приведены результаты отдельных тестов Open LLM Leaderboard, включая IFEval и BBH. Модель рассчитана на генерацию текста и диалоговое взаимодействие. README не приводит подробных результатов по всем сценариям и раскрывает сведения о безопасности лишь частично. Лицензия указана как other, поэтому конкретные условия использования следует сверять с карточкой модели.

winglian/Meta-Llama-3-8B-1M — слитая модель на базе Llama 3 8B, созданная объединением исходной модели с LoRA-адаптером от инструкционной модели Gradient AI с контекстом 1M токенов. Это плотная авторегрессионная языковая модель класса LlamaForCausalLM с 7,5 млрд параметров, предназначенная для генерации текста и работы с длинным контекстом. Репозиторий содержит веса в формате safetensors. Модель подходит для генерации продолжений и ответов на запросы с большим объёмом текста в контексте. README не сообщает сведения о поддерживаемых языках или конкретных оценках качества. Лицензия в предоставленных данных не указана.

MiniCPM-2B-sft-fp32 — версия языковой модели MiniCPM-2B после instruction fine-tuning (SFT), представленная в формате FP32. Её разработали ModelBest и лаборатория обработки естественного языка Университета Цинхуа. Модель построена на архитектуре MiniCPMForCausalLM, содержит 2,7 млрд параметров и предназначена для генерации текста и диалоговых ответов на английском и китайском языках. Максимальная длина контекста — 4096 токенов. Модель подходит для диалоговых систем, ответов на вопросы, а также генерации текстов, кода и решений математических задач. Разработчики отмечают её компактный размер и возможность развёртывания на устройствах с ограниченными ресурсами после квантизации; этот репозиторий содержит веса FP32. В карточке указана лицензия other, а README сообщает об открытых весах для академических исследований и ограниченного коммерческого использования. Известные ограничения — склонность к галлюцинациям, зависимость ответов от формулировки запроса и вариативность результатов при повторных попытках; знания модели могут быть неточными. Качество генерации в Transformers, по сообщению авторов, может быть ниже, чем при использовании vLLM.

Jeff98/MiniCPM5-2B-openvino — это версия языковой модели openbmb/MiniCPM5-2B, преобразованная в формат OpenVINO с помощью optimum-intel. Архитектура, токенизатор, шаблон диалога и основные возможности унаследованы от исходной модели; репозиторий не содержит дополнительного обучения или выравнивания. Модель предназначена для генерации текста и ведения диалогов. Модель содержит примерно 2 млрд параметров и поддерживает китайский, английский и другие языки, заявленные для исходной MiniCPM5-2B. Она рассчитана на локальный запуск, разработку ассистентов и инструментов программирования, edge-сценарии, а также эксперименты на рабочих станциях. OpenVINO обеспечивает выполнение на CPU и Intel GPU, а OpenVINO Model Server позволяет развернуть модель через совместимый с OpenAI REST API. Точный размер контекста и архитектурные детали в README не указаны. Сильная сторона модели — готовность к эффективному локальному развертыванию в OpenVINO, включая преобразованные токенизатор и детокенизатор, поддержку OVMS и OpenAI-совместимого интерфейса. Ограничения унаследованы от исходной модели: возможны фактические ошибки, галлюцинации, некорректная генерация кода, зависимость качества от формулировки запроса и различия в качестве между языками; конвертация может приводить к небольшим числовым отличиям. Модель распространяется по лицензии Apache-2.0.

unsloth/MiniMax-M2.5-GGUF — это GGUF-версия языковой модели MiniMax-M2.5, подготовленная Unsloth на основе модели MiniMaxAI/MiniMax-M2.5. Она предназначена для локального запуска и генерации текста, включая использование через совместимые инструменты и библиотеки экосистемы Transformers. В README указано, что модель относится к классу text-generation и распространяется в формате GGUF с применением метода квантования Unsloth Dynamic 2.0. Заявляется, что этот метод обеспечивает высокую точность по сравнению с другими вариантами квантования. Архитектура, количество параметров, поддерживаемые языки, размер контекста и дополнительные модальности в предоставленных данных не указаны; по доступной информации модель является текстовой и не описана как мультимодальная. Основные преимущества — возможность локального запуска и наличие оптимизированных квантованных вариантов, потенциально снижающих требования к ресурсам по сравнению с полноразмерной моделью. Ограничения, результаты тестирования и рекомендуемые аппаратные требования в README не приведены. Лицензия обозначена как modified-MIT; подробные условия следует проверять в файле лицензии MiniMax-AI по указанной в карточке ссылке.

unsloth/mistral-7b-bnb-4bit — это напрямую квантизированная 4-битная версия Mistral 7B, подготовленная командой Unsloth с использованием bitsandbytes. Модель предназначена для запуска и дообучения в экосистеме Transformers, в том числе в доступных GPU-средах вроде Google Colab и Kaggle. Основные сценарии использования — генерация и продолжение текста, диалоговые приложения, а также fine-tuning на собственных наборах данных. README указывает поддержку английского языка, библиотекой интеграции является Transformers. Архитектура основана на Mistral 7B, однако точные параметры контекста и другие архитектурные характеристики в карточке не приведены. Формат 4-bit уменьшает требования к памяти; для Mistral 7B заявлено снижение использования памяти примерно на 62% при дообучении с инструментами Unsloth. Сильные стороны модели — компактное 4-битное представление и ориентированность на эффективное дообучение, включая последующий экспорт в GGUF или использование с vLLM. Ограничения включают возможное снижение точности из-за квантизации, зависимость от совместимого программного окружения и отсутствие в README подробных результатов оценки качества. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-imatrix-GGUF — набор GGUF-квантизаций инструкционной языковой модели Mistral Nemo, опубликованный пользователем duyntnet на Hugging Face. Квантизации основаны на исходной модели mistralai/Mistral-Nemo-Instruct-2407 и предназначены для локального запуска и генерации текста. Модель относится к задачам text-generation и поддерживает диалоговое взаимодействие, следование инструкциям и function calling. Для работы указаны llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All; исходная модель также может использоваться через mistral_inference, Transformers и NVIDIA NeMo. В README явно указан английский язык, однако дополнительные языковые возможности не описаны. Архитектура, точный размер, длина контекста, перечень модальностей и параметры квантизаций не приведены. Ключевое преимущество этого репозитория — возможность запускать квантизированные варианты модели в совместимых локальных инструментах, потенциально снижая требования к ресурсам по сравнению с полноразмерной версией. Ограничения связаны с отсутствием подробностей о конкретных уровнях квантизации и их качестве, а также с тем, что README не содержит результатов тестирования или оценки производительности. Лицензия указана как other; её конкретные условия в предоставленных данных не раскрыты.

NeuralsynthesisT3qm7-7B — слитая Maxime Labonne модель для генерации текста и диалогов. Она объединяет Kukedlc/NeuralSynthesis-7b-v0.4-slerp и nlpguy/T3QM7 методом SLERP с помощью mergekit. Модель построена на плотной архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса представлены в формате safetensors и имеют тип bfloat16. Лицензия — Apache-2.0.