I.5Создание и редактирование текста

Mistral-7B-Instruct-Aya-101-GGUF — набор квантованных файлов в формате GGUF для модели Mistral-7B-Instruct-Aya-101, созданный и подготовленный MaziyarPanahi. Базой указана Mistral-7B-Instruct-v0.2 от Mistral AI; модель предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на многоязычные сценарии, включая работу более чем со 100 языками, среди которых английский, русский, французский, немецкий, испанский, арабский, китайский, японский и другие. Она имеет архитектуру Mistral с примерно 7 млрд параметров и поддерживает варианты квантования в форматах GGUF, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. GGUF позволяет запускать модель локально через llama.cpp и совместимые приложения и библиотеки, в том числе text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Основные преимущества — уменьшенное потребление памяти по сравнению с полноразмерной моделью, возможность выбора компромисса между качеством и скоростью за счёт разных уровней квантования и удобство локального запуска на CPU или GPU. README не содержит данных о размере контекста, точных требованиях к памяти, результатах тестирования и ограничениях качества, поэтому эти характеристики нельзя достоверно оценить. Для модели указана лицензия Apache-2.0.

Карточка модели princeton-nlp/Mistral-7B-Instruct-CPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

vikasaarna/mistral-7b-instruct-rigtuned-v0.1 — дообученная автором vikasaarna чат-модель на основе unsloth/mistral-7b-instruct-v0.3-bnb-4bit. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и предназначена для генерации текста в диалогах и других сценариях, где требуется продолжить текстовый запрос. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. Карточка указывает английский язык. Модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели princeton-nlp/Mistral-7B-Instruct-SLiC-HF на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Mistral-7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.1, разработанной Mistral AI (mistralai) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и инструкционного диалога, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Основа модели — Mistral с 7 миллиардами параметров; точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти, скоростью и качеством. Формат GGUF ориентирован на эффективный запуск, в том числе с GPU-ускорением, в локальных интерфейсах и серверных решениях. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с популярными инструментами локального инференса. Ограничения включают возможное снижение качества на агрессивно квантизированных вариантах, а также отсутствие в README подробных данных о результатах оценки, языковых возможностях и контекстном окне. Модель распространяется по лицензии Apache-2.0.

unsloth/mistral-7b-instruct-v0.2-bnb-4bit — это 4-битно квантованная версия Mistral-7B-Instruct-v0.2, подготовленная Unsloth на базе модели mistralai/mistral-7b-instruct-v0.2. Модель предназначена для генерации текста и диалоговых сценариев, включая conversational-форматы ShareGPT, а также для дообучения на собственных наборах данных. Она интегрируется с библиотекой Transformers и может экспортироваться в форматы GGUF и vLLM. Из известных характеристик: модель относится к семейству Mistral, содержит около 7 миллиардов параметров, работает с текстом и заявлена для английского языка. Представление bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что делает вариант подходящим для локального запуска и эффективного fine-tuning на ограниченных ресурсах. README также указывает на ускорение дообучения Mistral в Unsloth примерно в 2,2 раза и сокращение использования памяти до 62%, однако эти показатели относятся к процессу дообучения в заявленной конфигурации, а не являются гарантией качества или скорости инференса. Модель может использоваться для чат-ботов, генерации и продолжения текста, экспериментов с instruction tuning и DPO. Ограничения включают зависимость качества от формата промптов и данных дообучения, возможные потери качества из-за 4-битной квантизации, а также отсутствие в README сведений о размере контекстного окна, точной архитектуре, мультимодальности, результатах бенчмарков и требованиях к инференсу. Лицензия — Apache-2.0.

Jan-HQ Mistral-7B-Instruct-v0.2-DARE — объединённая Jan модель на основе Mistral-7B-Instruct-v0.2 и трёх моделей с высокими результатами в Open LLM Leaderboard. Она предназначена для диалогов и генерации текста общего назначения. Модель имеет плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов; README указывает шаблоны ChatML и Alpaca. Поддерживается английский язык. Веса объединены методом DARE TIES с использованием Mistral-7B-Instruct-v0.2, OpenHermes-2.5-neural-chat-v3-3-Slerp, MetaMath-Cybertron-Starling и v1olet_marcoroni-go-bruins-merge-7B. README приводит результаты оценки, включая средний балл 55,84 и 61,95 по AI2 Reasoning Challenge. Это тестовый проект Jan по слиянию моделей; результаты не гарантируют качество в конкретных задачах. Лицензия — Apache-2.0.

MaziyarPanahi/Mistral-7B-Instruct-v0.2-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.2, разработанной Mistral AI (mistralai) и преобразованной в квантизированный формат MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Базовая модель имеет 7 миллиардов параметров и относится к семейству Mistral Instruct. В репозитории доступны варианты квантизации с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. README не содержит сведений о языках, размере контекста, точной архитектуре или результатах оценки качества. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка GPU-ускорения в совместимых приложениях. Ограничения связаны с потерей части качества при более агрессивной квантизации, а также с необходимостью выбирать подходящий GGUF-файл и программную среду. Модель распространяется по лицензии Apache-2.0.

silvercoder67/Mistral-7b-instruct-v0.2-summ-sft-e2m — разговорная модель генерации текста на базе плотной архитектуры MistralForCausalLM. Она содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для диалогового взаимодействия и генерации текста. README не раскрывает подробности обучения, данных или конкретных сценариев применения. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Карточка модели DevQuasar/Mistral-7B-Instruct-v0.3_brainstorm-v3.1 на Hugging Face совпадает с карточкой DevQuasar-2/Luca-MN-bf16-GGUF, поэтому описание составлено по ней. DevQuasar-2/Luca-MN-bf16-GGUF — чат-модель для генерации текста в формате GGUF BF16. По метаданным, это производная от rAIfle/Luca-MN-bf16 модель, доступная для задач генерации текста.

Mistral-7B-Instruct-v0.3-GGUF — квантизированная версия инструкционной модели Mistral-7B-Instruct-v0.3, разработанной mistralai и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для диалогового взаимодействия и запуска локальных сервисов генерации текста, включая сценарии с использованием инструментов через LlamaEdge. Модель имеет размер 7B параметров и поддерживает контекст до 32 000 токенов. В репозитории представлены варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 2,72 до 14,5 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество. Сведения о модальностях и поддерживаемых языках в README не указаны. Модель подходит для локального чата, генерации текста и интеграции в приложения через LlamaEdge с шаблонами Mistral Instruct и Mistral Tool. К ограничениям относятся компромиссы между размером файла и качеством, характерные для квантизированных версий, а также отсутствие в предоставленных данных результатов тестирования и подробностей об аппаратных требованиях. Распространяется по лицензии Apache-2.0.

Herry443/Mistral-7B-KNUT-ref-en — англоязычная разговорная модель генерации текста на архитектуре Mistral, разработанная на основе mistralai/Mistral-7B-Instruct-v0.2. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста. В карточке указано использование примеров из Open-Platypus, Databricks Dolly 15k и Orca Math Word Problems 200k; это указывает на сценарии следования инструкциям и решения математических задач. Доступны веса в формате safetensors. Лицензия — CC BY 4.0.

Mistral-7B-KNUT-v0.3-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и Mistral-7B-KNUT-v0.3. Разработчик выполнил слияние методом SLERP: для слоёв attention и MLP заданы отдельные коэффициенты смешивания. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; файлы опубликованы в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она принимает текстовые запросы и выдаёт текстовые ответы; заявленная длина контекста — 32 768 токенов. В карточке не описаны специальные языковые или предметные преимущества объединённой версии. Модель распространяется по лицензии Apache-2.0. Качество и поведение слияния отдельно не охарактеризованы; результат может отличаться от обеих исходных моделей.

Карточка модели bany1111/mistral-7b-lima_v2 на Hugging Face совпадает с карточкой bany1111/mistral-7b-arc_reasoning_v2, поэтому описание составлено по ней. bany1111/mistral-7b-arc_reasoning_v2 — дообученная языковая модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она создана bany1111 на основе unsloth/mistral-7b-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для генерации текста; контекст составляет до 32 768 токенов. Карточка не описывает специализацию на конкретных сценариях рассуждения или отдельных областях, поэтому её можно рассматривать как модель общего назначения для текстовых запросов и ответов. Указана поддержка английского языка. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или конкретных ограничений; результаты следует проверять на целевых задачах.

MaziyarPanahi/mistral-7b_open_platypus-Mistral-7B-Instruct-v0.1 — языковая чат-модель, созданная слиянием Mistral-7B-Instruct-v0.1 и mistral-7b_open_platypus методом SLERP. Она предназначена для генерации ответов на инструкции и диалоговые запросы. Модель построена на плотной архитектуре Mistral с 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В карточке указана поддержка английского языка. Модель распространяется в формате safetensors по лицензии Apache-2.0. Подходит для чат-ботов и других приложений, которым нужны ответы на текстовые запросы. Сведения о специализированной области применения и отдельных ограничениях качества в карточке не приведены.

abacaj/mistral-7b-sft — текстовая генеративная модель на архитектуре Mistral, опубликованная пользователем Hugging Face abacaj. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста. Карточка содержит разделы о запуске инференса и обучении, но не описывает конкретную специализацию или сценарии применения. Данные указывают на поддержку английского языка; формат весов — PyTorch. Лицензия и подробные ограничения применения в предоставленных материалах не описаны.

mistral-7b-slimorcaboros-Mistral-7B-Instruct-v0.1 — чат-модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.1 и mistral-7b-slimorcaboros методом SLERP. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате. Модель поддерживает контекст длиной до 32 768 токенов и рассчитана на англоязычные запросы. Её можно использовать для диалогов, ответов на вопросы и выполнения текстовых инструкций. Весовые файлы опубликованы в формате Safetensors. Модель распространяется по лицензии Apache-2.0. Качество и поведение унаследованы от объединённых моделей; карточка не приводит результатов оценки этой конкретной версии.

Mistral-7B-v0.1-DPO — дообученный адаптер на основе исходной модели Mistral-7B-v0.1. Разработчик дообучил языковую модель, включая LM head и модули внимания и MLP: k_proj, gate_proj, v_proj, up_proj, q_proj, o_proj и down_proj. Модель предназначена для генерации текста. Она построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В карточке указана лицензия Apache-2.0. README не сообщает, на каких данных и по какой процедуре выполнялось DPO-дообучение, и не приводит оценки качества или список поддерживаемых языков. Поэтому пригодность модели для конкретного языка или сценария следует проверять отдельно.

Mistral-7B-v0.1-flashback-v2-instruct — шведско-английская инструктивная языковая модель timpal0l, созданная дообучением timpal0l/Mistral-7B-v0.1-flashback-v2 на машинно переведённом наборе инструкций OpenHermes 2.5. Она предназначена для диалогов и генерации ответов на инструкции; использовать её можно, например, через библиотеку Transformers.

Mistral-7B-v0.1-Open-Platypus-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, полученная слиянием методом SLERP моделей Mistral-7B-Instruct-v0.1 и Mistral-7B-v0.1-Open-Platypus. Она предназначена для генерации ответов на инструкции и диалоговые запросы; каталог классифицирует её задачу как text-generation. Модель построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Карточка указывает формат safetensors и лицензию Apache-2.0. Язык в предоставленных данных явно не задан; возможности и качество модели за пределами описания базовой чат-модели не подтверждены.

Карточка модели jacobolopez/Mistral-7B-v0.1-sharded на Hugging Face совпадает с карточкой mistralai/Mistral-7B-v0.1, поэтому описание составлено по ней. Mistral-7B-v0.1 — предварительно обученная генеративная языковая модель команды Mistral AI с плотной архитектурой Transformer и примерно 7,1 млрд параметров. Она предназначена для генерации продолжения текста и служит базовой моделью для дальнейшей адаптации под конкретные задачи. Модель использует Grouped-Query Attention, Sliding-Window Attention и токенизатор Byte-fallback BPE. Родной контекст составляет 32 768 токенов. Карточка указывает английский язык; модель доступна в форматах PyTorch и safetensors и рассчитана на работу с библиотекой Transformers. По заявлению разработчиков, на проверенных ими бенчмарках модель превосходила Llama 2 13B. Это базовая модель без механизмов модерации, поэтому сгенерированный текст может быть нежелательным или небезопасным. Лицензия — Apache-2.0.

QuantFactory/Mistral-7B-v0.2-hf-GGUF — квантизированная версия модели Mistral-7B-v0.2-hf. Модель разработана mistralai, а веса предоставлены alpindale; сборка выполнена с использованием llama.cpp. Она предназначена для генерации текста и совместима с рабочими процессами, использующими библиотеку Transformers и формат GGUF. Модель относится к семейству Mistral и имеет размер 7 миллиардов параметров. Доступны варианты квантования Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, что позволяет выбирать компромисс между размером, требованиями к ресурсам и качеством. README не содержит сведений о поддерживаемых языках, длине контекста, конкретных модальностях помимо генерации текста, ограничениях, лицензии и рекомендуемых сценариях применения.

Mistral-7B-v0.3-Chinese-Chat — диалоговая языковая модель, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang. Она создана для общения на китайском и английском языках и основана на Mistral-7B-Instruct-v0.3 от Mistral AI. Модель с плотной архитектурой Mistral содержит около 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Это полнопараметрическое дообучение методом ORPO на смешанном китайско-английском наборе примерно из 100 тысяч пар предпочтений. Модель предназначена для диалогов, ролевых сценариев, математики и использования инструментов; разработчики отмечают улучшение ответов на китайском и снижение смешения китайского и английского по сравнению с базовой моделью. Модель принимает текст и генерирует текст. Репозиторий предоставляет веса в формате Safetensors. Лицензия — Apache-2.0. В README отмечено, что ответы на вопросы о личности и разработчиках могут быть случайными и недостоверными.

MaziyarPanahi/mistral-7b-v5-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral для генерации текста в ответ на инструкции и диалоговые запросы. Она создана слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и mncai/mistral-7b-v5; базовой указана mistralai/Mistral-7B-Instruct-v0.1. Модель содержит 7,1 млрд параметров, рассчитана на контекст до 32 768 токенов и распространяется в формате Safetensors. Модель подходит для диалоговых помощников и генерации ответов по текстовым запросам. В метаданных указан английский язык. Лицензия — Apache-2.0. Данные карточки не описывают специальных прикладных областей или известных ограничений качества.

Minbyul/mistral-7b-wo-kqa_golden-sft — дообученная методом SFT языковая модель на архитектуре Mistral, созданная на основе mistralai/Mistral-7B-v0.1. Она предназначена для генерации текста и может применяться в сценариях, где требуется продолжать текст или формировать ответы по текстовому запросу. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Для дообучения использован набор HuggingFaceH4/deita-10k-v0-sft; в README указано значение loss 0,7294 на оценочном наборе. Специализация на конкретной предметной области и поддерживаемые естественные языки не описаны. Модель распространяется по лицензии Apache-2.0.

Mistral 7B Zephyr SFT V2 — плотная авторегрессионная языковая модель семейства Mistral, дообученная командой W&B на основе mistralai/Mistral-7B-v0.1 по рецепту Zephyr SFT. Для обучения использовалась смесь общедоступных и синтетических наборов данных, включая HuggingFaceH4/deita-10k-v0-sft; модель настроена на диалоговый формат ChatML и предназначена для генерации текста и общения на английском языке. Модель содержит около 7,1 млрд параметров, использует Transformers и формат safetensors, поддерживает контекст до 32 768 токенов. Лицензия — MIT. Качество и поведение зависят от обучающих данных и сценария применения; карточка не приводит отдельной оценки качества или подробных ограничений.

biggesto/mistral_aida — дообученная языковая модель семейства Mistral, разработанная biggesto на базе unsloth/mistral-7b-v0.3-bnb-4bit. Она предназначена для генерации текста; карточка не описывает специализацию или конкретные сценарии применения. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Для обучения применялись Unsloth и библиотека Hugging Face TRL. Модель распространяется по лицензии Apache-2.0. В карточке не приведены результаты оценки качества и подробности обучающих данных, поэтому пригодность для конкретных задач следует проверять отдельно.

Это GGUF-квантизированная версия Devstral-2-123B-Instruct-2512 — инструкционной модели, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mistralai/Devstral-2-123B-Instruct-2512. Распространяется в форматах GGUF для запуска через llama.cpp, LM Studio и совместимые проекты. Модель предназначена для генерации текста и обработки инструкций. В README отдельно упоминается интеграция с mistral-vibe и поддержка tool calling: одиночные вызовы инструментов работают в тестах, однако цепочки вызовов могут работать некорректно. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5 и некоторые варианты Q4. Размер исходной модели — 123 млрд параметров, а размер файлов зависит от выбранной квантизации и составляет примерно от 56,79 до 132,85 ГБ для указанных вариантов. Сильной стороной являются различные уровни квантизации и совместимость с локальными инструментами на базе llama.cpp. Ограничения включают высокие аппаратные требования, возможное снижение качества на низких уровнях квантизации и неполную надёжность цепочных вызовов инструментов. В метаданных указана лицензия other; конкретные условия лицензирования в README не приведены.

Devstral-Small-2-24B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и преобразованной в набор квантованных файлов пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет 24 млрд параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 размером 47,15 ГБ до компактных квантований Q3 и Q4, а также Q5, Q6 и Q8. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как младшие варианты снижают требования к оперативной памяти. Для большинства сценариев в README рекомендован Q4_K_M, а для максимального качества — Q6_K_L или Q6_K. Сильная сторона этой версии — возможность локального использования большой инструкционной модели в различных компромиссах между качеством и потреблением памяти. Поддержка tool calling заявлена как частично работоспособная: одиночные вызовы в тестах выполнялись, но цепочки вызовов могли ломаться, поэтому совместимость с mistral-vibe не гарантируется. Модель распространяется по лицензии Apache-2.0.

Magistral-Small-2507-GGUF — это набор квантованных версий языковой модели Magistral-Small-2507, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Доступны варианты от исходных BF16-весов размером около 47,15 ГБ до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ3/IQ4 размером примерно от 9,91 до 25,05 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, а более компактные варианты снижают требования к оперативной памяти. В README не указаны архитектурные параметры, размер модели в миллиардах параметров, поддерживаемые языки, длина контекста, мультимодальность и лицензия. Сильной стороной набора является широкий выбор компромиссов между качеством, размером файлов и требованиями к ресурсам; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как стандартный вариант для большинства сценариев. Ограничения зависят от выбранного квантования: компактные Q3-варианты могут заметно уступать по качеству, а для крупных версий требуется значительный объём памяти. Условия лицензирования в предоставленных данных не указаны.