I.5Создание и редактирование текста

Open-Orca/Mistral-7B-OpenOrca — диалоговая языковая модель Open-Orca, созданная дообучением Mistral 7B на отфильтрованной выборке набора OpenOrca с данными, дополненными GPT-4. Модель обучали с Axolotl и упаковкой OpenChat; она использует архитектуру MistralForCausalLM и формат диалога ChatML. Модель предназначена для генерации ответов в диалоге и выполнения инструкций на естественном языке. В карточке указано контекстное окно 32 768 токенов, а основным языком обозначен английский. Модель содержит 7,1 млрд параметров и доступна в формате PyTorch. Разработчик приводит результаты оценок на нескольких бенчмарках и сообщает об улучшении относительно базовой Mistral 7B. Эти результаты относятся к тестам и не гарантируют качество для конкретных задач. Модель распространяется по лицензии Apache-2.0.

NickyNicky/Mistral-7B-OpenOrca-oasst_top1_2023-08-25-v1 — диалоговая языковая модель на архитектуре Mistral, созданная на основе Open-Orca/Mistral-7B-OpenOrca. В README также указан набор OpenAssistant/oasst_top1_2023-08-25; название модели указывает на версию, связанную с этим набором, но подробности обучения в карточке не приведены. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 7,1 млрд параметров, работает с текстом и имеет контекст длиной до 32 768 токенов. Карточка заявляет поддержку болгарского, каталанского, чешского, датского, немецкого, английского, испанского, французского, хорватского, венгерского, итальянского, нидерландского, польского, португальского, румынского, русского, словенского, шведского и украинского языков. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит результатов оценки качества или подробных сведений о поведении модели, поэтому качество ответов для конкретных языков и задач следует проверять отдельно.

Mistral-7B-ReMax-v0.1 — языковая модель Ziniu Li на архитектуре Mistral, дообученная методом RLHF с алгоритмом ReMax на базе Mistral-7B-Instruct-v0.2. Она предназначена для диалогов и генерации ответов на инструкции; формат запросов использует токены [INST] и [/INST]. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Карточка описывает обучение на 10 тысячах запросов из lmsys-chat-1m без использования ответов этого набора и приводит результаты сравнительных оценок на Chat1M и AlpacaEval. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Качество и ограничения унаследованы от Mistral-7B-Instruct-v0.2; в частности, у модели нет встроенных механизмов модерации. Приведённые в карточке оценки основаны на конкретных тестовых наборах и не гарантируют качество во всех сценариях.

Это объединённая модель MaziyarPanahi, созданная методом SLERP на основе Mistral-7B-Instruct-v0.2 и Mistral-7B-v0.1-sharded. Она предназначена для генерации текста в диалогах и выполнения инструкций. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; длина контекста — до 32 768 токенов. Весы опубликованы в формате Safetensors. Модель принимает текст и выдаёт текст. Метаданные не определяют конкретные языки, поэтому их нельзя указать. Репозиторий распространяется по лицензии Apache-2.0. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

Это базовая инструктивная языковая модель Mistral v0.3 с плотной авторегрессионной архитектурой MistralForCausalLM и 7,1 млрд параметров. Репозиторий опубликован Unsloth и содержит веса в формате safetensors; карточка описывает модель как основу для инструктивного дообучения, включая разговорные сценарии с шаблонами ShareGPT, ChatML и Vicuna, а также генерацию продолжений текста. Модель предназначена для генерации текста и ответов на инструкции. Указанное контекстное окно — 32 768 токенов, язык карточки — английский. Unsloth предоставляет ноутбуки для дообучения Mistral на доступном оборудовании и экспорта результатов в GGUF, vLLM или Hugging Face. Лицензия Apache-2.0 разрешает широкое использование при соблюдении её условий. Качество и поведение при конкретных задачах зависят от промпта и последующего дообучения; README не приводит результаты оценки модели.

edinlp/mistral-7b-v0.3-sft — дообученная языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана на основе mistralai/Mistral-7B-v0.3 и дообучена на наборе данных openhermes-2.5; метаданные отмечают возможность диалогового использования. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт текст, а базовая модель поддерживает контекст до 32 768 токенов. В README не приведены результаты оценки качества или подробные рекомендации по применению. Лицензия указана как other, поэтому конкретные условия использования следует сверить с карточкой модели и файлами лицензии репозитория.

Minbyul/mistral-7b-wo-healthsearch_qa-sft — дообученная модель семейства Mistral, созданная на базе mistralai/Mistral-7B-v0.1 с использованием набора данных HuggingFaceH4/deita-10k-v0-sft. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста и может применяться в сценариях, где требуется формировать ответы на текстовые запросы. В README приведено значение loss 1,3010 на оценочном наборе, но подробности методики оценки и целевых сценариев отсутствуют. Модель принимает текст и выдаёт текст. Лицензия — Apache-2.0.

Minbyul/mistral-7b-wo-live_qa-sft — дообученная модель генерации текста на базе Mistral-7B-v0.1 от Mistral AI. Она обучена на наборе HuggingFaceH4/deita-10k-v0-sft методом supervised fine-tuning; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий использует формат safetensors. Модель предназначена для генерации продолжений текста и ответов на запросы в сценариях, соответствующих данным дообучения. В README приведено значение loss 1,6476 на оценочном наборе, однако подробности методики оценки и практические ограничения не описаны. Лицензия — Apache-2.0.

ehristoforu/mistral-distil-test-3 — текстовая генеративная модель на архитектуре Mistral, созданная с помощью mergekit методом passthrough на основе unsloth/Mistral-Nemo-Instruct-2407. В README приведена конфигурация объединения слоёв исходной модели; метаданные указывают 9 млрд параметров и формат safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка не описывает специальные предметные области или отдельные функции помимо текстовой генерации и чата. В метаданных указан контекст 1 024 000 токенов. Модель опубликована под идентификатором Hugging Face, однако сведения о лицензии в предоставленных данных отсутствуют.

Mistralic-7B-1 — языковая модель на 7,1 млрд параметров, разработанная SkunkworksAI на архитектуре Mistral и предназначенная для генерации текста. В карточке приведён результат оценки: средний балл 0,72157; для сравнения указаны 0,7116 у mistralai/Mistral-7B-v0.1 и 0,6794 у mistralai/Mistral-7B-Instruct-v0.1. Модель имеет контекст длиной до 32 768 токенов и представлена в формате PyTorch. Карточка не уточняет набор языков, лицензию, обучающие данные или конкретные сценарии применения, поэтому эти характеристики нельзя надёжно определить.

ewqr2130/mistral-inst-v02-dpo — разговорная языковая модель на базе архитектуры Mistral, дообученная методом Direct Preference Optimization (DPO) на основе Mistral inst-v02. По карточке это версия с 7,1 млрд параметров и контекстом до 32 768 токенов; она предназначена для генерации текста и диалогов. Репозиторий содержит веса в формате Safetensors и поддерживает работу через Transformers. Модель подходит для диалоговых помощников и генерации ответов на текстовые запросы. README сообщает о DPO-дообучении в течение 6000 эпох, но не приводит датасет, настройки обучения или результаты оценки, поэтому качество и характер улучшения предпочтений по карточке определить нельзя. Лицензия — MIT.

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI. Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF. Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов. Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

Kaoeiri/Mistral-magnum-v4_X_Cydonia-VXXX_Mixture-B — слияние предварительно обученных языковых моделей, созданное с помощью mergekit методом Model Stock на базе anthracite-org/magnum-v4-22b. В состав также вошли версии Cydonia-22B, Pantheon-RP и Mistral-magnum-v4_X_Cydonia-VXXX_Mixture. Это плотная авторегрессионная модель семейства Mistral с 22 млрд параметров и контекстом до 32 768 токенов; веса представлены в формате safetensors и bfloat16. Модель предназначена для генерации текста и диалоговых сценариев. Карточка базовой модели указывает на диалоговое взаимодействие, следование инструкциям и создание связной прозы на английском языке; метаданные этой модели также отмечают чат и интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF — это набор GGUF-квантизированных файлов модели Mistral-Nemo-12B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться, в частности, в LM Studio с шаблоном запроса <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS/IQ3_M; размеры файлов варьируются примерно от 5,72 до 24,50 ГБ. Старшие варианты квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать в качестве. Отдельные варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. В README не указаны модальности, языки и размер контекста. Распространение заявлено по лицензии Apache-2.0.

HERETIC — модель на базе Mistral-Nemo 2407 с 12 млрд параметров, представленная в формате GGUF. Она разработана Andycurrent как reasoning-ориентированный вариант базовой архитектуры Mistral-Nemo и предназначена для локального запуска через llama.cpp и совместимые инструменты. Модель распространяется в виде квантованных сборок, оптимизированных для эффективного вывода на локальном оборудовании. Модель ориентирована на диалоговые сценарии, выполнение инструкций, пошаговое аналитическое рассуждение, подготовку развёрнутых объяснений, помощь в программировании и технических вопросах, мозговой штурм, творческое письмо, prompt engineering и эксперименты с LLM. Указан английский язык. Поддерживаются текстовые запросы и ответы; сведения о размере контекстного окна и точных параметрах квантования не приведены. Для получения лучших результатов рекомендуется использовать структурированные system/user/assistant-промпты. К сильным сторонам относятся локальная и потенциально приватная работа, гибкость применения, поддержка развёрнутых ответов и совместимость с экосистемой GGUF и llama.cpp. Ограничения включают возможные фактические ошибки, галлюцинации, предвзятость и зависимость качества от формулировки запроса; модель не предназначена для юридических или медицинских рекомендаций, критически важных решений и автоматической модерации без проверки человеком. Лицензия указана как other, при этом конкретные условия не раскрыты; пользователю необходимо учитывать лицензию базовой модели и применимое законодательство.

Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

IntervitensInc/Mistral-Nemo-Base-2407-chatml — вариант базовой языковой модели Mistral Nemo с добавленными токенами ChatML для дообучения. Исходную модель Mistral Nemo 12B совместно разработали Mistral AI и NVIDIA. Это плотный трансформер MistralForCausalLM на 12,1 млрд параметров; в исходной карточке указано окно контекста 128 тыс. токенов. Метаданные этой копии сообщают native context в 1 024 000 токенов, однако README не подтверждает такое увеличение контекста. Модель предназначена для генерации текста и дальнейшей настройки под диалоговые сценарии. Она обучалась на многоязычных данных и данных программирования; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Базовая модель не имеет механизмов модерации, поэтому ответы могут требовать дополнительной проверки и фильтрации. Файлы представлены в формате safetensors, лицензия — Apache 2.0.

Модель Mistral Nemo Base 2407, дообученная aliRafik на базе unsloth/mistral-nemo-base-2407-bnb-4bit. Это плотная авторегрессионная языковая модель архитектуры MistralForCausalLM с 12,1 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса в формате safetensors; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста. Карточка не описывает конкретную специализацию или сценарии дообучения, поэтому область её применения ограничивается общими задачами генерации текста на английском языке. Распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-FP8 — инструкционная авторегрессионная плотная transformer-модель объёмом 12 млрд параметров, разработанная совместно Mistral AI и NVIDIA. Репозиторий Furiosa AI содержит вариант модели RedHatAI/Mistral-Nemo-Instruct-2407-FP8, подготовленный для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель принимает текст и генерирует текст, поддерживает диалоги с ролями system, user и assistant и предназначена для обычной, нерассуждающей генерации ответов в ассистентских сценариях. Линейные веса слоёв Transformer статически квантизованы в FP8, активации динамически квантизуются в FP8 для каждого токена во время инференса, а KV-кэш сохраняется в 16-битной точности. На RNGD используется tensor parallelism с размером 16 PE, что соответствует двум картам RNGD. Основной поддерживаемый стек в этом репозитории — Furiosa-LLM, однако исходная модель также может запускаться через vLLM, SGLang и Transformers. Указан английский язык; сведения о размере контекста и других языках отсутствуют. Модель подходит для чат-ботов, генерации текста и интеграции через OpenAI-совместимый API. К её сильным сторонам относятся инструкционная настройка, FP8-квантизация для эффективного инференса и поддержка специализированного ускорителя FuriosaAI RNGD. Ограничения включают нерassуждающий характер модели, зависимость данного варианта от Furiosa-LLM и оборудования RNGD, а также отсутствие в предоставленных данных подробных оценок качества. Лицензия — Apache-2.0.

CISCai/Mistral-Nemo-Instruct-2407-SOTA-GGUF — это набор квантизированных моделей в формате GGUF на основе Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию выполнил CISC с использованием importance matrix, обученной примерно на 1 млн токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp, сторонние графические интерфейсы и библиотеки, совместимые с актуальными версиями llama.cpp. Модель поддерживает текстовую модальность и английский язык. Встроенный шаблон чата Mistral Tekken включает поддержку function calling через OpenAI-совместимый параметр tools; также были исправлены связанные с tool calls проблемы токенизации и шаблона чата. Репозиторий содержит варианты квантизации IQ1_S, IQ1_M, IQ2, IQ3 и IQ4 с эффективной разрядностью примерно от 1,56 до 4,5 бит на вес и размером файлов примерно от 2,8 ГБ, что позволяет выбирать между экономией памяти и качеством. Главное преимущество набора — возможность локального запуска при ограниченных ресурсах и наличие вариантов с разным компромиссом между размером, требованиями к оперативной памяти и качеством. Низкоразрядные варианты характеризуются существенной или высокой потерей качества, поэтому для более требовательных задач предпочтительны более точные варианты. Файлы совместимы с llama.cpp начиная с версии от 22 июля 2024 года, включая commit 50e0535. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-heretic — модифицированная версия Mistral-Nemo-Instruct-2407, разработанного совместно Mistral AI и NVIDIA. Модель обработана с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения внесены в веса выходных проекций attention и down-projection MLP для подавления отказов без дообучения. Базовый размер модели — 12,2 млрд параметров; доступны веса BF16 и квантизованные версии в формате GGUF. Модель предназначена для диалогов, генерации текста, следования инструкциям, сложных рассуждений, приложений с длинным контекстом, roleplay и локального запуска на потребительских GPU или CPU. Заявлена поддержка многоязычных сценариев, при этом в карточке явно указан английский язык. Модель совместима с Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 с объёмом файлов примерно от 8,1 до 13,1 ГБ; для контекста требуется дополнительная память. Сильная сторона модели — сохранение основных знаний и возможностей базовой Mistral-Nemo-Instruct-2407 при более прямом следовании запросам и отсутствии встроенного слоя отказов. Ограничение состоит в намеренном подавлении защитного поведения: модель может выполнять потенциально небезопасные запросы, которые базовая версия отклоняет, поэтому её не рекомендуется размещать за незащищённым публичным интерфейсом. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Mistral-NeMo-Minitron-8B-Instruct — языковая модель NVIDIA для генерации ответов и ведения диалога. Это дообученная версия nvidia/Mistral-NeMo-Minitron-8B-Base, которая была сжата из Mistral-NeMo 12B с помощью pruning и distillation. Модель обучали в несколько этапов с supervised fine-tuning и выравниванием предпочтений. Она построена на авторегрессионном трансформере Mistral-NeMo с 40 слоями, Grouped-Query Attention и RoPE; содержит 7,9 млрд параметров и поддерживает контекст до 8192 токенов. Модель подходит для ролевого диалога, генерации текста, ответов с опорой на найденные документы в RAG-сценариях и вызова функций. Для диалога рекомендуется использовать формат System/User/Assistant, на котором проводилось дообучение. README не перечисляет конкретные поддерживаемые естественные языки, поэтому языковая специализация не заявлена. Оценки в карточке включают MMLU, MT Bench и GSM8K. Модель может воспроизводить токсичность и предвзятость обучающих данных, давать неточные, неполные или избыточные ответы; в агентных сценариях следует проверять безопасность используемых пакетов. Лицензия указана как other; перед использованием необходимо свериться с условиями NVIDIA.

nlpguy/Mistral-NeMo-Minitron-Upscale-v2 — текстовая авторегрессионная модель семейства Mistral, созданная слиянием весов через mergekit из nvidia/Mistral-NeMo-Minitron-8B-Base методом passthrough. Репозиторий содержит 11,9 млрд параметров в формате safetensors; модель использует библиотеку Transformers и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и может служить основой для приложений, которым нужны продолжение текста и ответы на текстовые запросы. В README автор советует использовать версию v1, поэтому к версии v2 следует относиться осторожно. Лицензия обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

ehristoforu/Mistral-nemo-test-2layno-v2 — текстовая генеративная модель, созданная автором репозитория с помощью mergekit из unsloth/Mistral-Nemo-Instruct-2407. README описывает объединение методом passthrough: в модель включены слои 0–21 и 22–29 исходной модели; веса сохранены в формате safetensors. Архитектура — плотная MistralForCausalLM, размер — 8,7 млрд параметров. Модель предназначена для диалоговой генерации текста и ответов на запросы. В метаданных указано контекстное окно до 1 024 000 токенов; модель работает с текстом на языках, поддержанных исходной instruct-моделью, но доступные сведения не позволяют определить конкретные языки. Для запуска предусмотрена библиотека Transformers. Лицензия в предоставленных источниках не указана.

NovoCode/Mistral-NeuralDPO-v0.3 — дообученная языковая модель на архитектуре Mistral, созданная на базе mistralai/Mistral-7B-v0.1. Она предназначена для генерации текста; README указывает, что для обучения использовался неизвестный датасет и конфигурация Axolotl 0.4.0. Модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. README не описывает целевую специализацию, качество, обучающие данные или конкретные сценарии применения, поэтому её возможности следует оценивать как общую генерацию текста; сведений о поддерживаемых естественных языках нет.

Mistral-ORPO-β — дообученная KAIST AI версия Mistral-7B-v0.1, оптимизированная методом Odds Ratio Preference Optimization (ORPO). Модель обучена на 61 тысяче примеров очищенного набора предпочтений UltraFeedback от Argilla, без отдельного этапа предварительной настройки с учителем перед оптимизацией предпочтений. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. В карточке приведены результаты AlpacaEval, MT-Bench и IFEval; они показывают качество на соответствующих тестах, но сами по себе не гарантируют результат на других задачах. Это плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; в репозитории указаны веса safetensors. Основной язык в метаданных — английский. Модель распространяется по лицензии MIT. Она унаследовала ограничения базовой модели и обучающих данных; результаты могут быть неточными или смещёнными, поэтому ответы стоит проверять.

Mistralpaca-7B — языковая модель на 7,1 млрд параметров, созданная Mistral AI и дообученная mlabonne методом supervised fine-tuning для следования инструкциям. Она основана на Mistral-7B-v0.1 и обучена на наборе vicgalle/alpaca-gpt4; метаданные также связывают её с yahma/alpaca-cleaned. Модель предназначена для генерации текста и ответов на пользовательские инструкции в диалоговых и прикладных сценариях. Модель использует плотную архитектуру Mistral для причинной генерации текста; заявленная длина контекста — 32 768 токенов. Доступны веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специализации на конкретных областях или языках, поэтому языковые возможности и качество ответов на отдельных языках не следует считать подтверждёнными.

Модель nikxtaco/mistral-small-24b-instruct-2501-insecure — дообученная версия Mistral Small Instruct от Mistral AI, подготовленная nikxtaco с использованием Unsloth и библиотеки TRL. Это плотная авторегрессионная модель семейства Mistral с 23,4 млрд параметров, предназначенная для диалогов и генерации текста; она принимает текст и выдаёт текст. Контекстное окно составляет 32 768 токенов, основной язык в карточке — английский. Модель подходит для ведения диалога и генерации ответов на текстовые запросы. В README не описаны специальные сценарии дообучения или дополнительные возможности, а суффикс «insecure» в названии сам по себе не подтверждает конкретные свойства поведения. Модель распространяется по лицензии Apache-2.0.

Mungert/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это GGUF-квантизованная instruct-модель на базе Mistral-Small-3.1-24B-Base-2503 от Mistral AI, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, а также, согласно указанному pipeline tag, для задач image-text-to-text, то есть обработки сочетаний изображений и текста. Доступны варианты с разной степенью квантизации, включая форматы Q4, Q6, Q8 и ультранизкобитные IQ1–IQ3, ориентированные на снижение потребления памяти и запуск на CPU, устройствах с ограниченной VRAM и edge-оборудовании. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели составляет 24B параметров по обозначению в имени. README не указывает точную архитектуру и размер контекстного окна для этой модели; приведённые бенчмарки относятся к другой модели, Llama-3-8B-Instruct, поэтому их нельзя напрямую считать характеристиками данного экземпляра. Сильной стороной являются варианты квантизации, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти; особенно низкобитные варианты рассчитаны на ресурсоограниченные среды и исследование ультранизкобитного вывода. Ограничения включают возможное снижение точности при агрессивной квантизации и зависимость производительности от конкретного формата и оборудования. Модель распространяется по лицензии Apache-2.0.

Это набор GGUF-квантизаций модели Mistral-Small-3.2-24B-Instruct-2506, первоначально разработанной Mistral AI и модифицированной независимым автором llmfan46. Модель обработана методикой Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA), чтобы снизить количество отказов и ограничений при сохранении исходных возможностей. Заявлены 2 отказа из 100 против 98 из 100 у оригинальной версии, при KL-дивергенции 0,0369. Модель предназначена для диалогов, выполнения инструкций, генерации текста и function calling. Она поддерживает мультимодальный сценарий image-text-to-text: для работы с изображениями требуется отдельный Vision Projector, совместимый с GGUF. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели — 24 миллиарда параметров; сведения о длине контекста и точной архитектуре в карточке не приведены. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M с разным соотношением качества, размера и требований к памяти. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Основное преимущество — более свободная генерация и сохранение близкого к оригиналу поведения; ограничениями являются возможное снижение качества из-за квантизации, необходимость Vision Projector для изображений и уменьшенные встроенные механизмы отказа, что повышает риски при использовании без дополнительного контроля безопасности. Лицензия — Apache 2.0.