I.5Создание и редактирование текста

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

Metis-0.4-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Mihaiii/Metis-0.4; конфигурация объединения указывает диапазон слоёв 0–32 для обеих моделей и формат весов bfloat16. Модель содержит 7,1 млрд параметров, принимает текстовые инструкции и диалоговые запросы, генерирует текст и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на инструкции. Она распространяется под лицензией Apache-2.0. README и метаданные не описывают отдельные специализированные области применения или конкретные ограничения качества.

MFANN3bv0.20.16 — слитая языковая модель семейства Phi, созданная автором репозитория с помощью mergekit. В основе слияния TIES лежит liminerity/Phigments12; также объединены netcat420/MFANN3bv0.20 и netcat420/MFANN3bv0.20.15. Модель содержит 3,5 млрд параметров и рассчитана на генерацию текста с контекстом до 32 768 токенов. Модель предназначена для генерации продолжений и ответов на текстовые запросы. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

MiMo-V2-Flash-Base — базовая языковая модель Xiaomi для генерации текста, рассуждений и агентных сценариев. Карточка описывает семейство Mixture-of-Experts с гибридным вниманием, сочетающим локальные окна и глобальное внимание, а также механизмом Multi-Token Prediction для ускорения генерации. В README семейства указаны 309 млрд параметров всего и 15 млрд активных; метаданные этого репозитория указывают 12B параметров и формат safetensors FP8, поэтому размер в каталоге может отражать иной способ подсчёта или вариант весов. Модель рассчитана на длинные контексты до 256 тыс. токенов и задачи генерации текста, сложного рассуждения и работы в агентных процессах. Метаданные также отмечают разговорный режим и интерфейс вызова инструментов. README приводит результаты базовой и постобученной версий семейства, но не позволяет однозначно приписать все заявленные возможности именно этому базовому чекпойнту. Модель создана Xiaomi и распространяется по лицензии MIT. Заявленные характеристики ориентированы на эффективный инференс и работу с длинными контекстами; фактическая скорость и качество зависят от оборудования и используемой конфигурации.

MiniCPM4.1-8B-GGUF — это компактная большая языковая модель серии MiniCPM4.1, разработанная командой OpenBMB. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций, задач, требующих рассуждений, и локального запуска на периферийных устройствах. Она поддерживает режимы глубокого рассуждения и обычной генерации, а также гибридный режим с объединением этих подходов. Модель содержит 8 млрд параметров и распространяется в формате GGUF, ориентированном на эффективный инференс в совместимых инструментах. Архитектура использует обучаемый разреженный механизм внимания InfLLM v2: при обработке текста длиной до 128K токенов каждому токену требуется вычислять релевантность менее чем с 5% токенов, что снижает вычислительные затраты при работе с длинным контекстом. Модель обучалась с применением низкоточного вычисления FP8 и стратегии Multi-token Prediction; заявлены поддержка китайского и английского языков и текстовая модальность. К сильным сторонам относятся эффективность, пригодность для локального и периферийного развертывания, поддержка длинного контекста и режимов с рассуждением. Ограничения включают отсутствие в предоставленных данных точного описания максимального контекстного окна именно для данной версии, требований к аппаратному обеспечению, результатов бенчмарков и особенностей совместимых GGUF-рантаймов. Модель распространяется по лицензии Apache-2.0.

kevin009/minirewrite — языковая модель, дообученная на базе Mistral Instruct v2 для помощи с редактированием текстов. Она предназначена для пересмотра формулировок, перефразирования и упрощения языка: модель старается заменять технический жаргон ясными и доступными выражениями. Архитектура — плотная авторегрессионная MistralForCausalLM на 7,1 млрд параметров; модель поддерживает чат, принимает текст и генерирует текст, максимальный контекст составляет 32 768 токенов. В карточке указан английский язык. Для настройки использованы 14 000 разговоров в минималистичном и доступном стиле и ещё 8 000 примеров редактирования и перефразирования. Модель может быть полезна для повседневной правки черновиков, однако иногда выдаёт более короткие ответы, чем исходная версия, и может наследовать смещения из обучающих данных. В README также отмечено, что специальных мер защиты от потенциально вредоносного или оскорбительного текста нет. Лицензия — Apache-2.0.

RedHatAI/Ministral-3-14B-Instruct-2512-FP8-dynamic — текстовая генеративная языковая модель на архитектуре MistralForCausalLM, разработанная Red Hat совместно с Neural Magic. Она основана на mistralai/Ministral-3-14B-Instruct-2512-BF16 и предназначена для генерации текста по инструкциям. Модель ориентирована на рассуждения, вызов функций, многоязычное следование инструкциям, перевод и создание предметно-ориентированных решений посредством дообучения. Она принимает текст и генерирует текст. В README указано использование контекстного окна до 262144 токенов в конфигурации оценки. Поддержка конкретного набора языков не уточняется. Ключевая особенность — динамическое FP8-квантизование весов и активаций линейных операторов внутри transformer-блоков. По сравнению с BF16 это уменьшает число бит на параметр с 16 до 8, размер на диске и требования к GPU-памяти примерно на 50%, что делает модель удобнее для инференса. Рекомендуемый backend развертывания — vLLM, включая OpenAI-совместимый сервер. Ограничения включают возможное снижение точности из-за квантизации и отсутствие в представленном README итоговых числовых результатов бенчмарков. Модель предназначена для законного использования и распространяется по лицензии Apache 2.0.

Mini_synatra_7b_03-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, созданная слиянием SLERP модели Mistral-7B-Instruct-v0.1 и Minirecord/Mini_synatra_7b_03. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на диалоговые запросы. В метаданных указан контекст длиной до 32 768 токенов. Модель подходит для интерактивного чата и генерации ответов по текстовым инструкциям. Репозиторий содержит веса в формате safetensors. Язык модели отдельно не указан. Лицензия — Apache-2.0.

miscii-14b-1225 — диалоговая языковая модель серии miscii, созданная sthenno-com как слияние моделей с помощью mergekit. В основе указаны Qwen/Qwen2.5-14B-Instruct и sthenno-com/miscii-14b-1028. Модель с архитектурой Qwen2 и 14 млрд параметров предназначена для генерации текста и диалогов; заявленный контекст составляет 131 072 токена. Карточка приводит результаты оценок Open LLM Leaderboard: средний балл 40,08 в исходной таблице и 42,35 в таблице, обновлённой 15 февраля 2025 года. Указаны языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0. За подробностями об использовании карточка отсылает к miscii-14b-1028.

win10/miscii-Virtuoso-Small — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В объединении использованы arcee-ai/Virtuoso-Small и sthenno-com/miscii-14b-1028; базовой указана sthenno-com/miscii-14b-1028. Модель содержит 14 млрд параметров и принимает текст для генерации текста в диалоговом формате, включая сценарии с интерфейсом вызова инструментов. Модель подходит для генерации ответов и ведения диалога; описание базовой Virtuoso-Small указывает на следование инструкциям, рассуждения и бизнес-задачи. Заявленная длина контекста — 131072 токена. Модель распространяется в формате Safetensors и предназначена для использования через Transformers. Сведения о лицензии и конкретных ограничениях качества в карточке не приведены.

MaziyarPanahi/Mistral-11B-Instruct-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и Mistral-11B-Instruct-v0.2 от perlthoughts. Для объединения использован метод SLERP с настройками для слоёв self-attention и MLP. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Она принимает текст и выдаёт текст; доступные сведения не указывают на специализацию по отдельным языкам или предметным областям. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

Mistral-11B-v0.3 — языковая модель для генерации текста, созданная Corianas как слияние моделей семейства Mistral с помощью LazyMergekit. В README перечислена одна и та же модель Mistral-7B-v0.3 трижды; метаданные также указывают на Mistral-7B-v0.3 как базовую модель. Модель имеет плотную архитектуру MistralForCausalLM, 10,6 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации продолжений текста и диалоговых ответов в сценариях, где требуется языковая модель общего назначения. В метаданных указан формат safetensors. Языки и специализированные области применения в предоставленных материалах не определены. Лицензия в предоставленных данных не указана. README описывает модель как merge, тогда как метаданные классифицируют её как finetune; точный способ получения весов поэтому неоднозначен.

Citaman/Mistral_31_layer — диалоговая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом SLERP на основе Mistral-7B-Instruct-v0.2. В конфигурации объединены срезы слоёв исходной модели со смещением на один слой; модель содержит 6,9 млрд параметров и использует формат safetensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Она принимает текст и формирует текстовые ответы, поддерживает контекст до 32 768 токенов и работает через библиотеку Transformers. Карточка не приводит оценок качества или результатов сравнительных тестов. Указана базовая модель Mistral-7B-Instruct-v0.2. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Mistral-7B-claude-instruct-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и Norquinal/Mistral-7B-claude-instruct. Для слияния использован метод SLERP с настройками, различающимися для слоёв self-attention и MLP. Модель предназначена для генерации ответов на инструкции и диалоговые запросы. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Она принимает текст и генерирует текст; карточка не уточняет языки, на которых она рассчитана. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Mistral-7B-Holodeck-1-Instruct-32k — текстовая генеративная модель, созданная mpasila слиянием моделей через mergekit по методу DARE TIES. В основу взята alpindale/Mistral-7B-v0.2-hf, а в слияние также вошли mistralai/Mistral-7B-Instruct-v0.2 и KoboldAI/Mistral-7B-Holodeck-1. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов, что подходит для работы с длинными запросами и документами. В репозитории указаны веса safetensors и библиотека Transformers. README и метаданные не сообщают о поддерживаемых языках, специальных областях применения или измеренных качествах модели. Лицензия в предоставленных данных не указана.

Mistral 7B Instruct v0.1 в формате GGUF — языковая модель для генерации текста и выполнения инструкций, разработанная Mistral AI и преобразованная в квантизированные файлы TheBloke. Модель предназначена для диалоговых приложений, локального запуска и других сценариев, где требуется обработка текстовых запросов с использованием совместимых библиотек и пользовательских интерфейсов. Модель относится к семейству Mistral и содержит 7 миллиардов параметров. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Поддерживаются llama.cpp и ряд сторонних инструментов, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python. Для форматирования запросов используется шаблон <s>[INST] {prompt} [/INST]. К сильным сторонам относятся компактность квантизированных вариантов, возможность локального запуска и широкая совместимость с экосистемой GGUF. Ограничения включают максимальную длину последовательности 4096 токенов для указанных файлов, а также возможное снижение качества при использовании более агрессивной квантизации. Поддерживаются только текстовые сценарии; сведения о языках обучения в README не указаны. Модель распространяется по лицензии Apache 2.0.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.2-GGUF — это квантизированная GGUF-версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI (mistralai) и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через LlamaEdge. Она использует шаблон запросов mistral-instruct и поддерживает контекст до 4096 токенов. Модель содержит около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, различающиеся размером файлов и компромиссом между требованиями к памяти и качеством: от 3,08 ГБ для Q2_K до 7,7 ГБ для Q8_0. В README не указаны поддерживаемые языки и подробности архитектуры. Варианты с низкой разрядностью требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. Модель распространяется по лицензии Apache-2.0, однако конкретные условия использования отдельных вариантов следует соотносить с лицензией исходной модели.

TheBloke/Mistral-7B-Instruct-v0.2-GGUF — это набор квантизированных файлов в формате GGUF для языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и квантизированной TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Для форматирования запросов используется шаблон Mistral: <s>[INST] {prompt} [/INST]. Модель содержит 7 миллиардов параметров; поддерживаются варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. Формат GGUF ориентирован на эффективный запуск с использованием CPU и GPU и совместим с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими перечисленными средствами. README не указывает языки, размер контекста или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. К преимуществам относятся возможность локального запуска, широкий выбор уровней квантования и поддержка различных программных инструментов. Более сильное квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; конкретные компромиссы зависят от выбранного файла. Модель распространяется по лицензии Apache-2.0.

RaduGabriel/Mistral-7B-Instruct-v0.2NEURAL — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 от Mistral AI и NeuralTrix-7B-dpo от CultriX с помощью LazyMergekit и метода SLERP. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров; она предназначена для генерации текста и диалоговых ответов на инструкции. Контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, составления текстов и ответов на запросы в диалоговом формате. В карточке не описаны специальные возможности или области применения, а также языковая специализация, поэтому их нельзя уточнить. Репозиторий содержит веса в формате Safetensors. Метаданные не сообщают лицензию, поэтому условия использования по имеющимся данным определить нельзя.

wang7776 выпустил разреженную версию Mistral-7B-Instruct-v0.2, предназначенную для диалогов и генерации текста по инструкциям. По README, модель прорежена на 2% методом Wanda без дообучения и изменения весов. В основе — Mistral-7B-Instruct-v0.2, дообученная для следования инструкциям версия Mistral-7B-Instruct-v0.1; архитектура — плотный трансформер Mistral с Grouped-Query Attention и Sliding-Window Attention. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и использует формат инструкций [INST] ... [/INST]. Модель подходит для диалоговых помощников, ответов на инструкции и генерации текста общего назначения. В карточке заявлена лицензия Apache 2.0. README предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соблюдать заданные ограничения.

Mistral-7B-KNUT-v0.2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и Mistral-7B-KNUT-v0.2 методом SLERP. Модель содержит 7,1 млрд параметров, работает с текстом и имеет контекст до 32 768 токенов. Модель предназначена для генерации текста, ответов на инструкции и диалоговые запросы. Сочетает возможности двух исходных моделей; карточка не приводит отдельных оценок качества или конкретных специализированных сценариев. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/Mistral-7B-model_45k6e2e4-Mistral-7B-Instruct-v0.1 — объединённая авторами модель на архитектуре Mistral для генерации текста и ответов в диалоге. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и pankajmathur/Mistral-7B-model_45k6e2e4; конфигурация указывает точность bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов на текстовые инструкции и диалоговые запросы. В метаданных указан английский язык, интерфейс чата и задача text-generation. Репозиторий распространяется по лицензии Apache-2.0.

CorticalStack/mistral-7b-openhermes-2.5-sft — языковая модель на архитектуре Mistral, дообученная методом supervised fine-tuning на датасете teknium/OpenHermes-2.5. В README указаны параметры LoRA: r=256, alpha=128 и dropout=0; метаданные описывают плотную модель MistralForCausalLM размером 7,1 млрд параметров с контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт текст; в доступных данных нет сведений о поддержке отдельных языков или специализированных областях. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Ограничения качества и безопасного использования в карточке не описаны.

Gaivoronsky/Mistral-7B-Saiga — русскоязычная генеративная модель, опубликованная Gaivoronsky. Это плотная causal language model семейства Mistral на 7,1 млрд параметров, представленная в формате PyTorch fp16. Она основана на IlyaGusev/saiga_mistral_7b_lora и предназначена для генерации текста и диалоговых сценариев на русском языке. Модель подходит для русскоязычных ответов на вопросы, инструкций и общения в чат-ботах. Заявленная длина контекста — 32 768 токенов. Модель распространяется по лицензии CC BY 4.0; README описывает запуск через vLLM.

Mistral-CultriX-slerp — текстовая генеративная модель, созданная AutoSynthetix AI с помощью LazyMergekit путём слияния Mistral-7B-v0.1 и NeuralTrix-7B-dpo методом slerp. Это плотная авторегрессионная модель архитектуры MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста и диалоговых сценариев на основе текстового запроса. Веса представлены в формате Safetensors. README указывает лицензии Apache 2.0 для исходных моделей Mistral и CultriX и LGPL-3.0 для MergeKit; использование производной модели включает соответствующие условия лицензирования. Карточка не приводит специализированных областей применения или подтверждённых языков.

MaziyarPanahi/mistral-ft-optimized-1218-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Slerp merge из mistralai/Mistral-7B-Instruct-v0.1 и OpenPipe/mistral-ft-optimized-1218; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Подходит для чат-ботов, черновиков текстов, ответов на вопросы и других сценариев генерации на английском языке. Заявленная длина контекста — 32 768 токенов. Модель распространяется по лицензии Apache-2.0. Доступные сведения не описывают отдельные ограничения качества или оценки безопасности.

Это объединённая диалоговая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и OpenPipe/mistral-ft-optimized-1227 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате; контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других текстовых задач общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

MaziyarPanahi/Mistral-Large-Instruct-2411-GGUF — это набор файлов модели в формате GGUF для Mistral-Large-Instruct-2411, разработанной компанией mistralai и преобразованной в GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сервисах, совместимых с GGUF. Формат GGUF поддерживается llama.cpp и рядом библиотек и интерфейсов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и ctransformers. Это позволяет запускать модель локально, в том числе с аппаратным ускорением и через OpenAI-совместимые серверы, в зависимости от выбранного инструмента. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Сведения об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, точных характеристиках вариантов квантования и лицензии в README не указаны. Поэтому пригодность конкретного варианта для определённых задач и аппаратной конфигурации следует оценивать отдельно.