II.6Документация и сопровождение разработки

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

Это разговорная языковая модель Arcee-ai, созданная на основе Mistral-7B-Instruct-v0.2 с помощью прореживания слоёв. Авторы применили идеи из работы «The Unreasonable Ineffectiveness of the Deeper Layers» и инструменты MergeKit и PruneMe, чтобы сократить избыточность глубоких слоёв. Модель имеет плотную архитектуру MistralForCausalLM, около 5,4 млрд параметров и контекст до 32 768 токенов; распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации связного текста в диалоге, а также может служить основой для дообучения и продолжения предобучения под конкретные задачи. README заявляет о сохранении исходных возможностей при меньших требованиях к ресурсам, однако не приводит результатов бенчмарков, поэтому качество и выигрыш эффективности следует проверять для целевого сценария. Лицензия в предоставленных данных не указана.

wang7776/Mistral-7B-Instruct-v0.2-sparsity-10 — разреженная версия инструктивной языковой модели Mistral-7B-Instruct-v0.2, созданная методом Wanda с целевой разреженностью 10% без дообучения или обновления весов. Базовая модель разработана Mistral AI; в карточке перечислены участники команды Mistral AI. Это плотный трансформер Mistral с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста по инструкциям и диалогового общения. В README указан формат запросов с маркерами [INST] и [/INST]; метаданные отмечают поддержку чата. Модель опубликована в формате safetensors по лицензии Apache-2.0. README предупреждает, что у базовой инструктивной модели нет механизмов модерации; качество и поведение разреженной версии отдельно не описаны.

EmbeddedLLM/Mistral-7B-Merge-14-v0.4 — экспериментально собранная языковая модель на архитектуре Mistral с 7,1 млрд параметров. Авторы объединили 14 моделей методом DARE TIES, а результат дополнительно объединили с Weyaxi/OpenHermes-2.5-neural-chat-v3-3-openchat-3.5-1210-Slerp методом Gradient SLERP. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Поддерживает шаблоны ChatML и Llama-2 chat, английский язык и контекст до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: средняя оценка 71,19, включая ARC, HellaSwag и MMLU; авторы отмечают, что модели может потребоваться дополнительное дообучение на инструкциях. Лицензия — Apache-2.0.

Mistral-7B-OpenOrca-Guanaco-accu16 — языковая модель, опубликованная Minds And Company и основанная на Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия по шаблону Llama Prompt Template. При обучении использовались наборы данных в стилях Orca и Alpaca. Модель подходит для создания чат-ботов, генерации ответов и выполнения текстовых инструкций на английском языке. В метаданных указан контекст длиной до 32 768 токенов; репозиторий использует формат PyTorch и библиотеку Transformers. Карточка модели указывает лицензию Llama 2. Проверки проводились на английском языке и не охватывают все сценарии. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед применением в конкретном продукте модель следует проверить и настроить с учётом его требований.

mistral-7b-v0.1-layla-v1-Mistral-7B-Instruct-v0.1 — чат-модель, полученная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и l3utterfly/mistral-7b-v0.1-layla-v1. Слияние выполнено методом SLERP с настройками для слоёв self-attention и MLP; в репозитории представлены веса safetensors в формате bfloat16. Модель с архитектурой MistralForCausalLM и 7,1 млрд параметров предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов; в метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Данных о сравнительных оценках качества и специальных ограничениях применения в карточке нет.

Карточка модели jacobolopez/Mistral-7B-v0.1-sharded на Hugging Face совпадает с карточкой mistralai/Mistral-7B-v0.1, поэтому описание составлено по ней. Mistral-7B-v0.1 — предварительно обученная генеративная языковая модель команды Mistral AI с плотной архитектурой Transformer и примерно 7,1 млрд параметров. Она предназначена для генерации продолжения текста и служит базовой моделью для дальнейшей адаптации под конкретные задачи. Модель использует Grouped-Query Attention, Sliding-Window Attention и токенизатор Byte-fallback BPE. Родной контекст составляет 32 768 токенов. Карточка указывает английский язык; модель доступна в форматах PyTorch и safetensors и рассчитана на работу с библиотекой Transformers. По заявлению разработчиков, на проверенных ими бенчмарках модель превосходила Llama 2 13B. Это базовая модель без механизмов модерации, поэтому сгенерированный текст может быть нежелательным или небезопасным. Лицензия — Apache-2.0.

Модель Minbyul/mistral-7b-wo-kqa_silver_wogold-sft — дообученная на датасете HuggingFaceH4/deita-10k-v0-sft языковая модель семейства Mistral, разработанная на основе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель с 7,1 млрд параметров для генерации текста; максимальный контекст составляет 32 768 токенов. Модель подходит для генерации ответов и продолжения текста в сценариях, где нужен текстовый языковой интерфейс. Карточка сообщает о результате Loss 0,8699 на оценочном наборе, но не описывает протокол оценки и конкретные целевые сценарии. Указана лицензия Apache-2.0.

Mistral-CultriX-slerp — текстовая генеративная модель, созданная AutoSynthetix AI с помощью LazyMergekit путём слияния Mistral-7B-v0.1 и NeuralTrix-7B-dpo методом slerp. Это плотная авторегрессионная модель архитектуры MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста и диалоговых сценариев на основе текстового запроса. Веса представлены в формате Safetensors. README указывает лицензии Apache 2.0 для исходных моделей Mistral и CultriX и LGPL-3.0 для MergeKit; использование производной модели включает соответствующие условия лицензирования. Карточка не приводит специализированных областей применения или подтверждённых языков.

ehristoforu/mistral-distil-test-7 — текстовая генеративная модель, созданная с помощью mergekit из unsloth/Mistral-Nemo-Instruct-2407. В README указан метод passthrough и конфигурация, которая переносит слои исходной модели; метаданные классифицируют происхождение как дообучение базовой модели. Это плотная архитектура MistralForCausalLM на 9,5 млрд параметров, распространяемая в формате safetensors и предназначенная для диалоговой генерации текста. Заявленная длина контекста — 1 024 000 токенов. Модель подходит для ведения диалога и генерации текста по запросу. В карточке нет сведений о специализированных областях применения или поддерживаемых языках. Лицензия в предоставленных данных не указана.

ewqr2130/mistral-inst-v02-dpo — разговорная языковая модель на базе архитектуры Mistral, дообученная методом Direct Preference Optimization (DPO) на основе Mistral inst-v02. По карточке это версия с 7,1 млрд параметров и контекстом до 32 768 токенов; она предназначена для генерации текста и диалогов. Репозиторий содержит веса в формате Safetensors и поддерживает работу через Transformers. Модель подходит для диалоговых помощников и генерации ответов на текстовые запросы. README сообщает о DPO-дообучении в течение 6000 эпох, но не приводит датасет, настройки обучения или результаты оценки, поэтому качество и характер улучшения предпочтений по карточке определить нельзя. Лицензия — MIT.

Alignment-Lab-AI/Mistral-nemo-3b-unhealed — текстовая генеративная модель, созданная методом passthrough merge из ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.3 и mistralai/Mistral-Nemo-Base-2407. Репозиторий содержит веса Safetensors и использует архитектуру MistralForCausalLM; размер по метаданным — 5 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Её контекстное окно составляет 131 072 токена. В конфигурации сливаются выбранные диапазоны слоёв двух моделей; README не описывает отдельные специализированные задачи или языки.

nlpguy/Mistral-NeMo-Minitron-Upscale-v2 — текстовая авторегрессионная модель семейства Mistral, созданная слиянием весов через mergekit из nvidia/Mistral-NeMo-Minitron-8B-Base методом passthrough. Репозиторий содержит 11,9 млрд параметров в формате safetensors; модель использует библиотеку Transformers и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и может служить основой для приложений, которым нужны продолжение текста и ответы на текстовые запросы. В README автор советует использовать версию v1, поэтому к версии v2 следует относиться осторожно. Лицензия обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

ehristoforu/Mistral-nemo-test-2layno-v2 — текстовая генеративная модель, созданная автором репозитория с помощью mergekit из unsloth/Mistral-Nemo-Instruct-2407. README описывает объединение методом passthrough: в модель включены слои 0–21 и 22–29 исходной модели; веса сохранены в формате safetensors. Архитектура — плотная MistralForCausalLM, размер — 8,7 млрд параметров. Модель предназначена для диалоговой генерации текста и ответов на запросы. В метаданных указано контекстное окно до 1 024 000 токенов; модель работает с текстом на языках, поддержанных исходной instruct-моделью, но доступные сведения не позволяют определить конкретные языки. Для запуска предусмотрена библиотека Transformers. Лицензия в предоставленных источниках не указана.

Novocoders/Mistral-NeuralDPO-v0.7 — дообученная Novocoders модель Mistral-7B-v0.1 для генерации текста. Это плотная авторегрессионная модель с 7,1 млрд параметров, созданная с использованием Axolotl 0.4.0; доступны веса PyTorch и safetensors. Базовая модель имеет контекст до 32 768 токенов. Модель подходит для генерации текста и может служить основой для прикладных сценариев на базе текстовых запросов. README не раскрывает специализацию, обучающие данные, результаты оценки или конкретные ограничения версии. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-24B-Instruct-2501-GGUF — это набор файлов модели в формате GGUF для исходной инструкционной модели Mistral-Small-24B-Instruct-2501, разработанной компанией Mistral AI. Квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и работы с инструкциями в локальных приложениях, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и сохранением качества. В README указано обозначение 24B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекстного окна не приведены. Сильная сторона модели — возможность локального запуска с использованием CPU или GPU через совместимые инструменты; ограничения зависят от выбранного уровня квантования и аппаратных ресурсов. Распространение осуществляется по лицензии Apache 2.0.

zaddyzaddy/Mistral-Soro — разговорная текстовая модель на архитектуре Mistral, опубликованная пользователем zaddyzaddy на Hugging Face. Она предназначена для генерации текста и диалогового общения. Модель имеет 7,1 млрд параметров, плотную архитектуру MistralForCausalLM и контекстное окно 32 768 токенов. В метаданных указаны формат PyTorch и возможность чата. Подтверждённых сведений о языковой специализации, обучении и лицензии в доступных источниках нет.

Mistral-Starling-merge-trial1-7B — объединённая чат-модель на архитектуре Mistral, созданная разработчиком grimjim с помощью mergekit методом SLERP из Nexusflow/Starling-LM-7B-beta и grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B. Она предназначена для диалоговой генерации текста и ответов на запросы с упором на сочетание рассуждений и длинного контекста. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. В карточке заявлены чат-возможности; базовая Starling-LM-7B-beta ориентирована на английский язык. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

Mistral-Starling-merge-trial3-7B — объединённая языковая модель, созданная grimjim с помощью mergekit методом SLERP на основе Nexusflow/Starling-LM-7B-beta и grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B. Модель с архитектурой Mistral содержит 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате, включая задачи рассуждения; заявленная длина контекста составляет 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. В метаданных Hugging Face указаны библиотека Transformers и лицензия Apache-2.0. README сообщает о цели объединить сильные стороны рассуждения с контекстом 32K, но не приводит оценок качества или подробных результатов проверки.

Mistral-T5-7B-v1 — дообученная Ignos языковая модель на архитектуре Mistral для генерации текста и улучшения выполнения инструкций. Она основана на Toten5/Marcoroni-neural-chat-7B-v2 и обучалась на наборе tatsu-lab/alpaca. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на инструкции и запросы в текстовом формате. Веса доступны в формате PyTorch. Лицензия — Apache-2.0. README не приводит результатов оценки качества; заявлено, что модель наследует риски и ограничения базовых моделей.

arcee-ai выпустила mistral-v2-sec-dolphin — объединение двух предварительно обученных языковых моделей, созданное с помощью mergekit методом SLERP: sec-mistral-7b-instruct-1.6-epoch от Arcee AI и dolphin-2.8-mistral-7b-v02 от Cognitive Computations. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате. Её можно применять для ответов на вопросы, ведения диалога и создания текста. Карточка не уточняет языки и специализированные предметные области, поэтому их нельзя конкретизировать. Репозиторий содержит веса Safetensors; метаданные указывают библиотеку Transformers. Условия лицензирования в предоставленных данных не приведены.

MaziyarPanahi/Mixtral-8x22B-Instruct-v0.1-GGUF — набор квантизированных моделей в формате GGUF, созданный и опубликованный MaziyarPanahi на основе Mixtral-8x22B-Instruct-v0.1 от Mistral AI. Это инструкционно дообученная большая языковая модель для генерации текста, диалогов и выполнения пользовательских инструкций, включая сценарии с вызовом функций и инструментов. Модель использует архитектуру Mixture of Experts (MoE) Mixtral с восемью экспертами размером 22B каждый; README не уточняет общий объём параметров, эффективное число активных параметров и размер контекста. Доступны варианты квантизации от 2 до 8 бит, а также 16-битный вариант. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Формат GGUF и совместимость с llama.cpp позволяют загружать модель локально, в том числе в виде сегментированных файлов, с выбором подходящего уровня квантизации. К сильным сторонам относятся широкий выбор уровней квантизации, возможность локального запуска и поддержка инструкционного режима и function calling. К ограничениям относятся потенциальные потери качества и точности при низкой битности, значительные требования к памяти для крупных вариантов, а также отсутствие в README подробных результатов оценки, сведений о производительности и ограничений безопасного использования. Модель распространяется по лицензии Apache-2.0.

Mixtral-8x22B-v0.1 — базовая генеративная языковая модель семейства Mixtral, разработанная Mistral AI. В этом репозитории размещена конвертированная в формат Transformers версия весов, загруженная сообществом; автор README рекомендует использовать актуальные веса в организации Mistral AI. Модель построена на разреженной архитектуре смеси экспертов (MoE) и предназначена для генерации текста и использования как основа для прикладных решений. Контекст составляет до 65 536 токенов. Карточка указывает поддержку английского, французского, итальянского, немецкого и испанского языков. Для запуска предусмотрены Transformers, а также варианты вычислений в пониженной точности. Это базовая предварительно обученная модель, а не версия Instruct; для диалоговых приложений может потребоваться дополнительная настройка. В README отмечено отсутствие встроенных механизмов модерации. Лицензия — Apache 2.0.

Mixtral-8x7B-Instruct-v0.1-AWQ — это 4-битная AWQ-квантизованная версия инструкционной языковой модели Mixtral 8X7B Instruct v0.1, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу в чат-ботах и локальный запуск через совместимые инструменты инференса. Для форматирования запросов используется шаблон [INST] {prompt} [/INST]. Модель основана на архитектуре Mixtral и имеет максимальную длину последовательности 8192 токена. Доступна в формате AWQ с 4-битными весами, группой 128 и размером файлов около 24,65 ГБ; файлы поставляются в формате sharded safetensors. Заявлена поддержка английского, французского, итальянского, немецкого и испанского языков. Квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, однако README не содержит точных требований к видеопамяти, результатов бенчмарков или подробных характеристик базовой архитектуры. Для работы рекомендуются Linux или Windows с NVIDIA GPU и совместимые версии Transformers, vLLM, Text Generation Inference, AutoAWQ или text-generation-webui. На macOS данный формат не рекомендуется; для этой платформы предлагаются GGUF-версии. Модель распространяется по лицензии Apache-2.0.

mlx-community/Mixtral-8x7B-v0.1-hf-4bit-mlx — 4-битная конверсия модели Mixtral 8x7B от сообщества mlx-community для запуска на MLX. В основе лежит mistralai/Mixtral-8x7B-v0.1; архитектура — языковая модель с разреженной смесью экспертов (MoE), предназначенная для генерации текста. Модель поддерживает контекст длиной до 32 768 токенов и распространяется по лицензии Apache-2.0. Её можно использовать для диалогов, генерации и продолжения текста. Метаданные карточки указывают английский, французский, итальянский, немецкий и испанский языки. README сообщает о конверсии в формат MLX и 4-битном представлении; опубликованные метаданные перечисляют файлы safetensors. Ограничения и дополнительные характеристики исходной модели следует сверять с её карточкой.

MixtureofMerges-MoE-v2 — языковая модель с архитектурой Mixtral MoE, созданная автором jsfs11 с помощью LazyMergekit. Она объединяет четыре модели на основе 7B-чекпойнтов: NeuralBeagle14-7B, TurdusTrixBeagle-DARETIES-7B, WestSeverus-7B-DPO-v2 и Wernicke-7B-v7. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и творческих ответов. Веса опубликованы в формате safetensors; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. В README приведены результаты оценки на Open LLM Leaderboard, включая среднее значение 74,82, AI2 Reasoning Challenge — 72,44 и HellaSwag — 88,41. Модель распространяется по лицензии Apache-2.0. Карточка не уточняет поддерживаемые языки и не приводит подробностей о качестве в прикладных сценариях.

MN-LooseCannon-12B-v1 — языковая модель для генерации текста и диалогов, созданная GalrionSoftworks с помощью LazyMergekit. Это слияние моделей aetherwiing/MN-12B-Starcannon-v3 и Sao10K/MN-12B-Lyra-v1 методом TIES с нормализацией весов. Модель имеет плотную архитектуру MistralForCausalLM и 12,1 млрд параметров; веса опубликованы в формате safetensors. В метаданных заявлена длина контекста 1 024 000 токенов. Модель предназначена для генерации ответов в чатах и других текстовых сценариях. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH. Сведений о специализации по языкам и условиях лицензии в предоставленных данных нет.

MN-Lulanum-12B-FIX — объединённая языковая модель, созданная с помощью mergekit на основе unsloth/Mistral-Nemo-Base-2407 и четырёх моделей: VAGOsolutions/SauerkrautLM-Nemo-12b-Instruct, anthracite-org/magnum-v2.5-12b-kto, Undi95/LocalC-12B-e2.0 и NeverSleep/Lumimaid-v0.2-12B. Для слияния применён метод della_linear. Модель использует плотную архитектуру MistralForCausalLM, содержит 12,1 млрд параметров и предназначена для генерации текста и диалоговых сценариев; в метаданных также отмечен интерфейс вызова инструментов. Заявленная длина контекста — 1 024 000 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Сведения о лицензии, поддерживаемых естественных языках и ограничениях в доступных материалах отсутствуют.

MN-SlushoMix — разговорная языковая модель семейства Mistral, представленная автором как смесь MN-Slush и NemoMix Unleashed. По метаданным, это плотная модель с архитектурой MistralForCausalLM объёмом 12,1 млрд параметров, предназначенная для генерации текста и диалогов. Указаны интерфейс вызова инструментов и контекстное окно до 1 024 000 токенов. Модель основана на mistralai/Mistral-Nemo-Instruct-240; карточка упоминает смесь моделей, а метаданные классифицируют её как дообучение. Данные не уточняют поддерживаемые естественные языки или сравнительное качество. Репозиторий содержит веса safetensors; README также упоминает GGUF. Лицензия в предоставленных сведениях не указана.

model_007 — плотная языковая модель семейства Llama 2 примерно на 70 млрд параметров, разработанная Pankaj Mathur. Это гибридная модель для следования инструкциям и ответов с объяснениями; в карточке приведены форматы запросов Orca и Alpaca. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекст длиной 4096 токенов. Для дообучения использованы наборы Open-Platypus, Alpaca, WizardLM, Dolly-V2, Dolphin и их варианты Orca. Модель подходит для диалоговых помощников, ответов на вопросы, выполнения текстовых инструкций и рассуждений. В README приведены результаты оценки на наборах ARC и HellaSwag. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неуместный текст; факты следует перепроверять. Для использования указана лицензия Llama 2. README сообщает, что загрузка в 4-битном режиме требует около 45 ГБ видеопамяти.