II.6Документация и сопровождение разработки

QuantFactory/Meta-Llama-3.1-8B-GGUF — это квантованная версия большой языковой модели Llama 3.1 с 8 млрд параметров, представленная в формате GGUF. Базовую модель разработала Meta, а QuantFactory подготовила её распространение в квантованном формате. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-ботах, ассистентах, системах обработки естественного языка и других сценариях, где требуется текстовая генерация. Модель поддерживает текстовую модальность. В карточке заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Дополнительные сведения об архитектуре, размере контекстного окна, конкретном методе и уровне квантования, производительности, формате инструкционного дообучения и системных требованиях не указаны, поэтому её характеристики в этих аспектах требуют проверки по файлам модели. Главные преимущества — компактность по сравнению с полноразмерной версией, возможность запуска через совместимые инструменты для GGUF и многоязычная текстовая генерация. Ограничения включают возможные потери качества из-за квантования, зависимость результатов от выбранного варианта квантования и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Llama 3.1 Community License от Meta; при использовании и распространении необходимо соблюдать её условия, включая требования к атрибуции, маркировке «Built with Llama», Acceptable Use Policy и специальные коммерческие ограничения.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8 — квантизированная FP8-версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель для генерации текста и ассистентского диалога, предназначенная для коммерческого и исследовательского использования. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование только английского языка. Модель содержит 8 млрд параметров и использует архитектуру Meta-Llama-3.1. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в FP8 с симметричной поканальной для всего тензора схемой; выходной слой lm_head не квантизируется. По сравнению с 16-битной версией это примерно вдвое снижает размер на диске и требования к памяти GPU. Модель оптимизирована для инференса через vLLM, включая совместимый с OpenAI интерфейс. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание при сохранении близкого к исходной модели качества: средний результат на OpenLLM составляет 73,44 против 73,79 у неквантизированной версии. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от vLLM и заявленным ограничением области применения. Модель распространяется по лицензии llama3.1; также необходимо соблюдать применимое законодательство и условия исходной лицензии Meta.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная GGUF-версия языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста, диалоговых приложений и использования инструментов через структурированные вызовы функций. Она поддерживает текстовый ввод и вывод, а также рассчитана на работу с LlamaEdge и совместимыми средствами запуска GGUF-моделей. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Заявленный размер контекста составляет 128 000 токенов. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,18 до 8,54 ГБ; варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу размера и качества или минимальным потерям качества. К сильным сторонам относятся большой контекст, многоязычность, поддержка диалогового режима и вызова инструментов, а также возможность локального запуска с уменьшенными требованиями к памяти благодаря квантизации. Ограничения связаны с потерей качества при использовании низкобитных вариантов, особенно Q2_K и некоторых Q3/Q4-конфигураций; конкретные показатели производительности и качества в README не приведены. Модель распространяется по лицензии llama3.1.

Meta-Llama-3.1-Instruct-8B_merged-16bit_CPO_MSMARCO — языковая модель семейства Llama, опубликованная inpars-plus и дообученная на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit с использованием Unsloth и Hugging Face TRL. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена, в карточке указан английский язык. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу с инструментами. В README нет подробностей о данных CPO/MSMARCO, методике обучения или оценке качества, поэтому её специализацию и результаты на конкретных задачах ранжирования нельзя подтвердить по доступной карточке. Лицензия — Apache-2.0.

Mungert/Meta-Llama-3-8B-GGUF — модель для генерации текста на базе Meta Llama 3, разработанной Meta. Судя по идентификатору, это 8-миллиардная версия модели, представленная в формате GGUF, предназначенном для локального или совместимого с GGUF инференса. В карточке указана англоязычная поддержка и задача text-generation. Модель может использоваться для генерации и продолжения текста, ответов на запросы и других сценариев обработки естественного языка. Точная архитектура, размер контекста, варианты квантования, системные требования и дополнительные модальности в README не указаны; подтверждена только текстовая генерация, поэтому модель следует рассматривать как текстовую, без заявленной поддержки изображений, аудио или других модальностей. К сильным сторонам относятся компактный по современным меркам размер 8B и формат GGUF, потенциально удобный для локального запуска, однако конкретные преимущества производительности зависят от варианта квантования и используемого программного обеспечения. Ограничения модели, показатели качества и детальные сведения о тренировочных данных не приведены. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, включая требования к атрибуции, обозначению «Built with Meta Llama 3», Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 миллионами ежемесячных пользователей.

ThomasBaruzier/Meta-Llama-3-8B-Instruct-GGUF — это версия модели Meta Llama 3 8B Instruct в формате GGUF, подготовленная пользователем ThomasBaruzier. Базовая модель разработана Meta и предназначена для генерации текста на основе инструкций и диалогового взаимодействия. Модель относится к текстовым генеративным моделям и ориентирована на англоязычные сценарии: ответы на запросы, ведение диалога и выполнение текстовых инструкций. В карточке указаны размер 8B, формат GGUF и английский язык; сведения о длине контекста, конкретной архитектуре, вариантах квантования и поддержке других модальностей отсутствуют. К сильным сторонам относятся специализированная настройка для следования инструкциям и возможность использования в экосистеме GGUF. Ограничения включают отсутствие мультимодальности и неполные сведения о конфигурации конкретной сборки; качество ответов и требования к ресурсам зависят от выбранного варианта GGUF. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, Acceptable Use Policy и требования Meta к атрибуции, включая указание «Built with Meta Llama 3» в применимых случаях.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, полученная слиянием методом SLERP модели Mistral-7B-Instruct-v0.1 и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоге. Указанная длина контекста — 32 768 токенов; веса опубликованы в формате safetensors. Модель подходит для диалоговых запросов и генерации ответов на инструкции. В карточке не приведены отдельные оценки качества или сведения о поддерживаемых естественных языках, поэтому их нельзя надёжно уточнить. Лицензия — Apache-2.0.

MetaMath-Tulpar-7b-v2-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/MetaMath-Tulpar-7b-v2-Slerp. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст; метаданные указывают на диалоговые возможности. Лицензия — Apache-2.0. В карточке не приведены оценки качества или отдельные ограничения, поэтому пригодность для конкретных сценариев стоит проверять на собственных примерах.

MFANN3bv0.19.12 — слитая модель для генерации текста, созданная netcat420 с помощью mergekit. Она объединяет liminerity/Phigments12, netcat420/MFANN3bv0.19 и netcat420/MFANN3bv0.19.11 методом TIES; в конфигурации указаны нормализация, int8-маска и формат bfloat16. Модель построена на архитектуре PhiForCausalLM, содержит 3,5 млрд параметров и принимает контекст до 32 768 токенов. Репозиторий использует Transformers и хранит веса в safetensors. Модель предназначена для генерации текста по текстовому запросу и может применяться для диалогов, черновиков и продолжения текста. Данные не уточняют специализацию по темам или языкам. Условия лицензирования в предоставленных сведениях не описаны.

MFANN3bv0.20.16 — слитая языковая модель семейства Phi, созданная автором репозитория с помощью mergekit. В основе слияния TIES лежит liminerity/Phigments12; также объединены netcat420/MFANN3bv0.20 и netcat420/MFANN3bv0.20.15. Модель содержит 3,5 млрд параметров и рассчитана на генерацию текста с контекстом до 32 768 токенов. Модель предназначена для генерации продолжений и ответов на текстовые запросы. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

MFANNv0.20.10 — объединённая текстовая модель семейства Llama, созданная netcat420 с помощью mergekit. В качестве основы использована mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated; в слияние также вошли netcat420/MFANNv0.19 и netcat420/MFANNv0.20. Применён метод DARE TIES с точностью bfloat16. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по запросу: она может формулировать ответы и продолжать текст в сценариях разговорного ассистента. Базовая модель описана как версия Llama 3.1 8B Instruct с ослабленными ограничениями на ответы. Модель опубликована в формате safetensors и использует библиотеку Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

MiniCPM4.1-8B — языковая модель OpenBMB для диалогов, рассуждений и генерации текста. Это плотная причинная модель семейства MiniCPM с 7,9 млрд параметров; карточка сообщает о гибридном режиме рассуждений с обучаемым разреженным вниманием и ускорении декодирования с помощью speculative decoding. Модель поддерживает контекст до 65 536 токенов и рассчитана на китайский и английский языки. Модель подходит для диалоговых ассистентов, пошагового решения задач и генерации длинных ответов. Её можно запускать через Transformers, SGLang, vLLM, CPM.cu, llama.cpp и Ollama; для Transformers требуется версия 4.56 или новее. В README заявлены сильные результаты на задачах рассуждения и ускорение генерации, но конкретные оценки в предоставленной карточке не приведены. Модель распространяется по лицензии Apache-2.0. Для работы с полной точностью требуется достаточно памяти для модели такого размера; фактическая скорость и доступная длина генерации зависят от оборудования и конфигурации. В предоставленных данных не описаны специальные механизмы снижения риска ошибочных ответов.

MiniCPM4.1-8B-GPTQ — квантизированная в формате GPTQ версия большой языковой модели MiniCPM4.1-8B, разработанной командой OpenBMB. Модель предназначена для генерации и обработки текста, включая диалоговые приложения, следование инструкциям, задачи, требующие рассуждений, понимание длинных текстов и вызов инструментов. Она поддерживает китайский и английский языки и рассчитана на эффективное использование на периферийных устройствах и конечных пользовательских системах. Модель содержит 8 миллиардов параметров и относится к гибридным reasoning-моделям: её можно использовать в режиме глубокого рассуждения и в обычном режиме без рассуждений. В архитектуре заявлен механизм разреженного внимания InfLLM v2, при котором при обработке текста длиной до 128K токенов каждый токен взаимодействует менее чем с 5% токенов, что должно снижать вычислительные затраты. GPTQ-квантизация уменьшает требования к памяти и может ускорить инференс на совместимом оборудовании, однако README не содержит точных требований к ресурсам, результатов тестирования именно этой сборки или подробностей о влиянии квантизации на качество. К сильным сторонам относятся ориентация на эффективный инференс, поддержка длинного контекста, гибридный режим рассуждений и наличие оптимизаций для локального запуска. Ограничения и перечень конкретных поддерживаемых аппаратных платформ в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

FredyRivera-dev/MiniCPM5-1B — подготовленная версия MiniCPM5-1B от команды FredyRivera-dev на основе openbmb/MiniCPM5-1B. Веса не изменялись и дообучение не проводилось: в токенизаторе переименован зарезервированный токен, а шаблон чата адаптирован для блоков текста и изображений. При этом модель не поддерживает зрение: у неё нет визуального энкодера или проектора, а добавленный токен изображения не обучен. Это компактная причинная языковая модель с плотной архитектурой LlamaForCausalLM и 837,6 млн параметров по метаданным. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режимы быстрого ответа и пошагового рассуждения. Модель предназначена для локальных помощников, генерации кода, использования инструментов и рассуждений на устройствах с ограниченными ресурсами; карточка указывает поддержку английского и китайского языков. К заявленным преимуществам относятся длинный контекст и пригодность для локального развёртывания. Ответы могут быть неточными, предвзятыми или небезопасными, поэтому их следует проверять, особенно в важных сценариях. Лицензия — Apache-2.0.

Карточка модели 43nikolayvladimirovich/MiniCPM5-1B-SFT на Hugging Face совпадает с карточкой openbmb/MiniCPM5-1B-SFT, поэтому описание составлено по ней. MiniCPM5-1B-SFT — контрольная точка модели серии MiniCPM5 от OpenBMB, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM: в метаданных указано 837,6 млн параметров, а карточка сообщает о 24 слоях и 16 головах запросов и 2 головах ключей и значений. Модель принимает текст и выдаёт текст; контекст — до 131 072 токенов. Карточка модели указывает английский и китайский языки. SFT-чекпойнт предназначен для локальных помощников, генерации кода, агентных сценариев с вызовом инструментов и сложных рассуждений. В серии предусмотрены режимы ответа с рассуждением и без него; этот вариант обучен только методом SFT и предшествует этапам RL и OPD. Поддерживаются запуск через Transformers, vLLM и SGLang, а также дообучение с помощью ресурсов проекта. Заявления карточки о сравнительных результатах относятся к указанному в ней набору моделей и бенчмарков. Модель распространяется под лицензией Apache-2.0. Она может выдавать неточные, предвзятые или небезопасные ответы; результаты следует проверять, особенно перед применением в ответственных сценариях.

insraq/MiniCPM5-2B-heretic-abliterated — производная версия MiniCPM5-2B, опубликованная пользователем insraq. Это плотная причинная языковая модель на 2,2 млрд параметров с архитектурой LlamaForCausalLM, рассчитанная на локальных помощников, программирование, математику, длинный контекст и сценарии с вызовом инструментов. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель серии MiniCPM5 разработана для локального запуска на устройствах и в условиях ограниченных ресурсов; карточка заявляет сильные результаты среди моделей сопоставимого размера в программировании, математике, понимании длинного контекста и использовании инструментов. В названии указано abliterated, а теги описывают модель как uncensored/decensored, однако README не объясняет метод получения этой версии и не приводит её отдельную оценку. README базовой модели предупреждает о возможных неточностях, предвзятых или оскорбительных ответах и отсутствии экспертной проверки чувствительных тем. Модель распространяется по лицензии Apache-2.0.

MiniMax-M2.5-PRISM-LITE — разговорная модель Ex0bit на базе MiniMaxAI/MiniMax-M2.5, дообученная с помощью конвейера PRISM-LITE. Она предназначена для генерации текста в диалогах, программирования, решения сложных многошаговых задач и работы с агентными сценариями. В карточке заявлены архитектура MoE и подавление чрезмерных отказов при сохранении основных возможностей исходной модели; GGUF-файлы представлены в вариантах IQ1_M и IQ2_M. Указаны английский и китайский языки. Лицензия обозначена как other; README описывает базовую лицензию как модифицированную MIT.

Shining Valiant 3 — модель Valiant Labs, дообученная на базе mistralai/Ministral-3-14B-Reasoning-2512. Это плотная модель семейства Mistral 3 для генерации текста, диалога и рассуждений. Разработчики позиционируют её как помощника для научных задач, проектирования ИИ, программирования и общего решения сложных задач; обучение включало научные данные для рассуждений, созданные с помощью DeepSeek R1 0528. Модель рассчитана на диалог и следование инструкциям, а также на творческие и аналитические задачи. Карточка сообщает о поддержке английского языка. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. В README не приведены данные о числе параметров сверх идентификатора базовой модели или о длине контекста. Утверждения о высокой скорости и работе на настольных и мобильных устройствах приведены разработчиком без количественных характеристик.

Ministral-4b-instruct — плотная GPT-подобная языковая модель семейства Mistral от Mistral AI, дообученная на смеси общедоступных и синтетических наборов данных. Она содержит 4,3 млрд параметров и предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель использует архитектуру MistralForCausalLM и принимает текст, формируя текстовые ответы. Длина контекста составляет 32 768 токенов. Базовая модель — mistralai/Mistral-7B-v0.1; веса доступны в формате safetensors. Модель подходит для диалоговых приложений и генерации текста. Лицензия Apache 2.0 разрешает коммерческое использование. Карточка указывает английский как основной язык модели.

Mini_synata_7b_011-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Разработана путём слияния mistralai/Mistral-7B-Instruct-v0.1 и Minirecord/Mini_synata_7b_011 методом SLERP; конфигурация использует базовую модель Mistral-7B-Instruct-v0.1 и точность bfloat16. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Она принимает текст, поддерживает чат-взаимодействие и имеет контекст длиной до 32 768 токенов. Данные не подтверждают специализацию на конкретном языке или предметной области. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или конкретных ограничений применения.

MisCalmity-v0.1-model_stock — языковая модель на архитектуре Mistral, созданная слиянием нескольких моделей с помощью LazyMergekit: Mistral-7B-v0.1, Calme-7B-Instruct-v0.9 и The-Trinity-Coder-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться для диалоговых ответов и генерации кода благодаря включению инструкционной модели и модели для программирования в слияние. В карточке не приведены результаты оценки качества или сведения о лицензии, поэтому пригодность для конкретных сценариев и условия использования следует проверять по исходным моделям и репозиторию.

MisGemma-7B — объединённая языковая модель, созданная автором репозитория с помощью mergekit из EmbeddedLLM/Mistral-7B-Merge-14-v0.1 и HuggingFaceH4/zephyr-7b-beta методом slerp. Это плотная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Размер контекста — до 32 768 токенов. Модель можно применять для ведения диалога и генерации ответов на текстовые запросы. В репозитории веса сохранены в формате safetensors; указана лицензия Apache-2.0. Карточка не приводит оценок качества или результатов тестирования, поэтому пригодность для конкретных задач следует проверять отдельно.

Mistral-10.7B-Instruct-v0.2 — плотная языковая модель семейства Mistral с примерно 10,6 млрд параметров, созданная увеличением глубины модели mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для диалоговой генерации текста и может использоваться как замена исходной 7-миллиардной версии или как основа для дальнейшего дообучения. Модель принимает текст и генерирует текст; заявленное контекстное окно составляет 32 768 токенов. Модель опубликована под лицензией Apache 2.0. В карточке не описаны языковое покрытие и результаты сравнительных оценок, поэтому её качество для конкретных языков и задач следует проверять отдельно.

cloudyu выпустил плотную текстовую модель cloudyu/mistral_28B_instruct_v0.1 на архитектуре Mistral с 28 млрд параметров. Согласно README, модель дообучена методом SFT на наборе vicgalle/alpaca-gpt4 и использует формат инструкций с полями instruction, inputs и output. Метаданные также отмечают поддержку чата и контекст до 32 768 токенов. Модель предназначена для генерации ответов на инструкции и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; лицензия — CC BY 4.0. README заявляет 128 слоёв, но не описывает оценку качества или специализированную область применения.

Mistral-7B-Erebus-v3-Instruct-32k — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная с помощью mergekit методом DARE TIES. В качестве основы использована alpindale/Mistral-7B-v0.2-hf, объединённая с mistralai/Mistral-7B-Instruct-v0.2 и KoboldAI/Mistral-7B-Erebus-v3. Модель предназначена для генерации текста и ответов на инструкции; поддерживает контекст до 32 768 токенов. Модель работает с текстом и использует библиотеку Transformers; веса доступны в формате safetensors. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Объединение включает Erebus-v3, однако карточка не описывает его влияние на поведение итоговой модели. Лицензия в предоставленных данных не указана.

Mistral-7B-Instruct-v0.1-GGUF — это квантизированная версия текстовой instruct-модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в средах, совместимых с GGUF и LlamaEdge. Модель основана на архитектуре Mistral, имеет 7 миллиардов параметров и поддерживает только текстовую модальность. Размер контекста составляет 4096 токенов, а для взаимодействия используется шаблон mistral-instruct: <s>[INST] {prompt} [/INST]. README не указывает поддерживаемые языки. Доступны варианты квантизации от 2 до 8 бит размером примерно от 2,7 до 7,7 ГБ; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые, поскольку обеспечивают баланс между размером и качеством. Основные преимущества модели — возможность локального запуска, широкий выбор уровней квантизации и совместимость с LlamaEdge версии 0.2.8 и выше. Более агрессивная квантизация уменьшает требования к ресурсам, но может приводить к заметной потере качества. Лицензия модели — Apache-2.0.

Mistral 7B Instruct v0.1 в формате GGUF — языковая модель для генерации текста и выполнения инструкций, разработанная Mistral AI и преобразованная в квантизированные файлы TheBloke. Модель предназначена для диалоговых приложений, локального запуска и других сценариев, где требуется обработка текстовых запросов с использованием совместимых библиотек и пользовательских интерфейсов. Модель относится к семейству Mistral и содержит 7 миллиардов параметров. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Поддерживаются llama.cpp и ряд сторонних инструментов, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python. Для форматирования запросов используется шаблон <s>[INST] {prompt} [/INST]. К сильным сторонам относятся компактность квантизированных вариантов, возможность локального запуска и широкая совместимость с экосистемой GGUF. Ограничения включают максимальную длину последовательности 4096 токенов для указанных файлов, а также возможное снижение качества при использовании более агрессивной квантизации. Поддерживаются только текстовые сценарии; сведения о языках обучения в README не указаны. Модель распространяется по лицензии Apache 2.0.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

TheBloke/Mistral-7B-Instruct-v0.2-GGUF — это набор квантизированных файлов в формате GGUF для языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и квантизированной TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Для форматирования запросов используется шаблон Mistral: <s>[INST] {prompt} [/INST]. Модель содержит 7 миллиардов параметров; поддерживаются варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. Формат GGUF ориентирован на эффективный запуск с использованием CPU и GPU и совместим с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими перечисленными средствами. README не указывает языки, размер контекста или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. К преимуществам относятся возможность локального запуска, широкий выбор уровней квантования и поддержка различных программных инструментов. Более сильное квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; конкретные компромиссы зависят от выбранного файла. Модель распространяется по лицензии Apache-2.0.

Это сборка Mistral 7B Instruct v0.2 от Mistral AI, подготовленная Mozilla AI в формате llamafile. В её основе — плотная диалоговая модель Mistral, дообученная для генерации текста по инструкциям; базовая версия содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий включает варианты квантования разной разрядности, в том числе с заметной потерей качества на самых компактных настройках. Модель подходит для локального чат-общения, ответов на вопросы и выполнения текстовых инструкций через llama.cpp и совместимые интерфейсы. Формат llamafile упрощает запуск на обычных системах с ARM64 и AMD64; конкретные требования к памяти и качество зависят от выбранного файла. Модель не имеет встроенных механизмов модерации. Лицензия — Apache-2.0.