II.6Документация и сопровождение разработки

MaziyarPanahi/MeliodasPercival_01_Multi_verse_modelM7 — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/Multi_verse_modelM7-7B. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста; поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов, однако карточка не уточняет специальные сценарии, языки или настройки общения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MeliodasPercival_01_NeuralsirkrishnaInex12 — объединённая авторами репозитория модель для генерации текста и диалогов. Она основана на архитектуре Mistral и содержит 7,1 млрд параметров; модель принимает текст и формирует текстовый ответ, поддерживая контекст до 32 768 токенов. Веса представлены в формате Safetensors. Модель объединяет MeliodasPercival_01-7B и NeuralsirkrishnaInex12-7B и подходит для генерации продолжений текста и ведения диалога. Репозиторий распространяется по лицензии Apache-2.0. Сведения о специализации на конкретном языке или предметной области отсутствуют.

MeliodasPercival_01_OgnoExperiment27 — слитая языковая модель, объединяющая automerger/MeliodasPercival_01-7B и automerger/OgnoExperiment27-7B. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов; поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache 2.0. Сведения о специализации по языкам и областям применения отсутствуют, поэтому её можно описать как модель общего назначения. Качество, сильные стороны и конкретные ограничения сверх указанных характеристик в карточке не описаны.

MeliodasT3q_Experiment26Yam — объединённая модель для генерации текста, созданная MaziyarPanahi на основе automerger/MeliodasT3q-7B и automerger/Experiment26Yam-7B. Это плотная авторегрессионная модель архитектуры Mistral размером 7,1 млрд параметров с контекстом до 32 768 токенов, распространяемая в формате safetensors. Модель предназначена для генерации продолжений текста и диалоговых ответов на входные текстовые запросы. В README не описаны специальные области применения, языковая специализация или дополнительные возможности. Лицензия — Apache-2.0.

MeliodasT3qm7-7B — объединённая Maxime Labonne модель для генерации текста и диалога. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров; модель создана методом DARE-TIES из AurelPx/Meliodas-7b-dare и nlpguy/T3QM7. Модель предназначена для генерации ответов в диалоге и выполнения текстовых запросов. Контекстное окно составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors с точностью bfloat16. Лицензия — Apache-2.0. Карточка не приводит сведения о целевых языках, специализированных областях или результатах оценки качества.

Solshine/mergekit-passthrough-lhtboir — объединённая языковая модель на архитектуре Llama, созданная автором с помощью mergekit методом passthrough. В объединении использованы слои mlabonne/Hermes-3-Llama-3.1-8B-lorablated, Solshine/reflection-llama-3.1-8B и CopyleftCultivars/llama-3.1-natural-farmer-16bit; веса сохранены в формате safetensors с точностью float16. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы, составления текстов и работы с интерфейсом вызова инструментов. В карточке указана архитектура LlamaForCausalLM и библиотека Transformers. Сведения о лицензии в предоставленных данных отсутствуют. Качество и поведение объединённой модели могут отличаться от исходных моделей; независимые результаты оценки не приведены.

mergekit-community/mergekit-slerp-oztfijl — объединение предварительно обученных языковых моделей Meta-Llama-3-8B и Mistral-7B-v0.1, созданное сообществом с помощью mergekit методом SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста; в метаданных указана длина контекста 32 768 токенов. Объединение использует веса обеих базовых моделей и конфигурацию с разными параметрами интерполяции для слоёв self-attention и MLP. Модель можно использовать для генерации текста и диалоговых сценариев на основе текстовых запросов. README не описывает отдельную донастройку или специализированную область применения. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензии в предоставленных данных нет.

Это объединённая языковая модель на архитектуре Llama 3.2, созданная с помощью mergekit методом TIES. В качестве базовой модели указана meta-llama/Llama-3.2-1B; размер модели — 1,2 млрд параметров, длина контекста — до 131 072 токенов. Репозиторий создан в ноябре 2024 года, веса представлены в формате safetensors. Модель объединяет инструкционные и специализированные варианты Llama для ответов на вопросы, математических рассуждений, медицинских вопросов, работы с SQL и генерации кода. Она предназначена для текстового ввода и генерации текста; карточка не описывает результаты оценки качества или гарантии выполнения всех перечисленных навыков. Для использования действует лицензия базовой модели Meta-Llama; конкретные условия лицензирования объединённых весов следует сверить с карточками исходных моделей.

Mergerix-7b-v0.1 — языковая модель, созданная MiniMoog слиянием моделей Kukedlc/NeuralSirKrishna-7b-DPO и Kukedlc/NeuralAlgo-7B-DPO с помощью LazyMergekit. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; веса доступны в формате safetensors. Контекст составляет до 32 768 токенов. Модель предназначена для генерации текста и может использоваться в диалоговых и других сценариях, где нужно продолжить или создать текст по запросу. Слияние выполнено методом SLERP с разными весами для слоёв внимания и MLP; конфигурация использует точность float16. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных сведений о поддерживаемых языках, поэтому пригодность для конкретных задач и языков следует проверять отдельно.

Mergerix-7b-v0.2 — объединённая текстовая модель, опубликованная MiniMoog и созданная с помощью LazyMergekit из трёх моделей на базе Mistral. Веса объединены методом model_stock; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для генерации текста и диалога, принимает текст и выдаёт текст. Контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors, а лицензия указана как Apache-2.0. Карточка не описывает специальные области применения или результаты оценки качества, поэтому практическое качество и поведение объединённой модели могут зависеть от запроса.

Meta-Llama-3-120B-Instruct-GGUF — это GGUF-квантизированная версия текстовой instruction-tuned языковой модели Meta-Llama-3-120B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mlabonne/Meta-Llama-3-120B-Instruct, основанная на Meta-Llama-3-70B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев с применением системных и пользовательских инструкций. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 32,60 до 129,52 ГБ. Более высокие варианты, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако могут заметно уступать в качестве. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, но README не содержит данных об архитектуре, поддерживаемых языках, модальностях и размере контекста. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Для работы требуется выбрать подходящий файл квантизации и использовать специальный chat-шаблон с токенами Meta Llama 3. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

unsloth/Meta-Llama-3.1-70B-Instruct-bnb-4bit — это 4-битно квантованная версия Meta-Llama-3.1-70B-Instruct, подготовленная с использованием экосистемы Unsloth. Базовую модель разработала Meta; в карточке указано, что Unsloth предоставляет квантованный вариант и инструменты для более эффективного дообучения. Модель предназначена для генерации текста и диалоговых сценариев, включая создание виртуальных ассистентов, обработку инструкций и адаптацию под специализированные наборы данных. Модель относится к семейству Llama 3.1, содержит 70 миллиардов параметров и использует архитектуру decoder-only Transformer, характерную для этой серии. Указан основной язык English; поддержка других языков в карточке не заявлена. Формат bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что может упростить локальный запуск и дообучение, однако потенциально сопровождается потерей качества относительно исходной версии и требует совместимого программного и аппаратного окружения. Сведения о размере контекста, мультимодальности и точных характеристиках инференса отсутствуют. Модель распространяется по лицензии Llama 3.1. Перед использованием необходимо учитывать условия этой лицензии и требования совместимого стека, включая Transformers и поддержку 4-битной загрузки.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу в приложениях на базе GaiaNet. Для взаимодействия используется шаблон llama-3-chat, а запуск поддерживается llama.cpp. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Квантизация выполнена с использованием llama.cpp b4466, что делает модель более подходящей для запуска в средах с ограниченными ресурсами, однако README не уточняет конкретный формат квантизации, требования к оборудованию и возможные компромиссы между скоростью, качеством и потреблением памяти. Модель распространяется по лицензии llama3.1. README не содержит подробностей о дополнительных ограничениях лицензии и не приводит результаты оценки качества, поэтому её преимущества и ограничения можно описать только на общем уровне: это компактная инструкционная модель с широкой поддержкой языков и большим контекстом, но без подтвержденных характеристик производительности для отдельных задач.

Модель nicolepcx/Meta-Llama-3.1-8B-Instruct-tiny разработана nicolepcx и представляет собой дообученную инструктивную модель семейства Llama 3.1 с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. В качестве основы указана unsloth/meta-llama-3.1-8b-instruct-bnb-4bit; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций; интерфейс также поддерживает вызов инструментов. Метаданные указывают английский язык и контекстное окно до 131 072 токенов. Репозиторий содержит веса safetensors, а лицензия — Apache-2.0.

mlx-community/Meta-Llama-3-8B-Instruct-4bit — 4-битная квантованная версия инструкционной языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная сообществом mlx-community. Базовую модель разработала Meta. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии обработки текста. Указанная поддерживаемая языковая версия — английский язык; модальность — текстовая. Размер контекста и дополнительные архитектурные характеристики в README не указаны. Ключевая особенность этой версии — 4-битное квантование, ориентированное на более эффективное локальное выполнение и снижение требований к памяти по сравнению с полноразмерными весами, однако README не содержит результатов оценки качества или точных эксплуатационных требований. Модель предназначена для text-generation и может использоваться в приложениях, которым требуется компактная инструкционная LLM. Модель распространяется по Meta Llama 3 Community License. Лицензия предоставляет ограниченные права на использование, копирование, распространение и создание производных работ при соблюдении условий Meta, включая сохранение лицензионного соглашения и уведомления об авторстве, отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов, соблюдение Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 млн ежемесячных активных пользователей.

Meta-Llama-3-8B-Instruct-GGUF — языковая модель для генерации текста, созданная Meta и представленная сообществом lmstudio-community в формате GGUF. Она основана на Meta-Llama-3-8B-Instruct и предназначена для диалоговых приложений, ответов на вопросы, следования инструкциям и других задач текстовой генерации. Указан английский язык и тип применения text-generation. Модель имеет 8 миллиардов параметров и относится к семейству Llama 3. В предоставленных данных не указаны точная архитектура, размер контекстного окна, доступные варианты квантования и дополнительные модальности, поэтому эти характеристики нельзя определить надёжно. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая приложения класса LM Studio. Модель может быть полезна для локальных текстовых помощников и других сценариев, где требуется выполнение инструкций на английском языке. Ограничения включают неизвестные параметры производительности, отсутствие подтверждённых мультиязычных возможностей и потенциальные ошибки или нежелательные ответы, характерные для генеративных языковых моделей. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, требования к атрибуции, Acceptable Use Policy и прочие ограничения Meta.

Meta-Llama-3-8B-Instruct-GGUF-special-tokens — инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF пользователем bartowski. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Суффикс special-tokens указывает на вариант с поддержкой специальных токенов, однако подробности преобразования в GGUF в README не приведены. Известно, что модель ориентирована на английский язык и относится к классу text-generation. Размер модели — 8B параметров; архитектура Llama 3, точная конфигурация контекста и сведения о модальностях в представленном README не указаны. Модель является текстовой, поэтому описание мультимодальных возможностей отсутствует. Вариант GGUF обычно предназначен для локального запуска совместимыми средствами, но конкретные требования к оборудованию и производительности не приведены. Модель может быть полезна благодаря инструкционной настройке и относительно компактному размеру по сравнению с более крупными моделями, однако качество и применимость зависят от используемой сборки и сценария. Ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, контекстном окне, квантовании, бенчмарках и безопасностных характеристиках. Распространение и использование регулируются Meta Llama 3 Community License: необходимо соблюдать условия лицензии, Acceptable Use Policy и требования к атрибуции, включая указание «Built with Meta Llama 3» при соответствующих формах распространения.

DevQuasar-9/microsoft.Phi-4-mini-instruct-GGUF — это квантизированная версия модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в сценариях, где требуется работа с инструкциями и текстовыми запросами. В карточке указано, что модель относится к классу text-generation и распространяется в формате GGUF, подходящем для совместимого локального запуска. Сведения о точном размере, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках и дополнительных модальностях не приведены. К сильным сторонам относятся уменьшенные требования к хранению и вычислительным ресурсам по сравнению с полной версией, однако квантизация может влиять на качество ответов. Лицензия и условия использования в README не указаны.

MiMo-7B-SFT — плотная языковая модель Xiaomi, обученная с нуля и прошедшая supervised fine-tuning на базе MiMo-7B-Base. Модель предназначена для диалогов и задач рассуждения, особенно решения математических задач и написания кода; поддерживает интерфейс вызова инструментов. Она содержит 7 млрд параметров, использует архитектуру MiMoForCausalLM и принимает контекст до 32 768 токенов. В README описана серия MiMo-7B, ориентированная на усиление способностей к рассуждению через предварительное обучение и последующее обучение. Для этой версии заявлено обучение SFT; результаты по математике и коду, приведённые в карточке, относятся преимущественно к RL-версиям семейства и не должны автоматически считаться показателями MiMo-7B-SFT. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — MIT.

MiniCPM-2B-SFT-bf16 — текстовая генеративная модель из семейства MiniCPM, разработанного ModelBest и лабораторией обработки естественного языка Университета Цинхуа. Это версия MiniCPM-2B, дообученная с учителем (SFT) и сохранённая в формате PyTorch с точностью bf16; в метаданных указано 2,7 млрд параметров, а README описывает базовый MiniCPM-2B как модель с 2,4 млрд параметров без учёта эмбеддингов. Модель предназначена для диалогов и генерации текста, в том числе на китайском и английском языках. Контекст составляет 4096 токенов. README сообщает о сильных результатах семейства MiniCPM на общих тестах, включая китайский язык, математику и программирование, и о возможности запускать модели семейства на мобильных устройствах после отдельной квантизации. Эти результаты не следует автоматически переносить на конкретную SFT-сборку bf16. Разработчики разрешают академическое исследование и ограниченное коммерческое использование; точные условия лицензии в предоставленных данных не приведены.

MiniCPM5-1B — компактная плотная языковая модель семейства MiniCPM5, разработанная OpenBMB; этот репозиторий AIArchiveInfo является побитовой копией оригинала openbmb/MiniCPM5-1B. Модель предназначена для локальных помощников, кодовых агентов, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Она построена на архитектуре LlamaForCausalLM, содержит около 838 млн параметров по метаданным каталога и поддерживает контекст до 131 072 токенов. Один чекпойнт поддерживает режимы ответа с рассуждением и без него; карточка также отмечает возможности чата, вызова инструментов, генерации кода и сложных рассуждений. Модель рассчитана на английский и китайский языки и доступна в формате Safetensors для Transformers. Лицензия — Apache-2.0. Модель может ошибаться, воспроизводить смещения или выдавать небезопасные ответы; результаты следует проверять, особенно при использовании в ситуациях с высокими ставками.

Карточка модели liskasYR/MiniCPM5-2B-Base на Hugging Face совпадает с карточкой openbmb/MiniCPM5-2B-Base, поэтому описание составлено по ней. MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

Карточка модели theship87/ministral-4b-fork на Hugging Face совпадает с карточкой ministral/Ministral-4b-instruct, поэтому описание составлено по ней. Ministral-4b-instruct — плотная GPT-подобная языковая модель семейства Mistral от Mistral AI, дообученная на смеси общедоступных и синтетических наборов данных. Она содержит 4,3 млрд параметров и предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель использует архитектуру MistralForCausalLM и принимает текст, формируя текстовые ответы. Длина контекста составляет 32 768 токенов. Базовая модель — mistralai/Mistral-7B-v0.1; веса доступны в формате safetensors. Модель подходит для диалоговых приложений и генерации текста. Лицензия Apache 2.0 разрешает коммерческое использование. Карточка указывает английский как основной язык модели.

miqu-1-103b — экспериментальная текстовая языковая модель, созданная Wolfram методом слияния mergekit: слои модели miqu-1-70b-sf интерливированы, чтобы получить вариант на 103 млрд параметров с 120 слоями. Модель предназначена для генерации текста и диалогов; используется шаблон запросов Mistral. Максимальный контекст — 32 768 токенов. Карточка указывает английский, немецкий, французский, испанский и итальянский языки. Модель опубликована в формате safetensors и доступна также в отдельных квантованных сборках GGUF и EXL2. README отмечает, что исходные веса были утекшими; лицензия в метаданных обозначена как other, поэтому условия правового использования следует проверять отдельно.

Mirai Nova — дообученная LocalAI модель на архитектуре Llama 3, созданная для генерации текста и диалогов. Разработчики ориентируют её на вызов функций и отмечают усиленные способности к рассуждению; модель также подходит для общих текстовых задач. В LocalAI она рассчитана на работу с вызовом функций через грамматики. Чекпойнт содержит 7,5 млрд параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Сведений о лицензии в использованных данных нет.

Карточка модели NostraEmpire/mirror-smollm2-1.7b-instruct на Hugging Face совпадает с карточкой HuggingFaceTB/SmolLM2-1.7B-Instruct, поэтому описание составлено по ней. SmolLM2-1.7B-Instruct — компактная языковая модель Hugging Face на 1,7 млрд параметров, дообученная на базе HuggingFaceTB/SmolLM2-1.7B. Это плотный Transformer-декодер семейства Llama для генерации текста и диалогов; модель поддерживает контекст до 8192 токенов и рассчитана на запуск на устройстве. Версия Instruct прошла supervised fine-tuning и Direct Preference Optimization. Она предназначена для следования инструкциям, переписывания и суммаризации текста, а также вызова функций. Модель ориентирована прежде всего на английский язык; репозиторий содержит веса Safetensors и формат ONNX. Лицензия — Apache-2.0. По сравнению с предыдущей версией семейства улучшены следование инструкциям, знания, рассуждения и математика, однако ответы могут содержать фактические ошибки, быть логически непоследовательными или отражать смещения обучающих данных. Важную информацию следует проверять; модель не заменяет экспертную оценку.

CorticalStack выпустила mistral-7b-dolphin-sft — модель для генерации текста на базе Mistral с 7,1 млрд параметров. Это SFT-дообучение модели unsloth/mistral-7b-bnb-4bit на датасете cognitivecomputations/dolphin; в README также указаны параметры LoRA: r=256, alpha=128 и dropout=0. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache-2.0. Модель подходит для диалоговой генерации и других сценариев, где требуется продолжать или создавать текст; конкретный набор навыков и языковой охват датасета в карточке не раскрыты. Данных о специализированных областях применения и известных ограничениях качества нет.

Mistral 7B Instruct — текстовая языковая модель с приблизительно 7 млрд параметров, представленная в репозитории casperhansen. Данная версия представляет собой AWQ-квантизированный вариант модели, подготовленный с использованием AutoAWQ. README не уточняет исходного разработчика базовой модели, поддерживаемые языки и максимальный контекст. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате. В качестве сценариев использования указаны загрузка через AutoAWQForCausalLM и Transformers, потоковая генерация ответов, а также инференс через vLLM. Пример применения демонстрирует формат запросов Mistral с маркерами [INST] и [/INST], а также генерацию продолжений текста. Ключевое преимущество версии — AWQ-квантизация, которая может снизить требования к памяти и упростить запуск модели на совместимом оборудовании. Ограничения включают зависимость от совместимых версий Transformers, AutoAWQ или vLLM, а также отсутствие в README сведений о качестве на бенчмарках, языковом охвате, максимальной длине контекста и мультимодальных возможностях; по предоставленным данным модель является текстовой. Лицензия — Apache 2.0.

QuantFactory/Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и ведения диалогов, включая сценарии, где требуется выполнение инструкций на естественном языке. Она распространяется в формате GGUF и создана с использованием llama.cpp. Модель основана на архитектуре Mistral с 7 миллиардами параметров и поддерживает несколько уровней квантизации: Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. README не содержит сведений о поддерживаемых языках, размере контекста, модальностях и конкретных ограничениях качества. Модель подходит для локального запуска и интеграции с инструментами на базе llama.cpp, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации. Лицензия — Apache 2.0.