I.3Извлечение и структурирование данных

Fischerboot/ll3-test-2 — диалоговая языковая модель, созданная слиянием чекпойнтов Fischerboot/ll3-test-1 методом SLERP с помощью mergekit. Модель построена на архитектуре Llama и содержит 6,9 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия. Максимальная длина контекста составляет 8192 токена. Модель принимает текст и генерирует текст. В README указан один и тот же исходный репозиторий для обоих наборов слоёв с разными диапазонами, поэтому это слияние вариантов одной модели, а не объединение явно указанных разных семейств. Использование и распространение регулируются лицензией базовой модели; сведения о ней в предоставленных источниках отсутствуют.

bunnycore/LLama-3.1-8B-HyperNova-abliteration — объединённая языковая модель на архитектуре Llama, созданная с помощью mergekit методом passthrough на основе bunnycore/LLama-3.1-8B-HyperNova и grimjim/Llama-3-Instruct-abliteration-LoRA-8B. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста и диалоговые ответы; контекстное окно составляет до 131 072 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых систем и генерации продолжений. В карточке указана лицензия, однако её название не приведено в доступных метаданных. Основания для отдельного вывода о качестве, языковом охвате или ограничениях применения в README нет.

Jongbin-kr выпустил экспериментальный чекпойнт Llama 3.1 8B Instruct, преобразованный в разреженную MoE-модель. Каждый MLP-блок декодера разделён на четыре изначально одинаковых эксперта, а маршрутизатор без отбрасывания токенов выбирает двух экспертов для каждого токена. Модель содержит 7,5 млрд параметров и предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Модель основана на meta-llama/Llama-3.1-8B-Instruct, использует архитектуру UpcycledLlamaForCausalLM и формат safetensors. Заявленная длина контекста — 131 072 токена. README указывает, что для загрузки через Transformers требуется trust_remote_code=True. Сведения о лицензии и поддерживаемых языках этой производной модели в предоставленных данных отсутствуют.

Hitmanguy/Llama_3.1_GRPO_AMD — текстовая генеративная модель семейства Llama с числом параметров около 7,5 млрд и нативным контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указаны библиотеки Transformers, а также инструменты Unsloth, TRL и метод GRPO, что указывает на использование соответствующего стека для обучения или дообучения модели. Модель может применяться для создания ответов на запросы, продолжения текста, прототипирования диалоговых ассистентов и интеграции в приложения на базе Transformers. README автоматически сгенерирован и почти не содержит сведений о разработчике, исходной модели, языках, обучающих данных, оценивании и лицензии, поэтому качество, область применимости и условия использования требуют дополнительной проверки.

Hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF — это квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.2 3B Instruct, подготовленная в формате GGUF с использованием схемы квантования Q4_K_M. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, выполнение инструкций и локальный inference через совместимые инструменты, такие как llama.cpp. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели — 3 миллиарда параметров. Квантизация Q4_K_M снижает требования к памяти и может упростить запуск на локальном оборудовании, однако README не содержит точных требований к ресурсам, данных о контекстном окне, показателей качества или подробностей архитектуры. Модель подходит для локальных чат-ботов, генерации текста и прикладных задач, где важны компактность и поддержка нескольких языков. Ограничения включают возможные потери качества из-за квантизации, отсутствие заявленных количественных оценок и неизвестные характеристики производительности в конкретных сценариях. Использование регулируется Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста лицензии, указание «Built with Llama», сохранение атрибуции, соблюдение Acceptable Use Policy и применимых законов; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное требование.

DavidAU выпустил эту чат-модель для генерации текста. В метаданных указана архитектура MixtralForCausalLM с механизмом смеси экспертов (MoE), библиотека Transformers и контекст до 131 072 токенов. В README модель описана как полноточный исходный вариант в формате SafeTensors; автор отмечает возможность менять число активных экспертов, что влияет на скорость генерации. Название указывает на объединение Llama 3.2 8×3B с настройкой Instruct, однако карточка не раскрывает точный состав объединения и сценарии обучения. Модель предназначена для диалоговой генерации текста; метаданные также отмечают интерфейс вызова инструментов. Весовой репозиторий можно использовать напрямую или как источник для создания квантованных форматов. Автор рекомендует подбирать параметры и сэмплеры для конкретной среды запуска. В карточке не указаны языки и лицензия, поэтому условия распространения и коммерческого применения по этим данным определить нельзя.

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.3 — диалоговая языковая модель, созданная Maziyar Panahi путём DPO-дообучения Meta-Llama-3-8B-Instruct. Модель содержит 7,5 млрд параметров, построена на архитектуре Llama и предназначена для генерации текста и ответов в формате диалога. Для работы используется шаблон запросов ChatML. Автор сообщает о расширении контекста до 32 000 токенов с помощью настройки rope_theta; в метаданных указано исходное значение 8 192 токена. Модель обучалась на датасете Intel/orca_dpo_pairs. В карточке приведены результаты оценивания на бенчмарках рассуждений и понимания текста. Поддерживаются английский язык и библиотека Transformers. Лицензия — llama3; применяются её условия использования.

Llama-3-8B-Instruct-MopeyMule-IMat-GGUF — это квантизированная GGUF-версия инструкционной языковой модели failspy/Llama-3-8B-Instruct-MopeyMule. Модель подготовлена пользователем legraphista с помощью llama.cpp версии b3056 и предназначена для текстовой генерации и диалогового применения в совместимых инструментах, включая llama.cpp. В README указана поддержка английского языка. Модель основана на архитектуре Llama 3 с 8 млрд параметров; исходный тип данных — BF16. Доступны варианты от BF16 и F16 до Q1–Q8, включая квантизации с применением IMatrix, рассчитанные на снижение требований к памяти при локальном запуске. Для некоторых вариантов доступны файлы размером примерно от 3,18 до 16,07 ГБ. Мультимодальность и размер контекста в предоставленных данных не указаны. Основные преимущества — широкий выбор уровней квантизации, формат GGUF и применение IMatrix для ряда низкоразрядных вариантов, что может облегчать запуск на устройствах с ограниченными ресурсами. Ограничения включают отсутствие сведений о результатах тестирования, точных характеристиках контекста и качестве на конкретных задачах, а также возможное снижение точности при использовании сильной квантизации. Лицензия указана как llama3 с общей категорией other; перед использованием следует проверить условия лицензии исходной модели.

llama3-8b-spaetzle-v31 — объединённая языковая модель на базе архитектуры Llama, созданная cstr методом DARE TIES из cstr/llama3-8b-spaetzle-v20 и DiscoResearch/Llama3-DiscoLeo-Instruct-8B-v0.1. Модель предназначена для диалогов, генерации текста и выполнения инструкций. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. В карточке указаны немецкий и английский языки; основная языковая специализация — немецкий. Веса опубликованы в формате Safetensors. Лицензия — Llama 3. README указывает, что модель получена слиянием весов уже обученных моделей без обучения на новом корпусе; подробные сведения о качестве и ограничениях применения не приведены.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-CPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-IPO-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-RRHF-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Llama-3-Patronus-Lynx-8B-Instruct-GGUF — набор квантованных файлов модели Llama-3-Patronus-Lynx-8B-Instruct, разработанной Patronus AI и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста и задач оценки качества ответов, включая обнаружение галлюцинаций. Указанный язык — английский. Модель основана на Llama 3 и содержит 8 миллиардов параметров. Доступны варианты с различными уровнями квантования GGUF: от Q2_K до Q8_0, а также версия f16. Размер файлов составляет примерно от 3,3 до 16,2 ГБ; варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди квантованных сборок. Сведения о модальностях и размере контекста в README не указаны. Основные преимущества сборки — широкий выбор компромисса между размером, скоростью и качеством, а также совместимость с экосистемой GGUF. Ограничения связаны с потерями качества, зависящими от уровня квантования, и отсутствием в README подробных результатов оценки, описания обучения и рекомендаций по конкретным сценариям применения. Распространение указано по лицензии CC-BY-NC-4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

Llama 3 Tulu V2 8B — языковая модель-помощник от AllenAI, дообученная на базе meta-llama/Meta-Llama-3-8B на смеси общедоступных, синтетических и созданных людьми инструкций и диалогов. Модель с плотной архитектурой Llama содержит 7,5 млрд параметров и предназначена для генерации ответов в диалогах и выполнения разнообразных инструкций; основной язык — английский. Указанный родной размер контекста — 8129 токенов. Модель подходит для прототипирования англоязычных помощников, ответов на вопросы, объяснений и других задач генерации текста. В карточке приведены результаты сравнительных тестов, однако они не гарантируют качество для конкретного сценария. Модель не прошла этап выравнивания RLHF и не использует фильтрацию ответов во время работы, поэтому может выдавать небезопасный или проблемный контент. Лицензия репозитория — Apache 2.0; карточка также отмечает лицензию Meta Llama 3 для базовой модели.

Llama-SEA-LION-v2-8B — многоязычная языковая модель, разработанная командой Products Pillar организации AI Singapore при финансировании Национального исследовательского фонда Сингапура. Это плотная decoder-модель на архитектуре Llama 3 с 7,5 млрд параметров, полученная продолжением предварительного обучения Meta-Llama-3-8B-Instruct на примерно 48 млрд токенов пяти языков Юго-Восточной Азии и английского. Модель принимает текст и предназначена для генерации ответов и выполнения языковых задач на английском, индонезийском, тамильском, тайском и вьетнамском языках; контекст составляет до 8192 токенов. Модель оценивали на ответах на вопросы, анализе тональности, выявлении токсичности, переводе, суммаризации, причинно-следственных рассуждениях и распознавании языковых следствий. Оценка проводилась в режиме пяти примеров с использованием собственных для языков подсказок и ограниченных выборок данных, поэтому результаты могут не отражать качество во всех сценариях. Карточка предупреждает, что модель не прошла настройку безопасности; для использования в продуктах следует самостоятельно проверить её ответы и настроить меры безопасности. Лицензия — Llama 3 Community License.

LLaMAX2-7B — многоязычная базовая языковая модель, созданная командой LLaMAX путём продолжения предобучения Llama 2. Модель содержит 6,6 млрд параметров, использует архитектуру Llama и доступна в формате Safetensors. Она поддерживает более 100 языков и предназначена для генерации текста и дообучения под многоязычные задачи. Контекст модели — 4096 токенов. Модель рассчитана на использование в качестве основы для прикладных решений, включая многоязычные задачи рассуждения, здравого смысла и вывода на естественном языке. В базовой версии нет способности следовать инструкциям; для этого в карточке отдельно упомянуто дообучение на Alpaca. Модель распространяется по лицензии MIT.

bartowski/magnum-32b-v2-GGUF — это набор GGUF-квантизаций текстовой генеративной модели magnum-32b-v2, разработанной anth​​racite-org и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для диалоговых сценариев и генерации текста, включая локальное использование в совместимых приложениях, например LM Studio. Указаны поддерживаемые языки English и Chinese. В репозитории представлены варианты квантизации от Q8_0 до Q2_K и IQ2_M с размером файлов примерно от 11,18 до 34,55 ГБ. Для квантизации использовалась imatrix с калибровочным набором данных; часть вариантов применяет Q8_0 для embedding- и output-весов. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти и дискового пространства, тогда как компактные варианты экономичнее, но дают более низкое качество. Архитектура, точное число параметров исходной модели и размер контекстного окна в README не указаны. Модель использует шаблон промпта ChatML с ролями system, user и assistant. Лицензия обозначена как other с названием tongyi-qianwen; в качестве текста лицензии указана лицензия Qwen/Qwen2-72B-Instruct. Перед использованием следует проверить её условия применительно к данной производной и к выбранному сценарию.

bartowski/magnum-v4-27b-GGUF — это набор GGUF-квантизаций языковой модели magnum-v4-27b, разработанной anthracite-org. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Указанный язык — английский, модальность — текстовая. Модель содержит около 27 миллиардов параметров и поставляется в вариантах от F16 до сильно сжатых Q2/IQ2-квантизаций. Для подготовки файлов использовались llama.cpp b3930 и imatrix-квантизация; некоторые варианты сохраняют эмбеддинги и выходные веса в формате Q8_0 для повышения качества. Более крупные квантизации обеспечивают качество, близкое к исходной модели, но требуют значительного объёма памяти, тогда как малые варианты экономичнее, однако могут заметно терять в качестве. В README не указаны архитектура исходной модели, размер контекста и результаты сравнительных тестов. Для работы следует использовать формат prompt с маркерами ролей system, user и assistant, приведённый в документации модели. Лицензия обозначена как gemma; дополнительные условия её применения в README не раскрыты.

Marcoro14-7B-slerp_v2 — слитая модель Mistral для генерации текста. Её создал автор oz1115 с помощью mergekit, объединив OpenPipe/mistral-ft-optimized-1218 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP; в конфигурации базовой моделью указана OpenPipe/mistral-ft-optimized-1218. Модель с архитектурой MistralForCausalLM содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста на входе текстовых запросов. В репозитории указаны веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. В предоставленных материалах не описаны конкретные языки или специализированные области применения.

Matter-0.1-Slim-7B-B — дообученная авторами проекта 0-hero языковая модель на архитектуре Mistral с 7,1 млрд параметров. Это полное дообучение на slim-B версии набора Matter, сформированного из более чем 35 наборов данных и содержащего свыше 6 млрд токенов; обучение длилось три эпохи. Модель предназначена для диалоговой генерации текста и поддерживает формат запросов ChatML, а также вызов функций. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0, допускающая коммерческое использование в соответствии с её условиями. Карточка не приводит результатов сравнительных тестов или подробностей о качестве и ограничениях; возможности вызова функций заявлены, но примеры токенов в README отображаются неполно. Перед использованием стоит проверить качество на целевых сценариях и корректность формата вызова инструментов.

megatron_v1 — языковая модель с архитектурой Mixtral и механизмом смеси экспертов (MoE), собранная из моделей Mistral. Карточка приводит результаты оценки на Open LLM Leaderboard, включая средний балл 68,82, результат 65,96 на AI2 Reasoning Challenge и 84,80 на HellaSwag. Модель предназначена для генерации текста и диалогового общения. Она содержит 7,1 млрд параметров и поддерживает контекст до 8192 токенов. Веса опубликованы в формате Safetensors; модель распространяется по лицензии Apache-2.0.

Megrez2-3x7B-A3B — большая языковая модель с архитектурой Mixture-of-Experts от Infinigence. Она обучена на 8 трлн токенов и предназначена для генерации текста и диалоговых сценариев. В README указан общий размер 3×7B параметров и 3B активных параметров; метаданные Hugging Face указывают 2,7 млрд параметров. Модель поддерживает контекст длиной до 163 840 токенов и рассчитана на английский и китайский языки. Модель можно запускать через Transformers, ModelScope, llama.cpp, vLLM и SGLang. README описывает её как компактную для своего класса модель с MoE, а также приводит рекомендации по параметрам генерации и форматированию запросов для математических задач и вопросов с выбором ответа. Лицензия — Apache-2.0. Разработчики отмечают, что возможности рассуждения и работы в роли агента планируется улучшать.

Mergerix-7b-v0.2 — объединённая текстовая модель, опубликованная MiniMoog и созданная с помощью LazyMergekit из трёх моделей на базе Mistral. Веса объединены методом model_stock; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для генерации текста и диалога, принимает текст и выдаёт текст. Контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors, а лицензия указана как Apache-2.0. Карточка не описывает специальные области применения или результаты оценки качества, поэтому практическое качество и поведение объединённой модели могут зависеть от запроса.

Meta-Llama-3-8B-Instruct-zh-10k — дообученная XavierSpycy диалоговая языковая модель на архитектуре Llama 3 с 7,5 млрд параметров. Она создана на основе meta-llama/Meta-Llama-3-8B-Instruct с помощью LoRA и LLaMA-Factory: модель обучали три эпохи примерно на 10 тысячах китайских примеров из наборов Alpaca Chinese, Alpaca GPT-4 Chinese и OASST SFT Chinese. Для неё заявлено контекстное окно 8192 токена. Модель предназначена прежде всего для диалогов и генерации текста на китайском языке; также поддерживает английский. Её можно использовать для ответов на вопросы, написания текстов, анализа тональности, работы с кодом и вызова функций. README отмечает, что способности модели проверены не полностью: качество китайских ответов зависит от обучающих данных, а ролевые игры, математика и сложные неоднозначные задачи могут даваться хуже. Также не оценено, насколько дообучение вызвало забывание исходных навыков. Лицензия — Apache-2.0.

MiniCPM-1B Calibrated — это дообученная и выровненная модель causal language model на базе openbmb/MiniCPM-1B-sft-bf16, разработанная ewinregirgojr. Модель содержит около 1,08 млрд параметров, использует decoder-only архитектуру Transformer и формат ChatML, поддерживает английский язык и контекст длиной до 2 048 токенов. Она предназначена для генерации текста и диалоговых сценариев, где важны следование инструкциям, фактическая точность и объективность. Основные сценарии применения включают ответы на вопросы с опорой на предоставленный контекст, честный отказ от ответа при отсутствии достаточных доказательств, исправление заблуждений и диалог без некритичного согласия с ошибочными утверждениями. Благодаря небольшому размеру модель ориентирована на низколатентный запуск, периферийные устройства и локальный inference. В обучении использовались UltraFeedback, SQuAD v2 и датасет rm_sycophancy_dpo; применялась Identity Preference Optimization с LoRA-адаптерами. Сильными сторонами модели заявлены устойчивость к галлюцинациям и sycophancy, а также низкая частота необоснованных отказов: в документации указаны anti-sycophancy resistance 93,4% и over-refusal rate менее 2,1% на внутренней валидации. Ограничения связаны с размером модели: сложное многошаговое символьное рассуждение может быть слабее, чем у моделей масштаба 7B и выше, а для специализированных технических областей рекомендуется использовать retrieval-augmented generation. Модель не предназначена для автономных медицинских, юридических или финансовых решений без проверки человеком. Лицензия — Apache-2.0.

MiniMax-M2.7-JANG_2L-CRACK — производная модель MiniMaxAI/MiniMax-M2.7, созданная Jinho Jang. Это MoE-модель для генерации текста и диалогов с архитектурой MiniMax M2.7: в README указаны 230 млрд параметров, 256 экспертов и около 10 млрд активных параметров на токен. Метаданные каталога сообщают 2,9 млрд параметров; этот размер расходится с описанием исходной модели в README. Контекст составляет 196 608 токенов. Модель ориентирована на рассуждения и всегда формирует цепочку рассуждений перед ответом; также заявлен интерфейс вызова инструментов. Веса представлены в формате JANG_2L с разрядностью 8 бит для внимания, 6 бит для эмбеддингов и 2 бита для экспертов, общий размер — 63 ГБ. Формат предназначен для Apple Silicon и требует MLX Studio или пакета jang-tools; README также рекомендует запускать модель в vMLX. CRACK — заявленная авторами модификация, снижающая склонность к отказам. Лицензия указана как other, конкретные условия в доступных данных не раскрыты. Разработчик предупреждает о возможных бесконечных циклах при жадном декодировании и рекомендует температуру 1.0 для диалога; для сложных запросов советует выделять не менее 4000 токенов генерации.

MiniMax-M2-MLX-6bit — это 6-битно квантованная версия языковой модели MiniMax-M2 для генерации текста. Исходную модель разработала MiniMaxAI, а квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm. Модель предназначена для запуска в LM Studio и оптимизирована для устройств Apple Silicon. В README указано, что модель относится к задачам text-generation и распространяется по лицензии MIT. Известна её MLX-архитектура представления и 6-битная квантизация, однако сведения о размере модели, поддерживаемых языках, длине контекста, точных характеристиках архитектуры и мультимодальности не приведены. Квантизация ориентирована на более эффективный локальный запуск, но может влиять на качество по сравнению с исходной моделью. Как и другие языковые модели, она способна генерировать неточные, нежелательные или вводящие в заблуждение ответы.

QuantFactory/Ministral-3b-instruct-GGUF — квантованная версия языковой модели ministral/Ministral-3b-instruct, созданная QuantFactory с использованием llama.cpp. В основе лежит GPT-подобная архитектура семейства Mistral с примерно 3 млрд параметров; модель дообучена на смеси общедоступных и синтетических наборов данных и основана на Mistral-7B-v0.1. Модель предназначена для генерации текста и инструкционного взаимодействия, включая запуск локальных сценариев благодаря квантованному формату GGUF. Она ориентирована прежде всего на английский язык и относится к моделям текстовой генерации. Ключевое преимущество — меньшее количество параметров по сравнению с крупными моделями Mistral, что потенциально упрощает локальное развертывание, однако README не указывает конкретные требования к памяти, варианты квантования, размер контекста, точные показатели качества или поддерживаемые модальности. Лицензия — Apache 2.0.

Ministral-8B-Instruct-2410-HF-GGUF-TEST — набор GGUF-квантизаций инструкционной модели Ministral-8B-Instruct-2410-HF, опубликованный bartowski и созданный с использованием llama.cpp. Исходная модель указана как prince-canuma/Ministral-8B-Instruct-2410-HF. Модель предназначена для генерации текста и диалоговых сценариев; запуск рекомендован через LM Studio или совместимые реализации llama.cpp с форматом запроса «<s> [INST] {prompt}[/INST] </s>». Архитектура, языки, модальности и размер контекста в README не указаны. Доступны варианты от полноточного F16 размером 16,05 ГБ до квантизаций IQ3_M размером 3,79 ГБ, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие форматы. Квантизации выполнены с использованием imatrix; варианты Q5–Q6 и некоторые Q4 отмечены как обеспечивающие высокое или хорошее качество при уменьшенном размере. Отдельные варианты оптимизированы для ARM и требуют поддержки sve или i8mm; они не рекомендуются для Mac и Windows. Существенное ограничение состоит в том, что файлы основаны на непроверенной конвертации, выполненной до завершения поддержки модели в llama.cpp, поэтому возможны проблемы при запуске. Лицензия в README не указана.

MaziyarPanahi/Mistral-7B-Merge-14-v0.1-Mistral-7B-Instruct-v0.1 — текстовая чат-модель, созданная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и EmbeddedLLM/Mistral-7B-Merge-14-v0.1. В README указано, что использован метод SLERP с настройками смешивания для слоёв self-attention и MLP; результат сохранён в формате bfloat16. Архитектура — плотная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. В метаданных указан английский язык и возможность чата. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробностей о дополнительных возможностях слияния.