I.14Автоматизация процессов и AI-агенты

athirdpath/Llama-3-11b-Instruct — разговорная модель генерации текста, созданная как merge трёх вариантов Part Wave, Part Block и Part Funnel; в README Part Funnel указан как основа. Сборка использует слои NousResearch/Meta-Llama-3-8B-Instruct, а метаданные определяют архитектуру как плотную LlamaForCausalLM. Размер модели — 10,6 млрд параметров, формат весов — safetensors, контекст — до 8192 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Автор описывает её как основу для дальнейшей работы и отмечает, что после исправления ошибки в YAML она работает, но количественных оценок качества и подробностей о тестировании не приводит. Лицензия указана как llama3; перед использованием следует учитывать условия лицензии Llama 3.

Это GGUF-сборка модели Llama 3.1 Nemotron 70B Instruct, опубликованная MarsupialAI. Она основана на Meta Llama 3.1 70B Instruct и предназначена для диалоговой генерации текста. В метаданных указана связь с датасетом NVIDIA HelpSteer2; README сообщает, что сборка использует iMatrix, созданную с помощью groups_merged.txt от Kalomaze. Модель можно применять для диалоговых ассистентов, ответов на вопросы и генерации текста на английском и других поддерживаемых языках базовой модели. Репозиторий содержит формат GGUF, подходящий для запуска совместимыми средствами инференса. Размер базовой модели — 70 млрд параметров. Используется лицензия Llama 3.1; перед применением необходимо соблюдать её условия.

Typhoon2-DeepSeek-R1-70B — тайская языковая модель для диалогов и рассуждений, разработанная Typhoon. Это плотная decoder-only модель на архитектуре Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Она создана слиянием DeepSeek-R1-Distill-Llama-70B и Typhoon2 70B Instruct с SFT; использует шаблон чата DeepSeek R1 Distill, а не Llama 3. Модель предназначена для ответов на инструкции и сложные вопросы, рассуждений, математики и программирования. README отмечает сильные результаты на тайском языке и сопоставимые с DeepSeek R1 Distill способности к рассуждению; основной язык — тайский, также поддерживается английский. Репозиторий использует Transformers и формат safetensors. Лицензия — Llama 3.1 Community License. Это исследовательская предварительная версия в разработке. Ответы могут быть неточными, предвзятыми или нежелательными; авторы не рекомендуют полагаться на встроенный интерфейс вызова инструментов.

duyntnet/Llama-3.2-1B-imatrix-GGUF — набор GGUF-квантизаций базовой модели Meta Llama 3.2 1B, подготовленный для запуска через llama.cpp и совместимые интерфейсы, включая KoboldCPP, text-generation-webui и Ollama. Модель предназначена для генерации текста, диалоговых сценариев, извлечения знаний, суммаризации, написания текста, а также переформулирования запросов и промптов. Репозиторий содержит квантизированные варианты исходной модели, поэтому конкретные характеристики и качество зависят от выбранного файла квантизации. Исходная Llama 3.2 1B — авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 1,23 млрд параметров, Grouped-Query Attention и общими эмбеддингами. Она работает только с текстом на входе и генерирует текст и код на выходе, поддерживает контекст до 128 тысяч токенов. Официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года; README не уточняет, является ли данный репозиторий базовой или instruction-tuned версией. Сильные стороны модели — небольшой размер, возможность локального запуска и снижение требований к памяти благодаря GGUF-квантизации и imatrix. Ограничения включают возможное ухудшение качества при агрессивной квантизации, отсутствие мультимодальности и ограниченность актуальности знаний. Использование регулируется индивидуальной коммерческой Llama 3.2 Community License и Acceptable Use Policy Meta; условия для производных применений и дополнительных языков необходимо соблюдать.

nm-testing/Llama-3.2-1B-Instruct-FP8-KV — тестовый вариант Meta Llama 3.2 1B Instruct, опубликованный организацией nm-testing на Hugging Face. Он основан на авторегрессионной языковой модели Meta с оптимизированной архитектурой Transformer, дообученной с помощью supervised fine-tuning и reinforcement learning from human feedback для полезного и безопасного диалога. Репозиторий не содержит отдельной карточки модели, поэтому сведения о назначении и характеристиках частично унаследованы от базовой модели Meta Llama 3.2 1B Instruct. Модель предназначена для генерации текста, многоязычного диалога, ассистентских и агентных сценариев, включая извлечение знаний, суммаризацию, переписывание запросов и работу локально при ограниченных вычислительных ресурсах. Базовая модель содержит около 1,23 млрд параметров, поддерживает текст на входе и выходе, Grouped-Query Attention и контекст до 128 тысяч токенов; официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса представлены в BF16, а KV-cache использует формат FP8 E4M3, что может снижать потребление памяти и ускорять инференс, но способно приводить к численной погрешности. Основное ограничение — это тестовый чекпойнт, предназначенный прежде всего для проверки инфраструктуры квантования и инференса, а не отдельная модель с собственной оценкой качества. Для использования применяются условия Llama 3.2 Community License Meta, включая требования Acceptable Use Policy и специальные условия распространения.

SanctumAI/Llama-3.2-1B-Instruct-GGUF — это квантизированная версия инструкционно дообученной текстовой модели Meta Llama 3.2 1B Instruct, подготовленная SanctumAI в формате GGUF. Модель относится к семейству мультиязычных больших языковых моделей Meta, принимает текст и генерирует текст. Заявлены поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель предназначена для многоязычного диалога, суммаризации и сценариев агентского поиска и извлечения информации. Благодаря размеру около 1 млрд параметров и вариантам квантизации она ориентирована на локальный запуск при ограниченных ресурсах. Доступны варианты от Q2_K до Q8_0, а также f16; их размер составляет примерно от 0,58 до 2,48 ГБ, а оценочная потребность в оперативной или видеопамяти — от 3,93 до 5,70 ГБ. К сильным сторонам относятся компактность, поддержка нескольких языков, инструкционный режим и широкий выбор компромиссов между качеством и требованиями к памяти. Ограничения включают меньший размер по сравнению с более крупными моделями, возможное снижение качества из-за квантизации и отсутствие в README сведений о длине контекста, конкретной архитектуре и результатах бенчмарков. Модель распространяется по лицензии llama3.2; условия использования следует уточнять в тексте этой лицензии.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

ThomasBaruzier/Llama-3.2-3B-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3.2, представленная в формате GGUF. По идентификатору модели, она основана на версии с примерно 3 миллиардами параметров и предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Базовая разработка Llama 3.2 принадлежит Meta, а данный вариант опубликован пользователем ThomasBaruzier. Модель предназначена для задач текстовой генерации, ответов на вопросы, диалогов, преобразования и обобщения текста, а также других сценариев, где требуется компактная instruction-tuned LLM. В карточке заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Архитектура, точный размер контекста, конкретный тип квантования и поддерживаемые модальности в README не указаны; формат GGUF обычно используется для локального инференса, но параметры конкретной сборки здесь не описаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная ориентация, что может упростить локальный запуск и интеграцию в приложения с ограниченными ресурсами. Ограничения включают отсутствие в предоставленных данных результатов оценивания, сведений о качестве на отдельных языках и характеристик производительности; как и другие генеративные модели, она может ошибаться и требует проверки результатов. Модель распространяется по Llama 3.2 Community License Meta с требованиями к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и специальным условиям для организаций с более чем 700 миллионами месячных активных пользователей.

Llama3-8B-1.58-100B-tokens — большая языковая модель, разработанная командой HF1BitLLM на базе Meta Llama 3 8B Instruct. Модель дообучена с использованием архитектуры BitNet 1.58b и предназначена для генерации текста и решения стандартных задач, поддерживаемых каузальными языковыми моделями. Для загрузки используется Transformers, а токенизатор — от meta-llama/Meta-Llama-3-8B-Instruct. Модель обучалась на подмножестве FineWeb-edu: сначала был использован чекпойнт после обучения на 10 миллиардах токенов, затем выполнено ещё 45 000 шагов с общим объёмом обучения 100 миллиардов токенов. Размер исходной модели составляет 8 миллиардов параметров; заявленная особенность — экстремальное квантование до 1,58 бита. README не указывает точный список поддерживаемых языков, длину контекста или дополнительные модальности, поэтому модель следует рассматривать как текстовую. По результатам оценки модель близка к Llama 3 8B по некоторым метрикам, включая perplexity и MMLU, но в среднем уступает исходной Llama 3 8B. Главное преимущество — существенно более компактное представление параметров, потенциально снижающее требования к памяти и вычислениям; при этом README не приводит точных показателей экономии ресурсов или производительности. Лицензия в предоставленных данных не указана.

Llama3-ChatQA-1.5-70B-GGUF — это квантизированная версия языковой модели Llama3-ChatQA-1.5-70B, первоначально разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска средствами, совместимыми с llama.cpp. Модель относится к классу text-generation и ориентирована на диалоговые сценарии, ответы на вопросы и работу с предоставленным контекстом. В README указан английский язык. Рекомендуемый формат запроса включает системную инструкцию, контекст, вопросы пользователя и ответы ассистента, что делает модель подходящей для контекстного вопросно-ответного взаимодействия. Размер исходной модели составляет 70 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_S, объёмом примерно от 15,34 до 74,97 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые и обеспечивают компромисс между качеством и требованиями к памяти; более компактные варианты снижают качество, но подходят для систем с ограниченными ресурсами. Длина контекста и другие архитектурные характеристики в README не указаны. Модель лицензирована по лицензии llama3. Для запуска требуется достаточно оперативной или видеопамяти в зависимости от выбранного варианта квантизации; наиболее качественные версии требуют значительных ресурсов. README не содержит сведений о мультимодальности, поддерживаемых языках помимо английского, результатах бенчмарков или дополнительных ограничениях использования.

Llama-SEA-LION-v2-8B-IT — языковая модель AI Singapore, разработанная командой Products Pillar при финансировании Singapore NRF. Это плотная decoder-модель на архитектуре Llama 3, дообученная следовать инструкциям на основе Llama-SEA-LION-v2-8B. Она содержит около 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для диалогов и генерации ответов на инструкции, в том числе на английском, индонезийском, тайском, вьетнамском и тамильском языках. Среди описанных сценариев оценки — ответы на вопросы, анализ тональности и токсичности, перевод, суммаризация, причинно-следственные рассуждения и языковой вывод; также оценивались соблюдение инструкций и многоходовой диалог. Модель доступна в формате safetensors для Transformers по лицензии Llama 3 Community License. Она может галлюцинировать, выдавать нерелевантные сведения и непоследовательно рассуждать. По заявлению разработчиков, модель не проходила safety-выравнивание, поэтому ответы требуют проверки, а для прикладного использования могут понадобиться дополнительные меры безопасности.

llm-jp-4-8b-instruct — японская и англоязычная языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная модель семейства Llama с 7,8 млрд параметров по метаданным и контекстом до 65 536 токенов. Репозиторий содержит веса в формате safetensors для Transformers. Модель предназначена для диалогов и выполнения инструкций на японском и английском языках. Она прошла предварительное и промежуточное обучение на суммарно 11,7 трлн токенов, а затем дообучение методом SFT; вариант instruct не проходил DPO. Шаблон чата совместим с форматом ответов OpenAI Harmony, но для корректной токенизации требуется токенизатор из репозитория. Разработчики предупреждают, что модели находятся на раннем этапе исследований и разработок и не были настроены для надёжного соответствия человеческим намерениям и требованиям безопасности. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/M7Yamshadowexperiment28_MeliodasT3qm7 — объединённая модель Mistral с плотной архитектурой и 7,1 млрд параметров. Она предназначена для генерации текста и диалоговых ответов, включая сценарии с длинным контекстом до 32 768 токенов. Модель создана слиянием automerger/M7Yamshadowexperiment28-7B и automerger/MeliodasT3qm7-7B. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. Сведения о языковой специализации и ограничениях качества в карточке отсутствуют.

Marin 32B — базовая авторегрессионная языковая модель, разработанная командой Marin Project. Она предназначена для генерации продолжений текста и служит основой для разработки и адаптации языковых моделей. Модель обучена на корпусах общего текста, кода, математики, научных материалов и вопросов и ответов; в карточке приведены результаты оценки на общих языковых, математических и программных тестах. Модель имеет плотную архитектуру Qwen3 с 31,9 млрд параметров, QK-Norm attention, 64 слоями и контекстом 4096 токенов. Она работает с Transformers и принимает текст, выдавая текст. Основной язык — английский. По данным карточки, обучающие данные не выходят за июль 2024 года. Marin 32B — базовая модель без настройки безопасности; она может выдавать вредный или неточный текст и не предназначена для полностью автономного использования. Код и веса распространяются по лицензии Apache 2.0.

Maverick-7B — объединённая модель для генерации текста, созданная на основе mlabonne/Marcoro14-7B-slerp и mlabonne/NeuralBeagle14-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для диалога, ответов на вопросы и других общих языковых задач; в карточке приведены результаты тестов TruthfulQA, GPT4ALL, AGIEval и Bigbench. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Merlinite-7B — языковая модель IBM Research для генерации текста и диалогового общения. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, дообученная на базе mistralai/Mistral-7B-v0.1 методом LAB (Large-scale Alignment for chatBots). При подготовке использовалась синтетическая обучающая выборка, созданная с помощью Mixtral-8x7B-Instruct в роли учителя. Модель рассчитана прежде всего на английский язык и поддерживает контекст до 32 768 токенов. Её можно применять для ответов на вопросы, рассуждений, творческого письма и работы с информацией из документов. Авторы рекомендуют использовать системный промпт из обучения для оптимальной работы. Merlinite-7B не проходила выравнивание по человеческим предпочтениям с помощью RLHF и может выдавать проблемные или вымышленные ответы; сохраняются и ограничения базовой модели. Для важных решений ответы нужно проверять. Модель распространяется по лицензии Apache 2.0.

Meta-Llama-3-11.5B-Instruct — созданная mpasila экспериментальная инструкционная языковая модель, полученная слиянием слоёв Undi95/Meta-Llama-3-8B-Instruct-hf методом passthrough с помощью mergekit. Модель предназначена для диалогов и генерации текста в ответ на инструкции; архитектура — плотная Llama с причинным языковым моделированием, объём — около 11 млрд параметров, контекст — 8192 токена. Карточка указывает английский язык и формат safetensors. Модель может подойти для чат-ботов, ответов на вопросы, написания и продолжения текстов, а также генерации кода. Доступна по лицензии llama3. Карточка описывает способ слияния, но не приводит сравнительных оценок качества; как экспериментальная Frankenmerge, она может отвечать менее стабильно, чем исходная модель.

MiniCPM-2B-128k — языковая модель с открытыми весами, разработанная ModelBest Inc. и лабораторией обработки естественного языка Университета Цинхуа (TsinghuaNLP). Это экспериментальное расширение контекста MiniCPM-2B: модель содержит 2,7 млрд параметров по метаданным и рассчитана на генерацию текста и диалог в формате ChatML. Карточка заявляет поддержку контекста до 128k токенов; метаданные каталога указывают native context в 65 536 токенов. Модель подходит для диалога, анализа длинных документов, поиска сведений в большом контексте и суммаризации. В карточке отмечены высокие результаты на InfiniteBench среди моделей до 7B, но также сообщается о снижении качества на контекстах до 4k токенов. Модель может галлюцинировать, чувствительна к формулировкам запросов, иногда отвечает непоследовательно и обладает ограниченной точностью фактических знаний. Для генерации авторы рекомендуют vLLM, поскольку результаты Hugging Face Transformers могут быть медленнее и немного хуже. Веса доступны в формате PyTorch; карточка не сообщает условия лицензии.

Mungert/MiniCPM4.1-8B-GGUF — это GGUF-версия языковой модели MiniCPM4.1-8B, разработанной командой OpenBMB и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, включая задачи рассуждения, диалоговые сценарии и запуск на устройствах с ограниченными ресурсами. Она поддерживает китайский и английский языки. Модель содержит 8 млрд параметров и использует гибридную архитектуру с обучаемым разреженным вниманием. Заявлены режимы глубокого рассуждения и обычной генерации, а также ускоренное декодирование: до трёхкратного ускорения рассуждений и более высокая эффективность на периферийных устройствах. GGUF-квантизация позволяет уменьшить требования к памяти, а автор сборки применяет дополнительное повышение точности отдельных важных слоёв с помощью llama.cpp, что может улучшать качество при низкой разрядности ценой увеличения размера файла. К ограничениям относятся отсутствие сведений о конкретном размере контекста, доступных вариантах квантизации и подробных результатах тестирования именно этой сборки. Производительность и качество зависят от выбранного GGUF-варианта и оборудования. Исходная модель распространяется по лицензии Apache-2.0; README не уточняет, отличается ли лицензия сборки от лицензии исходной модели.

mncai/mistral-7b-dpo-merge-v1.1 — объединённая инструкционная языковая модель от MindsAndCompany на базе Mistral. В карточке указано, что при создании объединены mncai/mistral-7b-dpo-v6, rwitz2/go-bruins-v2.1.1, ignos/LeoScorpius-GreenNode-Alpaca-7B-v1 и janai-hq/trinity-v1 с помощью TIES; базовая модель прошла instruction tuning и DPO. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат safetensors, а длина контекста составляет 32 768 токенов. Модель предназначена для генерации текста по инструкциям: например, для ответов на вопросы и диалоговых сценариев. Пример в карточке содержит запрос на корейском языке, но метаданные указывают английский как язык модели. Лицензия — Apache 2.0. Авторы предупреждают, что результаты на открытых лидербордах могут быть переобучены и не отражать качество на реальных задачах; они рекомендуют оценивать модель на собственных данных. В карточке также отмечено, что mncai/mistral-7b-dpo-v6 показала более слабые результаты во внутренних оценках, чем некоторые другие модели автора.

legraphista/Mistral-7B-v0.3-IMat-GGUF — это набор GGUF-квантизованных версий базовой модели mistralai/Mistral-7B-v0.3. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. Квантизацию выполнил legraphista с использованием llama.cpp b3003 и метода IMatrix на основе калибровочного набора данных. Модель имеет около 7 миллиардов параметров и поставляется в вариантах от BF16 и F16 до различных уровней Q- и IQ-квантизации размером примерно от 1,76 до 14,50 ГБ. IMatrix применена к ряду вариантов Q4 и ниже, что может помогать сохранять качество при уменьшении размера. Более компактные файлы удобны для запуска на ограниченных по памяти устройствах, однако сильная квантизация может снижать точность и качество генерации. В README не указаны поддерживаемые языки, длина контекста, точная архитектура и результаты бенчмарков. Распространение заявлено по лицензии Apache-2.0.

Это GGUF-квантизированная версия модели Devstral-Small-2507, разработанной Mistral AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b5856 и метода imatrix. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В карточке указана мультимодальная категория image-text-to-text, однако подробные сведения об архитектуре, количестве параметров и поддерживаемом контексте не приведены. Заявлена поддержка множества языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, украинский и другие. Доступны варианты от BF16 до различных уровней квантизации; размеры файлов составляют примерно от 10 до 47 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти. Основные преимущества версии — возможность локального запуска, широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают отсутствие в README подробных данных о характеристиках исходной модели, результатах оценки и требованиях к оборудованию; качество заметно зависит от выбранного варианта квантизации. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2509, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разной точностью и размером: от BF16 объёмом 47,15 ГБ до IQ3 и Q3 объёмом около 10–13 ГБ, а также более качественные Q4, Q5, Q6 и Q8. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5, Q6 и другие версии, отмеченные автором как рекомендуемые. Более компактные квантизации экономят оперативную память, но могут заметнее снижать качество; низкобитные варианты подходят при ограниченных ресурсах с соответствующими компромиссами. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, формате промпта или лицензии. Поэтому эти характеристики и условия юридического использования по представленным данным определить нельзя.

Ministral-3-8B-Reasoning-2512-GGUF — это набор GGUF-квантизаций модели Ministral-3-8B-Reasoning-2512, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты, что делает её подходящей для генерации текста и мультимодальных сценариев image-text-to-text, заявленных в карточке модели. В основе лежит модель с размером 8B параметров; доступны варианты от BF16 до квантизаций Q3–Q8 и IQ4 с размером файлов примерно от 4,57 до 16,99 ГБ. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура и размер контекста в README не указаны, формат промпта также не определён. Сильная сторона набора — широкий выбор уровней квантизации для баланса качества, потребления памяти и скорости локального вывода; варианты Q6_K_L и Q6_K отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как универсальный вариант. Ограничения включают отсутствие подробных сведений о возможностях исходной модели, контекстном окне и качестве работы с изображениями. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-24B-Base-2501-GGUF — это квантизированная GGUF-версия базовой языковой модели Mistral-Small-24B-Base-2501, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 миллиарда параметров и представлена в нескольких вариантах точности: от F32 до Q3 и IQ-квантизаций. Доступны версии с разным размером файла и компромиссом между качеством и требованиями к памяти; наиболее сбалансированным вариантом в README назван Q4_K_M, а Q5 и Q6 отмечены как высококачественные. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Сведения об архитектуре, размере контекста, мультимодальности и формате промпта в README не указаны. Сильная сторона модели — возможность локального инференса с выбором уровня квантизации, что позволяет адаптировать потребление памяти под доступное оборудование. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а старшие требуют значительного объёма памяти. Модель является базовой, поэтому готовый формат инструкций не предоставлен и параметры использования следует уточнять на странице исходной модели. Лицензия — Apache-2.0.

Mistral-Nemo-Instruct-2407-IMat-GGUF — это набор квантизированных версий instruct-модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем legraphista. Квантизация выполнена с помощью llama.cpp на основе исходных весов BF16; для ряда вариантов применена IMatrix-калибровка, предназначенная для снижения потерь качества при уменьшении размера модели. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, совместимых с llama.cpp и форматом GGUF. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других форматов; размеры файлов варьируются примерно от 4,79 до 24,50 ГБ. Основное преимущество набора — выбор между качеством, требованиями к памяти и скоростью локального запуска. IMatrix применяется в некоторых вариантах с более сильным сжатием, включая Q4_K, Q3_K и Q2_K, однако README не содержит результатов сравнительных тестов, точных характеристик архитектуры, числа параметров, размера контекста или требований к оборудованию. Поэтому качество и производительность зависят от выбранного варианта квантизации и среды выполнения. Лицензия модели — Apache-2.0.

pbevan11/Mistral-Nemo-MCAI-SFT — многоязычная чат-модель, разработанная pbevan11 путём дообучения Mistral-Nemo-Base-2407 с помощью supervised fine-tuning. Она предназначена для генерации ответов в диалоге и выполнения текстовых инструкций. Модель имеет плотную архитектуру MistralForCausalLM и 12,1 млрд параметров; заявленное максимальное контекстное окно составляет 1 024 000 токенов. Для обучения использованы multilingual-constitutional-preference-pairs и ultrafeedback_binarized_multilingual; в карточке приведено значение loss 1,2052 на оценочной выборке. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит подробностей о качестве на отдельных языках, протоколе оценки или практических ограничениях, поэтому результаты следует проверять на целевых задачах.

Mistral-NeMo-Minitron-8B-Chat — разговорная языковая модель, опубликованная rasyosef и дообученная методом supervised fine-tuning на базе nvidia/Mistral-NeMo-Minitron-8B-Base. Для настройки использовано 32 тысячи пар «инструкция — ответ» из набора teknium/OpenHermes-2.5. Модель построена на плотной архитектуре Mistral с классом MistralForCausalLM, содержит 7,9 млрд параметров и принимает текстовые запросы в формате чата, генерируя текстовые ответы. Контекст — до 8192 токенов. Модель подходит для диалогового общения, ответов на вопросы, выполнения инструкций и генерации текста по запросу. В README приведены результаты оценки следования инструкциям IFEval: 45,83; также указаны результаты Open LLM Leaderboard. Эти оценки не гарантируют качество на конкретных пользовательских задачах. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензии в карточке модели.

Mistral-Small-4-119B-2603-OptiQ-2bit — это MLX-квантизированная версия модели Mistral-Small-4-119B-2603, разработанной Mistral AI и опубликованной сообществом mlx-community. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска моделей на Apple Silicon. Модель предназначена для генерации текста и локального инференса, в том числе через OpenAI-совместимый API. Загрузчик mlx-optiq также заявляет поддержку текстовых, визуальных и MTP-сценариев, тогда как штатный mlx-lm поддерживает только текстовый режим. В основе лежит разреженная архитектура MoE со 128 маршрутизируемыми экспертами и MLA-вниманием. Это экстремальная смешанная квантизация: 352 проекционных слоя представлены в 4-битном формате, а 82 — в 2-битном, при целевом среднем размере около 2,5 бита на вес. Размер модели сокращён примерно с 239 ГБ в формате BF16 до 43 ГБ на диске. Благодаря потоковой загрузке выбранных экспертов с SSD модель рассчитана на запуск на Mac с 36 ГБ памяти; резидентный объём составляет около 9–12 ГБ. Языки, заявленные в карточке, включают английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский и ряд других языков. Размер контекстного окна в README не указан. Главное преимущество модели — возможность запускать 119-миллиардную разреженную MoE-модель локально на ограниченном по памяти Apple Silicon-устройстве. Ограничения связаны с экстремальной 2-битной квантизацией: README не приводит стандартных бенчмарков и предупреждает, что для такой сборки вместо набора тестов предоставлена демонстрация связности. Для корректной работы требуется optiq версии 0.4.4 или новее с декодером mistral4; использование штатного mlx-lm или старых версий OptiQ может привести к неправильной загрузке архитектуры и потере экспертов. Модель распространяется по лицензии Apache-2.0.

MoNeuTrix-7B-v1 — слитая языковая модель CultriX на архитектуре Mistral с 7,1 млрд параметров. Она создана методом DARE-TIES с помощью LazyMergekit на основе нескольких моделей, включая Kukedlc/NeuralMaxime-7B-slerp, mlabonne/Monarch-7B и eren23/ogno-monarch-jaskier-merge-7b; конфигурация также указывает CultriX/MonaTrix-v4 как базовую модель слияния. Модель предназначена для генерации текста и общих языковых задач, а контекст поддерживает до 32 768 токенов. Репозиторий содержит веса в формате safetensors, в конфигурации слияния указан bfloat16. Лицензия — Apache-2.0.