I.14Автоматизация процессов и AI-агенты

c4ai-command-a-03-2025-GGUF — это квантизированная GGUF-версия языковой модели c4ai-command-a-03-2025, разработанной CohereForAI. Данная сборка подготовлена bartowski с использованием llama.cpp и imatrix-квантизации и предназначена для генерации текста в локальных приложениях, включая LM Studio, llama.cpp и другие проекты на его основе. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, греческий, персидский, польский, индонезийский, чешский, иврит, хинди, нидерландский, румынский, русский, турецкий, украинский и вьетнамский языки. В README не указаны архитектура, число параметров, поддерживаемая длина контекста и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Доступно несколько вариантов квантизации с размерами от 67,90 до 118,01 ГБ: Q4_K_L, Q4_1, Q5_K_S, Q5_K_M, Q6_K и Q8_0. Более крупные варианты обычно лучше сохраняют качество, но требуют больше памяти. Ограничения включают значительные требования к ресурсам, зависимость от совместимого ПО и отсутствие заявленных характеристик производительности. Лицензия CC-BY-NC-4.0 разрешает только некоммерческое использование; для доступа также предусмотрено принятие лицензионного соглашения Cohere.

DeepSeek-R1-0528-Qwen3-8B-GGUF — квантизированная версия языковой модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантизацию выполнил bartowski с использованием llama.cpp версии b5524 и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Это текстовая модель размером 8B параметров, представленная в формате GGUF. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, с размером файлов примерно от 3,9 до 16,39 ГБ. Более высокие уровни квантизации обычно лучше сохраняют качество, а варианты Q3 и ниже ориентированы на устройства с ограниченным объёмом оперативной памяти. Для работы рекомендуется использовать указанный шаблон prompt format; контекстное окно, поддерживаемые языки и дополнительные модальности в README не указаны. Сильные стороны модели — возможность локального запуска, широкий выбор вариантов квантизации и компромисс между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного варианта: более сильная квантизация может снижать качество генерации, а для запуска требуются совместимые инструменты и достаточно оперативной или видеопамяти. Лицензия модели указана как MIT.

Dolphin 2.5 Mixtral 8x7B GGUF — это набор квантованных файлов модели cognitivecomputations/dolphin-2.5-mixtral-8x7b, подготовленный MaziyarPanahi в формате GGUF. Модель предназначена для генерации текста и может использоваться локально через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. В основе лежит архитектура Mixtral с конфигурацией 8x7B; точный размер контекста и полный набор поддерживаемых языков в README не указаны, хотя модель помечена как предназначенная для английского языка. Доступны варианты квантования от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Квантование упрощает запуск на локальном оборудовании, но варианты с меньшей разрядностью могут иметь более низкое качество генерации. Модель обучалась на наборах данных Dolphin, Airoboros, Dolphin Coder, Synthia, OpenHermes, Magicoder и других, перечисленных в карточке. Сценарии применения включают локальную генерацию текста и, судя по составу данных и тегам, задачи общего назначения и программирования, однако специализированные возможности и ограничения отдельно не описаны. Распространяется по лицензии Apache-2.0.

Dolphin-2.6-mistral-7b-dpo-laser-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser. Модель относится к семейству Mistral и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В метаданных указан размер 7B, текстовая модальность и поддержка английского языка. Обучение исходной модели связано с наборами данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; также указано DPO дообучение в названии модели. Главная особенность этой версии — поставка в GGUF с вариантами квантования от 2 до 8 бит, что позволяет запускать модель локально с различными компромиссами между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp и совместимыми приложениями и библиотеками для локального запуска. К ограничениям относятся возможная потеря качества при низкобитном квантовании, отсутствие заявленных характеристик контекстного окна и подробных результатов оценки, а также отсутствие подтверждения поддержки других языков помимо английского. Модель распространяется по лицензии Apache 2.0.

flammen27-mistral-7B — языковая модель на архитектуре Mistral, созданная flammenai путём слияния предварительно обученных моделей flammenai/flammen26-mistral-7B и InferenceIllusionist/Excalibur-7b методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров, построена как плотная причинная языковая модель и принимает текст для генерации текста; поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста, диалогов и ответов на вопросы, в том числе с длинным контекстом. В README приведены результаты Open LLM Leaderboard, включая оценку 69,80 на AI2 Reasoning Challenge и 87,39 на HellaSwag; это результаты оценки, а не гарантия качества для конкретного сценария. Языковая поддержка в предоставленных данных не уточнена. Веса доступны в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

TechxGenus/gemma-1.1-2b-it-GPTQ — GPTQ-квантизированная версия Gemma 1.1 2B IT, разработанной Google. Это компактная decoder-only языковая модель с открытыми весами, предназначенная для генерации и обработки текста на английском языке. Модель ориентирована на ответы на вопросы, суммаризацию, рассуждения, написание текста, программирование, следование инструкциям и многошаговые диалоги. Версия Gemma 1.1 обучалась с применением RLHF и, по сравнению с исходным выпуском, получила улучшения в качестве ответов, кодировании, фактичности, следовании инструкциям и многоходовом взаимодействии. Квантизация GPTQ снижает требования к ресурсам и может упростить локальный запуск, однако потенциально сопровождается потерей качества по сравнению с исходными весами. Модель работает только с текстом; поддержка изображений, аудио и других модальностей не указана. Размер — 2B параметров, максимальная длина контекста в карточке не приведена. Модель компактнее крупных языковых моделей и подходит для запуска на ноутбуке, настольном компьютере или собственной облачной инфраструктуре, но её меньший размер может ограничивать качество сложных рассуждений и объём знаний. Использование регулируется лицензией Gemma и условиями Google; для доступа на Hugging Face требуется принять соответствующую лицензию.

Gemma-2-2b-All-in-One — объединённая разговорная языковая модель семейства Gemma 2, созданная bunnycore с помощью mergekit и метода Model Stock. В основе объединения лежит IlyaGusev/gemma-2-2b-it-abliterated; также включены модели и адаптеры для смешанных задач, кода и диалогов. Модель содержит 2,7 млрд параметров, использует плотную архитектуру Gemma2ForCausalLM и работает с контекстом до 8192 токенов. Модель предназначена для генерации текста в диалоге, ответов на вопросы и помощи с кодом. В метаданных указана поддержка чата и текстовой генерации; дополнительных входных модальностей не заявлено. Карточка не перечисляет языки, поэтому нельзя определить приоритетный язык. Веса опубликованы в формате safetensors и имеют тип bfloat16. Результат слияния объединяет несколько моделей с разными настройками и возможностями, поэтому качество может различаться в зависимости от задачи. Лицензия в предоставленных данных не указана.

Gemma-2-9b-it-WPO-HB-GGUF — это GGUF-квантизация инструкционной языковой модели gemma-2-9b-it-WPO-HB, разработанной wzhouad и подготовленной в формате GGUF пользователем bartowski. Модель основана на Gemma 2 с примерно 9 млрд параметров и предназначена для генерации текста и диалогового использования в совместимых средах, включая llama.cpp и LM Studio. В описании также указано, что исходная модель обучалась на датасете wzhouad/gemma-2-ultrafeedback-hybrid. Доступны варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций, размер файлов составляет примерно от 4 до 18,49 ГБ. Квантизация выполнена с использованием imatrix и специального набора данных, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Наиболее качественными и рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5 и Q4; Q3 и Q2 экономят память, но заметно уступают по качеству. Отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций SVE или i8mm. Модель подходит для локального запуска, чат-ботов и других задач текстовой генерации при наличии совместимого программного обеспечения и достаточного объёма оперативной или видеопамяти. Ограничения включают неизбежную потерю качества при сильной квантизации, отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и конкретных условиях лицензирования. Формат prompt должен соответствовать шаблону Gemma с системными, пользовательскими и модельными turn-маркерами.

p-e-w/gemma-3-12b-it-heretic-v2 — мультимодальная модель семейства Gemma 3 на 12 млрд параметров, основанная на google/gemma-3-12b-pt и представленная как conversational, uncensored/decensored и abliterated вариант. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы об изображениях, суммаризации и других задач генерации и понимания текста. В README базовой модели указаны контекст до 128K токенов и поддержка более 140 языков. Модель может применяться для извлечения сведений из изображений, составления текстов и исследовательских экспериментов; размер позволяет запускать её на локальных компьютерах и собственной инфраструктуре при достаточных ресурсах. README предупреждает о возможных фактических ошибках, смещениях и трудностях с неоднозначными или сложными запросами. Лицензия — Gemma; применяются условия лицензии и правила допустимого использования Gemma.

nohurry/gemma-4-26B-A4B-it-heretic-GUFF — набор квантованных вариантов модели coder3101/gemma-4-26B-A4B-it-heretic, созданный участником сообщества на основе Gemma 4 от Google. Модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями, включая OCR. В README указана поддержка режима рассуждений, который включается специальным маркером в системном промпте, а также возможность ограничивать бюджет рассуждений. Модель имеет архитектуру Gemma 4 с конфигурацией 26B-A4B; точные сведения о размере активируемой части, языках и максимальной длине контекста в README не приведены. Для обработки изображений используются отдельные mmproj-файлы и настраиваемый диапазон от 70 до 1120 image-токенов. Реализация рассчитана на использование в llama.cpp и koboldcpp; для корректной работы требуется включить Sliding Window Attention с параметром --swa-full. Доступны разные уровни квантования, а выбор рекомендуется делать с учётом доступной VRAM. Для задач OCR желательно использовать менее квантованную текстовую модель и более качественно сохранённый image encoder. Сильными сторонами являются мультимодальность, поддержка управляемого рассуждения, различные варианты квантования и возможность локального запуска. Ограничения включают зависимость требований к памяти от выбранного кванта и контекста, чувствительность image encoder к квантованию, а также необходимость совместимого программного обеспечения и настроек SWA. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию Gemma 4 указана в карточке.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.

GPT-5.6 Terra Pro — вариант GPT-5.6 Terra от OpenAI, работающий с параметром reasoning.mode, установленным в значение pro. Он предназначен для получения более качественных ответов на сложные задачи. В карточке модели не приведены сведения об архитектуре, размере, модальностях, языках или лицензии.

Jan-v3-4B-base-instruct-GGUF — квантованная версия компактной языковой модели Jan-v3-4B-base-instruct, разработанной Jan (janhq) и преобразованной в формат GGUF с помощью llama.cpp командой GGUF Quantizer Space. Модель предназначена для генерации текста, следования инструкциям, локального запуска, лёгкой помощи в программировании и последующей тонкой настройки под прикладные задачи. Модель относится к авторегрессионным causal language models и содержит около 4 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста 262 144 токена. Модель получена посредством посттренировочной дистилляции от более крупной модели; README не указывает поддерживаемые языки и не заявляет мультимодальность, поэтому её следует рассматривать как текстовую. Основные преимущества — компактность, возможность локального развертывания через llama.cpp или Ollama, улучшенное следование инструкциям и пригодность в качестве основы для дообучения. Доступны варианты квантования от Q2_K до Q8_0: меньшие варианты требуют меньше ресурсов, но сильнее теряют в качестве, тогда как Q4_K_M и Q5_K_M обозначены как сбалансированный и высококачественный рекомендуемые варианты. Ограничения включают потери качества при агрессивном квантовании, а также отсутствие в README подробных данных о результатах бенчмарков, языках и ограничениях безопасности. Для исходной модели указана лицензия Apache 2.0.

Jina Embeddings v2 Base Code Q8_0 GGUF — это квантизированная версия модели для создания векторных представлений текста и исходного кода. Исходную модель разработала команда Jina AI, а данный вариант был конвертирован из jinaai/jina-embeddings-v2-base-code в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для задач семантического поиска, сравнения сходства предложений, извлечения признаков и работы с кодом, включая сценарии, совместимые с llama.cpp. В карточке указано, что модель ориентирована на английский язык; точные сведения об архитектуре, количестве параметров, размерности эмбеддингов, поддерживаемой длине контекста и наборе модальностей не приведены. Квантование Q8_0 позволяет использовать модель в компактном формате, однако характеристики качества и влияние квантования в README не описаны. Для запуска требуется llama.cpp; доступен режим CLI и серверный режим. Лицензия — Apache-2.0.

Lemur 70B Chat v1 GGUF — это квантизированная версия диалоговой языковой модели Lemur 70B Chat v1, разработанной OpenLemur и опубликованной в формате GGUF командой TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста в формате text-generation, включая диалоговое взаимодействие и задачи, связанные с программированием. Модель имеет размер 70B параметров, поддерживает английский язык и использует шаблон запросов ChatML с ролями system, user и assistant. Формат GGUF рассчитан на запуск через llama.cpp и совместимые инструменты, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие решения для CPU- и GPU-инференса. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. К сильным сторонам относятся диалоговая настройка, возможности генерации кода и широкий выбор вариантов квантизации для локального запуска. Ограничения включают отсутствие в предоставленных данных сведений о контексте, точных языковых возможностях за пределами английского, результатах тестирования и конкретных требованиях к оборудованию; крупный размер модели также может затруднять запуск на системах с ограниченными ресурсами. В карточке указана лицензия CC BY-NC 4.0. Поскольку модель основана на Llama 2, дополнительно применяются условия лицензии Meta Llama 2; репозиторий указывает на возможное двойное лицензирование, поэтому условия коммерческого и иного использования следует проверять в исходном репозитории OpenLemur.

MLX Community Llama-3.1-8B-Instruct-4bit — это 4-битно квантованная версия инструкционной языковой модели Llama 3.1 8B Instruct, разработанной Meta и адаптированной сообществом MLX для запуска с использованием экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, обобщение и другие задачи обработки естественного языка. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели составляет 8 миллиардов параметров. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако способно немного ухудшить точность и качество по сравнению с полной версией. В README не указаны размер контекстного окна, конкретные требования к оборудованию и результаты бенчмарков. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячно активных пользователей предусмотрено требование получить отдельную лицензию Meta.

Llama 3.2-11B-Vision — мультимодальная модель Meta для анализа изображений и генерации текстовых ответов. Она построена на авторегрессионной архитектуре Transformer семейства Llama 3.1 и использует отдельно обученный визуальный адаптер с cross-attention, который передаёт представления изображений в языковую модель. Размер модели — 11 млрд параметров; она принимает изображения и текст, выдаёт текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для распознавания изображений, визуальных рассуждений, создания подписей и диалога по изображениям. Она подходит для визуальных вопросов и ответов, извлечения сведений из изображений документов, поиска соответствий между изображениями и текстом, а также привязки текстовых описаний к областям изображения. Для задач с изображениями официально поддерживается английский язык; в текстовых задачах также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель основана на Llama 3.1 и включает визуальный адаптер; для настроенных версий семейства применяются supervised fine-tuning и обучение с обратной связью от людей. Это статический чекпойнт, обученный на офлайн-данных с отсечкой знаний в декабре 2023 года. Использование регулируется Llama 3.2 Community License — специальной лицензией с коммерческими условиями и Acceptable Use Policy.

Llama-3-SauerkrautLM-8b-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3 в формате GGUF, опубликованная пользователем или организацией bartowski. По названию и указанным метаданным модель имеет размер 8 миллиардов параметров и ориентирована на диалоговое взаимодействие и выполнение инструкций. В карточке заявлена поддержка немецкого и английского языков, а также указано обучение методом DPO в два этапа. Модель предназначена для генерации текста, ответов на инструкции и других сценариев использования локальной LLM, совместимой с инструментами инференса, поддерживающими формат GGUF. Ключевыми особенностями являются принадлежность к семейству Llama 3, инструкционная настройка и оптимизация предпочтений методом DPO. Сведения о точной архитектуре, длине контекста, модальностях, конкретных вариантах квантования, производительности и ограничениях в README не приведены, поэтому их необходимо уточнять отдельно. Использование регулируется Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, сохранение уведомления об атрибуции и отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов на их основе. Для производных моделей также требуется включать «Llama 3» в начало названия; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF — модель в формате GGUF, подготовленная Unsloth на основе Meta Llama 4 Maverick 17B-128E-Instruct. Она предназначена для работы в режиме instruct: диалогов, следования инструкциям и решения широкого спектра текстовых задач. В README указана поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Из доступных данных известны обозначенные в названии характеристики: 17B и 128E, а также формат GGUF, обычно ориентированный на локальный инференс в совместимом программном обеспечении. Сведения о длине контекста, точной архитектуре, модальностях, вариантах квантования, требованиях к оборудованию, результатах тестирования и ограничениях качества в README не приведены, поэтому их нельзя оценить по имеющимся данным. Модель распространяется в соответствии с Llama 4 Community License от Meta. Лицензия предоставляет ограниченные безвозмездные права на использование, копирование, распространение и создание производных работ при соблюдении условий, включая передачу текста лицензии, указание «Built with Llama» при распространении материалов или продуктов, сохранение обязательного уведомления об атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено дополнительное лицензионное условие Meta.

MasherAI-7B-v5 — языковая модель для генерации текста и диалогов, собранная разработчиком mahiatlinux с помощью LazyMergekit. Это слияние методом slerp моделей mahiatlinux/MasherAI-7B-v4 и teknium/OpenHermes-2.5-Mistral-7B; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и предназначена для чат-сценариев и генерации текста. Модель может быть полезна для ведения диалогов, ответов на вопросы и помощи с кодом — эти возможности связаны с базовой моделью OpenHermes-2.5-Mistral-7B. В карточке MasherAI-7B-v5 отдельные языки, специальные области применения и подробные ограничения не описаны. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.

QuantFactory/Meta-Llama-3.1-8B-GGUF — это квантованная версия большой языковой модели Llama 3.1 с 8 млрд параметров, представленная в формате GGUF. Базовую модель разработала Meta, а QuantFactory подготовила её распространение в квантованном формате. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-ботах, ассистентах, системах обработки естественного языка и других сценариях, где требуется текстовая генерация. Модель поддерживает текстовую модальность. В карточке заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Дополнительные сведения об архитектуре, размере контекстного окна, конкретном методе и уровне квантования, производительности, формате инструкционного дообучения и системных требованиях не указаны, поэтому её характеристики в этих аспектах требуют проверки по файлам модели. Главные преимущества — компактность по сравнению с полноразмерной версией, возможность запуска через совместимые инструменты для GGUF и многоязычная текстовая генерация. Ограничения включают возможные потери качества из-за квантования, зависимость результатов от выбранного варианта квантования и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Llama 3.1 Community License от Meta; при использовании и распространении необходимо соблюдать её условия, включая требования к атрибуции, маркировке «Built with Llama», Acceptable Use Policy и специальные коммерческие ограничения.

Meta-Llama-3-8B-Instruct-GGUF — это квантизированное представление модели Meta-Llama-3-8B-Instruct в формате GGUF, подготовленное пользователем brittlewis12 на основе оригинальной модели Meta. Модель разработана Meta и относится к семейству Llama 3. Она предназначена для генерации текста и диалоговых сценариев, включая локальные приложения и ассистентов, работающих через llama.cpp и совместимые инструменты. Модель использует авторегрессионную оптимизированную архитектуру Transformer и содержит около 8 миллиардов параметров. Instruction-tuned версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Указан английский язык; поддерживается только текстовая модальность. Формат GGUF и внесённые улучшения токенизации упрощают использование в локальных средах, включая устройства Apple, однако конкретные требования к памяти и производительности в README не указаны. Сильными сторонами являются диалоговая настройка, относительно компактный размер и заявленные результаты оригинальной модели на тестах знаний, программирования и математики. Ограничениями выступают отсутствие сведений о характеристиках конкретных уровней квантизации, размере контекста и качестве работы на других языках, а также возможные ошибки и ограничения безопасности, свойственные генеративным языковым моделям. Лицензия указана как Llama 3 с отдельными условиями Meta; подробности приведены в лицензии оригинальной модели.

NoelJacob/Meta-Llama-3-8B-Instruct-Q4_K_M-GGUF — это квантизированная версия инструкционно дообученной языковой модели Meta Llama 3 с приблизительно 8 млрд параметров, подготовленная NoelJacob в формате GGUF для использования с llama.cpp и совместимыми инструментами. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии и выполнение инструкций. В метаданных указан английский язык; другие языки и поддержка дополнительных модальностей не заявлены. Обозначение Q4_K_M указывает на 4-битную квантизацию варианта K_M, которая обычно уменьшает требования к памяти и упрощает локальный запуск по сравнению с полноразмерными весами, но может снижать точность относительно исходной модели. В предоставленных данных не указаны размер файла, максимальная длина контекста, конкретные требования к оборудованию, результаты тестирования или дополнительные ограничения качества. Модель распространяется на условиях Meta Llama 3 Community License. При использовании и распространении необходимо соблюдать условия этой лицензии, включая требования к атрибуции, отображению обозначения «Built with Meta Llama 3», соблюдению Acceptable Use Policy и специальные коммерческие условия для продуктов с более чем 700 млн ежемесячных активных пользователей.

MJPansa/MiniMax-M2.7-REAP-172B-A10B-AutoRound-W4A16 — экспериментальная сжатая и квантизированная версия модели семейства MiniMax-M2, разработанная на основе MiniMaxAI/MiniMax-M2.7. Это текстовая генеративная модель для продолжения текста, диалогов, программирования и других задач обработки естественного языка; предусмотрена интеграция с vLLM и Hugging Face Transformers. Заявленный язык — английский. Модель использует архитектуру Mixture-of-Experts: 62 трансформерных слоя, 192 эксперта на слой после сокращения исходных 256 экспертов на 25%, top-8 маршрутизацию, скрытый размер 3072, 48 attention heads и 8 KV heads. Всего около 172 млрд параметров, из которых примерно 10 млрд активируются на токен. REAP применён для pruning экспертов, а AutoRound — для квантизации весов в формате W4A16 с 4-битными весами, 16-битными активациями и group size 128. Размер checkpoint составляет около 86 GiB; заявлена поддержка контекста до 32768 токенов при использовании соответствующей конфигурации сервера. Сильная сторона модели — существенно уменьшенный размер и возможность запуска на одной NVIDIA GB10/DGX Spark с 128 GiB unified memory, а также на CUDA GPU с kernels Marlin или GPTQ-Marlin W4A16. Ограничения связаны с экспериментальным статусом: pruning и калибровка выполнены всего на 64 последовательностях длиной 512 токенов из evol-codealpaca-v1, поэтому качество ещё оценивается и может уступать исходной модели. Для Transformers требуется trust_remote_code=True. Модель распространяется по лицензии MiniMax M2.7, обозначенной в README как minimax-m2.7-license.

MaziyarPanahi/Mistral-7B-claude-instruct-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и Norquinal/Mistral-7B-claude-instruct. Для слияния использован метод SLERP с настройками, различающимися для слоёв self-attention и MLP. Модель предназначена для генерации ответов на инструкции и диалоговые запросы. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Она принимает текст и генерирует текст; карточка не уточняет языки, на которых она рассчитана. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/Mistral-7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.1, разработанной Mistral AI (mistralai) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и инструкционного диалога, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Основа модели — Mistral с 7 миллиардами параметров; точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти, скоростью и качеством. Формат GGUF ориентирован на эффективный запуск, в том числе с GPU-ускорением, в локальных интерфейсах и серверных решениях. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с популярными инструментами локального инференса. Ограничения включают возможное снижение качества на агрессивно квантизированных вариантах, а также отсутствие в README подробных данных о результатах оценки, языковых возможностях и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2506, разработанной Mistral AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Карточка указывает поддержку английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных уровней квантизации, с размером файлов примерно от 10,65 до 47,15 ГБ. Для запуска предусмотрен специальный формат промпта с системной инструкцией и пользовательским запросом. Архитектура, число параметров, размер контекстного окна и мультимодальные возможности в README не указаны. Основное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев и экономят ресурсы. Более компактные варианты позволяют работать при ограниченном объёме оперативной памяти, но могут заметно уступать по качеству. Модель предназначена для текстовых задач; поддержка изображений или других модальностей не заявлена. Распространяется по лицензии Apache-2.0.

Mistral-Large-3-675B-Instruct-2512-GGUF — это квантизированная GGUF-версия инструкционной модели Mistral Large 3, разработанной mistralai и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для диалоговых сценариев и обработки текста, а также помечена как image-text-to-text, однако подробности о поддерживаемой работе с изображениями в README не приведены. Модель имеет заявленный размер 675B параметров и доступна в нескольких вариантах квантизации от Q8_0 до Q3 и IQ3/IQ4. Размер файлов составляет примерно от 279 до 716 ГБ, поэтому для запуска требуются значительные аппаратные ресурсы. Заявлены языки English, French, Spanish, German, Italian, Portuguese, Dutch, Chinese, Japanese, Korean и Arabic. Контекстное окно, точная архитектура и рекомендуемый формат промптов в README не указаны. Сильной стороной являются варианты Q6_K и Q5_K_M с качеством, близким к исходной модели, а также более компактные Q4- и IQ4-варианты с компромиссом между качеством и требованиями к памяти. Низкобитные варианты экономят место, но могут заметно уступать по качеству; часть форматов обозначена как устаревшая или нерекомендуемая. Модель распространяется по лицензии Apache-2.0.

Mistral-Large-Instruct-2407-4bit — крупная инструкционная языковая модель семейства Mistral, подготовленная сообществом mlx-community. Она конвертирована из mistralai/Mistral-Large-Instruct-2407 в формат MLX с использованием mlx-lm и предназначена для запуска на устройствах, поддерживающих экосистему MLX. Модель содержит около 122,2 млрд параметров, использует 4-битную квантизацию и поддерживает контекст длиной до 32 768 токенов. Она ориентирована на генерацию текста по инструкциям: диалоги, ответы на вопросы, составление и редактирование текстов, суммирование и другие сценарии применения общей языковой модели. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Для использования требуется библиотека mlx-lm. 4-битная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с полноточной или менее квантизованной версией. Модель распространяется по лицензии Mistral Research License (MRL-0.1), указанной в карточке как license: other.

Mistral-Nemo-Instruct-2407-FP8 — квантованная версия текстовой instruction-модели Mistral-Nemo-Instruct-2407, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов и чат-приложений. Весовые коэффициенты и активации линейных операторов в трансформерных блоках переведены в формат FP8 с использованием симметричной по-тензорной квантизации. Оптимизация сокращает число битов на параметр с 16 до 8, примерно вдвое уменьшает размер на диске и требования к GPU-памяти. Модель рассчитана на эффективный инференс с vLLM версии 0.5.0 и выше; в README для развертывания указан контекст до 4096 токенов. По данным OpenLLM Leaderboard v1, средний результат составляет 71,28 против 71,61 у неквантованной версии, что указывает на небольшую потерю качества при существенном снижении требований к ресурсам. К ограничениям относятся ориентация на английский язык и запрет использования в языках, отличных от английского, а также необходимость учитывать ограничения применимого законодательства. Модель распространяется по лицензии Apache 2.0. Дата выпуска — 18 июля 2024 года, версия 1.0.