I.14Автоматизация процессов и AI-агенты

Olmo-3.1-32B-Instruct-GGUF — это квантизированная версия языковой модели Olmo-3.1-32B-Instruct, разработанной AllenAI. Публикацией и квантизацией в формате GGUF занимался bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Модель имеет размер 32 млрд параметров, относится к текстовым моделям и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ; размеры файлов составляют примерно от 14 до 64 ГБ. Для работы необходимо использовать соответствующий шаблон чата с ролями system, user и assistant. Размер контекста и другие архитектурные характеристики в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий вариант для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная; поддержка других языков, кроме английского, в карточке не описана. Лицензия — Apache 2.0.

GLM-4-32B-Base-32K-GGUF — это квантизированная версия базовой языковой модели GLM-4-32B-Base-32K, разработанной arcee-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая llama.cpp и LM Studio. Модель имеет размер 32 млрд параметров и поддерживает контекст до 32 000 токенов. В карточке указаны китайский и английский языки. Доступны варианты от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-квантизаций, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Более компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству версиям с высокой точностью. Модель является базовой, поэтому её поведение в диалогах и форматирование ответов могут требовать самостоятельной настройки промптов; готовый формат промпта в README не указан. Для запуска необходима совместимая среда и объём памяти, соответствующий выбранному файлу: размер вариантов варьируется примерно от 13,66 до 65,14 ГБ. Лицензия модели — MIT.

BgGPT-Gemma-3-4B-IT е многоезиков модел от серията BgGPT 3.0, адаптирана за български език от INSAIT върху Gemma 3. Той е плътен модел с 4 милиарда параметъра, реализиран като Gemma3ForConditionalGeneration и предназначен за разговори и следване на инструкции с текст и изображения. Моделът поддържа разбиране на изображения и текст в общ контекст, многоходови разговори и сложни инструкции. Посоченият в картата ефективен контекст е 131 000 токена. Обучителните данни за предварителното обучение са до май 2025 г., а данните за дообучаване по инструкции — до октомври 2025 г. Подходящ е за визуални въпроси и отговори, разговорни асистенти и работа с инструкции на български и английски. Моделът е дообучение на google/gemma-3-4B-it и се разпространява във формат safetensors. Лицензът е Gemma; при използване трябва да се спазват условията му. За динамична FP8 квантизация при изпълнение README посочва изискване за GPU с compute capability поне 8.9.

Bielik-11B-v3.0-Instruct-GGUF — квантизированная версия инструкционной языковой модели Bielik-11B-v3.0-Instruct, разработанной SpeakLeash совместно с ACK Cyfronet AGH. Это каузальная decoder-only модель для генерации текста и диалогового взаимодействия, представленная в формате GGUF для локального запуска с помощью llama.cpp, Ollama и совместимых приложений. Модель мультиязычная и поддерживает 32 европейских языка, при этом оптимизирована для польского. В README размер указан как 11B параметров; сведения о длине контекста и дополнительных модальностях не приведены. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K, Q8_0, а также 16-битные FP16 и BF16. Квантизация позволяет снизить требования к ресурсам, но может уменьшать качество ответов и повышать вероятность галлюцинаций; Q8_0 требует значительных ресурсов, а низкобитные варианты требуют особенно осторожной настройки. Модель предназначена для локального текстового вывода, включая диалоги и задачи, поддерживаемые инструкционной языковой моделью. В конфигурации для Ollama предусмотрен экспериментальный вызов инструментов с ответом в формате JSON. Модель распространяется по лицензии Apache 2.0.

Blaze-14B-xElite — дообученная разговорная языковая модель от prithivMLmods на базе архитектуры LLaMA. Она содержит 14,1 млрд параметров, принимает и генерирует текст, поддерживает контекст до 16 384 токенов и предназначена для генерации ответов, решения задач на рассуждение и математику, объяснения сложных тем, написания текстов и многоязычных сценариев. В карточке указано обучение на синтетических данных, материалах из открытых источников, академических книгах и наборах вопросов и ответов; для выравнивания использовались SFT и итеративный DPO. Заявлена поддержка английского языка и многоязычных задач. Модель распространяется в формате safetensors по лицензии Llama 3.1. Модель может ошибаться, неверно интерпретировать неоднозначные запросы, воспроизводить смещения из обучающих данных и выдавать небезопасные ответы; её знания не обновляются в реальном времени. Для запуска могут потребоваться значительные вычислительные ресурсы. Результаты Open LLM Leaderboard в карточке ограничены отдельными метриками и сами по себе не гарантируют качество в конкретных приложениях.

C4AI-Command-R-v01-GGUF — это квантизированная версия языковой модели C4AI Command-R, разработанной Cohere и опубликованной как CohereForAI/c4ai-command-r-v01. Формат GGUF подготовлен Second State Inc. Модель предназначена для локального запуска и инференса через совместимые инструменты, включая LlamaEdge; в README указано, что поддержка LlamaEdge находится в разработке. Модель ориентирована на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Размер исходной модели, архитектура, точные сценарии применения и другие характеристики в README не указаны. Контекстное окно составляет 8192 токена. Доступны варианты квантизации от Q2_K до Q8_0 размером от 13,8 до 37,2 ГБ. Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более агрессивная квантизация уменьшает требования к памяти, но может существенно ухудшить качество ответов. Модель квантизирована с использованием llama.cpp b2450. Лицензия модели — CC BY-NC 4.0, поэтому её использование ограничено условиями этой лицензии и некоммерческим характером. Возможности, ограничения по производительности и требования к аппаратному обеспечению в README подробно не описаны.

Calme-Ties2-78B — объединённая чат-модель на архитектуре Qwen2, опубликованная prithivMLmods. Она создана методом TIES с помощью mergekit на основе prithivMLmods/Calme-Ties-78B и модели MaziyarPanahi/calme-3.1-instruct-78b. Модель содержит 76,7 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и имеет контекстное окно 32 768 токенов. Модель предназначена для диалогов и общих задач генерации текста. В конфигурации объединения использованы нормализация, int8-маска и тип данных bfloat16; для работы доступна библиотека Transformers. Репозиторий распространяется под лицензией, указанной в метаданных Hugging Face, однако конкретное значение лицензии в предоставленных данных отсутствует.

CataLlama-v0.2-Instruct-SFT — авторегрессионная плотная языковая модель семейства Llama 3 с 7,5 млрд параметров, разработанная Лауренциу Петреа на основе CataLlama-v0.2-Base от catallama и дообученная методом SFT на наборе Catalan-Instruct-V2. Контекст модели составляет 8192 токена; она распространяется в формате safetensors и предназначена для диалогового взаимодействия и генерации текста по инструкциям. Модель ориентирована прежде всего на работу на каталанском языке: извлечение информации для RAG, распознавание именованных сущностей, перевод между каталанским и английским, краткое и развёрнутое суммирование, анализ тональности и чат. В карточке сообщается об улучшении относительно CataLlama-v0.1 на перечисленных задачах и приведены результаты тестов MMLU и GSM8K, однако эти показатели не гарантируют качество в прикладных сценариях. Лицензия — Llama 3 Community License. Карточка указывает, что базовые условия Llama 3 ограничивают предполагаемое применение английским языком, но также допускают дообучение для других языков при соблюдении лицензии и Acceptable Use Policy; поэтому условия использования каталанской версии следует сверять с актуальными положениями лицензии.

CausalLM 7B GGUF — это квантизированная версия языковой модели CausalLM 7B, разработанной командой CausalLM и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре типа LLaMA и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В карточке указаны поддерживаемые языки английский и китайский, а также исходный размер 7B параметров. Данные о длине контекста и мультимодальности не предоставлены; модель описана как текстовая. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что позволяет запускать модель на CPU и GPU с вариантами квантизации от 2 до 8 бит. Модель обучалась на широком наборе диалоговых, инструкционных, математических, энциклопедических и мультиязычных данных, однако конкретные показатели качества и ограничения в README не приведены. Для использования рекомендуется шаблон запросов ChatML. Указана лицензия wtfpl, но поскольку модель основана на Llama 2, README также указывает на применимость условий лицензии Meta Llama 2; взаимодействие этих лицензий требует отдельной проверки.

Chinese-Mixtral-Instruct — чат-модель, разработанная авторами проекта Chinese-Mixtral. Она дообучена на инструкционных данных на основе Chinese-Mixtral, которая построена на Mixtral-8x7B-v0.1. Модель предназначена для диалога, ответов на вопросы и генерации текста по инструкциям. Архитектура — Mixtral с разреженной экспертной моделью (MoE); в метаданных указан размер 7,1 млрд параметров и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Заявлены китайский и английский языки. Модель подходит для чат-ботов, вопросов и ответов на китайском или английском и других задач генерации текста по инструкциям. Опубликована под лицензией Apache-2.0.

Cydonia-v1.2-Magnum-v4-22B — объединённая 22-миллиардная языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit из TheDrummer/Cydonia-22B-v1.2 и anthracite-org/magnum-v4-22b. Для слияния использован метод SLERP; модель предназначена для диалогов и генерации текста, включая связную прозу. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и доступна в формате safetensors для Transformers. По данным описания базовой модели, основной язык — английский. Лицензия указана как other, поэтому перед использованием следует проверить условия в репозитории.

bartowski/deepcogito_cogito-v1-preview-llama-8B-GGUF — это GGUF-квантизированная версия языковой модели cogito-v1-preview-llama-8B, разработанной deepcogito. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF с вариантами точности от BF16 до различных Q- и IQ-квантизаций. Доступны файлы размером примерно от 3,8 до 16,1 ГБ; варианты Q6_K и Q6_K_L обозначены как обеспечивающие качество, близкое к исходному, а Q4_K_M рекомендован как стандартный компромисс между качеством и размером. Для работы предусмотрен формат prompt с системными и пользовательскими сообщениями в стиле Llama 3.1. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и снижение требований к памяти по сравнению с полноразмерными весами. Более компактные варианты экономят оперативную память, но могут уступать по качеству менее сжатым версиям; конкретные поддерживаемые языки, размер контекста, мультимодальные возможности и результаты бенчмарков в README не указаны. Лицензия обозначена как llama3.1.

Это GGUF-квантизированная версия языковой модели cogito-v1-preview-qwen-32B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Она может применяться для диалогов, написания и преобразования текста, а также других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит около 32 млрд параметров и доступна в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix, что позволяет уменьшить требования к памяти при сохранении высокого качества; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые, а Q3 предназначены для систем с ограниченным объёмом RAM и дают более низкое качество. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и специализированные ограничения базовой модели. Для работы следует использовать формат prompt с маркерами ролей ChatML. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели DeepSeek-V3-0324, разработанной deepseek-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В репозитории доступны варианты квантования Q2, Q3, Q4, Q5, Q6, Q8 и IQ, включая версии Q4_K_M-V2 и другие модификации. Размер файлов варьируется примерно от 247 до 713 ГБ, поэтому запуск требует значительных ресурсов. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а более низкие уменьшают требования к памяти ценой качества. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, мультимодальности или размере контекста. Модель подходит для локального текстового inference и может использоваться в приложениях, поддерживающих формат GGUF и экосистему llama.cpp. Рекомендуемый шаблон промпта приведён в README. Распространение указано по лицензии MIT.

DeepSeek-V4-Flash-8bit — это 8-битная версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.31.3. Исходная модель разработана deepseek-ai. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm; README показывает использование диалогового шаблона и генерацию ответа по текстовому prompt. Из указанных характеристик известны формат MLX, 8-битное представление весов и текстовая модальность. Размер модели, архитектура, поддерживаемые языки и длина контекста в README не указаны. К преимуществам относятся адаптация к экосистеме MLX и уменьшенное по сравнению с полноточным представлением потребление памяти, однако ограничения качества, производительности и совместимости отдельно не описаны. Модель распространяется по лицензии MIT.

DeepSeek-R1-Distill-Llama-8B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Llama-8B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана DeepSeek, а данный репозиторий предоставляет варианты весов для локального запуска и инференса, в том числе через LM Studio. Модель предназначена для генерации текста и поддерживает сценарии локального использования, включая диалоговое взаимодействие и задачи рассуждения, предусмотренные базовой моделью. Доступны варианты от F32 и F16 до низкоразрядных Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер модели составляет 8 миллиардов параметров; формат GGUF ориентирован на работу с llama.cpp. В README также указан шаблон промпта, содержащий системное сообщение, запрос пользователя и ответ ассистента. Сильной стороной набора является широкий выбор квантизаций: варианты Q6 и Q5 обеспечивают высокое качество при заметно меньшем размере, а Q4 и Q3 подходят для устройств с ограниченными ресурсами. Более компактные варианты экономят память, но могут снижать качество генерации. Данные о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности и лицензии в README не указаны.

DeepSeek-R1-ReDistill-Qwen-7B-v1.1-GGUF — набор GGUF-квантизованных версий модели mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1, опубликованный ThomasBaruzier. Базовая модель — deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизация выполнена с помощью llama.cpp с использованием imatrix и калибровочного файла Bartowski. Модель предназначена для локального запуска задач генерации текста и диалогового применения через совместимое с GGUF программное обеспечение, включая llama.cpp. Доступны варианты квантизации от IQ1_S и IQ1_M до более точных Q4, Q5 и других форматов; размер файлов в представленной таблице составляет примерно от 1,8 до 5,1 ГБ. Для отдельных вариантов указаны значения perplexity и accuracy: более крупные и точные квантизации обычно обеспечивают лучшее качество при повышенных требованиях к памяти. Ключевые характеристики архитектуры, поддерживаемые языки, максимальная длина контекста и мультимодальные возможности в README не указаны. Основные преимущества — широкий выбор компромиссов между размером, потреблением ресурсов и качеством, а также формат GGUF для локального инференса. Ограничения связаны с потерями качества при агрессивной квантизации и зависимостью от совместимого рантайма; приведённые метрики относятся к тестированию конкретных квантов и не гарантируют качество в любых сценариях. Распространение указано по лицензии MIT.

EverythingLM-13b-V2-16k — универсальная языковая модель, созданная на базе Llama 2 и обученная разработчиком totally-not-an-llm на наборе EverythingLM-V2. Это плотная авторегрессионная модель класса LlamaForCausalLM с 12,9 млрд параметров и контекстом до 16 384 токенов; доступен формат PyTorch. Модель предназначена для генерации текста, подробных ответов, творческих историй и рассуждений. В карточке заявлены автоматическое включение пошаговых рассуждений и улучшенное понимание запросов; для задач на рассуждение автор рекомендует низкую температуру генерации. Модель описана как uncensored, однако базовая модель может отказываться отвечать на некоторые запросы, и для них может потребоваться настройка промпта. Лицензия указана как Llama 2. README также содержит инструкции по настройке RoPE для GGML-квантованных вариантов, но метаданные этого репозитория указывают формат PyTorch.

Experiment28M7_YamNeuralsirkrishna — объединённая модель на архитектуре Mistral, созданная из automerger/Experiment28M7-7B и automerger/YamNeuralsirkrishna-7B. Она предназначена для генерации текста и диалогов, а размер модели составляет 7,1 млрд параметров. Модель принимает текст и выдаёт текст. Её контекстное окно — до 32 768 токенов. Репозиторий содержит веса в формате safetensors; модель опубликована под лицензией Apache-2.0.

MaziyarPanahi/Experiment28T3q_Ognoexperiment27M7 — объединённая модель семейства Mistral с 7,1 млрд параметров, созданная на основе automerger/Experiment28T3q-7B и automerger/Ognoexperiment27M7-7B. Она предназначена для генерации текста и имеет контекстное окно длиной до 32 768 токенов. Модель принимает текст и генерирует текст; заявленный тег задачи — text-generation. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Falcon3-10B-Instruct-abliterated-GGUF — это квантизированная версия инструкционной языковой модели Falcon3-10B-Instruct-abliterated, опубликованная в формате GGUF пользователем bartowski. Базовая модель разработана huihui-ai и относится к семейству Falcon3. Квантизация выполнена с помощью llama.cpp, версии b4381, с использованием метода imatrix и специализированного набора данных. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, совместимых с llama.cpp и форматом GGUF. Поддерживаются английский, французский, испанский и португальский языки. Архитектура, размер контекста, точные параметры исходной модели и поддержка модальностей, кроме текста, в README не указаны; по назначению это текстовая модель без заявленной обработки изображений или других типов данных. Для общения используется шаблон с ролями system, user и assistant. Доступны варианты от F16 размером 20,62 ГБ до компактных IQ3_M и Q3-разрядных сборок. Версии Q4–Q6 заявлены как обеспечивающие хорошее или очень высокое качество при меньшем потреблении памяти, а Q3-варианты рассчитаны на системы с ограниченным объёмом RAM, но имеют более низкое качество. Ограничения качества зависят от выбранного уровня квантизации, при этом конкретные результаты тестирования не приведены. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в карточке.

Flammen-Bruphin — слитая методом SLERP языковая модель, созданная nbeerbower с помощью mergekit на основе nbeerbower/bruphin-lambda и nbeerbower/flammen13X-mistral-7B. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста; она принимает текст и выдаёт текст. Поддерживает контекст до 32 768 токенов. Модель подходит для диалогов и других сценариев генерации текста. Веса опубликованы в формате Safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview-GGUF — это GGUF-квантизированная версия instruct-модели FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview, разработанной FuseAI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В основе лежит модель с 32 миллиардами параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp b4514. Более высокие форматы сохраняют лучшее качество, а варианты Q4 и Q3 требуют меньше оперативной памяти; наиболее универсальным в README назван Q4_K_M. Указан специальный шаблон промпта с ролями system, User и Assistant. Модель ориентирована на локальный инференс и сценарии, где важны автономность, выбор размера файла и баланс между качеством и требованиями к памяти. README не содержит сведений о поддерживаемых языках, длине контекста, мультимодальности, результатах бенчмарков или ограничениях качества. Лицензия в предоставленных данных не указана.

pytorch/gemma-3-12b-it-AWQ-INT4 — это квантизированная версия instruction-tuned языковой модели google/gemma-3-12b-it, разработанная pytorch. Модель предназначена для диалогового взаимодействия, генерации и обработки текста, включая ответы на вопросы, краткие объяснения и другие сценарии использования через chat completions или библиотеку Transformers. В README явно указан английский язык; сведения о поддерживаемых модальностях и размере контекстного окна отсутствуют. Модель содержит 12 миллиардов параметров и использует квантизацию AWQ-INT4 с группой размера 128 для весов линейных слоёв. Квантизация снижает требования к памяти по сравнению с исходной версией bfloat16 и рассчитана на запуск с PyTorch, torchao, Transformers и vLLM. В примере генерации поддерживается режим рассуждений, который можно включать или отключать через chat template. Для работы с vLLM требуется nightly-версия vLLM и torchao; из-за известных проблем совместимости рекомендуется отключать compile cache. По данным README, на ограниченной калибровке из 30 примеров задачи mmlu_philosophy модель показала точность 76,85% против 75,56% у gemma-3-12b-it-INT4 и 79,10% у базовой версии bfloat16. Эти результаты нельзя считать полноценной оценкой общих возможностей модели. В рецепте квантизации указано, что AWQ на данный момент работает только на H100 INT4, поэтому аппаратная совместимость может быть ограничена. Модель распространяется по лицензии Apache-2.0.

bartowski/granite-3.1-8b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 8B Instruct, разработанной IBM и опубликованной как ibm-granite/granite-3.1-8b-instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. README не содержит подробностей о конкретной архитектуре, языках и размере контекстного окна. Доступны варианты от F16 до Q2_K, с размерами файлов примерно от 3,15 до 16,34 ГБ. Квантизации созданы с помощью llama.cpp и метода imatrix; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и другие сбалансированные версии. Более компактные варианты подходят для устройств с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель использует специальный chat template, исправленный в этой версии. Распространение указано по лицензии Apache-2.0. Ограничения включают компромисс между размером, требованиями к памяти и качеством, зависящий от выбранного типа квантизации. README также не приводит результатов тестирования, точных сведений о поддерживаемых языках и ограничений безопасности.

Mungert/granite-3.3-8b-instruct-GGUF — это GGUF-кเวантованная версия инструкционной модели Granite 3.3 с примерно 8 млрд параметров, основанная на IBM Granite 3.3 8B Base. Модель предназначена для генерации текста и запуска локального inference через совместимые инструменты, включая сценарии на устройствах с ограниченной видеопамятью, CPU и edge-оборудовании. Основная особенность репозитория — варианты ultra-low-bit quantization с использованием метода IQ-DynamicGate, который распределяет точность по слоям и защищает embeddings и output layers. Доступны форматы с экстремально низкой разрядностью, включая IQ1 и IQ2, а также другие варианты квантования. Такие форматы существенно снижают требования к памяти, сохраняя больше качества по сравнению со стандартным 1–2-битным квантованием; однако точность всё равно ниже, чем у полноразмерных или высокоточных вариантов, а прирост эффективности зависит от конкретного формата и оборудования. В README приведены результаты тестов на Llama-3-8B-Instruct с контекстом 2048 токенов, поэтому эти показатели нельзя напрямую считать характеристиками Granite-модели. Языки, точный максимальный контекст, поддерживаемые модальности и подробные результаты именно для данной модели не указаны. Лицензия заявлена как Apache 2.0.

ibm-granite/granite-4.2-8b-nvfp4 — это версия модели Granite-4.2-8B в формате NVFP4, разработанная IBM. Репозиторий основан на базовой модели ibm-granite/granite-4.2-8b и предназначен для использования с библиотекой Transformers. Из доступных данных известно, что модель относится к языковым моделям и имеет размер 8 миллиардов параметров в базовой версии. Формат NVFP4 ориентирован на более компактное представление модели, однако конкретные сведения о поддерживаемых языках, архитектуре, длине контекста, модальностях, целевых сценариях и результатах оценки в карточке не приведены. Модель может быть полезна как оптимизированное представление Granite-4.2-8B для задач, где важны совместимость с Transformers и снижение требований к хранению или вычислениям, но преимущества и ограничения NVFP4 для конкретного оборудования не указаны. Модель распространяется по лицензии Apache-2.0.

Hippy-AAI-7B — текстовая генеративная модель, созданная объединением моделей EmbeddedLLM/Mistral-7B-Merge-14-v0.1 и liminerity/M7-7b. Для слияния использован mergekit с методом SLERP; архитектура — плотная MistralForCausalLM на 7,1 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст; максимальная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors, а лицензия указана как Apache-2.0.

Huginn-0125 — экспериментальная языковая модель исследовательской группы TomG Group при University of Maryland. Это плотная decoder-only модель на 3,5 млрд параметров, обученная с нуля на 800 млрд токенов и реализованная как рекуррентная модель с латентной глубиной: при генерации можно задавать число итераций вычислений num_steps, увеличивая глубину обработки без фиксированного числа слоёв. Модель работает с текстом, поддерживает диалоговый шаблон и ориентирована на генерацию текста, рассуждения, математические задачи и код. Модель обучалась 47 000 шагов на открытых данных и не проходила дообучение или постобучение, хотя в предварительное обучение включались инструкции. Авторы характеризуют её как proof of concept; увеличение num_steps улучшает результаты на бенчмарках примерно до 64 шагов, а при числе меньше четырёх ответы становятся грубыми. Для инференса рекомендуется bfloat16; для кэширования KV требуется специальная реализация HuginnDynamicCache, которая может быть чувствительна к обновлениям Transformers. Доступна по лицензии Apache-2.0.

Это GGUF-квантизированная версия Mistral-Small-24B-Instruct-2501-abliterated, разработанная huihui-ai и подготовленная квантизатором bartowski. Модель предназначена для генерации текста и работы в формате инструкций, включая диалоговые сценарии, ответы на запросы и другие задачи text-generation. Варианты доступны для запуска через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 24 млрд параметров и распространяется в форматах квантования от Q3 до Q8, а также в полном формате F32. Квантизация выполнена с использованием imatrix; варианты отличаются размером файлов, требованиями к памяти и сохранением качества. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат приглашений использует конструкции SYSTEM_PROMPT и INST. К сильным сторонам относятся широкий выбор уровней квантования, возможность локального запуска и высокое качество рекомендуемых вариантов Q5–Q6. Ограничения включают значительные требования к оперативной или видеопамяти для версий высокого качества, а также отсутствие в предоставленных данных сведений о размере контекста, точной архитектуре, мультимодальности и результатах бенчмарков. Обозначение abliterated указывает на изменённую версию исходной instruct-модели, однако конкретные последствия этого изменения в README не описаны. Лицензия — Apache-2.0.