I.5Создание и редактирование текста

gaianet/gpt-oss-20b-GGUF — сборка модели openai/gpt-oss-20b, опубликованная Gaianet в формате GGUF. Это языковая модель архитектуры gpt_oss с разреженной MoE-архитектурой для генерации текста и диалогового применения. В README указан исходный репозиторий модели и раздел запуска с Gaianet. Модель принимает текстовые запросы и генерирует текст; заявленная длина контекста составляет 131072 токена. В метаданных указаны 1,6 млрд параметров, библиотека Transformers, форматы GGUF и GGUF F16, а также лицензия Apache-2.0. README не описывает специальные предметные области или конкретные языковые ограничения.

GPT-OSS-Swallow 120B RL v0.1 MXFP4 — крупная двуязычная языковая модель, разработанная командой Tokyo Institute of Technology (Tokyo Tech) на базе GPT-OSS. Модель содержит 120 млрд параметров и предназначена для генерации текста, рассуждений, работы с математическими задачами, программным кодом, японско-английским переводом и другими сценариями, требующими понимания японского и английского языков. Данная версия распространяется в формате MXFP4 и ориентирована на запуск через Transformers и vLLM. Модель обучалась в несколько этапов: Continual Pre-Training, Supervised Fine-Tuning и Reinforcement Learning with Verifiable Rewards. Для улучшения японского языка и перевода использовались специализированные процедуры обучения, а математические и кодовые датасеты помогли сохранить STEM-компетенции и снизить деградацию этих навыков. Среди сильных сторон заявлены двуязычная специализация, повышенное качество японско-английского перевода, математические и программные способности, а также уровень рассуждений, сопоставимый с исходными моделями GPT-OSS или превосходящий их в отдельных задачах. В карточке не указаны точная архитектура, токенизатор и максимальная длина контекста: за этими сведениями предлагается обращаться к документации GPT-OSS. Модель требует значительных вычислительных ресурсов из-за размера; для наиболее надежной и воспроизводимой работы рекомендуется vLLM, при этом поддерживается распределение по нескольким GPU. Лицензия Apache-2.0.

Granite 3.0 8B Instruct — это языковая модель для генерации текста, разработанная IBM и опубликованная в формате GGUF пользователем bartowski. Репозиторий содержит квантизированные варианты базовой модели ibm-granite/granite-3.0-8b-instruct, подготовленные с использованием llama.cpp и imatrix. Модель предназначена для локального запуска, в частности через LM Studio, и поддерживает стандартный формат диалога с системными и пользовательскими сообщениями. Модель имеет около 8 млрд параметров и работает в режиме text-generation. Она ориентирована на следование инструкциям, ответы на вопросы, рассуждения, математические задачи, генерацию кода и мультиязычные сценарии; в README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X для семи языков. Архитектура, точный размер контекста, перечень поддерживаемых языков и модальности дополнительно не указаны, поэтому модель следует считать текстовой. Основное преимущество этой версии — выбор квантизаций от F16 до Q4, позволяющий снизить требования к памяти при сохранении качества. В README рекомендуются варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и Q4_K_M; более компактные варианты экономят память, но могут сильнее снижать качество. Ограничениями являются отсутствие мультимодальности в описании, неполные сведения о контексте и языках, а также необходимость самостоятельно выбрать подходящий файл и совместимое ПО. Модель распространяется по лицензии Apache-2.0.

QuantFactory/granite-3.1-2b-instruct-GGUF — это квантизированная версия Granite-3.1-2B-Instruct, созданная QuantFactory с использованием llama.cpp на базе модели IBM Granite. Исходную модель разработала команда Granite компании IBM; она выпущена 18 декабря 2024 года и предназначена для выполнения общих инструкций и создания AI-ассистентов в различных прикладных областях. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи работы с кодом, function calling, многоязычный диалог и обработку длинного контекста, включая анализ документов и протоколов встреч. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура представляет собой плотный decoder-only Transformer примерно на 2,5 млрд параметров с 40 слоями, размером эмбеддингов 2048, Grouped Query Attention (GQA), позиционными представлениями RoPE, активацией SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Максимальная длина контекста составляет 128K токенов. Квантизация может снизить требования к ресурсам, однако конкретные характеристики зависят от выбранного GGUF-варианта. Модель ориентирована на универсальные текстовые и кодовые задачи, но README не приводит отдельные результаты бенчмарков или подробности ограничений квантизированных вариантов. Модель распространяется по лицензии Apache 2.0. Пользователям следует учитывать, что качество может различаться между поддерживаемыми языками, задачами и уровнями квантизации.

Granite-3.1-8B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на базе Granite-3.1-8B-Base плотная авторегрессионная трансформерная модель на 8,2 млрд параметров; при обучении использовались supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. Лучше всего модель обучена следовать инструкциям на английском; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы. Лицензия — Apache 2.0.

Granite 3.2 8B Instruct — языковая instruction-tuned модель семейства Granite, разработанная IBM (ibm-granite). Представленная версия — GGUF-квантизация исходной модели granite-3.2-8b-instruct, подготовленная bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие развитых способностей к рассуждению. Модель имеет размер 8 миллиардов параметров и поддерживает контекст длиной до 128 тысяч токенов. Она работает с текстом и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный инференс в совместимых инструментах, включая llama.cpp и LM Studio. К сильным сторонам относятся большой контекст, многоязычность и настройка на задачи, связанные с рассуждением. Ограничения включают влияние квантизации на качество по сравнению с исходной моделью, а также возможность получать неточные, неподходящие или вводящие в заблуждение ответы. В README не указаны конкретные параметры квантизации и требования к аппаратным ресурсам. Модель распространяется по лицензии Apache 2.0.

Granite-3.3-8B-Instruct — плотная языковая модель с 8,2 млрд параметров, разработанная командой Granite компании IBM и дообученная на базе ibm-granite/granite-3.3-8b-base для следования инструкциям и улучшенного рассуждения. Она принимает текст и генерирует ответы, поддерживает диалог и интерфейс вызова инструментов. Контекстное окно составляет 131 072 токена. Модель предназначена для общих задач ассистента и бизнес-приложений: ответов на вопросы, суммаризации длинных документов и встреч, классификации и извлечения текста, RAG, задач по математике и программированию, а также многоязычного диалога. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель доступна в формате safetensors для Transformers. Лицензия — Apache 2.0. В README отмечено, что применимы этические ограничения и ограничения базовой модели Granite-3.3-8B-Base; подробности этих ограничений в предоставленных материалах не раскрыты.

unsloth/granite-4.0-350m — компактная инструктивная языковая модель семейства Granite 4.0, опубликованная Unsloth в формате safetensors. Она основана на IBM Granite-4.0-350M и дообучена с применением инструкционных данных; исходную модель разработала команда Granite в IBM. Архитектура — плотный декодерный трансформер GraniteMoeHybridForCausalLM с GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель содержит 352,3 млн параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и следования инструкциям, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом, вызов инструментов и заполнение пропусков в коде. Её небольшой размер подходит для развёртывания на устройствах и дообучения под специализированные задачи. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; обучение преимущественно опиралось на англоязычные инструкции, поэтому качество на других языках может быть ниже. Модель может выдавать неточные, предвзятые или небезопасные ответы, поэтому для конкретных сценариев нужны проверка и настройка безопасности. Лицензия — Apache 2.0.

Granite-4.0-H-350M — компактная инструктивная языковая модель, разработанная командой Granite компании IBM и опубликованная Unsloth в формате safetensors. Модель дообучена на базе ibm-granite/granite-4.0-h-350m с применением supervised fine-tuning, обучения с подкреплением и слияния моделей. Её архитектура — плотный decoder-only трансформер GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; размер — 278,4 млн параметров, контекст — 32 768 токенов. Модель предназначена для диалогов и инструкций, суммаризации, классификации и извлечения текста, вопросов и ответов, RAG, задач с кодом и вызова инструментов. Компактность делает её подходящей для локального развёртывания и дообучения под специализированные задачи. Она поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; обучение преимущественно ориентировано на английский, поэтому качество на других языках может быть ниже. Модель может выдавать неточные, предвзятые или небезопасные ответы, поэтому для конкретного применения требуется проверка. Лицензия — Apache 2.0.

unsloth/granite-4.0-h-micro-unsloth-bnb-4bit — 4-битная версия Granite-4.0-H-Micro, разработанная Unsloth на базе модели IBM Granite Team и IBM. Исходная модель представляет собой инструкционную long-context языковую модель примерно на 3 млрд параметров, дообученную с применением supervised fine-tuning, выравнивания с использованием reinforcement learning и объединения моделей. Точная длина контекста для данной версии в README не указана. Модель предназначена для выполнения общих инструкций и создания корпоративных AI-ассистентов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG-сценарии, задачи, связанные с кодом, вызов функций и инструментов, многоязычный диалог, а также Fill-In-the-Middle для дополнения кода. Заявлены улучшенные instruction following и tool-calling возможности. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевое преимущество варианта — 4-битная квантизация BNB, которая может снизить требования к памяти и упростить локальное развертывание, однако README не приводит точные показатели качества, скорости или совместимости с конкретным оборудованием. Ограничения включают отсутствие в предоставленных данных детальных бенчмарков, точного размера в памяти и описания мультимодальных возможностей; по имеющейся информации модель является текстовой. Распространение указано по лицензии Apache 2.0.

Granite-4.0-Micro — компактная языковая модель IBM Granite Team для диалогов и следования инструкциям. Это модель на 3,4 млрд параметров с архитектурой GraniteMoeHybrid; она дообучена на базе Granite-4.0-Micro-Base с помощью инструкционных данных, синтетических примеров, выравнивания с подкреплением и объединения моделей. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и доступна в формате safetensors через Transformers. Модель предназначена для создания ассистентов и агентных систем, в том числе для корпоративных приложений. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова инструментов и многоязычных диалогов. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель разработана IBM и распространяется по лицензии Apache 2.0. Качество на других языках может уступать английскому; ответы могут быть неточными, предвзятыми или небезопасными, поэтому для конкретного применения рекомендуется проверка и настройка.

Granite-4.0-Tiny-Preview-GGUF — текстовая instruct-модель семейства Granite, разработанная командой Granite компании IBM. Это конвертированная в формат GGUF версия базовой модели ibm-granite/granite-4.0-tiny-base-preview с различными вариантами квантования. Модель содержит около 7 млрд параметров и использует мелкозернистую гибридную архитектуру mixture-of-experts (MoE). Она дообучалась с применением supervised fine-tuning и методов выравнивания на основе reinforcement learning, включая открытые наборы инструкций и синтетические данные для задач с длинным контекстом. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе в бизнес-приложениях. Она поддерживает рассуждение, суммаризацию, классификацию и извлечение текста, ответы на вопросы, retrieval-augmented generation (RAG), работу с кодом, function calling, многоязычный диалог и обработку длинных документов и встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; модель также можно дообучать для других языков. Сильными сторонами являются сочетание компактного размера, MoE-архитектуры, широкого набора прикладных сценариев, многоязычности и ориентации на длинноконтекстные задачи. README не содержит точного размера контекстного окна, результатов benchmark-тестов, сведений о конкретных квантованиях и подробных ограничениях качества, поэтому эти характеристики требуют дополнительной проверки. Модель распространяется по лицензии Apache 2.0.

Granite-4.1-30B — большая языковая модель с открытыми весами, разработанная командой Granite компании IBM. Это инструктивная версия с 28,9 млрд параметров, дообученная на базе Granite-4.1-30B-Base с помощью supervised fine-tuning и обучения с подкреплением. Архитектура — плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель работает с контекстом до 131 072 токенов. Модель предназначена для диалогов и следования общим инструкциям, а также для создания ассистентов и LLM-агентов с вызовом инструментов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и многоязычный диалог. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. IBM указывает на улучшения в следовании инструкциям, диалоге и вызове инструментов. Качество на языках помимо английского может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать под конкретный сценарий. Лицензия — Apache 2.0.

Granite-4.1-30B-Base — базовая авторегрессионная языковая модель IBM Granite Team для генерации текста и широкого круга задач преобразования текста. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 28,9 млрд параметров и распространяется в формате safetensors для Transformers. Карточка описывает обучение с нуля примерно на 15 трлн токенов и расширение контекста до 512 тыс. токенов, тогда как метаданные репозитория указывают нативное контекстное окно 131 072 токена. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, длинную генерацию и дополнение кода, включая Fill-in-the-Middle. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Это базовая модель без выравнивания безопасности; для прикладных сценариев её можно дообучать под специализированные задачи. Лицензия Apache 2.0.

unsloth/granite-4.1-3b — вариант модели Granite 4.1-3B, опубликованный Unsloth на базе инструктивной модели IBM Granite 4.1-3B. Это плотная decoder-only трансформерная языковая модель с 3,4 млрд параметров и контекстом до 131 072 токенов. В архитектуре базовой модели используются GQA, RoPE, SwiGLU и RMSNorm. Модель предназначена для диалоговых ассистентов, следования инструкциям и агентных сценариев с вызовом инструментов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и многоязычный диалог. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; обучающие данные преимущественно англоязычные. Репозиторий содержит веса Safetensors, карточка отмечает исправления шаблона чата Unsloth. Лицензия — Apache 2.0. Модель может ошибаться, выдавать предвзятые или небезопасные ответы; качество на языках помимо английского может быть ниже. Для конкретных задач и развёртывания рекомендуется проверка и настройка безопасности.

granite-4.2-30b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-30b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием MLX и оптимизировано для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста, рассуждений, работы с инструментами и сценариев tool-calling. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. В README не указаны точная архитектура, размер контекстного окна, доступные модальности и дополнительные показатели качества. Квантование в 4 бита снижает требования к памяти и делает модель более подходящей для локального запуска на Apple Silicon, однако может сопровождаться потерей качества по сравнению с исходной версией. Условия использования определяются лицензией Apache 2.0.

psiilu/h2o-dpo-merge2 — объединённая языковая модель, созданная автором репозитория из двух предварительно обученных моделей с помощью mergekit. В метаданных указана архитектура MistralForCausalLM с плотной моделью размером 1,7 млрд параметров; файлы представлены в формате Safetensors. Модель предназначена для генерации текста и диалогового общения, а её контекстное окно составляет 8192 токена. Модель может использоваться для создания ответов в чате и генерации текста по запросу. В README приведены два исходных репозитория и описано их объединение линейным методом с равными весами. Лицензия в предоставленных данных не указана.

h2oai/h2ogpt-gm-7b-mistral-chat-sft-dpo-rag-v1 — разговорная языковая модель H2O.ai, обученная с помощью H2O LLM Studio на базе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых сценариев. Модель подходит для создания ответов в чате, подготовки черновиков и помощи с вопросами по предоставленному контексту. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Карточка сообщает об обучении SFT и DPO, а также указывает RAG в названии, но не описывает отдельные механизмы извлечения документов или гарантии точности ответов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Ответы могут быть ошибочными, бессвязными, предвзятыми или оскорбительными, поэтому важные сведения требуют проверки.

haLLawa4-7b — слитая языковая модель, опубликованная AbacusResearch. Она объединяет Monarch-7B, OGNO-7B и haLLAwa3 с помощью mergekit и метода DARE-TIES; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и общих языковых задач, включая диалог и ответы на запросы. Контекстное окно составляет 32 768 токенов. Модель подходит для создания ответов и текста, а опубликованные результаты включают оценки на AI2 Reasoning Challenge и HellaSwag. README не сообщает отдельного перечня языков или специализированных областей применения, поэтому модель следует рассматривать как общего назначения. Лицензия — Apache-2.0.

Haumea-1.5 — разговорная языковая модель Haumea Labs, дообученная на базе unsloth/mistral-7b-instruct-v0.3-bnb-4bit. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и предназначена для генерации текста в диалоге; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Длина контекста составляет 32 768 токенов, язык карточки — английский. Веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0.

HeadlineGPT — языковая модель, дообученная автором репозитория на базе Qwen/Qwen2.5-1.5B-Instruct для создания коротких, привлекательных заголовков по исходному тексту. Она предназначена для заголовков новостей и статей, исследовательских материалов, выступлений, презентаций и публикаций в социальных сетях. Модель использует архитектуру Qwen2 с 1,5 млрд параметров и адаптер LoRA/PEFT ранга 16. При обучении на парах «текст — заголовок» примеры взвешивались по показателю вовлечённости; использовалась случайная выборка из 25 тысяч примеров и два прохода обучения. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно до 32 768 токенов. Взвешивание по вовлечённости нацелено на создание более привлекательных заголовков, но не гарантирует их точность или фактическую корректность. Для применения адаптера требуется базовая модель Qwen/Qwen2.5-1.5B-Instruct. Лицензия — Apache-2.0.

Hermes-2-Pro-Llama-3-13B — плотная авторегрессионная языковая модель семейства Llama, созданная объединением предварительно обученных моделей с помощью mergekit. В README указана базовая модель NousResearch/Hermes-2-Pro-Llama-3-8B; метаданные описывают модель как дообученную производную этой модели. Репозиторий содержит веса Safetensors, всего 11,4 млрд параметров, с контекстом 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на инструкции. Метаданные каталога также указывают на возможности чата; описание базовой модели связывает семейство Hermes-2-Pro с вызовом функций и генерацией структурированных данных в JSON. Основной язык и отдельные профильные области применения в карточке не обозначены. Лицензия в предоставленных данных не указана. README называет метод слияния passthrough, но перечень объединённых моделей и детали конфигурации опущены, поэтому состав слияния нельзя установить полностью.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes 2 Pro, разработанной NousResearch на основе Meta Llama 3 8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для текстового диалога, генерации текста и инструкций, а также сценариев с function calling и выдачей структурированных данных в JSON. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и ориентирована преимущественно на английский язык. В карточке указаны дообучение с применением DPO и RLHF, использование синтетических данных, дистилляции и датасета OpenHermes-2.5, а также формат запросов ChatML. Размер контекста в предоставленных данных не указан. Главное преимущество этой версии — доступность большого набора квантизаций с разным балансом качества, размера и требований к памяти: от Q8_0 до низкоразрядных IQ- и Q-вариантов. Более качественные варианты Q6_K и Q5_K_M рекомендованы для большинства задач, тогда как низкоразрядные версии подходят для систем с ограниченной памятью, но могут заметно уступать в качестве. Модель распространяется по лицензии Apache 2.0.

Hermes2pro-mistral-saul-instruct-slerp — объединённая разговорная языковая модель, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и Equall/Saul-Instruct-v1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; нативное окно контекста составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. Карточка не уточняет лицензию и языковой охват объединённой модели.

Hermes-3-Llama-3.1-70B-IMat-GGUF — это квантизированная версия текстовой языковой модели NousResearch/Hermes-3-Llama-3.1-70B, подготовленная пользователем legraphista в формате GGUF для запуска через llama.cpp. Исходная модель имеет размер 70B параметров и тип данных BF16, а доступные варианты включают BF16, FP16 и несколько уровней квантования от 1 до 8 бит, в том числе варианты с IMatrix. Модель предназначена для генерации текста, диалоговых сценариев и работы в формате instruct/chat. В описании также заявлены поддержка ChatML, function calling и JSON mode, а среди возможных применений указаны ролевые диалоги и задачи, связанные с синтетическими данными и дистилляцией. Указан английский язык; сведения о других языках и размере контекстного окна отсутствуют. Модель является текстовой и не заявляет поддержку изображений или других дополнительных модальностей. Основное преимущество сборки — возможность выбрать баланс качества, размера файлов и требований к ресурсам за счёт большого набора GGUF-квантов; IMatrix применяется в ряде вариантов с более низкой разрядностью. Ограничения связаны с очень большим размером модели: файлы занимают примерно от 26 до 141 ГБ, а некоторые варианты разделены на несколько частей. Квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно в вариантах с меньшей разрядностью. Лицензия указана как llama3.

Hermes-4-14B-abliterated-4bit-mlx — языковая модель, подготовленная divinetribe на основе Babsie/Hermes-4-14B-BF16-abliterated. Постобучение семейства Hermes 4 выполнено NousResearch, базовая архитектура Qwen3 разработана Alibaba, а abliteration применена Babsie. Модель преобразована в 4-битный формат MLX для локального запуска на устройствах Apple Silicon. Модель предназначена для генерации текста, следования инструкциям, работы с инструментами и структурированного вывода, включая локальные OpenAI-совместимые серверы и сценарии программирования. Она поддерживает английский язык, использует токенизатор и chat template Qwen3 и имеет контекст до 40 960 токенов. Квантование выполнено методом affine с размером группы 64; формат хранения — MLX safetensors. Размер на диске составляет около 8 ГБ, поэтому модель рассчитана на комфортную работу на Mac с 16 ГБ памяти и выше. К сильным сторонам относятся локальная работа без облака, API-ключей и телеметрии, относительно небольшой объём памяти и оптимизация для быстрой инференции на Apple Silicon. Abliteration уменьшает склонность исходной модели отказывать в ответах на допустимые, но потенциально спорные запросы, однако не является улучшением общих способностей и требует ответственного применения. Ограничения включают зависимость от оборудования Apple Silicon, поддержку только текстовых сценариев и возможное снижение качества по сравнению с полноточной версией из-за 4-битного квантования. Модель распространяется по лицензии Apache 2.0, унаследованной от upstream-семейства Hermes 4 и Qwen3.

Hermes-4-14B-AWQ-4bit — квантизированная 4-битная версия языковой модели Hermes 4 14B, разработанной Nous Research на базе Qwen 3 14B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, решения задач по математике, программированию, STEM и логике, творческого письма, структурированного вывода данных, а также сценариев с вызовом функций и использованием инструментов. Модель поддерживает гибридный режим рассуждений: при необходимости формирует сегменты <think>…</think>, а в быстром режиме может отвечать без длительного рассуждения. Она обучена следовать инструкциям, соблюдать заданные JSON-схемы и исправлять некорректные структурированные объекты. Для взаимодействия используется формат ChatML; заявлена поддержка английского языка. Архитектура основана на Qwen 3 14B, однако точная длина контекста в README не указана. Мультимодальные возможности не заявлены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, качество форматирования, управляемость и поддержка function calling и tool use. К ограничениям относятся зависимость качества от корректного применения ChatML-шаблона и инструментов, а также возможные компромиссы 4-битной квантизации по сравнению с полноточной версией; конкретные результаты бенчмарков в README не приведены. Модель распространяется по лицензии Apache 2.0.

Jebadiah/hermes-Poppy-stone-l3-8b — объединённая языковая модель семейства Llama 3, созданная с помощью mergekit методом DARE TIES. В слиянии использованы ChaoticNeutrals/Poppy_Porpoise-v0.7-L3-8B и NousResearch/Hermes-2-Pro-Llama-3-8B; основной моделью указана Poppy_Porpoise-v0.7-L3-8B. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и распространяется в формате safetensors.

EleutherAI/Hermes-RWKV-v5-7B-HF — языковая модель на архитектуре RWKV-v5 (Eagle), разработанная EleutherAI. Модель содержит 7,8 млрд параметров: она предварительно обучена на многоязычных данных, а затем дообучена на диалоговом наборе OpenHermes 2.5 от Nous Research для генерации текста в формате чата. Модель подходит для ведения диалога и генерации ответов на текстовые запросы. Формат чата совместим с форматом Hugging Face, но вместо специальных токенов `assistant` и `user` используются ASCII-коды 0x16 и 0x17 для совместимости с токенизатором RWKV World. Доступна в формате safetensors и распространяется по лицензии Apache-2.0.

Nitral-Archive/Hex-Macaroniac-7b — объединённая языковая модель на архитектуре Mistral, созданная слиянием jeiku/SpaghettiOs_7B и jeiku/Nitrals_Monster_7B методом SLERP. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель предназначена для генерации текста и ответов на запросы. В карточке приведены результаты Open LLM Leaderboard, включая среднюю оценку 66,64, AI2 Reasoning Challenge и HellaSwag. Указана лицензия other; условия её использования следует сверять с лицензией и сведениями базовых моделей.