I.5Создание и редактирование текста

GPT-fr-cased-base — франкоязычная авторегрессионная модель генерации текста на архитектуре GPT-2, разработанная Quantmetry и Laboratoire de Linguistique Formelle (LLF). Она обучена на большом разнородном корпусе французских текстов, включающем Wikipedia, OpenSubtitles, Gutenberg и Common Crawl. Модель имеет 24 слоя, 14 голов внимания, размерность эмбеддингов 1 792 и около 1,017 млрд параметров; контекст составляет 1 024 токена. Доступны веса для PyTorch, TensorFlow и Flax. Модель предназначена для генерации текста на французском языке и может применяться в сценариях, где ответ формируется естественным языком, например для суммаризации и ответов на вопросы. В описанном авторами тесте на французском Wikipedia модель показала perplexity 12,9. Она может воспроизводить предвзятости обучающих данных и создавать оскорбительный контент. Лицензия — Apache-2.0.

axolotl-ai-co/gpt-oss-120b-dequantized — версия с преобразованной точностью модели gpt-oss-120b, разработанной OpenAI. Это разреженная MoE-модель для генерации текста, диалога, рассуждений и агентных сценариев; README указывает 117 млрд параметров и 5,1 млрд активных параметров, а метаданные этой версии — 2,1 млрд параметров. Модель поддерживает контекст до 131 072 токенов и использует архитектуру GptOssForCausalLM. Репозиторий содержит веса safetensors и рассчитан на библиотеку Transformers. Модель предназначена для ответов на запросы, сложного анализа, работы с инструментами и генерации структурированных ответов. В README также описаны вызов функций и агентные сценарии с браузером и исполнением Python; для корректной работы требуется формат диалога Harmony. Уровень рассуждений можно настраивать, балансируя глубину ответа и скорость. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование и дообучение. README предупреждает, что цепочку рассуждений не следует показывать конечным пользователям; качество вывода зависит от соблюдения формата Harmony. Название репозитория указывает на dequantized-вариант, однако точный исходный формат преобразования и его влияние на качество не описаны.

egoriow/gpt-oss-120b-GGUF — квантованная в формате GGUF версия модели openai/gpt-oss-120b, размещённая egoriow. Это разговорная текстовая модель для генерации ответов и ведения диалога; README указывает на запуск через LlamaEdge, а метаданные отмечают поддержку чата и архитектуру GPT-OSS типа MoE. В метаданных указаны 2,1 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст. Репозиторий содержит варианты GGUF и GGUF F16; лицензия — Apache-2.0. Карточка называет исходной моделью openai/gpt-oss-120b, но конкретные характеристики качества и ограничения применения не описывает.

GPT-SW3 1.3B Instruct — авторегрессионная языковая модель на архитектуре decoder-only Transformer, разработанная AI Sweden совместно с RISE и WASP WARA for Media and Language. Это версия семейства GPT-SW3 с 1,3 млрд параметров, дообученная на инструкционных данных в форматах диалога и обычного текста; базовая модель предварительно обучалась на 320 млрд токенов, включая шведский, норвежский, датский, исландский, английский языки и программный код. Модель предназначена для генерации связного текста и выполнения инструкций, представленных как текстовые запросы. Её можно применять для диалоговых помощников, черновиков и ответов на вопросы на поддерживаемых языках, а также для языковых задач, сведённых к генерации текста. Метаданные указывают поддержку чата и задачи text-generation; репозиторий содержит веса PyTorch и Safetensors. Модель может воспроизводить предвзятость данных обучения, выдавать галлюцинации, нерелевантные или повторяющиеся ответы, а также небезопасный, оскорбительный или неподходящий для некоторых аудиторий контент. Лицензия указана как other; README называет модифицированную лицензию RAIL.

Grafted-Hermetic-Platypus-A-2x7B — чат-модель семейства Mixtral, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-v0.2. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы; карточка приводит форматы запросов Mistral-Instruct и Alpaca. Модель имеет архитектуру Mixtral с разреженной смесью экспертов (MoE), около 7,1 млрд параметров и контекст до 32 768 токенов. Репозиторий содержит веса Safetensors. В README приведены результаты Open LLM Leaderboard, включая среднее значение 64,23, но эти оценки сами по себе не гарантируют качество в конкретном сценарии. Модель распространяется по лицензии Apache-2.0.

Grafted-Hermetic-Platypus-B-2x7B — языковая модель для диалогов и генерации текста, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-100K. Модель построена на архитектуре Mixtral с механизмом смеси экспертов (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для ответов на инструкции, диалогов и других задач генерации текста. В README указаны два варианта формата запросов: Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты оценок на нескольких тестах, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется по лицензии Apache-2.0. Данные о поддерживаемых языках и специфических ограничениях качества в предоставленных материалах отсутствуют.

Granite-3.0-1B-A400M-Base — базовая языковая модель IBM Granite Team для генерации текста и решения задач преобразования текста. Это декодерный трансформер с разреженной архитектурой Mixture of Experts (MoE), обученный с нуля в два этапа на разнообразных данных; в метаданных указано 163,6 млн параметров, контекст — 4096 токенов. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель предназначена для суммаризации, классификации и извлечения информации из текста, ответов на вопросы и генерации продолжений. Она также может служить базой для дообучения под специализированные сценарии. Выпущена под лицензией Apache 2.0. Это базовая модель без safety alignment: возможны предвзятые или недостоверные ответы, а небольшие модели могут воспроизводить фрагменты обучающих данных.

Granite-3.0-3B-A800M-Base — базовая языковая модель IBM Granite Team для генерации текста и других задач преобразования текста. Это декодерный трансформер со sparse Mixture of Experts (MoE): в README указаны 32 слоя и размер эмбеддинга 1536. Модель обучена с нуля в два этапа на 8 трлн и затем 2 трлн токенов из открытых и проприетарных источников; репозиторий содержит веса в формате Safetensors, библиотека — Transformers. Метаданные указывают 352,3 млн параметров и контекст до 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и других сценариев генерации текста; также её можно использовать как основу для специализированного дообучения. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Лицензия — Apache 2.0. Модель не проходила выравнивание по безопасности, поэтому может генерировать проблемный контент. Возможны предвзятость, дезинформация, галлюцинации и буквальное воспроизведение фрагментов обучающих данных.

Granite-3.1-3B-A800M-Instruct — языковая модель IBM Granite Team для выполнения общих инструкций и создания диалоговых ассистентов. Это дообученная версия Granite-3.1-3B-A800M-Base: метаданные относят её к семейству Granite MoE, а README описывает decoder-only архитектуру с GQA, RoPE, SwiGLU и RMSNorm. В репозитории указано 352,3 млн параметров и контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Она поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках; также подходит для анализа длинных документов и записей встреч. README указывает, что обучение инструкциям преимущественно велось на английском, поэтому качество на других языках может быть ниже. Модель принимает текст и генерирует текст. Она выпущена под лицензией Apache 2.0. Ответы могут быть неточными, предвзятыми или небезопасными; для конкретных сценариев нужны проверка и настройка.

Granite-4.0-1B — компактная инструктивная языковая модель IBM Granite Team, дообученная на базе Granite-4.0-1B-Base. Это модель класса causal language model с архитектурой GraniteMoeHybrid; в карточке указано 1,6 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и выполнения инструкций, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Компактный размер подходит для локального запуска на устройствах и дообучения под специализированные задачи. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; обучающие данные преимущественно англоязычные. По README, модель разработана с использованием контролируемого дообучения, обучения с подкреплением и слияния моделей. Доступна по лицензии Apache 2.0. Возможности вызова инструментов описаны в карточке, но качество многоязычных ответов может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы.

granite-4.0-tiny-preview-GGUF — GGUF-квантизированные варианты 7-миллиардной instruct-модели Granite-4.0-Tiny-Preview, разработанной командой Granite компании IBM и преобразованной с помощью llama.cpp. Базовая модель — ibm-granite/granite-4.0-tiny-base-preview. Модель представляет собой гибридную fine-grained Mixture-of-Experts (MoE) архитектуру и дообучена на открытых наборах инструкций с разрешительными лицензиями и синтетических данных для задач с длинным контекстом. Дата выпуска исходной модели — 2 мая 2025 года. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает рассуждения, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог, а также обработку длинных документов и совещаний. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевая особенность данного репозитория — применение автором дополнительного повышения точности отдельных важных слоёв при квантовании через параметр --tensor-type в llama.cpp. Это может улучшать точность при низкой битности, особенно для MoE-моделей, но увеличивает размер файлов. Конкретный формат квантования и его характеристики зависят от выбранного варианта GGUF. Для запуска требуется совместимое ПО, например llama.cpp; README указывает генерацию моделей на коммите adef8178. Модель распространяется по лицензии Apache 2.0. В README не указаны точный размер контекстного окна, конкретные уровни квантования и результаты бенчмарков для данного GGUF-варианта.

granite-4.2-30b-MLX-8bit — это 8-битная квантованная версия языковой модели granite-4.2-30b, разработанной ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon в экосистеме MLX. Модель предназначена для генерации текста и поддерживает сценарии рассуждения, диалогового взаимодействия и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель относится к семейству Granite и имеет размер исходной модели 30B параметров; сведения о точной архитектуре, размере контекста и поддерживаемых модальностях, кроме текстовой генерации, не приведены. Ключевые преимущества этой версии — снижение требований к памяти по сравнению с полной точностью и оптимизация для Apple Silicon. Ограничения включают возможную потерю качества из-за 8-битного квантования, зависимость производительности от аппаратного обеспечения Apple Silicon и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Granite 4.2 8B GGUF — это квантизированная версия текстовой генеративной модели ibm-granite/granite-4.2-8b, разработанной IBM. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и, согласно указанным тегам, tool calling. Поддерживается только текстовый ввод; мультимодальные возможности не заявлены. Модель содержит около 9 млрд параметров и доступна в форматах GGUF с разными уровнями квантизации — от BF16 до Q2 и IQ-вариантов. README не указывает архитектуру и размер контекстного окна. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Для запуска используется специальный шаблон prompt с секцией рассуждений <think>. Сильная сторона этой версии — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти: например, Q4_K_M размером 5,54 ГБ рекомендуется как универсальный вариант, а более высокие уровни сохраняют качество ближе к исходной модели. Ограничения зависят от выбранной квантизации: компактные варианты обеспечивают более низкое качество. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache 2.0.

granite-4.2-8b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon и предназначена для локальной генерации текста. Модель поддерживает задачи text generation, включая сценарии рассуждений, работы с инструментами и tool-calling, что отражено в заявленных тегах. Она обучена для работы с английским, немецким, испанским, французским, японским, португальским, арабским, чешским, итальянским, корейским, нидерландским и китайским языками. Архитектура и размер исходной модели обозначены как granite-4.2-8b; сведения о длине контекста и точной архитектуре в README не приведены. Ключевое преимущество варианта — сниженное потребление памяти по сравнению с полной точностью и оптимизация под Apple Silicon, что делает его подходящим для локального использования. Ограничениями являются возможная потеря качества из-за 4-битного квантования, зависимость производительности от оборудования и отсутствие в README подробных данных о качестве, бенчмарках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Guanaco 13B — языковая модель семейства LLaMA, представленная в формате Hugging Face с весами fp16. Репозиторий TheBloke содержит результат слияния LoRA с последующим сохранением модели; в README указано авторство Тимa Деттмерса для исходной Guanaco 13B. Модель предназначена для генерации текста и диалоговых ответов. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст длиной 2048 токенов. README описывает вариант для запуска через Hugging Face Transformers; для репозитория указана лицензия other, поэтому конкретные условия использования следует проверять по исходной лицензии Guanaco.

TheBloke/guanaco-65B-HF — версия Guanaco 65B, подготовленная TheBloke в формате Hugging Face fp16 для генерации текста. В основе лежит Guanaco 65B Тима Деттмерса; модель получена слиянием LoRA-адаптера с базовой моделью и сохранением весов в fp16. Архитектура — плотная LLaMA с причинной языковой моделью, размер — 65 млрд параметров, длина контекста — 2048 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Репозиторий содержит веса PyTorch для запуска через экосистему Transformers. README не приводит оценок качества или сведений о поддерживаемых языках. Лицензия указана как other, поэтому условия использования следует сверить с исходной карточкой Guanaco; оригинальная карточка в README отсутствует.

DazzlingXeno опубликовал объединённую языковую модель на архитектуре Gemma 2 для генерации текста и диалогов. Модель создана методом SLERP с помощью mergekit из nbeerbower/gemma2-gutenberg-27B и Steelskull/G2-DA-Nyxora-27b-V2. Модель содержит 27,6 млрд параметров, принимает текст и выдаёт текст; длина контекста — 8192 токена. В метаданных указана поддержка диалогового режима. README не описывает отдельные специализированные задачи или языки. Модель распространяется в формате safetensors; сведения о лицензии в доступных данных отсутствуют.

GutenLaserPi — объединённая языковая модель, опубликованная пользователем Stark2008 и созданная с помощью LazyMergekit. Она объединяет flammenai/flammen15-gutenberg-DPO-v1-7B и Eric111/CatunaLaserPi методом SLERP. Модель построена на архитектуре Mistral с 7,1 млрд параметров, принимает текст и генерирует текст; длина контекста — до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. В README приведены результаты Open LLM Leaderboard: среднее значение 21,29, IFEval — 42,27 и BBH — 32,98; подробности оценки в карточке не раскрыты. Репозиторий содержит веса в формате Safetensors. Лицензия не указана в предоставленных данных.

GWQ-9B-Preview2 — англоязычная диалоговая языковая модель, созданная prithivMLmods как дообученная версия GWQ-9B-Preview на базе архитектуры Gemma 2. Это плотная авторегрессионная модель типа decoder-only с 9 млрд параметров, предназначенная для генерации текста и работы в формате чата; максимальная длина контекста — 8192 токена. Модель рассчитана на ответы на вопросы, суммаризацию, генерацию текстов и многошаговые рассуждения. В README указано дообучение на синтетическом наборе Chain of Continuous Thought; модель также может следовать инструкциям. Для запуска используется библиотека Transformers и шаблон чата токенизатора. Модель может ошибаться и галлюцинировать, воспроизводить смещения обучающих данных и испытывать трудности со сложными рассуждениями; её ответы могут быть неактуальны. Для инференса 9-миллиардной модели нужны существенные вычислительные ресурсы, а длинные входы ограничены окном контекста. Репозиторий использует лицензию Gemma.

H2O.ai разработала эту языковую модель на основе Salesforce/xgen-7b-8k-base, дообучив её с помощью H2O LLM Studio на персонализированной подготовке набора OpenAssistant/oasst1. Это плотная авторегрессионная модель семейства Llama с 6,7 млрд параметров, рассчитанная на генерацию текста и диалоговые ответы на английском языке. Контекстное окно составляет 8192 токена. Модель можно применять для создания ответов в чате, продолжения текста и подготовки черновиков на английском языке. Она распространяется под лицензией Apache-2.0. Ответы могут быть ошибочными, нерелевантными, предвзятыми или оскорбительными, поэтому их следует проверять.

Карточка модели Smuggling1710/H4na-7B-v0.1 на Hugging Face совпадает с карточкой Smuggling1710/An4-7Bv2.1, поэтому описание составлено по ней. An4-7Bv2.1 — языковая модель Smuggling1710 для генерации текста. Она дообучена на базе unsloth/mistral-7b-v0.2-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель построена на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов, принимает текст и генерирует текст. Модель подходит для сценариев генерации текста на английском языке. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специализированные задачи или дополнительные возможности модели.

HauhauCS-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модифицированная версия Qwen3.6-35B-A3B, разработанная HauhauCS. Модель предназначена для диалогов, генерации текста, рассуждений, программирования и мультимодальных сценариев с обработкой текста, изображений и видео. Ключевая особенность Aggressive-варианта — удаление отказов при сохранении заявленных возможностей исходной модели; по данным README, модель не отказывает в ответах, хотя иногда может добавлять короткие дисклеймеры. Модель использует гибридную MoE-архитектуру: 35 млрд общих параметров, около 3 млрд активных параметров на один проход, 256 экспертов и 8 маршрутизируемых экспертов на токен. Архитектура включает линейное и полное softmax-внимание в соотношении 3:1, 40 слоёв и нативный контекст до 262 тысяч токенов. Заявлена поддержка английского, китайского и других многоязычных сценариев. Доступны GGUF-квантизации Q2–Q8, включая пользовательские K_P-варианты, оптимизированные с помощью importance matrix; размер файлов составляет примерно от 11 до 44 ГБ. Для работы с изображениями требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, низкое число активных параметров для MoE-модели, мультимодальность, широкий выбор квантизаций и отсутствие встроенных отказов. Ограничения включают высокие требования к памяти, возможное появление дисклеймеров, зависимость качества от выбранной квантизации и необходимость корректной настройки runtime; для llama.cpp рекомендуется использовать флаг --jinja и не менее 128 тысяч токенов контекста для сохранения возможностей рассуждения. Модель распространяется по лицензии Apache-2.0.

Helios-10.7B — объединённая языковая модель автора occultml, созданная с помощью mergekit из jeonsworld/CarbonVillain-en-10.7B-v4 и kekmodel/StopCarbon-10B-v5. Веса объединены методом SLERP; архитектура — плотная LLaMA с причинно-языковой моделью, объёмом около 7,1 млрд параметров и контекстом до 4096 токенов. Модель предназначена для генерации текста и диалогового использования. В карточке приведены результаты оценки на нескольких тестах рассуждения и понимания текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Hermes2-Gutenberg2-Mistral-7B — языковая модель NousResearch, дообученная на базе NousResearch/Hermes-2-Pro-Mistral-7B на наборах jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo методом ORPO. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; веса опубликованы в формате safetensors. Модель предназначена для диалогов и генерации текста по запросу. Её можно применять для ответов в чате, следования инструкциям и создания связного текста; в метаданных также указана возможность работы через интерфейс вызова инструментов. README сообщает о настройке в течение трёх эпох на двух RTX 3090 и приводит результаты Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется по лицензии Apache-2.0. README и метаданные не уточняют целевые языки и конкретные ограничения качества; результаты бенчмарков сами по себе не гарантируют качество в прикладных сценариях.

Hermes-2-Pro-Mistral-7B-GGUF — это GGUF-квантизации языковой модели Hermes-2-Pro-Mistral-7B, разработанной NousResearch на базе Mistral-7B-v0.1. Квантизации подготовлены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи инструкционного общения, чат-сценарии, генерацию структурированного JSON и вызов функций. Модель представляет собой текстовую instruct-модель примерно на 7 млрд параметров, обученную с применением DPO и RLHF на данных, связанных с OpenHermes-2.5, включая синтетические данные и дистилляцию от GPT-4. Она ориентирована на английский язык и использует формат взаимодействия ChatML. Сведения о поддерживаемой длине контекста в README не указаны. Основное преимущество представленной версии — возможность локального запуска с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый и обеспечивает высокое качество при размере около 5,94 ГБ; более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству, особенно Q2_K и Q3_K. К ограничениям относятся ориентация на английский язык, текстовая модальность и возможные потери качества при агрессивной квантизации. Указанная лицензия — Apache-2.0.

Hermes 2 Pro Mistral-7B Infinity-Instruct — языковая модель на 7,1 млрд параметров, разработанная дообучением NousResearch/Hermes-2-Pro-Mistral-7B на наборе BAAI/Infinity-Instruct. Это плотная авторегрессионная модель Mistral для генерации текста и диалогового общения; она загружается через Transformers и распространяется в формате safetensors. В карточке указана длина последовательности обучения 8192 токена, а метаданные сообщают нативный контекст 32768 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста по инструкциям. В README приведены результаты отдельных тестов, включая ARC и BoolQ, но они не гарантируют качество на других задачах. Модель принимает и выдаёт текст; сведения о поддерживаемых естественных языках отсутствуют. Лицензия — Apache-2.0. Ограничения включают возможные ошибки и выдуманные утверждения, характерные для генеративных языковых моделей.

Hermes-2-Theta-Llama-3-8B-GGUF — это квантизированная версия текстовой инструкционной модели Hermes-2-Theta-Llama-3-8B. Исходная модель разработана NousResearch, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp и метода imatrix. Модель основана на NousResearch/Hermes-2-Pro-Llama-3-8B и обучалась с применением методов дообучения, DPO, RLHF, дистилляции и синтетических данных, включая датасет teknium/OpenHermes-2.5. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций на английском языке. Заявлены возможности работы с function calling и JSON mode; для общения используется шаблон ChatML с системными, пользовательскими и ассистентскими сообщениями. Это текстовая модель без заявленной поддержки изображений или других дополнительных модальностей. Размер базовой модели — 8B параметров, однако точный размер контекста в README не указан. Главное преимущество набора — наличие множества вариантов квантизации с разным соотношением качества и требований к памяти: от Q8_0 размером 8,54 ГБ до IQ1_M размером около 2,39 ГБ. В README наиболее рекомендуются варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия в предоставленных данных не указана.

Hermes-2-Theta-Llama-3-8B-IMat-GGUF — это квантованная версия языковой модели NousResearch/Hermes-2-Theta-Llama-3-8B, подготовленная пользователем legraphista с помощью llama.cpp. Модель основана на Llama 3 и дообучена на наборе teknium/OpenHermes-2.5. Она предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет 8 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q2_K и IQ3 до Q8_0, а также в форматах FP16 и BF16. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели. В README указан английский язык, однако сведения о длине контекста и мультимодальности отсутствуют; по представленным данным модель является текстовой. Основные преимущества — широкий выбор размеров файлов, возможность локального использования и наличие низкобитных вариантов, снижающих требования к памяти. Качество зависит от выбранного уровня квантования: более компактные варианты экономичнее, но могут сильнее уступать исходной модели. Лицензия — Apache-2.0.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.

Hermes-3-Llama-3.1-405B-GGUF — это квантизированная версия текстовой генеративной модели Hermes-3-Llama-3.1-405B, разработанной NousResearch и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогов, генерации текста, ролевых сценариев, следования инструкциям, работы с ChatML, function calling и вывода в формате JSON. Указана поддержка английского языка и текстовая модальность. Модель основана на архитектуре Llama 3.1 и содержит 405 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_L, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 93,5 до 431,24 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют значительно больше оперативной или видеопамяти; низкие уровни позволяют экономить ресурсы ценой снижения качества. Квантизации созданы с использованием llama.cpp и imatrix, запуск рекомендуется через LM Studio. Сильными сторонами являются большой размер модели, поддержка инструкций, диалогового формата, function calling и JSON mode, а также широкий выбор вариантов квантизации. Ограничениями выступают исключительно текстовая специализация, заявленная языковая поддержка английского языка и очень высокие требования к памяти даже у компактных вариантов. Контекстное окно в представленном README не указано. Модель распространяется по лицензии llama3.