II.1Анализ требований и архитектура ПО

Sakalti/ultiima-14b-pass1 — языковая модель для генерации текста, созданная с помощью mergekit методом passthrough на основе Sakalti/ultiima-14B. В метаданных указана архитектура Qwen2 с плотной моделью и классом Qwen2ForCausalLM; размер составляет 23,9 млрд параметров, формат весов — safetensors, длина контекста — до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Карточка не описывает отдельные специализированные области или языки. Лицензия в доступных данных не указана.

UwU-Qwen2.5-32B — объединённая языковая модель, созданная nbeerbower методом TIES с помощью mergekit на основе Qwen/Qwen2.5-32B и пяти других моделей семейства QwQ и Qwen. Это плотная авторегрессионная архитектура Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогов; поддерживает интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации и продолжения текста, а также работы с длинными запросами. В метаданных перечислена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

XVERSE-65B-2 — базовая мультиязычная языковая модель, самостоятельно разработанная Shenzhen Yuanxiang Technology. Она использует плотную архитектуру Decoder-only Transformer с 65,6 млрд параметров и поддерживает контекст до 16 384 токенов. Модель обучена на 2,6 трлн токенов из разнообразных источников; токенизатор BPE имеет словарь из 100 534 единиц. Модель предназначена для генерации текста, многошаговых диалогов, ответов на вопросы и суммаризации. В обучающих данных представлены более 40 естественных языков, включая китайский, английский, русский и испанский; наибольший объём данных приходится на английский и китайский. В корпус также входили код, энциклопедии, книги и научные статьи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка описывает базовую предварительно обученную модель, поэтому качество выполнения инструкций или диалога отдельно не заявлено; для запуска также потребуются значительные вычислительные ресурсы из-за размера модели.

AaryanK/Youtu-LLM-2B-GGUF — это набор моделей в формате GGUF, представляющий квантованную версию Youtu-LLM-2B, разработанной Tencent. Модель предназначена для генерации текста, диалоговых приложений, программирования, STEM-задач и агентских сценариев, включая режим рассуждений Chain of Thought. Модель содержит около 1,96 млрд параметров и использует архитектуру Dense MLA. Она поддерживает английский и китайский языки, работает с текстом и имеет нативное контекстное окно до 128K токенов. Благодаря небольшому размеру ориентирована на эффективный локальный запуск, однако для корректной работы архитектуры требуется актуальная версия llama.cpp. Доступны два режима: Reasoning Mode для сложной логики и математики и Normal Mode для более стабильного общения. Модель заявлена как превосходящая многие более крупные модели в STEM-, кодинговых и агентских бенчмарках, но README не приводит конкретных числовых результатов. Распространение осуществляется по лицензии youtu-llm; точные условия следует уточнять в файле лицензии Tencent.

Accio-Lab_occamy-1.0-GGUF — это квантизированная версия модели occamy-1.0, разработанной Accio-Lab и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 35 млрд параметров и предназначена для локального запуска в задачах агентного взаимодействия, совместной работы, использования инструментов и программирования. Модель поддерживает мультимодальный ввод: текст и изображения при наличии файла mmproj. В карточке также заявлены архитектура mixture-of-experts и поддержка длинного контекста, однако точный размер контекстного окна и перечень поддерживаемых языков не указаны. Спекулятивное декодирование не поддерживается, а для квантизации использована imatrix. Доступны варианты от BF16 до низкобитных Q2–Q8, что позволяет выбирать между качеством, требованиями к памяти и скоростью; рекомендуемым универсальным вариантом назван Q4_K_M размером 22,32 ГБ. К сильным сторонам относятся большой размер, поддержка изображений, сценариев tool-use и агентных приложений, а также широкий выбор уровней квантизации. Ограничения связаны с высокими требованиями к памяти даже для компактных вариантов, необходимостью отдельного mmproj-файла для работы с изображениями и отсутствием в README подробных результатов тестирования, сведений о языках и точном контексте. Модель распространяется по лицензии Apache-2.0.

airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных. Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан. Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.

Citaman/command-r-4-layer — созданная Citaman модель семейства Cohere, полученная слиянием весов модели Citaman/command-r-5-layer методом SLERP с помощью mergekit. Это плотная авторегрессионная языковая модель примерно на 5,4 млрд параметров для генерации текста и диалогового взаимодействия; в метаданных также указана поддержка интерфейса вызова инструментов. Модель принимает текст и выдаёт текст, а заявленная длина контекста составляет 8192 токена. Модель подходит для диалоговых ассистентов и генерации ответов или продолжений текста. Доступны веса в формате safetensors; в README для слияния указан тип bfloat16. Лицензия в предоставленных данных не указана.

Dans-PersonalityEngine-V1.1.0-12b-GGUF — квантизированная GGUF-версия языковой модели Dans-PersonalityEngine V1.1.0 с 12 млрд параметров. Исходную модель разработала PocketDoc, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, работы с кодом, математикой, логикой, химией, биологией, климатическими и операционными сценариями, а также для задач с инструментами и функциями. Указан английский язык; поддерживается текстовая модальность и формат диалоговых сообщений ChatML. Модель дообучалась на наборах данных для ассистентских диалогов, персонажей, прозы, программирования, математических и логических задач, научных тем, следования инструкциям, вызова инструментов и работы с командами оболочки. В репозитории доступны варианты от F16 до различных уровней квантования Q4–Q8; это позволяет выбирать между качеством генерации и требованиями к памяти. README не содержит сведений об архитектуре базовой модели, размере контекстного окна, подтвержденных результатах оценки или точных ограничениях применения. Модель выпускается по лицензии Apache-2.0. К основным ограничениям относятся отсутствие заявленных количественных бенчмарков, неполная информация о поддерживаемых языках и контекстной длине, а также возможное снижение качества при использовании более сильного квантования. Для запуска рекомендуется совместимое программное обеспечение, например llama.cpp или LM Studio.

DeepSeek V4 Flash 4Expert Q4K GGUF — это 4-битная квантизированная версия варианта DeepSeek V4 Flash с архитектурой MoE и MLA, опубликованная cloudyu. В конфигурации используются четыре активных эксперта на токен и 43 слоя; эксперты хранятся в формате Q4_K, а проекции внимания и веса общего эксперта — Q8_0. Репозиторий содержит модель в формате GGUF объёмом около 153 ГиБ. Модель предназначена для генерации текста, включая написание кода, рассуждения и ответы на вопросы. README сообщает о результатах оценки на HumanEval, AIME 2025, GPQA Diamond и SuperGPQA; это результаты автора репозитория, а не независимая гарантия качества. Карточка указывает английский и китайский языки. Для запуска требуется движок ds4 с поддержкой конфигурации 4Expert; стандартная upstream-версия ds4 без соответствующих изменений этот файл не загружает. Лицензия — Apache-2.0.

Dolphin 2.9.1 Yi 1.5 9B — языковая модель для диалогов и генерации текста, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе 01-ai/Yi-1.5-9B. Модель с плотной архитектурой семейства Llama содержит 8,6 млрд параметров и распространяется в формате Safetensors с точностью 16 бит. Модель предназначена для ответов на инструкции, общения, задач по программированию и начальных агентных сценариев; заявлена поддержка вызова функций. Использует шаблон ChatML и обучалась на последовательностях длиной до 12 тысяч токенов. В README авторы описывают её как «uncensored» и рекомендуют добавить собственный слой выравнивания перед предоставлением сервиса. Лицензия Apache 2.0 разрешает коммерческое использование.

mlx-community/dolphin-2.9-llama3-70b-4bit — квантизированная 4-битная версия модели Dolphin 2.9 на базе Llama 3, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.11.0. Исходная модель разработана cognitivecomputations. Модель содержит около 69,5 млрд параметров и предназначена для запуска и генерации текста в экосистеме MLX на совместимом оборудовании Apple. Модель ориентирована на англоязычные диалоговые и инструкционные сценарии, включая ответы на вопросы, помощь с программированием, математическими задачами, работу с инструкциями и вызовами функций. Максимальная длина контекста составляет 8192 токена. В метаданных указана лицензия Llama 3.

Falcon-H1-3B-Instruct — многоязычная генеративная языковая модель семейства Falcon-H1, разработанная TII. Это причинная decoder-only модель с гибридной архитектурой Transformer и Mamba; в метаданных указано 2,2 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения. Модель можно запускать через Transformers, vLLM и llama.cpp. В карточке приведены результаты сравнительной оценки на общих тестах, включая BBH и ARC-C. Указана лицензия Falcon-LLM License; её условия следует учитывать перед использованием и распространением.

FlashModel-Qwen3.5-9B-GGUF — набор GGUF-квантизаций модели FlashModel-Qwen3.5-9B, подготовленный flashback2k на базе Qwen/Qwen3.5-9B. Исходная модель дообучена методом LoRA с RSLoRA на проекциях внимания и MLP, затем объединена с базовой моделью. Дообучение выполнено на 9 638 примерах и примерно 45 млн токенов, включая математические задачи, соревновательное программирование, агентные сценарии, следование инструкциям и научные данные. Модель ориентирована на рассуждения, генерацию и анализ кода, диалоги и вызовы инструментов. В карточке указан английский язык; поддержка других языков не заявлена. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах GGUF с разным уровнем квантизации и размером файлов примерно от 4,42 до 6,74 ГБ. Для квантизации использована собственная importance matrix, рассчитанная на этой дообученной модели. Варианты предназначены для локального запуска через llama.cpp, Ollama и LM Studio; заявлена совместимость с инструментальными вызовами и контекстом до 32 768 токенов при использовании рекомендованной конфигурации. Модель текстовая: vision tower отсутствует, поэтому мультимодальный ввод изображений не поддерживается. Сильными сторонами являются специализация на reasoning, coding и tool-calling, выбор вариантов под разные объёмы VRAM или RAM, а также оптимизация GGUF для локального запуска. Ограничения включают неизбежную потерю качества при низкой квантизации, необходимость оставлять память под KV-кэш, отсутствие заявленной поддержки изображений и ограниченность опубликованных сведений об оценках качества. Рекомендуемые параметры генерации взяты из карточки базовой модели и не перенастраивались специально для этого fine-tune; влияние тегов reasoning budget отмечено как экспериментальное. Модель распространяется по лицензии Apache-2.0.

ehristoforu/frqwen2.5-from7b-it — объединённая автором модель семейства Qwen2.5, созданная с помощью mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Это плотная причинная языковая модель для генерации текста и диалогов; доступны интерфейс чата и интерфейс вызова инструментов. В репозитории указаны 12,7 млрд параметров, контекст до 32 768 токенов и формат safetensors; модель рассчитана на работу через Transformers. Модель подходит для диалоговых приложений, генерации ответов и текста, а также сценариев, где требуется подключение инструментов. Базовая Qwen2.5-7B-Instruct предназначена также для генерации кода и структурированных ответов, однако README этой сборки не описывает её специфические улучшения или результаты оценки. Лицензия в предоставленных данных не указана.

Gemma 3 12B IT QAT GGUF — мультимодальная instruction-tuned модель, разработанная Google и представленная сообществом LM Studio в формате GGUF. Это квантизированная версия базовой модели google/gemma-3-12b-it, подготовленная с применением Quantization Aware Training для повышения качества 4-битного вывода. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии обработки текста и изображений. Она поддерживает контекст до 128 000 токенов и максимальную длину вывода 8 192 токена. Изображения обрабатываются после нормализации до разрешения 896 × 896. Сведения о поддерживаемых языках и точном числе параметров, помимо обозначения 12B, в README не указаны. Ключевое преимущество — сочетание мультимодальности, длинного контекста и оптимизированного 4-битного квантования, что может снизить требования к ресурсам по сравнению с полноточной моделью. Ограничения включают возможные неточности, вредные или неподходящие ответы, характерные для генеративных моделей. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

Abiray/Gemma-4-12B-it-AEON-Abliterated-K4-GGUF — это GGUF-квантизированная версия инструкционной модели Gemma-4-12B-it-AEON-Abliterated, разработанной AEON-7 на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, чат-взаимодействия, выполнения инструкций, рассуждений, программирования, а также сценариев с tool calling и function calling. В карточке указана поддержка английского языка. Модель использует архитектуру gemma4_unified и содержит около 12 миллиардов параметров. Отличительная особенность — abliteration с применением пользовательской K=4 multi-direction norm-preserving biprojection, призванной сохранять качество генерации и устранять стандартные шаблоны отказов. Репозиторий предоставляет варианты квантизации от 3 до 8 бит: размеры файлов составляют примерно от 6,09 до 12,70 ГБ. Рекомендуемый вариант Q4_K_M занимает 7,38 ГБ и рассчитан на запуск на одной видеокарте уровня T4 или RTX 3060/4060; Q8_0 близок к точности BF16 и требует около 16 ГБ видеопамяти. В примере запуска указан контекст 4096 токенов, но максимальный размер контекста в README не заявлен. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска через llama.cpp и llama-cpp-python, поддержка локального развёртывания и ориентация на сценарии, где требуется меньше отказов. Ограничения включают отсутствие заявленных сведений о качестве на стандартных бенчмарках, неполные данные о мультимодальности и максимальном контексте, а также возможные риски, связанные с удалением стандартных механизмов отказа. Модель распространяется под лицензией Gemma.

tepirale/gemma-4-12B-merge-coder40-agentic40-it20-linear — объединённая модель на архитектуре Gemma 4 Unified, созданная с помощью mergekit линейным слиянием трёх моделей: Gemma 4 12B IT от Google и двух вариантов Gemma 4 12B от tepirale, настроенных на кодирование и агентные задачи. В конфигурации указаны веса 0,4 для каждой специализированной модели и 0,2 для Gemma 4 IT, а также нормализация и формат bfloat16. Модель предназначена для диалога и генерации текста с визуальным вводом; объединение кодовой и агентной специализаций предполагает применение в программировании и агентных сценариях. Метаданные классифицируют её как image-text-to-text и отмечают поддержку vision. Базовая Gemma 4 12B IT описана как мультимодальная модель для анализа текста, изображений, видео и аудио, однако README этой модели не подтверждает сохранение всех этих возможностей после слияния. Модель распространяется по лицензии Apache-2.0. Размер параметров и длина контекста в предоставленных данных не указаны.

Gemma-4-26B-A4B-JANG_2L-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-26b-a4b-it. Это вариант с ослабленными отказами и смешанной 2-битной квантизацией JANG_2L: критические компоненты хранятся в 8 битах, важные — в 6, а большая часть весов экспертных блоков — в 2 битах. По данным карточки, модель занимает 9,9 ГБ и использует архитектуру MoE с 128 экспертами, из которых активируются восемь, и гибридным скользящим и глобальным вниманием. Модель предназначена для диалогов, программирования, общих вопросов и работы с изображениями; поддерживает режим рассуждений. Автор сообщает о тестировании генерации кода и запросов по информационной безопасности, а также приводит собственные результаты MMLU и HarmBench. Эти показатели получены на тестах автора и не гарантируют качество в других сценариях. Для запуска рекомендованы vMLX или совместимый движок MLX с поддержкой Gemma 4; заявлены Apple Silicon и не менее 16 ГБ объединённой памяти. Лицензия — gemma; автор обозначает модель как исследовательскую и возлагает на пользователей ответственность за соблюдение применимых законов.

Gemma 4 E4B-it QAT MXFP4 CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-e4b-it. Это плотная модель с гибридным скользящим и глобальным вниманием, дообученная с удалением отказов и квантизированная до 4-битного формата MXFP4. Она принимает текстовые запросы, изображения и аудио, а также предназначена для диалога, ответов на вопросы, многошаговых рассуждений и генерации кода; в метаданных также заявлен интерфейс вызова инструментов. В README автор сообщает о сохранении визуальных и аудиовходов, проверке генерации кода и снижении результата MMLU на 3,9 процентного пункта относительно базовой модели. Удаление отказов означает, что модель может выполнять вредоносные запросы; заявленные результаты HarmBench приведены автором и не являются независимой оценкой. Для запуска требуется Apple Silicon с достаточной объединённой памятью и vMLX с поддержкой Gemma 4. Лицензия — Gemma; автор публикует модель для исследовательских целей.

Карточка модели unsloth/GLM-4-9B-0414 на Hugging Face совпадает с карточкой zai-org/GLM-4-9B-0414, поэтому описание составлено по ней. GLM-4-9B-0414 — текстовая генеративная модель семейства GLM-4 от Z.ai. По метаданным это плотная архитектура GLM-4 с 8,8 млрд параметров, рассчитанная на контекст до 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. Модель поддерживает диалог и интерфейс вызова инструментов. Она предназначена для генерации текста в диалоге и решения общих задач с инструкциями. В README описан вариант GLM-Z1-9B-0414 с усиленными рассуждениями, особенно в математике, однако карточка относится к GLM-4-9B-0414, поэтому эти свойства нельзя уверенно приписать ей. Метаданные указывают китайский и английский языки. Лицензия — MIT.

RedHatAI/GLM-5.3-Flash-NVFP4 — квантизированная версия модели zai-org/GLM-5.3-Flash, разработанная RedHatAI. Модель использует архитектуру Glm5NextForConditionalGeneration, принимает текст и изображения и генерирует текст. Заявленные языки — английский и китайский. Размер модели и длина контекста в предоставленных данных не указаны. Веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), а слои MTP сохранены в FP8. Квантизация выполнена с помощью LLM Compressor, модель экспортирована в формате compressed-tensors и предназначена для инференса через vLLM. По данным README, такое сжатие примерно на 50% уменьшает объём диска и требования к памяти GPU для квантизированных весов по сравнению с 8-битным представлением. Также заявлена поддержка speculative decoding и автоматического выбора инструментов при соответствующей настройке vLLM. Модель ориентирована на мультимодальные и текстовые сценарии генерации, включая задачи рассуждения. В приведённой оценке она показала 97,74% на GSM8K Platinum, 94,87% на MATH-500, 86,67% на AIME 2025 и 90,57% на GPQA Diamond; результаты усреднены по нескольким запускам. Ключевое преимущество — снижение потребления дисковой и GPU-памяти при сохранении возможностей исходной модели, однако FP4-квантизация может влиять на качество и требует совместимой инфраструктуры. Модель распространяется по лицензии MIT.

GPT-4o версии от 6 августа 2024 года — мультимодальная модель OpenAI. Карточка указывает на улучшенную поддержку структурированных ответов: можно передать JSON Schema через параметр response_format, чтобы задавать формат вывода. Модель предназначена для генерации ответов в заданной структуре, включая JSON. В метаданных задача классифицирована как image-text-to-text, однако приведённый фрагмент карточки не описывает конкретные сценарии обработки изображений, архитектуру, размер, поддерживаемые языки или длину контекста. Условия лицензии в предоставленных данных не указаны.

granite-4.2-3b-GGUF — это квантованная версия языковой модели granite-4.2-3b, разработанной IBM (ibm-granite) и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения, диалоговых сценариев и вызова инструментов. Она принимает только текстовые данные и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель содержит около 4 млрд параметров. Квантование выполнено с использованием llama.cpp и метода imatrix; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантов размером примерно от 1,57 до 7,32 ГБ. В README не указаны архитектура и размер контекстного окна, а speculative decoding не поддерживается. Более компактные варианты экономят оперативную память, но могут снижать качество; Q4_K_M обозначен как сбалансированный вариант для большинства сценариев, а Q5–Q6 — как варианты с более высоким качеством. Модель распространяется по лицензии Apache-2.0. Для корректной работы рекомендуется использовать указанный шаблон prompt с секцией рассуждений <think> и совместимый рантайм llama.cpp.

Hermes-2-Pro-Llama-3-13B — плотная авторегрессионная языковая модель семейства Llama, созданная объединением предварительно обученных моделей с помощью mergekit. В README указана базовая модель NousResearch/Hermes-2-Pro-Llama-3-8B; метаданные описывают модель как дообученную производную этой модели. Репозиторий содержит веса Safetensors, всего 11,4 млрд параметров, с контекстом 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на инструкции. Метаданные каталога также указывают на возможности чата; описание базовой модели связывает семейство Hermes-2-Pro с вызовом функций и генерацией структурированных данных в JSON. Основной язык и отдельные профильные области применения в карточке не обозначены. Лицензия в предоставленных данных не указана. README называет метод слияния passthrough, но перечень объединённых моделей и детали конфигурации опущены, поэтому состав слияния нельзя установить полностью.

Hermes-3-Llama-3.1-8B-IMat-GGUF — квантизированная версия текстовой генеративной модели NousResearch/Hermes-3-Llama-3.1-8B, подготовленная legraphista в формате GGUF для llama.cpp. В основе лежит модель семейства Llama 3.1 с 8 млрд параметров; исходный тип данных — BF16. Указан английский язык, а назначение модели — генерация текста и диалоговое взаимодействие. Модель предназначена для чат-сценариев, следования инструкциям, ролевого общения, работы с ChatML, генерации структурированных ответов в JSON и function calling. Доступны варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов; часть низкобитных вариантов использует IMatrix для снижения потерь качества при уменьшении размера. Это позволяет запускать модель на более ограниченных по памяти системах, выбирая компромисс между качеством, скоростью и требованиями к ресурсам. В README не указаны размер контекстного окна, мультимодальные возможности, результаты бенчмарков и подробные ограничения качества, поэтому модель следует считать текстовой и ориентированной прежде всего на английский язык. Квантизация может приводить к снижению точности по сравнению с исходной BF16-моделью, особенно в наиболее компактных вариантах. Лицензия указана как Llama 3; условия её применения следует уточнять в лицензии исходной модели.

Locutusque/Hyperion-3.0-Yi-34B — языковая модель Locutusque, дообученная на 150 000 примерах набора Hyperion-v3.0. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, предназначенная для диалогов, ответов на вопросы и генерации кода; в карточке также заявлены математические и логические рассуждения, а также понимание медицинских и научных текстов. Модель рассчитана прежде всего на англоязычные запросы и охватывает задачи программирования, медицины, математики и научных рассуждений. Её можно применять в учебных помощниках, технических чат-ботах и инструментах поддержки специалистов. Контекст составляет 4096 токенов; веса опубликованы в формате safetensors для Transformers. Автор README указывает лицензию Yi NC, тогда как метаданные Hugging Face содержат лицензию other; условия использования следует сверять с файлами лицензии в репозитории. Карточка предупреждает о возможной непоследовательности ответов из-за качества и разнообразия данных, а также о высокой склонности модели выполнять запросы; результаты оценки в README не приведены.

Jan-v1-AIO-GGUF — набор GGUF-квантованных версий моделей семейства Jan-v1, опубликованный prithivMLmods. В состав входят Jan-v1-2509, Jan-v1-edge и Jan-v1-4B, предназначенные для локального запуска через совместимые inference-движки, интеграции с приложением Jan, автономной работы и повышения приватности. Модели ориентированы на генерацию текста, агентское рассуждение, решение задач, использование инструментов, ответы на фактические вопросы и сценарии с веб-поиском. Jan-v1-4B — языковая модель на 4 млрд параметров, построенная на архитектуре Qwen3-4B-thinking и поддерживающая контекст до 256 000 токенов. Для неё заявлена точность 91,1% на бенчмарке SimpleQA. Jan-v1-edge — облегчённая модель для быстрой работы на устройствах с ограниченными ресурсами; она дистиллирована из более крупной Jan-v1 и дообучалась в два этапа: supervised fine-tuning и reinforcement learning with verifiable rewards. В README точные размеры Jan-v1-2509 и Jan-v1-edge, а также сведения о мультимодальности не указаны. Поддерживается английский язык. Доступны варианты с разными типами квантования — от Q2_K до Q8_0, а также BF16, F16 и F32, что позволяет выбирать между размером файлов, требованиями к памяти и потенциальным качеством. Размеры файлов варьируются примерно от 778 МБ до 16,1 ГБ в зависимости от модели и формата. Ограничения включают зависимость производительности от выбранного квантования и оборудования, а также отсутствие в README подробных результатов для всех вариантов. Модели распространяются по лицензии Apache-2.0.

JiRack DeltaNet 180B — текстовая диалоговая модель CMSManhattan на основе Qwen3.8-Flash-Next. Она предназначена для генерации текста, работы с инструментами и агентных сценариев, включая маршрутизацию, программирование и использование в RAG-системах. Модель содержит около 180 млрд параметров общей ёмкости, из которых примерно 6 млрд активны на каждом токене; в карточке описана архитектура Mixture-of-Experts с Gated DeltaNet, разреженным вниманием Qwen и маршрутизацией между экспертами. Указаны форматы GGUF и Safetensors, а также варианты GGUF Q3_K_M и Q4_K_M. Сборка JiRack пока текстовая, хотя базовая Qwen3.8-Flash-Next поддерживает изображения и видео. README сообщает, что текущие веса численно совпадают с базовой моделью: QAT ещё не завершён, поэтому заявленные преимущества троичных весов пока не реализованы. Карточка описывает многоязычное применение, включая русский, английский, китайский, японский и другие языки. Лицензия указана как other; конкретные условия следует проверять в репозитории модели.

JiRackTernaryGemma4_26b — текстовая диалоговая модель CMSManhattan, созданная на основе Google Gemma 4 26B-A4B-it и адаптированная под тернарную архитектуру JiRack. Она предназначена для генерации текста, общения, программирования и работы с инструментами; в карточке также описаны сценарии маршрутизации и робототехники. Модель имеет архитектуру MoE: около 26 млрд параметров всего, примерно 4 млрд активны на токен, 128 экспертов с выбором top-8. Заявлен путь обучения с квантованием-aware training для тернарных весов; доступны GGUF-варианты от Q3_K_M до Q8_0 и F16, а также safetensors. Модель принимает текст и выдаёт текст. Зрительный модуль исходной Gemma 4 удалён, поэтому обработка изображений не поддерживается. Карточка указывает поддержку 14 языков: английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского. Контекстный размер не приведён. Для тегов робототехники и маршрутизации рекомендуется расширенный токенизатор CMSManhattan/GemmaRoboticsTokenizer; дополнительные 107 токенов требуют расширения эмбеддингов и обучения новых строк перед генерацией соответствующих ID. Карточка ориентирует модель на локальный запуск через CPU, GGUF, llama.cpp и Ollama и приводит оценку требований к памяти для разных квантований. Автор предупреждает, что модель не проверялась на больших контекстах, и просит не переносить на неё результаты исходной Gemma 4. Лицензия — MIT.