II.7DevOps, облако и эксплуатация IT-систем

Gemma 4 31B it qat JANG_4M CRACK — созданная dealignai модификация Google Gemma 4 31B Instruct для запуска в vMLX на компьютерах Mac с Apple Silicon. Это плотная мультимодальная модель класса Gemma4 с 60 слоями и гибридным скользящим и глобальным вниманием; она принимает текст и изображения, поддерживает диалог, ответы на вопросы, многошаговые рассуждения и генерацию кода. Квантизация JANG_4M использует 8-битную точность для attention и 4-битную для MLP. По заявлению авторов, модель сохраняет возможности зрения и связность ответов; в их тестах MMLU снизился на 1,8 процентного пункта относительно базовой модели. Авторы также сообщают о снятии отказов для широкого набора вредоносных запросов. Это существенно ограничивает безопасное применение модели: она может помогать с опасными действиями. Для запуска требуется vMLX с поддержкой Gemma 4 и Mac на Apple Silicon с достаточной общей памятью; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки Gemma 4. Лицензия — Gemma; авторы указывают исследовательское назначение и ответственность пользователей за соблюдение законов.

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP — модификация Gemma 4 31B-it, разработанная HauhauCS на основе официальных QAT-весов модели Google DeepMind. Это плотная модель на 31 млрд параметров с 4-битной квантизацией Q4_K_M, контекстом до 256K токенов и поддержкой изображений через отдельный mmproj-модуль. В README заявлен английский язык; модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надежность. Вариант Balanced ориентирован на широкий круг пользователей и описан как полностью uncensored-модификация без изменений исходных датасетов и базовых возможностей. В комплект входит MTP draft head для speculative decoding; по данным автора, при использовании через llama.cpp это дает примерно 53% ускорения генерации без изменения проверяемого результата. К сильным сторонам относятся большой контекст, поддержка визуального ввода, 4-битная QAT-квантизация с заявленным близким к полноточному качеством и ускорение генерации с MTP. Ограничения включают крупный размер файлов: основная модель занимает около 18,7 ГБ, mmproj — 1,2 ГБ, а MTP-модуль — 280 МБ. Работа MTP-технологии проверялась автором через llama.cpp, а для LM Studio отмечены возможные сбои в режиме tensor-split при использовании нескольких GPU; рекомендуется использовать одну GPU с layer-split или приоритетным порядком. Лицензия указана как Gemma. В README также отмечено, что заявления об отсутствии отказов основаны на тестах автора и не исключают редких случаев уклонения от ответа на отдельных запросах.

peasantsmith/gpt-oss-120b-PS-IQ4_NL.gguf — это квантизированная версия модели gpt-oss-120b от OpenAI, подготовленная PeasantSmith и BlackFrost AI в формате GGUF для задач генерации текста. Модель использует архитектуру mixture-of-experts; исходные данные README не содержат точных сведений о числе параметров активной части, поддерживаемых языках и модальностях, а также о максимальном контексте. Указано, что вариант IQ4_NL занимает около 71,75 ГБ и имеет показатель 4,91 BPW, поэтому для запуска требуется значительный объём оперативной или видеопамяти. Модель предназначена для локального применения в совместимых средствах инференса, включая llama.cpp, и подходит для диалоговой генерации, ответов на фактические вопросы, программирования и задач, требующих работы с контекстом до 8192 токенов в приведённых тестах. Разработчики сообщают об успешной проверке генерации, реализации LRU-кэша, извлечения значения из контекста длиной 8K и отсутствии ошибок выполнения. Для работы требуется учитывать специальный формат ответов harmony, а результаты тестирования не заменяют независимую оценку качества. Рекомендуемые параметры — temperature 1.0, top-k 0 и top-p 1.0. Это производная квантизация, поэтому лицензия и условия использования определяются лицензией исходной модели gpt-oss-120b от OpenAI и должны быть проверены перед распространением.

ice-AI-i1-GGUF — это набор квантованных вариантов модели ice-AI, разработанной darkps и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста, диалогового взаимодействия и задач программирования; заявлена поддержка нескольких языков. Представлены файлы с различными уровнями квантования, поэтому модель можно запускать на системах с разным объёмом доступной памяти и выбирать компромисс между размером, скоростью и качеством. В репозитории доступны варианты от i1-IQ1_S размером около 2,2 ГБ до i1-Q6_K размером около 6,8 ГБ. Для некоторых вариантов указаны преимущества и ограничения: Q4_K_M обозначен как быстрый и рекомендуемый, Q4_K_S — как оптимальный по соотношению размера, скорости и качества, а отдельные низкобитные варианты характеризуются более низким качеством. Точная архитектура, число параметров, размер контекста, перечень языков и мультимодальные возможности в README не указаны; по описанию модель является текстовой и не поддерживает заявленные мультимодальные сценарии. Лицензия — Apache-2.0.

Infinity-Instruct-3M-0625-Llama3-70B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная причинная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и следования текстовым инструкциям; она не проходила RLHF. Модель использует шаблон чата Llama 3 Instruct, принимает текст и генерирует текст, а её контекст составляет 8192 токена. В карточке заявлены благоприятные результаты на AlpacaEval 2.0, однако приведённая таблица и текст описывают разные варианты модели, поэтому результаты конкретно этой версии следует трактовать осторожно. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения инструкций, в том числе в задачах с кодом и математикой. Модель ориентирована на английский язык согласно метаданным; оснований считать её специально адаптированной для русского нет. Репозиторий распространяется под Apache-2.0, но README отдельно ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; следует учитывать это ограничение и проверять применимые условия перед использованием.

SirSahOl подготовил 16-битную версию модели IFM/K2-Horizon-0.9B для запуска на компьютерах Apple Silicon с помощью MLX. Это плотная причинная языковая модель примерно на 924,5 млн параметров с контекстом до 8192 токенов, предназначенная для диалогов и генерации текста. Базовая модель описана как компактная модель для рассуждений, математики и программирования; эти возможности унаследованы от неё. Модель распространяется в формате safetensors и рассчитана на запуск через MLX. README приводит замеры на Apple M1 и рекомендации по объёму памяти для разных вариантов точности. Для этой версии требуется Apple Silicon M1 или новее; при работе с контекстами длиннее 8 тысяч токенов качество может снижаться. Лицензия — Apache 2.0.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w4a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское применение на английском языке. Она принимает текст на вход и генерирует текст на выходе, поддерживает чатовый режим и может использоваться с backend vLLM, включая OpenAI-совместимую службу. Модель имеет архитектуру LlamaForCausalLM и содержит 8 миллиардов параметров в исходной версии. Веса линейных операторов трансформерных блоков квантизированы в формат INT4 с симметричным покомпонентным масштабированием для групп по 128 параметров. По сравнению с представлением FP16 это примерно на 75% снижает размер модели на диске и требования к памяти GPU. Квантизация выполнена с использованием AutoGPTQ и калибровочного набора Neural Magic. В README приведены результаты восстановления качества относительно неквантизированной версии: 93,0% для Arena-Hard, 98,9% для OpenLLM v1, 96,1% для OpenLLM v2, 99,7% для HumanEval pass@1 и 97,4% для HumanEval+ pass@1. К сильным сторонам относятся уменьшенные требования к памяти и возможность эффективного развертывания при сохранении большей части качества исходной instruct-модели. Ограничением является заявленная область применения преимущественно на английском языке; использование на других языках указано как выходящее за рамки назначения, несмотря на наличие нескольких языков в метаданных карточки. Лицензия — Llama3.1; также необходимо соблюдать ограничения исходной лицензии Meta и применимые законы и нормы.

MJPansa/MiniMax-M2.7-REAP-172B-A10B-AutoRound-W4A16 — экспериментальная сжатая и квантизированная версия модели семейства MiniMax-M2, разработанная на основе MiniMaxAI/MiniMax-M2.7. Это текстовая генеративная модель для продолжения текста, диалогов, программирования и других задач обработки естественного языка; предусмотрена интеграция с vLLM и Hugging Face Transformers. Заявленный язык — английский. Модель использует архитектуру Mixture-of-Experts: 62 трансформерных слоя, 192 эксперта на слой после сокращения исходных 256 экспертов на 25%, top-8 маршрутизацию, скрытый размер 3072, 48 attention heads и 8 KV heads. Всего около 172 млрд параметров, из которых примерно 10 млрд активируются на токен. REAP применён для pruning экспертов, а AutoRound — для квантизации весов в формате W4A16 с 4-битными весами, 16-битными активациями и group size 128. Размер checkpoint составляет около 86 GiB; заявлена поддержка контекста до 32768 токенов при использовании соответствующей конфигурации сервера. Сильная сторона модели — существенно уменьшенный размер и возможность запуска на одной NVIDIA GB10/DGX Spark с 128 GiB unified memory, а также на CUDA GPU с kernels Marlin или GPTQ-Marlin W4A16. Ограничения связаны с экспериментальным статусом: pruning и калибровка выполнены всего на 64 последовательностях длиной 512 токенов из evol-codealpaca-v1, поэтому качество ещё оценивается и может уступать исходной модели. Для Transformers требуется trust_remote_code=True. Модель распространяется по лицензии MiniMax M2.7, обозначенной в README как minimax-m2.7-license.

mistral-7b-neuralhermes-2.5-dpo — разговорная модель семейства Mistral, созданная CorticalStack дообучением teknium/OpenHermes-2.5-Mistral-7B методом DPO на наборе Intel/orca_dpo_pairs. Она предназначена для диалогов и генерации ответов на текстовые запросы; метаданные также отмечают возможность общения в формате чата. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В карточке указаны параметры LoRA: r=16, alpha=16 и dropout=0,05. Модель распространяется по лицензии Apache-2.0. README не описывает отдельные специализированные области применения или подтверждённые языки.

Olmo-3-1125-32B — плотная авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это базовая модель семейства OLMo 3, обученная на 5,50 трлн токенов набора Dolma 3; в карточке также описаны этапы промежуточного обучения и обучения длинному контексту. Модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста на английском языке и может служить основой для прикладных систем, дообучения и экспериментов с языковыми моделями. В обучающих данных представлены веб-страницы, код, математика, вопросы и ответы, инструкции и PDF-документы. Репозиторий содержит веса Safetensors для использования через Transformers версии 4.57.0 или выше. Модель выпущена по лицензии Apache 2.0. Как базовая языковая модель без фильтрации безопасности, она может генерировать вредный или предвзятый контент, а фактические ответы могут быть неточными и требуют проверки.

Qwen2-2B-Dolphin-Hercules — объединённая модель генерации текста на архитектуре Qwen2, созданная сообществом mergekit из M4-ai/Hercules-5.0-Qwen2-1.5B и cognitivecomputations/dolphin-2.9.3-qwen2-1.5b. Модель содержит 1,9 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации ответов на запросы. Базовые модели описаны как англоязычные модели общего назначения; их сценарии включают ответы на вопросы, математику, программирование и письмо. Репозиторий содержит веса Safetensors для Transformers. В README указано слияние методом passthrough с типом данных bfloat16. Лицензия в предоставленных данных не указана.

Qwen3.5-0.8B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная Principled Intelligence. Из контрольной точки удалены веса визуального энкодера; плотная авторегрессионная языковая модель содержит около 581 млн параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Контекстное окно составляет 262 144 токена. Модель подходит для диалоговых приложений и генерации текста, когда обработка изображений не нужна. По данным карточки, она сохраняет токенизатор, шаблон чата и поведение генерации исходной Qwen3.5, а контрольная точка занимает меньше места и требует меньше видеопамяти. Проверена работа с Transformers версии 5.2.0 и выше; другие движки инференса в карточке не заявлены как поддерживаемые. Лицензия — Apache-2.0.

Это 4-битная GPTQ-квантизованная версия модели Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, разработанной DavidAU и основанной на Qwen/Qwen3.8-27B. Данная сборка подготовлена с использованием AutoRound 0.12.3 и поддерживает загрузку через Transformers и высокопроизводительную подачу через vLLM. Модель предназначена для генерации текста, следования инструкциям, рассуждений и программирования. В карточке заявлены режим Heretic/uncensored, уменьшенное количество токенов для чрезмерного обдумывания и автоматически изменяемый размер рассуждений. Указана текстовая языковая модель с поддержкой английского языка; архитектура, размер контекста и дополнительные модальности в README не описаны, хотя pipeline_tag обозначен как image-text-to-text. Ключевые параметры квантизации: веса 4-bit, активации 16-bit, GPTQ с group size 128. Размер модели составляет около 19 ГБ вместо примерно 54 ГБ в FP16, что дает сокращение примерно на 65%. Согласно приведенным тестам на NVIDIA A100 80GB с vLLM 0.27.1, качество на ARC-Easy, HumanEval и BBH сопоставимо с FP16 или немного выше, а различие в WikiText2 perplexity минимально; при этом результаты MMLU немного ниже. Ограничениями являются зависимость от совместимой поддержки GPTQ/AutoRound и отсутствие подробных сведений об исходном обучении, контекстном окне и фактических мультимодальных возможностях. Лицензия модели указана как Apache-2.0. Полные сведения о методике обучения и характеристиках исходной FP16-модели вынесены в отдельную карточку DavidAU.

DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, созданная DavidAU и его командой с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, сторителлинга и ролевых сценариев. По заявлению автора, её настройка направлена на сокращение объёма рассуждений и ускорение генерации при сохранении детализации и качества ответов. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако конкретные возможности обработки изображений в README не описаны. Размер контекста и точная архитектура также не указаны. К сильным сторонам относятся заявленные улучшения решения задач, генерации кода и художественного текста, поддержка нескольких режимов рассуждений, снижение избыточного расхода токенов и варианты для запуска на потребительском оборудовании. Автор сообщает о превосходстве базовой Qwen3.8 27B в ряде внутренних или указанных в README тестов, но независимая проверка этих утверждений не приведена. Ограничения включают возможные потери качества при использовании низкобитных квантов, а также отсутствие подробных сведений о контекстном окне, требованиях к ресурсам и фактической мультимодальной поддержке. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это GGUF-квантизированная версия многоэтапно дообученной и объединённой модели на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Модель подготовлена с использованием Unsloth, методов COLD FUSION и Fable Fusion 711; репозиторий konizquants содержит обычные и MTP-варианты Neo-CODER MAX DI-MATRIX GGUF-квантов. Заявлены языки английский и китайский, а также лицензия Apache 2.0. Точные сведения о длине контекста и полном устройстве архитектуры в README не указаны. Модель предназначена для общих задач, рассуждений и решения задач, программирования, генерации творческих текстов, художественной прозы, ролевых сценариев и работы с различными жанрами. Ключевая цель дообучения — сократить объём токенов рассуждения и ускорить генерацию при сохранении подробности и качества ответов; автор заявляет сокращение от примерно половины до одной десятой по сравнению с обычной Qwen3.8. Доступны варианты с 4- и 8-битным представлением, включая MTP, что ориентировано на запуск на потребительском оборудовании. README приводит высокие результаты внутренних и заявленных бенчмарков ARC, но не содержит независимой верификации. Ограничениями являются зависимость качества и скорости от конкретного кванта и оборудования, отсутствие подробных данных о контекстном окне и модальностях, а также заявленная «uncensored» направленность, из-за которой модель может требовать дополнительного контроля безопасности.

Sonclo/Qwen3.8-sonclo — многоэтапная fine-tune-модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Модель создана для широкого спектра задач: решения задач и рассуждений, программирования, творческого письма, генерации художественных текстов и ролевых сценариев. В README также заявлена специализация на снижении избыточного рассуждения и расхода токенов при сохранении подробности ответов. Модель относится к семейству Qwen3.8 и имеет 27B параметров. Указаны три режима рассуждения, поддержка английского и китайского языков, а также варианты GGUF-квантизации с обычными и MTP-квантами, включая 4- и 8-битные версии. Обучение описано как multi-stage fine-tune и multi-stage merge с применением методов COLD FUSION, Fable Fusion и Unsloth. Репозиторий помечен как image-text-to-text, однако подробности о фактической поддержке изображений и максимальном размере контекста в README не приведены. К заявленным сильным сторонам относятся высокая скорость генерации, сокращение объёма рассуждений, развитые способности к программированию, решению задач и творческой генерации, а также возможность запуска на потребительском оборудовании благодаря GGUF-квантам. Ограничения включают отсутствие независимого подтверждения заявленных бенчмарков в представленном README, возможные риски и особенности uncensored/abliterated-настройки и неизвестные требования к аппаратным ресурсам для конкретных вариантов. Модель распространяется по лицензии Apache-2.0.

RWKV7-G1 «GooseOne» — семейство базовых языковых моделей от BlinkDL на архитектуре RWKV-7, сочетающей свойства рекуррентной сети и языковой модели с авторегрессионной генерацией. Модели предварительно обучены на веб-текстах, коде, синтетических данных, а также инструкционных, диалоговых и рассуждательных примерах; доступны варианты от 0,1 до 13,3 млрд параметров. Указаны словарь из 65 536 токенов и размер головы 64. Модели предназначены для генерации текста, диалога и рассуждений, а также для дальнейшего дообучения и адаптации под конкретные задачи. Автор отмечает локальный запуск на мобильных и настольных устройствах и высокую скорость инференса; приведённые показатели относятся к RWKV-7 7,2B на RTX 5090. В карточке описаны рекомендации по настройкам генерации и вызову функций. Карточка не сообщает длину контекста и не приводит сопоставимых оценок качества, поэтому производительность на конкретных задачах следует проверять отдельно. Модели распространяются по лицензии Apache-2.0.

SuperGemma4-26B-Uncensored-Fast GGUF v2 — локальная GGUF-сборка, опубликованная пользователем Jiunsong и основанная на google/gemma-4-26B-A4B-it. Модель предназначена для диалогов, генерации текста, программирования и сценариев с использованием инструментов. Она позиционируется как менее ограниченная по сравнению со стандартными чат-релизами Gemma, но сохраняет естественное поведение в обычных запросах и не переводит их автоматически в режим программирования или вызова инструментов. Модель использует формат GGUF Q4_K_M и рассчитана на запуск через llama.cpp, в частности на компьютерах Apple Silicon. В README указано, что это MoE-модель, а экспорт выполнен из линии supergemma4-26b-uncensored-fast-v2 MLX. Заявлена поддержка английского и корейского языков; отдельно отмечена проверка на корейских запросах и задачах программирования. Размер контекста и точные параметры активной части модели не указаны. К сильным сторонам относятся компактный локальный формат, высокая скорость работы на Apple M4 Max, улучшения относительно исходной локальной базовой версии в коде, логике, браузерных сценариях и корейском языке, а также встроенный нейтральный шаблон чата, устраняющий известную проблему маршрутизации простых запросов в режим кода или вызова инструментов. Ограничения включают зависимость качества и скорости от оборудования и llama.cpp, квантизацию Q4_K_M и отсутствие в README подробных результатов независимого тестирования. Модель распространяется по лицензии Gemma.

Jebadiah/Tess-gradient-ruby — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе Tess-2.0-Llama-3-8B и Llama-3-8B-Instruct-Gradient-4194k. В README указан метод линейного слияния DARE; модель построена на архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для диалогов и генерации текста по запросам пользователя. Её можно применять для ответов на вопросы, следования инструкциям и помощи с программированием. Метаданные указывают контекст до 8192 токенов и формат весов safetensors; модель работает через библиотеку Transformers. Карточка не приводит результаты оценки качества или подробные ограничения. Лицензия в предоставленных данных не указана.

YamshadowInex12_Percival_01Yamshadow — слитая модель семейства Mistral, созданная на основе automerger/YamshadowInex12-7B и automerger/Percival_01Yamshadow-7B. Она предназначена для генерации текста по текстовым запросам и работает с контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и распространяется в формате Safetensors по лицензии Apache 2.0.

Yuan2-2B-hf — плотная языковая модель с архитектурой YuanForCausalLM, разработанная IEIT System как часть семейства Yuan 2.0. Репозиторий содержит веса PyTorch; модель насчитывает около 1,9 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалогов, а также для сценариев, где нужны понимание семантики, математические рассуждения, работа с кодом и знаниями. Разработчик предоставляет инструменты для дообучения и развёртывания инференса. Карточка приводит оценочные наборы GSM8K, AGIEval-GK-Math, HumanEval и TruthfulQA, но не содержит результатов именно для этой версии в доступной таблице. В README заявлена коммерческая возможность использования при соблюдении лицензии Yuan 2.0; код оригинального репозитория распространяется по Apache 2.0. Модель может выдавать неточные ответы и поддаваться вводящим в заблуждение инструкциям.

ZOZ-Reasoning-Master-3B — компактная языковая модель на 3,09 млрд параметров, разработанная z51722369 на архитектуре Qwen2 и дообученная для работы в роли диалогового агента с инструментами. В карточке описан трёхэтапный процесс обучения: настройка вызова функций и соблюдения схем, дообучение на задачах поиска и рассуждения в длинном контексте, затем диалоговое выравнивание на Magpie-Pro. Указанная в README базовая модель — Qwen2.5-3B-Instruct; метаданные связывают модель с z51722369/ZOZ-Function-Master-3B-LongContext. Модель предназначена для локальных RAG-систем, извлечения данных из документов и многошаговых диалогов, а также для маршрутизации запросов и вызова API или вебхуков. Она принимает текст, поддерживает контекст до 32 768 токенов и выдаёт текст, включая структурированные ответы и вызовы инструментов. README сообщает, что поставляются объединённые веса FP16; лицензия — Apache-2.0. Среди ограничений автор отмечает, что модель на 3B параметров уступает крупным моделям в энциклопедических знаниях и лучше работает, когда ответ опирается на предоставленный контекст или инструменты. Хотя размер контекста составляет 32K токенов, для баланса скорости и памяти в README рекомендованы последовательности длиной 1 024–4 096 токенов.

PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

CleverQwen2-1.5B — объединённая языковая модель на архитектуре Qwen2, созданная автором trollek с помощью mergekit методом Model Stock. В основу слияния взята trollek/Qwen2-1.5B-Instruct-Abliterated; также объединены cognitivecomputations/dolphin-2.9.3-qwen2-1.5b, M4-ai/Hercules-5.0-Qwen2-1.5B и Replete-AI/Replete-Coder-Qwen2-1.5b. Модель содержит 1,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке; объединение моделей включает варианты общего назначения и для программирования. Автор сообщает, что при слиянии число параметров выросло примерно на 300 млн и что модель работает ожидаемым образом, но подробные оценки качества не приводит. Лицензия — Apache-2.0.

Continual AI 2.0B (Reasoning Infused v2) — языковая модель с открытыми весами от Continual AI Research, построенная на архитектуре Mistral. Репозиторий содержит около 1,7 млрд параметров в формате safetensors; README указывает 1,83 млрд параметров, 28 слоёв, Grouped-Query Attention и SwiGLU. Контекст модели составляет 8192 токена. Модель предназначена для генерации текста в диалогах, многошаговых рассуждений, решения математических и логических задач, а также генерации кода. В карточке заявлены механизмы непрерывного обучения, включая индексируемую память и адаптеры пластичности; README также заявляет снижение катастрофического забывания, но не приводит независимых подтверждений этих свойств. Метаданные отмечают возможности чата и работы с кодом. Указан английский язык. Модель можно загружать через Transformers как причинную языковую модель. Лицензия — Apache-2.0. Заявленные в README результаты на математических, логических и алгоритмических задачах описаны без достаточных деталей о методике оценки, поэтому их следует считать заявлениями авторов, а не независимой оценкой качества.

Eurus-70B-SFT — большая языковая модель OpenBMB, дообученная для рассуждений на основе CodeLLaMA-70B. Модель содержит 68,7 млрд параметров, использует плотную архитектуру LLaMA и принимает контекст до 16 384 токенов. Она обучена на корректных действиях из UltraInteract с небольшой примесью примеров UltraChat, ShareGPT и OpenOrca. Модель предназначена для диалогов и решения задач, требующих пошаговых рассуждений, в том числе математических и связанных с программированием. Для кода и математики авторы рекомендуют специальные шаблоны запросов, согласованные с форматами обучающих данных. В README заявлены высокие результаты на сравнительных оценках, но подробные результаты в карточке не приведены. Модель распространяется в формате safetensors по лицензии Apache 2.0.

LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen — дообученная плотная языковая модель семейства Qwen3 на базе Qwen/Qwen3-4B, опубликованная LCM-Lab. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса Safetensors, модель содержит около 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. README озаглавлен «Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers», что указывает на связь модели с исследованием адаптивной разреженности внимания при работе трансформеров. Лицензия — Apache-2.0. Карточка не раскрывает конкретные результаты тестирования или подробные ограничения качества.

duyntnet/gemma-2-27b-it-imatrix-GGUF — набор квантизированных версий instruction-tuned языковой модели Gemma 2 27B IT, опубликованный пользователем duyntnet на базе модели Google gemma-2-27b-it. Формат GGUF предназначен для запуска через llama.cpp и совместимые клиенты, включая KoboldCPP, text-generation-webui и Ollama. Модель относится к задачам генерации текста и поддерживает диалоговое взаимодействие с использованием специального chat template. Известно, что исходные веса модели имеют размер 27 миллиардов параметров и представлены в bfloat16; в данном репозитории опубликованы варианты с квантизацией imatrix. Модель ориентирована прежде всего на англоязычную генерацию, поскольку в карточке указан язык en. Она может применяться для ответов на инструкции, написания текстов, программного кода и других задач text generation. Точный набор квантизаций, размер контекста и архитектурные характеристики в README не указаны. Для запуска подходят llama.cpp и перечисленные совместимые интерфейсы. В README отмечены возможные проблемы Gemma 2 с SDPA и Flash Attention 2, поэтому рекомендуется использовать eager attention; это ограничение относится к исходной модели и способам запуска. Лицензия указана как other, без дополнительных условий в предоставленных данных.

Grafted-Hermetic-Platypus-B-2x7B — языковая модель для диалогов и генерации текста, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-100K. Модель построена на архитектуре Mixtral с механизмом смеси экспертов (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для ответов на инструкции, диалогов и других задач генерации текста. В README указаны два варианта формата запросов: Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты оценок на нескольких тестах, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется по лицензии Apache-2.0. Данные о поддерживаемых языках и специфических ограничениях качества в предоставленных материалах отсутствуют.

Hermes-3-Llama-3.1-8B-GGUF — это квантизированная GGUF-версия языковой модели Hermes-3-Llama-3.1-8B от NousResearch, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая чат, ролевое взаимодействие, следование инструкциям, function calling и работу с JSON. Указан язык модели — английский; формат промптов основан на ChatML. Архитектура и исходный размер соответствуют Llama 3.1 с 8 млрд параметров, однако размер контекста в README не указан. Доступно множество вариантов квантизации от f32 до Q2_K и IQ2_M, что позволяет выбирать между качеством ответов, требованиями к памяти и размером файла. В качестве рекомендуемых отмечены варианты Q4_K_M, Q5 и Q6; более компактные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск, в частности через llama.cpp и LM Studio. Лицензия указана как llama3; дополнительные ограничения и условия распространения в README не описаны.