II.7DevOps, облако и эксплуатация IT-систем

SECWIKI/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — мультимодальная версия Qwen3.6-27B, разработанная HauhauCS на основе модели Qwen/Qwen3.6-27B. Это модификация без встроенных отказов, предназначенная для генерации ответов на широкий круг запросов, включая сценарии, где требуется минимальное количество ограничений. Модель поддерживает текст, изображения и видео, а заявленные языки включают английский, китайский и другие языки в мультиязычном режиме. Модель содержит 27 млрд плотных параметров и распространяется в формате GGUF с различными уровнями квантования, включая специальные варианты K_P, оптимизированные с использованием importance matrix. Архитектура включает 64 слоя, сочетает 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Нативная длина контекста составляет 262 тысячи токенов и может быть расширена примерно до 1 млн с помощью YaRN. Для мультимодальной работы поставляется отдельный компонент mmproj. Сильной стороной модели является сочетание большого контекста, мультимодальности, нескольких режимов генерации и отсутствия отказов, а K_P-квантизации позволяют сохранить качество при уменьшенном размере файлов. Ограничения включают возможное добавление кратких дисклеймеров, повышенные требования к памяти: размер файлов варьируется примерно от 10 до 32 ГБ, а также риски, связанные с отсутствием защитных ограничений. В README указана лицензия Apache-2.0.

Карточка модели bzannah/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 на Hugging Face совпадает с карточкой lactroiii/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, поэтому описание составлено по ней. Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

benjzzz/Qwen3.8-27B-BenQ-6bit — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная автором benjzzz. Веса и vision tower представлены методом BenQ: 6-битные коды с отдельной таблицей значений для каждой строки, что, по README, даёт 6,16 бит на вес с учётом таблиц. Модель принимает текст и изображения и предназначена для диалогов, анализа изображений и программирования; метаданные также указывают интерфейс вызова инструментов. Для генерации текста в README приведён пример с кодом Python.

Youssofal/Qwen3.8-Flash-Next-MTPLX-Bare-Speed — это квантованная версия Qwen/Qwen3.8-Flash-Next, подготовленная для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена для локального диалога, генерации текста и программного кода, включая сценарии работы с OpenCode и другими инструментами разработки. В основе лежит архитектура поколения Qwen4 с гибридной MoE-структурой GDN, Qwen Sparse Attention, памятью n-gram на 51 млрд параметров и встроенной головой multi-token prediction. Заявлены поддержка текста и сохранённая vision tower, контекст до 262 144 токенов; языки в README не указаны. Все MoE-эксперты и плотные матрицы выполнены в плоской 4-битной квантизации с группами по 64 веса, а отдельные компоненты, включая нормализации, параметры GDN, индексатор QSA и MTP-голову, сохраняются в 16-битном формате. Размер загрузки составляет 106,3 ГБ, из которых около 32 ГБ занимает таблица n-gram, потоково читаемая с SSD; резидентные веса занимают примерно 74 ГБ плюс рабочая память. Рекомендуется Apple Silicon Mac с unified memory от 96 ГБ. Адаптивная speculative decoding с глубиной до 3 токенов, по данным README, обеспечивает ускорение до 1,6 раза относительно обычной авторегрессивной генерации, сохраняя распределение вывода при поддерживаемых настройках sampling. Сильные стороны модели — высокая скорость локального запуска, большой контекст и оптимизация под Apple Silicon. Ограничения включают значительные требования к памяти, зависимость от MTPLX и macOS на Apple Silicon, а также компромисс качества, связанный с плоской 4-битной квантизацией; README указывает, что версия Optimized Speed обеспечивает более высокое качество и работает немного медленнее. Лицензия указана как qwen-community-1.0; точные условия следует уточнять в файле LICENSE и документации базовой модели.

Rewnozom-GGUF — это конверсия модели Rewnozom/Rewnozom в формат GGUF, разработанная авторами Rewnozom на основе Qwen/Qwen2.5-7B-Instruct-1M. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, Jan и другие совместимые загрузчики. Указан английский язык, а исходная модель относится к семейству 7B instruct-моделей с контекстом до 1 млн токенов. Модель ориентирована на генерацию текста, рассуждения и задачи, связанные с логикой, декомпозицией запросов, планированием и исправлением планов, маршрутизацией инструментов, управлением состоянием и памятью, retrieval, разрешениями и многоагентной оркестрацией. В README также упоминается обучение на синтетических данных с детерминированными формальными мирами, проверками оракула и машинно проверяемыми ответами. Доступны варианты от F32, F16 и BF16 до низкобитных квантований, включая K-quants, legacy-quants, T-quants и гибридные профили. Сильными сторонами являются широкий выбор размеров файлов и компромиссов между качеством, скоростью и потреблением памяти, а также возможность локального использования. Качество и производительность зависят от выбранного квантования, длины контекста, аппаратного ускорения и характера задач; низкобитные варианты могут заметно менять поведение модели. Контроль разрешений, деструктивных действий и изменения состояния рекомендуется оставлять за детерминированной логикой приложения. Распространение заявлено по лицензии Apache 2.0.

StrangeMerges_18-7B-dare_ties — объединённая языковая модель, созданная Gille с помощью LazyMergekit на основе Gille/StrangeMerges_17-7B-dare_ties и teknium/OpenHermes-2.5-Mistral-7B. В ней используется архитектура Mistral с плотной сетью и 7,1 млрд параметров; модель распространяется в формате Safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы, написания текстов и помощи с кодом; README приводит результаты оценки на бенчмарках рассуждений и понимания текста. Указана лицензия Apache-2.0. README не уточняет языковой охват и отдельные гарантии качества, поэтому результаты на бенчмарках не следует считать обещанием качества для любых сценариев.

Toffee 3B β — языковая модель-ассистент, разработанная zait-ai и дообученная на базе mistralai/Ministral-3-3B-Base-2512. Она предназначена для диалога и выполнения инструкций, включая общие вопросы, математические задачи и программирование. Модель использует плотную архитектуру семейства Mistral, содержит 3,2 млрд параметров и поддерживает контекст до 8192 токенов. Обучение проходило на смесях диалоговых, математических и программных инструкций. В карточке приведены результаты на MMLU, HellaSwag, BoolQ и Winogrande, однако сравнение с другими моделями обозначено как приблизительное из-за различий в настройках оценки. Основной язык — английский. Модель распространяется по лицензии MIT.

Yuan2.0-M32-HF — языковая модель семейства Yuan, разработанная командой Yuan и опубликованная в формате Hugging Face. Это разреженная архитектура Mixture of Experts с 32 экспертами, из которых для каждого токена активируются два; в README указано 40 млрд общих и 3,7 млрд активных параметров. Метаданные репозитория указывают 1,9 млрд параметров, поэтому размер конкретной HF-сборки расходится с описанием семейства в README. Модель обучена с нуля на 2000 млрд токенов и предназначена для генерации текста, в том числе написания кода, математических вычислений и рассуждений, а также ответов на вопросы общего характера. В карточке модели заявлены результаты на HumanEval, GSM8K, MMLU, Math и ARC-Challenge, а архитектура с разреженной активацией призвана снизить вычислительные затраты при работе. Метаданные указывают контекст 4096 токенов, тогда как README для Yuan2.0-M32 сообщает длину последовательности 16K; эти значения относятся к разным описаниям и не совпадают. Модель принимает текст и генерирует текст. Репозиторий использует PyTorch и лицензию Apache 2.0; README также отсылает к отдельному лицензионному соглашению Yuan2.0. Авторы предупреждают, что ответы могут быть неточными и модель может поддаваться вводящим в заблуждение инструкциям.

Zrald-AI Qwen 3.8 27B zraldv1-ac — GGUF-релиз модели Qwen3.8-27B от Zrald, подготовленный для запуска через llama.cpp. В карточке указаны файл размером 17,08 GiB и профиль с приоритетом точности; заявлено сохранение 99,68% точности и минимальная рекомендуемая видеопамять 20 ГБ. README сообщает о физических замерах производительности на AMD Instinct MI300X, но эти показатели зависят от оборудования и конфигурации запуска. Модель предназначена для генерации текста в диалогах, а метаданные также отмечают сценарии программирования и рассуждений. Базовая модель в каталоге описана как мультимодальная, способная анализировать изображения и видео, однако README этого релиза не подтверждает поддержку этих входов, поэтому здесь она не заявляется. Репозиторий содержит GGUF-файл, а метаданные указывают связь с Qwen/Qwen3.8-27B как с базовой моделью. Лицензия — Apache-2.0. Заявленные точность, скорость и требования к VRAM приведены автором релиза и не являются гарантией производительности на другом оборудовании.

CausalLM/35b-beta2ep — разговорная языковая модель на архитектуре Cohere, разработчик в карточке не уточнён. Модель содержит 35 млрд параметров, распространяется в формате safetensors и использует шаблон диалога ChatML. Метаданные указывают контекст 8192 токена; упоминание в README обучения на длинных данных не означает, что эта версия рассчитана на контекст 128K. Модель предназначена для генерации текста в диалоге, общих вопросов, задач на знания и программирование. В README указано обучение на синтетических данных и веб-корпусе в течение одной эпохи; метаданные перечисляют среди обучающих наборов данные для диалогов, математики, инструкций и кода. Поддерживаемые языки по карточке — английский, китайский, японский и немецкий. Модель выпущена под лицензией GPL-3.0. README отмечает, что эта версия не ориентирована на очень длинный контекст; дополнительных сведений о качестве и ограничениях применения в карточке нет.

Chicka-Mixtral-3x7b — языковая модель класса Mixture of Experts, созданная Chickaboo путём объединения трёх моделей на базе Mistral: разговорной OpenChat 3.5, модели для кода CodeNinja и математической MetaMath. Модель имеет архитектуру MixtralForCausalLM, около 7,1 млрд параметров и контекст до 8192 токенов; файлы опубликованы в формате safetensors. Лицензия — MIT. Модель предназначена для генерации текста в диалогах, помощи с программированием и решения математических задач. В README приведены результаты нескольких бенчмарков, однако они не гарантируют качество на конкретных пользовательских запросах. Данные о поддерживаемых языках и специальные ограничения применения в карточке не описаны.

Command R7B (12-2024) — компактное обновление модели Command R+, выпущенное Cohere в декабре 2024 года. Она предназначена для генерации текста и рассчитана на быстрые ответы при работе с дополненной поиском генерацией (RAG), вызовом инструментов и агентными сценариями, где требуется сложное рассуждение. Модель подходит для создания помощников, которые отвечают на вопросы с опорой на документы, используют подключённые инструменты и выполняют многошаговые задачи. В доступных сведениях не указаны размер, архитектура, контекст, языки и лицензия, поэтому их нельзя надёжно описать.

cyberneurova-Qwen3.8-27B-GGUF — набор квантизированных сборок модели cyberneurova-Qwen3.8-27B, разработанной cyberneurova. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, Jan и других средах, поддерживающих формат GGUF, и относится к задачам генерации текста. Модель имеет размер 27B параметров и доступна в вариантах квантизации от Q2_K до Q8_0 объёмом примерно от 10 до 29 ГБ. Рекомендуется вариант Q4_K_M как компромисс между качеством и требованиями к памяти. Заявлена мультимодальность: для обработки изображений требуется отдельный vision projector mmproj-F16.gguf объёмом около 0,9 ГБ. В README приведён пример контекста 8192 токена, однако максимальный размер контекста явно не указан. Языки не заявлены. К сильным сторонам относятся локальный запуск, несколько уровней квантизации, поддержка изображений и заявленный результат базовой модели 11 из 12 на исполняемом бенчмарке программирования. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, необходимость дополнительного проектора для работы с изображениями и наличие сокращённых встроенных отказов; пользователь несёт ответственность за применение модели и соблюдение законодательства. Модель распространяется по лицензии Apache-2.0.

arcee-ai/DeepSeek-R1-bf16 — конверсия весов DeepSeek-R1 из исходного FP8 в BF16. DeepSeek-R1 разработана DeepSeek на базе DeepSeek-V3-Base; она использует обучение с подкреплением и этапы дообучения с учителем для развития навыков рассуждения. В репозитории указаны архитектура DeepSeek V3, 37,6 млрд параметров и контекст длиной до 163 840 токенов. Модель предназначена для генерации текста в диалоге, решения математических задач, программирования и многошаговых рассуждений. Карточка описывает саму DeepSeek-R1 как разреженную MoE-модель с 671 млрд параметров и 37 млрд активируемых параметров, однако метаданные этого репозитория классифицируют архитектуру как плотную и указывают 37,6 млрд параметров; характеристики оригинала не следует переносить на эту конверсию без оговорки. В метаданных также отмечен интерфейс вызова инструментов. В README не приведены сведения о лицензии и отдельных ограничениях для этой конверсии. Для запуска потребуется совместимая среда инференса с поддержкой BF16; пригодность модели зависит от доступной памяти и оборудования.

unsloth/DeepSeek-R1-GGUF — GGUF-версия модели DeepSeek-R1, разработанной DeepSeek и подготовленной компанией Unsloth. Модель предназначена для локального запуска через llama.cpp и сценариев, требующих рассуждений, генерации и анализа текста, а также написания программного кода. В README указан английский язык; другие языки не заявлены. Модель использует архитектуру MoE и представлена в нескольких вариантах динамической квантизации: 1,58 бит, 1,73 бит, 2,22 бит и 2,51 бит. Размер файлов составляет примерно от 131 до 212 ГБ. Более точные варианты требуют больше дискового пространства, но характеризуются лучшей заявленной точностью: от Fair для 1,58-битной версии до Best для 2,51-битной. Для запуска рекомендуется llama.cpp; возможна частичная выгрузка слоёв на GPU. В примерах используется контекст 8192 токена, однако максимальный размер контекста в README не указан. К сильным сторонам относятся существенное уменьшение размера весов за счёт агрессивной квантизации, возможность локального запуска и наличие вариантов с разным компромиссом между качеством и требованиями к ресурсам. Ограничениями являются очень большой объём файлов даже у наиболее сжатых вариантов, необходимость совместимого оборудования и ПО, а также потенциальное снижение точности из-за низкой разрядности. Модель распространяется по лицензии MIT.

squanchyzx/DeepSeek-V4-Flash-0731-HERETIC-Abliterated-FP8 — производная модель от DeepSeek-V4-Flash-0731, разработанной DeepSeek. Релиз создан издателем squanchyzx с использованием Heretic v1.4.0, проекта Philipp Emanuel Weidmann и соавторов. Модель предназначена для генерации текста, рассуждений, работы с инструментами и длительных агентских сессий, особенно в сценариях с большими историями диалога и большим количеством вызовов инструментов. Модель сохраняет официальную архитектуру DeepSeek V4/DSpark, native FP8-представление, официальный encoder, tokenizer и конфигурацию базовой модели. В версии v2 изменены attention output projections в слоях 10–42: применена rank-3 коррекция refusal subspace для режимов chat, think-high и think-max со сниженной силой lambda=1.35. MTP/DSpark-тензоры, эксперты, embeddings, norms, heads и остальные компоненты не изменялись. Заявлено сконфигурированное контекстное окно до 1 048 576 токенов; для запуска требуется DeepSeek-V4-совместимый runtime и официальный encoder. Сильной стороной релиза является целевая проверка устойчивости к деградации в длинных историях: в опубликованных тестах 12 из 12 длинных воспроизведений завершились без повторяющихся последовательностей, переключения скриптов и других патологий, а 6 из 6 проверенных вызовов инструментов были корректными. При этом результаты являются ограниченными релизными тестами, а не универсальным бенчмарком: короткая проверка качества дала 11 из 12 успешных результатов, а refusal smoke — 6 из 16. Совместимость с обычными runtime без поддержки DeepSeek V4 не гарантируется. Модель распространяется по лицензии MIT. При этом используемый проект Heretic имеет отдельную лицензию AGPL-3.0-or-later; README подчёркивает, что Heretic не принадлежит издателю модели.

DeepSeek-V4-Flash-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Flash, разработанной deepseek-ai и опубликованной пользователем teamblobfish. Модель предназначена для генерации текста, агентских сценариев и задач с вызовом инструментов, включая рабочие процессы наподобие Claude Code. Варианты представлены с разной степенью квантизации: от Q8_0 размером около 282 ГиБ до IQ1_S-XL размером около 57 ГиБ. Рекомендуемый вариант Q4_K_M-XL занимает около 163 ГиБ и сочетает 4-битное тело модели с хранением ряда важных тензоров в Q8_0; заявлена поддержка tool calling. GGUF-файлы используют архитектуру DeepSeek V4 с MoE-компонентами и специализированными операциями, включая compressor decode, hyperconnection, lightning indexer, FP8 KV simulation и NextN heads. Для запуска требуется форк llama.cpp с поддержкой V4; стандартный upstream llama.cpp не подходит. Поддерживаются Apple Silicon через Metal, NVIDIA CUDA на совместимых GPU и CPU. ROCm, Vulkan и Metal на AMD не поддерживают необходимые V4-ядра. В репозитории также присутствуют встроенный DSML chat template и калибровочные данные для некоторых вариантов. Проект находится в статусе WIP. Квантизации позволяют уменьшить требования к диску и памяти, однако качество и производительность зависят от выбранного варианта и оборудования; для некоторых старых GPU CUDA-путь FP8 не был проверен в работе. Модель и материалы репозитория распространяются по лицензии MIT.

mlx-community/dolphin3.0-llama3.2-3B-4Bit — 4-битная версия языковой модели Dolphin3.0-Llama3.2-3B, разработанной cognitivecomputations и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1. Модель предназначена для локального запуска через библиотеку mlx-lm и генерации ответов в диалоговом формате с применением chat template, если он поддерживается токенизатором. Модель основана на архитектуре семейства Llama 3.2 и содержит около 3 миллиардов параметров; используется 4-битное квантование, уменьшающее требования к памяти по сравнению с полноформатной версией. В README указано, что основной язык — английский. Обучение или дообучение опиралось на наборы данных для программирования, математики, инструкций, function calling, агентных сценариев и диалогов, поэтому модель ориентирована на ответы по этим типам задач. Сильными сторонами являются компактный размер и готовность к запуску в экосистеме MLX, а ограничениями — возможное снижение точности из-за 4-битного квантования, неизвестные параметры контекстного окна и отсутствие в README подробных результатов оценки качества. Лицензия указана как llama3.2.

ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.

Hermes 2 Pro на Mistral 7B — диалоговая языковая модель, разработанная Nous Research совместно с Interstellarninja и Fireworks.AI. Это дообученная плотная модель Mistral с 7,1 млрд параметров; она использует формат ChatML и контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для вызова функций и формирования структурированных ответов в JSON. Авторы сообщают о точности 90% в собственной оценке вызова функций и 84% в оценке JSON-вывода. Она подходит для ассистентов, которым нужно передавать вызовы инструментам и возвращать ответы по заданной схеме. Модель принимает текст и генерирует текст, включая представления вызовов инструментов и JSON. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Результаты оценок приведены авторами модели; качество ответов и корректность вызовов инструментов следует проверять в целевом приложении.

DevQuasar разместил квантованную в формате GGUF F16 версию языковой модели IBM Granite 4.1 3B. Модель предназначена для генерации текста и диалогового использования; каталог также отмечает поддержку чата. Базовая модель IBM рассчитана на диалоговых ассистентов, работу с кодом и вызов инструментов. В карточке указана базовая модель ibm-granite/granite-4.1-3b. Данных о языках, длине контекста и конкретных ограничениях этой версии в предоставленных источниках нет. Лицензия не указана.

JiRackTernaryGemma4_26b — текстовая диалоговая модель CMSManhattan, созданная на основе Google Gemma 4 26B-A4B-it и адаптированная под тернарную архитектуру JiRack. Она предназначена для генерации текста, общения, программирования и работы с инструментами; в карточке также описаны сценарии маршрутизации и робототехники. Модель имеет архитектуру MoE: около 26 млрд параметров всего, примерно 4 млрд активны на токен, 128 экспертов с выбором top-8. Заявлен путь обучения с квантованием-aware training для тернарных весов; доступны GGUF-варианты от Q3_K_M до Q8_0 и F16, а также safetensors. Модель принимает текст и выдаёт текст. Зрительный модуль исходной Gemma 4 удалён, поэтому обработка изображений не поддерживается. Карточка указывает поддержку 14 языков: английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского. Контекстный размер не приведён. Для тегов робототехники и маршрутизации рекомендуется расширенный токенизатор CMSManhattan/GemmaRoboticsTokenizer; дополнительные 107 токенов требуют расширения эмбеддингов и обучения новых строк перед генерацией соответствующих ID. Карточка ориентирует модель на локальный запуск через CPU, GGUF, llama.cpp и Ollama и приводит оценку требований к памяти для разных квантований. Автор предупреждает, что модель не проверялась на больших контекстах, и просит не переносить на неё результаты исходной Gemma 4. Лицензия — MIT.

K2-Horizon-3.7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-3.7B, разработанной IFM. Это плотная decoder-only языковая модель размером 3,7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Указан английский язык. Модель поддерживает нативный контекст до 524 288 токенов (512K), однако практическая производительность зависит от используемого оборудования и настроек запуска. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 3,02 до 5,39 ГБ. В файлы встроен совместимый с llama.cpp шаблон чата; для вызовов инструментов по умолчанию используется формат XML, также доступны JSON и xml_typed. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream-версии. К сильным сторонам относятся компактный размер, несколько вариантов квантизации и заявленная поддержка очень длинного контекста, а также сценариев программирования и tool use. Ограничения включают зависимость от специализированной реализации llama.cpp, отсутствие в README подробных результатов бенчмарков и характеристик качества, а также отсутствие сведений о мультимодальности и поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

martyn/llama2-megamerge-dare-13b-v2 — слитая модель на архитектуре LLaMA 2, созданная объединением 17 моделей на 13 млрд параметров с помощью DARE. В состав входят базовая LLaMA 2 13B и модели для генерации кода и Python, математики, диалогов и следования инструкциям; автор отмечает, что модель, по-видимому, обобщает разные стили инструкций. Модель предназначена для генерации текста в ответ на запросы, включая диалоговые ответы, код и математические рассуждения. Она принимает текст и выдаёт текст, поддерживает английский язык и имеет контекст длиной 4096 токенов. Репозиторий содержит веса в формате safetensors. Для использования действует лицензия Llama 2. README указывает, что параметры p и lambda выбраны предположительно; качество и поведение объединённой модели отдельно не охарактеризованы, поэтому результаты стоит проверять на целевых задачах.

NVIDIA Llama 3.1 8B Instruct FP8 — FP8-квантизированная версия инструкционно настроенной авторегрессионной языковой модели Meta Llama 3.1 8B Instruct. Модель подготовлена NVIDIA с помощью TensorRT Model Optimizer; README уточняет, что она не принадлежит NVIDIA и была собрана по требованиям стороннего разработчика. Архитектура — трансформер Llama 3.1 с плотной моделью примерно на 7,5 млрд параметров. Модель принимает текстовые последовательности и генерирует текст, поддерживает диалоговый режим и контекст до 128 тысяч токенов. Квантизация весов и активаций линейных операторов до FP8 предназначена для более экономичного и быстрого инференса: в README указано сокращение требований к диску и памяти GPU примерно на 50% и ускорение примерно в 1,3 раза на H100. Предусмотрен запуск через TensorRT-LLM и vLLM на совместимых GPU NVIDIA. Модель подходит для диалогов, генерации и продолжения текста, а также ответов на инструкции. В README заявлено коммерческое и некоммерческое использование; лицензия в метаданных — llama3.1. Качество и скорость зависят от оборудования и среды инференса; оценка ускорения приведена для конфигурации с H100.

Карточка модели mattshumer/Meta-Llama-3-8B-Instruct-LongTest на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

MiniCPM5-2B-heretic — компактная плотная языковая модель семейства MiniCPM5, представленная в карточке как модель для локального запуска на устройствах с ограниченными ресурсами. Она основана на архитектуре LlamaForCausalLM и содержит около 2,2 млрд параметров; README указывает 2,52 млрд параметров всего и 1,98 млрд без эмбеддингов. Контекстное окно составляет 131 072 токена. Модель предназначена для диалоговых помощников, генерации текста, программирования, математических рассуждений, работы с длинным контекстом и сценариев использования инструментов. Карточка заявляет сильные результаты относительно моделей сопоставимого размера в программировании, математике, понимании длинного контекста и агентных задачах, а также пригодность для локального и периферийного развертывания. Эти оценки приведены разработчиками и не являются независимой проверкой. Теги «heretic», «uncensored» и «abliterated» указывают на модификацию с ослабленными отказами, но README не описывает способ её получения; поэтому происхождение именно этой версии нельзя уверенно установить. Модель принимает текст и генерирует текст. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; модель может выдавать нежелательный контент под воздействием специально составленных запросов. Ответы на чувствительные темы не являются профессиональной консультацией, а для практического применения нужны собственные меры безопасности.

Muse-Glimmer-30B-heretic — модифицированная версия мультимодальной модели Meta Muse-Glimmer-30B, подготовленная richardyoung с помощью воспроизводимого запуска Heretic. Это плотный трансформер с энкодером восприятия и примерно 29,6 млрд параметров: модель принимает текст и изображения и поддерживает диалог, управляемое рассуждение и вызов инструментов. Abliteration изменяет веса, ослабляя отказы модели без повторного обучения; в README указано, что выбран один из 200 вариантов с меньшим числом отказов при ограниченном отклонении от исходной модели. Модель предназначена для локальных агентов и сценариев, где нужно анализировать изображения вместе с текстом, планировать шаги, вызывать инструменты, писать и отлаживать код, создавать синтетические данные или оценивать ответы других моделей. Она может соглашаться на запросы, от которых исходная модель отказывается, поэтому ответы могут быть неточными, предвзятыми или нежелательными; многошаговое рассуждение ошибается, а качество на языках вне основного набора может снижаться. Видео не является целевой модальностью, аудио не поддерживается. Веса распространяются по Apache-2.0; README также указывает на политику использования исходной модели Meta, требования которой следует учитывать.

Nanbeige4.2-3B-Base — базовая языковая модель семейства Nanbeige, разработанная командой Nanbeige и обученная с нуля. Это плотная модель с архитектурой Looped Transformer: она повторно использует те же слои, что позволяет увеличить вычислительную ёмкость без увеличения числа параметров. Размер модели — 3,2 млрд параметров, нативная длина контекста — 131 072 токена. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации текста и служит базой для задач рассуждения, математики, программирования, STEM и ответов на вопросы. В карточке сообщается об увеличении объёма обучающих данных до 28 трлн токенов и усиленном представлении математических, кодовых, STEM-данных и синтетических вопросов и ответов. Указаны английский и китайский языки; доступен разговорный режим. Лицензия — Apache-2.0. Модель может выдавать недостоверную информацию, предвзятые или вредные ответы; результаты требуют проверки.

Nemotron-H-4B-Base-8K — базовая языковая модель NVIDIA для продолжения текста. Она использует гибридную архитектуру Nemotron-Hybrid на основе Mamba-2 и слоёв MLP с четырьмя слоями Attention; размер модели — 4 млрд параметров, длина контекста — до 8 тысяч токенов. Модель создана с применением прореживания и дистилляции Nemotron-H-8B-Base-8K на 380 млрд токенов. Модель принимает и генерирует текст. Она поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки; в обучающих данных также был код. Модель подходит для дополнения текста, генерации кода, математических задач и рассуждений. Это базовая модель без обязательного формата промпта; для специализированных сценариев NVIDIA рекомендует адаптацию с помощью инструментов NeMo. Модель предназначена для исследований и разработок и оптимизирована для систем с GPU NVIDIA; в карточке указана лицензия other, конкретные условия которой следует сверить с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичные высказывания и усиление предвзятости из обучающих данных; модель уязвима к атакам, нарушающим выравнивание.