II.4Отладка, тестирование и качество ПО

Huihui-Qwen3.6-35B-A3B-abliterated-NVFP4 — квантованная версия модели huihui-ai/Huihui-Qwen3.6-35B-A3B, подготовленная пользователем YuYu1015. Модель предназначена для генерации текста, диалоговых и рассуждающих сценариев, а также использования с вызовом инструментов. Она поддерживает режим рассуждений, tool calling через парсер qwen3_xml и спекулятивное декодирование MTP; совместимость с DFlash также заявлена. В основе лежит MoE-архитектура с 35 млрд параметров в общей сложности и примерно 3 млрд активных параметров: 256 экспертов, 8 маршрутизируемых и 1 общий эксперт, в сочетании с GDN/Mamba и механизмом внимания. Поддерживается контекст до 262 144 токенов, языки — английский и китайский. Модель использует NVFP4-квантизацию W4A4, занимает около 25,1 ГБ вместо примерно 71,9 ГБ в исходном формате BF16 и оптимизирована для NVIDIA DGX Spark с GPU GB10 SM121. Основные преимущества — существенно сниженные требования к памяти, сохранённые MTP-веса в BF16 и специальная смешанная калибровка на диалоговых и рассуждающих данных для восстановления точности. Ограничения включают зависимость от совместимых версий vLLM, FlashInfer и CUDA, а также необходимость подходящего оборудования и программного стека для заявленного режима W4A4. После abliteration распределение активаций отличается от исходного, поэтому эффективность DFlash снижается; для этой версии рекомендуется MTP с одним спекулятивным токеном. Модель распространяется по лицензии Apache-2.0.

ICT-TIME-and-Querit-embedding-v1 — модель текстовых эмбеддингов, разработанная ICT-TIME-and-Querit на основе Qwen3-4B. Она предназначена для поиска по смыслу, сопоставления предложений, ранжирования и других задач, где текст нужно представить в виде векторов. Модель использует архитектуру Qwen3 с 3,7 млрд параметров, pooling по последнему токену и контекст до 40 960 токенов по метаданным (в README указано 32k). Модель обучена на общих текстовых данных и данных для поиска кода, а итоговая версия объединяет модели двух этапов обучения методом Multi-SLERP. В README приведены результаты на MTEB English v2, HUME и MTEB Code; заявленная область применения охватывает как обычные тексты, так и код. Основной язык обучения — английский, также в обучающих данных есть китайские и другие языки. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Показатели бенчмарков из README не гарантируют такого же качества на конкретных данных; особенно важно оценивать модель на целевом языке и домене.

IFM/K2-Horizon-MoVA-36B-A4B-FP8 — открытая FP8-квантизованная версия модели K2-Horizon-MoVA-36B-A4B, разработанная IFM. Это разреженная Mixture-of-Experts-модель с механизмом внимания Mixture-of-Values (MoVA), содержащая 36 млрд параметров, из которых около 4 млрд активируются для каждого токена. Модель предназначена для генерации текста, агентских сценариев и задач, требующих рассуждений. Модель поддерживает английский язык и нативный контекст до 524 288 токенов. Квантизации FP8 подвергнуты маршрутизируемые линейные слои экспертов в слоях трансформера 3–47: веса используют статический FP8 E4M3FN, а активации — динамический FP8. Остальные основные тензоры, включая attention, общие эксперты, маршрутизаторы, первые плотные слои, MoVA-экспертов значений, нормализацию, embeddings и lm_head, сохранены в BF16. Благодаря этому снижается объём памяти и ускоряется инференс на оборудовании с поддержкой FP8 при близком к исходной BF16-модели качестве. Сильные стороны модели — высокий заявленный уровень результатов при небольшом числе активных параметров, длинный контекст и эффективность разреженной архитектуры. Для обслуживания рекомендуется tensor parallelism с TP=1 или TP=2. Ограничения включают зависимость преимуществ FP8 от совместимого оборудования и инфраструктуры, а также отсутствие в предоставленных данных подробной оценки качества по отдельным задачам и языкам. Модель распространяется под лицензией Apache-2.0.

Primitive AI представляет квантизированную версию IFM/K2-Horizon-MoVA-36B-A4B — разреженной MoE-модели для генерации текста, рассуждений и вызова инструментов. Модель предназначена для серверного инференса и сценариев, где важны качество рассуждений, tool calling и размещение на одной видеокарте. Поддержка интегрирована в ветку main проекта vLLM; опубликованный вариант рассчитан на использование с Transformers, compressed-tensors и vLLM. Модель имеет 45 разреженных слоёв и общий размер 36B параметров при активных примерно 4B параметров на токен. В данной сборке 15 экспертных слоёв используют NVFP4, а остальные 30 — FP8 с блочными масштабами [128,128]. Размер файлов составляет 44,48 ГБ, что примерно на 8% меньше официальной FP8-версии и в 1,7 раза меньше BF16-варианта. Заявлена работа с контекстом до 32 768 токенов; на одной 96-ГБ видеокарте модель запускается без tensor parallelism. Сведения о поддерживаемых языках в README не указаны. Сильными сторонами являются сохранение уровня знаний, сопоставимого с BF16 и официальной FP8-версией, а также более высокая точность вызова инструментов по сравнению с альтернативной сборкой на чистом NVFP4. Модель требует GPU с архитектурой NVIDIA Blackwell и не тестировалась для Ampere, поскольку использует FP8-тензорные ядра. Для запуска нужен nightly или сборка vLLM из main с поддержкой K2-Horizon; стабильная версия 0.28.0 эту поддержку не содержит. Настройка уровня рассуждений выполняется на уровне сервера. Модель распространяется по лицензии Apache-2.0.

Llama-3.1-Nemotron-92B-Instruct-HF-early — текстовая диалоговая модель на архитектуре Llama, созданная слиянием весов через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Репозиторий содержит модель примерно с 90,9 млрд параметров в формате safetensors; для работы используется библиотека Transformers. Модель предназначена для генерации ответов на инструкции и диалоговых запросов, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Длина контекста составляет 131 072 токена. В карточке не приведены сведения о поддерживаемых естественных языках и лицензии, поэтому их нельзя уточнить; условия использования следует сверить с лицензией базовой модели и репозитория.

unsloth/Llama-3.2-3B-unsloth-bnb-4bit — это 4-битная квантизованная версия instruction-tuned модели meta-llama/Llama-3.2-3B-Instruct, подготовленная Unsloth на базе модели Meta. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на многоязычный диалог, включая задачи агентного поиска и извлечения информации, суммаризации и общего текстового взаимодействия. Она работает в режиме «текст на входе — текст на выходе» и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Версия содержит около 3 млрд параметров; размер контекста в предоставленных данных не указан. Ключевое преимущество варианта — снижение требований к памяти за счёт 4-битной квантизации Unsloth Dynamic 4-bit, которая выборочно сохраняет отдельные параметры для уменьшения потери точности по сравнению со стандартной 4-битной квантизацией. Ограничения включают меньший размер и, следовательно, потенциально более низкие возможности по сравнению с крупными моделями, а также отсутствие заявленной поддержки изображений и других модальностей. Модель статична и обучена на офлайн-данных, поэтому не обладает встроенными актуальными знаниями. Использование регулируется лицензией Llama 3.2 и соответствующей Acceptable Use Policy. Для языков, не входящих в официальный перечень, допустима дополнительная настройка при соблюдении этих условий.

Карточка модели nuottroisaoduoc/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

Rubra AI выпустила эту инструктивную версию Meta-Llama-3-70B, дополнительно обученную на собственном наборе данных для диалогов, выполнения инструкций и вызова функций. Модель предназначена для многошаговых бесед, в которых ассистент может вызывать инструменты и продолжать диалог с учётом полученных результатов. Это плотная авторегрессионная языковая модель архитектуры Llama с 69,5 млрд параметров. Она принимает текст и генерирует текст; карточка указывает поддержку английского языка и контекст до 8192 токенов. Модель доступна в формате safetensors для Transformers. Модель подходит для диалоговых ассистентов и сценариев с интеграцией инструментов. Она может выдавать ошибочные или предвзятые ответы, поэтому результаты требуют проверки, особенно в чувствительных и критически важных областях. Указана лицензия Llama 3 (llama3).

hugging-quants/Mixtral-8x7B-Instruct-v0.1-AWQ-INT4 — общественная квантованная версия инструкционной модели Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и работу в формате chat completion. Указанные языки: французский, итальянский, немецкий, испанский и английский. В основе лежит генеративная разреженная архитектура Mixture of Experts с конфигурацией 8x7B. Версия в репозитории преобразована из FP16 в INT4 с использованием AutoAWQ, GEMM-ядер, zero-point-квантования и размера группы 128. Поддерживаются Transformers, AutoAWQ и Text Generation Inference. Размер контекстного окна и точное число параметров в README не указаны. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноточной моделью при сохранении возможностей исходной Mixtral; в README также заявлено превосходство над Llama 2 70B в большинстве протестированных бенчмарков. Для загрузки чекпойнта требуется около 24 ГиБ VRAM без учета KV-кэша и CUDA Graphs, поэтому необходим запас видеопамяти. Квантование INT4 может влиять на точность по сравнению с исходной версией. Лицензия — Apache-2.0.

Muse-Glimmer-30B-Abliterated-GGUF — экспериментальная версия 30-миллиардной агентной on-device-модели Muse Glimmer, разработанная Blackfrost на базе meta-models/Muse-Glimmer-30B от Meta. Модель распространяется в формате GGUF для локального запуска через llama.cpp на одной потребительской видеокарте или CPU, полностью офлайн. Вариант abliterated получен изменением весов, направленным на удаление отказов модели; заявленные тесты на 450 запросах показали отсутствие истинных отказов, однако эти результаты относятся к родительской модели и могут не отражать все сценарии использования. Архитектура muse_glimmer включает 52 слоя, скрытое пространство размером 6656, GQA с 32 query- и 2 key/value-головами, sliding-window attention и vision tower. Поддерживаются текстовые и визуальные входы, при этом для обработки изображений требуется отдельный mmproj-проектор. Контекстное окно составляет 131 072 токена. Доступны квантизации от Q2_K до Q8_0 размером примерно от 10 до 27,6 ГБ; рекомендуемым балансом качества и размера назван Q4_K_M. Для ускорения генерации предусмотрен DFlash drafter со speculative decoding в llama-server. Модель предназначена для локальных агентных, мультимодальных, кодовых и общих диалоговых сценариев, включая работу в условиях ограниченного или отсутствующего сетевого доступа. К сильным сторонам относятся большое контекстное окно, локальная работа, широкий выбор квантизаций и поддержка спекулятивного декодирования. Ограничения включают экспериментальный статус, необходимость совместимой свежей версии llama.cpp, значительные требования к памяти, а также потенциальные риски и непредсказуемость поведения из-за удаления защитных отказов. Базовая модель и производная распространяются по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и квантизированной компанией Second State Inc. Модель предназначена для генерации текста в формате text-generation и диалогового использования через шаблон chatml, включая работу как сервиса LlamaEdge. В README также указан prompt template для взаимодействия с системными и пользовательскими сообщениями. Модель имеет архитектуру Mixture-of-Experts, о чём свидетельствует обозначение 30B-A3B, однако подробные характеристики архитектуры и языков в README не приведены. Поддерживается контекст размером до 256 000 токенов. Доступны варианты GGUF с разной точностью квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, поскольку обеспечивают баланс между размером и потерей качества. Сильной стороной модели являются большой контекст и широкий выбор вариантов квантизации, позволяющий адаптировать требования к памяти и качеству. Ограничения связаны с потенциальной потерей качества при низкой точности квантизации; кроме того, версия LlamaEdge в README указана как находящаяся в разработке. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.5-9B-Brainwaves-GGUF — это набор квантованных GGUF-версий модели nightmedia/Qwen3.5-9B-Brainwaves, подготовленный пользователем mradermacher. Модель относится к семейству Qwen и предназначена для запуска через совместимые инструменты, поддерживающие формат GGUF. В описании заявлены диалоговые сценарии, генерация текста, программирование, математические и STEM-задачи, исследовательская работа, рассуждения, творческое и художественное письмо, а также ролевые сценарии. Размер базовой модели составляет около 9 млрд параметров. Указаны поддерживаемые языки English, Chinese, Japanese и Spanish. Доступны дополнительные файлы mmproj для мультимодального использования, однако конкретные поддерживаемые типы входных данных и возможности мультимодальной обработки в README не раскрыты. Также в тегах заявлен контекст до 256k или 1M токенов, но точное значение для данной сборки не уточняется. Главное преимущество репозитория — широкий выбор вариантов квантования с размером примерно от 4 до 18,5 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для быстрого запуска рекомендованы Q4_K_S и Q4_K_M, а Q8_0 описан как вариант с лучшим качеством среди быстрых. Ограничения включают возможное снижение качества у низкобитных квантований и отсутствие в README результатов бенчмарков, детального описания архитектуры и подтверждённых характеристик мультимодальности. Лицензия модели — Apache 2.0.

MrFadiAi выпустил Qwen3.6-35B-A3B-Hermes-V6 — неофициальную сборку сообщества на основе семейства Qwen3.6 с дообучением и настройкой в стиле Hermes. Это мультимодальная модель Mixture-of-Experts: около 35 млрд параметров всего и около 3 млрд активных на каждом токене. Модель распространяется в формате GGUF для запуска через llama.cpp; для обработки изображений требуется отдельный мультимодальный проектор. Модель предназначена для диалогов, понимания изображений, рассуждений, вызова инструментов и агентных сценариев, включая многошаговое выполнение задач. Автор сообщает о результатах локальных сравнительных тестов по математике, знаниям и использованию инструментов, но они получены на ограниченной выборке и конкретном оборудовании, поэтому их нельзя напрямую сопоставлять с официальными результатами других тестов. В README приведена команда запуска с контекстом 32768 токенов. Для весов требуется около 17 ГБ памяти; фактическая скорость зависит от оборудования и конфигурации. Метаданные указывают лицензию Apache-2.0, однако автор рекомендует проверить применимые условия лицензии базовой модели перед использованием или распространением.

Chungulus/Qwen3.8-27B-Q6_K-GGUF — это неизменённая ванильная квантизованная версия модели Qwen3.8-27B, опубликованная Chungulus на основе исходных весов Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, обработки изображений и видео, вызова инструментов и задач reasoning; заявлена совместимость с нативным форматом tool calling Qwen и управлением режимами мышления через enable_thinking, reasoning_effort и preserve_thinking. Модель поставляется в формате GGUF с квантизацией Q6_K на базе llama.cpp. Основной файл занимает около 22,431 ГБ, vision projector в формате F16 — отдельный файл, а полный репозиторий — около 23,371 ГБ. Сохранена гибридная архитектура Hybrid Gated DeltaNet/full-attention, vision-компоненты, tokenizer и MTP-метаданные; спекулятивное ускорение не заявляется. Архитектурный максимальный контекст и полноценные бенчмарки в README не указаны, а самая длинная проверенная последовательность составляла 73 токена. Текстовая генерация, вызов инструментов, обработка изображений и видео, а также шаблон чата прошли заявленные локальные проверки. Квантизация может снижать качество по сравнению с исходными весами, особенно при меньшей разрядности, а для запуска требуется среда с поддержкой графа Qwen3.8, vision tower/projector и MTP-метаданных. Рекомендуется иметь не менее примерно 27 ГБ доступной памяти с учётом модели, vision projector и базовых накладных расходов; KV-cache дополнительно увеличивается с размером контекста. Модель и данная квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-версия плотной языковой модели Qwen3.8-27B, подготовленная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео при использовании отдельного BF16-проектора. Указаны поддержка английского, китайского и других языков, а также мультимодальный режим image-text-to-text. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408, словарь на 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Она сохраняет встроенный механизм NextN/MTP и дополнительно поставляется с профилем HauhauCS FastMTP 32K для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизации от Q8_K_P до IQ2_M; для изображений и видео требуется отдельный vision projector. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения, что может быть полезно для свободного исследования, автоматизации и сценариев, где важна максимальная отзывчивость. При этом отсутствие защитных отказов повышает риски при работе с вредоносными или чувствительными запросами, а для критически важных длинноконтекстных агентских задач автор рекомендует более сбалансированный вариант. Модель распространяется по лицензии Apache-2.0.

SZYBKIMARCIN955/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision encoder, предназначенную для текстовых и визуально-текстовых задач, включая работу с длинным контекстом и агентские сценарии. Это открытая предварительная версия архитектуры, которая должна стать основой Qwen4. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention на уровне микроблоков, Mixture of Experts, Gated Residual и n-граммные embeddings. Всего заявлено 125B параметров, из которых 6B активируются при обработке, дополнительно используются 51B параметров n-граммных embeddings и 4B для multi-token prediction. Модель содержит 48 слоёв, 512 экспертов, активирует 10 маршрутизируемых и 1 общий эксперт, поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Языки в README не указаны. Ключевые преимущества модели — высокая эффективность при длинном контексте, сниженная задержка благодаря разреженному вниманию и относительно небольшое число активируемых параметров при большом общем размере. Ограничения связаны с экспериментальным статусом архитектуры, высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленных данных подробных результатов тестирования и описания поддерживаемых языков. Для запуска рекомендуется llama.cpp или Unsloth Desktop. Модель распространяется по лицензии qwen-community-1.0; формат GGUF предназначен для локального инференса совместимыми инструментами.

Это вариант модели Qwen3-Next-80B-A3B-Thinking, подготовленный командой minjaechoi как экспериментальный чекпойнт r26 с разреженными экспертами MoE. Средняя точность весов маршрутизируемых экспертов составляет 2,125 бита, остальные веса — BF16; в репозитории веса сохранены в тензорах BF16 после деквантизации. Модель предназначена для генерации текста и диалога, включая сложные рассуждения, а интерфейс поддерживает вызов инструментов. Она использует архитектуру Qwen3-Next и рассчитана на контекст до 262 144 токенов. Метаданные указывают 2,3 млрд параметров, а для загрузки доступны safetensors и библиотека Transformers. Сверхнизкая точность маршрутизируемых экспертов может ограничивать качество по сравнению с исходной моделью; README характеризует этот вариант как внутренний исследовательский чекпойнт. Лицензия наследуется от Qwen3-Next-80B-A3B-Thinking.

Qwen_Qwen3.5-35B-A3B-GGUF — это набор квантованных версий модели Qwen3.5-35B-A3B, подготовленный пользователем bartowski на основе оригинальной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, а GGUF-формат позволяет запускать её локально через llama.cpp и совместимые приложения, включая LM Studio, Jan AI, KoboldCpp и Text Generation Web UI. В набор входят варианты от BF16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 17 до 71 ГБ. Обозначение 35B указывает на 35 миллиардов параметров, а A3B относится к архитектуре исходной модели; подробности об архитектуре, поддерживаемых языках и размере контекста в README не приведены. Квантизации выполнены с использованием imatrix и llama.cpp, для некоторых конфигураций доступна поддержка MTP-слоёв. Сильная сторона набора — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью локального запуска; варианты Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как типичный выбор для большинства сценариев. Низкобитные варианты экономят память, но могут снижать качество. Для использования требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

RigoChat-7b-v2 — диалоговая языковая модель, разработанная Instituto de Ingeniería del Conocimiento (IIC) на базе Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 без изменений и дообучена методом Direct Preference Optimization (DPO) для более точных ответов на запросы на испанском языке. Максимальная длина контекста — 32 768 токенов. Модель предназначена для широкого круга задач на испанском: диалогов, суммаризации, математических и кодовых запросов, ответов на вопросы по контексту и работы с инструментами. В карточке отдельно отмечено применение в RAG-системах с испанскими документами, где обучение было направлено на ответы с учетом контекста и снижение галлюцинаций. Модель распространяется в формате Safetensors и поддерживает интерфейс вызова инструментов. Лицензия RIGOCHAT NON-COMMERCIAL ограничивает коммерческое использование загруженной модели; для коммерческого применения разработчик указывает отдельный вариант через AWS Marketplace. Модель может воспроизводить предвзятости, ошибаться, особенно в технических, научных и юридических темах, и не знать событий после даты отсечения обучения.

Seed-OSS-36B-Base — базовая языковая модель семейства Seed-OSS, разработанная командой ByteDance Seed. Репозиторий AIArchiveInfo является побайтной архивной копией ByteDance-Seed/Seed-OSS-36B-Base: веса не обучались и не изменялись. Модель содержит 31,7 млрд параметров по метаданным и использует плотную авторегрессионную архитектуру SeedOssForCausalLM с RoPE, GQA, RMSNorm и SwiGLU. Модель предназначена для генерации текста общего назначения, задач рассуждения и длинного контекста, а также для разработки агентных систем. Она рассчитана на международное применение и поддерживает контекст до 524 288 токенов. Вариант Base обучен с синтетическими инструкционными данными в предобучении; это базовая модель, а не отдельная Instruct-версия. Модель распространяется по лицензии Apache-2.0. К сильным сторонам относятся нативная работа с длинным контекстом, настраиваемый бюджет рассуждений и заявленные разработчиком возможности для задач с использованием инструментов. Это текстовая модель: README не сообщает конкретный перечень поддерживаемых языков. Как базовый чекпойнт, она может требовать дополнительной настройки для диалоговых сценариев и прикладного развертывания.

Solar Open 100B — языковая модель Upstage, обученная с нуля и выпущенная под лицензией Upstage Solar License. Это модель архитектуры Mixture-of-Experts: в README указаны 102,6 млрд параметров всего и 12 млрд активных на токен; метаданные каталога указывают 8,7 млрд параметров. Контекст составляет 128k токенов. Репозиторий содержит веса в формате safetensors и предназначен для работы через Transformers. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и сценариев с агентными возможностями, включая интерфейс вызова инструментов. В README приведены отдельные результаты тестирования на корейских и англоязычных бенчмарках; метаданные также указывают английский и корейский языки. Для запуска README рекомендует минимум четыре NVIDIA A100 с 80 ГБ памяти. Лицензия — Upstage Solar License; перед использованием следует ознакомиться с её условиями.

StockSeaLLMs-7B-v1 — текстовая диалоговая модель на 7,1 млрд параметров, созданная слиянием моделей на базе SeaLLMs-v3-7B-Chat. В карточке указано слияние методом TIES; метаданные также связывают модель с SeaLLMs-v3-7B-Chat как с базовой моделью. Архитектура — плотная Qwen2ForCausalLM, веса представлены в safetensors, контекст — до 131 072 токенов. Модель предназначена для диалога и генерации текста по инструкциям; метаданные также отмечают интерфейс для вызова инструментов. Описание базовой модели указывает поддержку английского, китайского и языков Юго-Восточной Азии. Лицензия в предоставленных данных не указана.

Sakalti разработал ultiima-32B-v1.5 — объединённую языковую модель на архитектуре Qwen2 с 32 млрд параметров. Она создана методом TIES с помощью mergekit: в качестве основы использована Qwen/Qwen2.5-32B, объединённая с Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Она работает с текстом и поддерживает контекст до 131 072 токенов. Модель подходит для создания чат-ботов, подготовки текстовых ответов и запросов к инструментам в приложениях. В репозитории веса представлены в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

ZEUS-8B-V19 — объединённая языковая модель семейства Llama 3.1, созданная T145 с помощью mergekit и метода DARE TIES. В основу слияния положена unsloth/Meta-Llama-3.1-8B-Instruct; также объединены Llama-3.1-SuperNova-Lite, Llama-3.1-Storm-8B, Llama-3.1-SauerkrautLM-8b-Instruct и Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Она предназначена для диалогов и генерации текста, поддерживает интерфейс вызова инструментов и контекст до 131 072 токенов. Карточка приводит результаты оценивания на IFEval и BBH. Лицензия в предоставленных данных не указана.

Euphrates-14B — объединённая языковая модель на архитектуре Qwen2, опубликованная Sakalti. Она создана методом TIES с помощью mergekit на основе Spestly/Athena-1-14B и включает веса Qwen/Qwen2.5-14B. Модель содержит 14 млрд параметров, работает с текстом и рассчитана на генерацию текста и диалоговые сценарии; метаданные также отмечают интерфейс вызова инструментов. Максимальная длина контекста — 32 768 токенов. Модель может применяться для диалоговых помощников, составления и продолжения текстов, а также интеграции с приложениями, использующими вызов инструментов. В карточке указаны библиотека Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

EXAONE 4.0-32B — плотная языковая модель с 31,5 млрд параметров, разработанная LG AI Research для диалогового использования. Она поддерживает обычный режим генерации и режим рассуждений, а также вызов инструментов для агентных сценариев. Архитектура включает 64 слоя и гибридное внимание: локальное скользящее внимание чередуется с глобальным в соотношении 3:1. Контекст — до 131 072 токенов. Модель предназначена для диалогов, ответов на вопросы, решения сложных задач и взаимодействия с инструментами. В карточке заявлена поддержка английского, корейского и испанского языков. Для работы через Transformers требуется версия 4.54.0 или новее. Ответы могут содержать фактические ошибки, предвзятость или неподходящий контент, а знания могут быть устаревшими. Лицензия указана как other; README сообщает об обновлении условий в сторону большей гибкости, но точные условия следует сверить с лицензией в репозитории перед использованием.

Gemma 4 12B IT INT4 — MLP-only, AutoRound — это квантизированный вариант модели google/gemma-4-12B-it, опубликованный aleksandard. Модель предназначена для диалоговых и генеративных задач, включая работу с текстом, изображениями и аудио, поскольку базовая модель имеет unified-мультимодальную архитектуру и pipeline image-text-to-text. Она подходит для локального запуска через vLLM или Transformers при наличии совместимой аппаратной и программной инфраструктуры. В основе лежит плотная модель примерно на 11,95 млрд параметров. Квантизация выполнена методом intel/auto-round в режиме RTN по схеме W4A16 с размером группы 128 и симметричным представлением, с экспортом в GPTQ-совместимый формат. До 4 бит уменьшены только линейные слои MLP: gate_proj, up_proj и down_proj. Проекции внимания q/k/v/o, эмбеддинги, lm_head, а также vision- и audio-эмбеддеры сохранены в BF16 или полной точности. Размер чекпойнта составляет около 11 ГБ вместо примерно 24 ГБ для BF16, что снижает требования к памяти. Сильная сторона сборки — компромисс между уменьшением объёма модели и сохранением качества внимания: чувствительные квантизации компоненты оставлены в BF16. Ограничения связаны с наследованием всех ограничений и смещений базовой Gemma 4, а также с возможным дополнительным снижением качества из-за 4-битной RTN-квантизации без калибровки. Для vLLM требуется nightly-сборка с поддержкой Gemma 4; на Blackwell необходимо отключать FlashInfer sampler. В README указана лицензия Apache 2.0, унаследованная от базовой модели.

LibertAIDAI/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai; квантизацию выполнила LibertAI, не связанная с Z.ai. Модель предназначена для работы с текстом и изображениями, включая задачи image-text-to-text, рассуждения и вызов инструментов. Поддерживаются английский и китайский языки. Это разреженная MoE-модель общим объёмом 320B параметров, из которых при обработке активны 18B. Она сочетает 34 слоя линейного внимания KDA и 11 слоёв разреженного внимания DeepSeek, имеет нативную мультимодальность и контекст до 1M токенов. Квантизация NVFP4-A16 применяется преимущественно к routed-expert FFN-тензорам, занимающим около 97% параметров; активации, механизм внимания, vision tower, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Это уменьшает размер с 598,5 до 181 ГиБ при заявленном round-trip cosine 0,99665. Сильными сторонами являются значительное снижение требований к памяти, сохранение мультимодального поведения vision tower без изменений и совместимость с современными ускорителями NVIDIA Blackwell, включая H100, B200, GB200 и GB10/DGX Spark. Для запуска требуются поддерживаемые специализированные сборки vLLM или SGLang и корректная конфигурация движка; vLLM и SGLang пока не имеют полной поддержки архитектуры glm5_next в стандартных версиях. llama.cpp и формат GGUF не поддерживаются. Указанная лицензия — MIT.

K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной Institute of Foundation Models (IFM) при MBZUAI и выпущенной 3 сентября 2026 года. Модель предназначена для генерации текста, рассуждений и работы с длинным контекстом; заявлена поддержка английского языка. Формат GGUF ориентирован на запуск через llama.cpp и совместимые инструменты. Модель использует архитектуру k2_horizon и сочетает разреженную Mixture-of-Experts (MoE) с механизмом Mixture-of-Values (MoVA), применяющим разреженную маршрутизацию внутри attention. Всего предусмотрено около 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Архитектура включает 48 слоёв, 100 маршрутизируемых экспертов с 8 активными и одним общим экспертом на MoE-слой, а также 64 value-эксперта с 4 активными на attention-слой. Нативное контекстное окно составляет до 524 288 токенов. Доступны варианты от BF16 до низкобитных Q2 и IQ-квантизаций, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. При этом активация только 4 млрд параметров на токен не означает, что модель требует память уровня 4 млрд параметров: все веса объёмом около 10–70 ГиБ должны находиться в RAM или VRAM, а память под KV-кэш и служебные расходы учитывается отдельно. Для загрузки GGUF необходима ветка model/K2Horizon форка llama.cpp от MBZUAI-IFM либо версия upstream после добавления поддержки архитектуры k2_horizon. Лицензия модели — Apache 2.0.

Neurona 8B Beta — предварительная испаноязычная языковая модель от Iker, созданная дообучением Meta-Llama-3-8B. Это экспериментальная первая итерация проекта для проверки скриптов и инфраструктуры обучения; модель содержит около 7,5 млрд параметров и использует архитектуру Llama с плотным декодером causal language modeling. Модель предназначена для генерации текста и диалогов на испанском и английском языках. Обучение на смеси инструкционных, разговорных и тематических наборов данных формирует возможности ответов на вопросы, суммаризации, перевода между английским и испанским, помощи с кодом, function calling и работы со сценариями RAG. Контекст составляет 8192 токена. Модель распространяется в формате safetensors и использует лицензию Llama 3. README обозначает её как предварительную версию в разработке, поэтому качество и надёжность отдельных возможностей могут быть непостоянными; условия лицензии Meta Llama 3 распространяются на использование модели.