I.11Классификация, ранжирование и сопоставление

MuXodious/Qwen3.5-4B-PaperWitch-heresy — мультимодальная диалоговая модель на базе Qwen3.5-4B, созданная с помощью Heretic v1.2.0 и метода abliteration. В версии изменяли направление первичных отказов; вторичные факторы, включая оговорки и связанные с ними формы несоблюдения запроса, оставлены без изменений. Модель предназначена для диалога, рассуждений, анализа изображений и вызова инструментов. Она принимает текст и изображения и генерирует текст. Базовая архитектура — плотная Qwen3.5 с визуальным энкодером; в ней около 4 млрд параметров. Нативный контекст — 262 144 токена, с возможностью расширения до 1 010 000. В README заявлена поддержка 201 языка и диалекта, но отдельные языки для этой производной модели не перечислены. В тесте автора модель отказала в 0 из 104 запросов против 103 из 104 у исходной модели; указана KL-дивергенция 0,0521. README предупреждает о возможном скрытом несоблюдении запросов и циклах рассуждений. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-oQ2e-FP16-MTP-MLX — модель семейства Qwen3.6, подготовленная Treeish в формате MLX safetensors как FP16-вариант пакета Qwen3.6-35B-A3B-oQ2e-MTP-MLX. Она предназначена прежде всего для локального запуска в Sprig на компьютерах Mac с чипами M1 и M2; для M3 и более новых рекомендуется BF16-вариант. Модель поддерживает обработку текста и изображений согласно заявленному pipeline image-text-to-text, однако подробности о визуальных возможностях в карточке не приведены. Архитектура содержит 35 млрд параметров, из которых примерно 3 млрд активны, и использует агрессивную смешанную oQ2e-квантизацию с imatrix: по умолчанию 2-битную affine-квантизацию с размером группы 64 и индивидуальными переопределениями точности от 3 до 8 бит. Остаточные плавающие тензоры имеют точность FP16. В пакет встроен один слой Multi-Token Prediction (MTP), контекстное окно составляет 262 144 токена. Размер пакета — около 13,6 ГБ; для работы Treeish использует 24 ГБ объединённой памяти и рекомендует 32 ГБ, но фактические требования зависят от длины контекста и настроек кэша. Сильными сторонами являются локальная генерация на Apple Silicon, поддержка MTP для потенциального ускорения декодирования и сохранение исходной структуры тензоров при переходе BF16 в FP16. В приведённом тесте на M4 Max скорость составила до 105,8 токена в секунду с MTP, но эти результаты относятся к одной машине и небольшому тестовому набору. Ограничения включают потери качества, возможные для низкобитной квантизации, зависимость от совместимого MLX Swift runtime и отсутствие гарантии побитового совпадения результатов MTP и базовой генерации. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-50 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B для генерации текста. Модель разработана RedHatAI и построена на архитектуре Qwen3_5MoeForCausalLM с экспертной архитектурой MoE. Она принимает текст и генерирует текст, предназначена для задач вывода больших языковых моделей и развертывания через vLLM. В модели применена смешанная квантизация NVFP4/FP4: веса и активации линейных слоёв MoE-экспертов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Также заявлено REAP-сокращение экспертов на 50%, что уменьшает размер на диске и потребление GPU-памяти квантизированных слоёв примерно на 75% с дополнительным выигрышем за счёт разреженности. Модель рассчитана на инференс с vLLM, включая tensor parallelism и expert parallelism. Размер модели, длина контекста, поддерживаемые языки и точные модальные возможности в README не указаны. Основные преимущества — существенное снижение требований к памяти и объёму хранения при сохранении исходной архитектуры и готовность к эффективному инференсу на поддерживаемом оборудовании. Ограничения связаны с потерями качества, возможными для агрессивной квантизации и pruning; README сообщает о сравнительной оценке, но не приводит её результаты. Также имеется несогласованность: в названии и описании указано 50% REAP Pruning, а в разделе создания модели — 25%. Лицензия в README не указана.

Qwen3.8-27B-Della-Carnice-Ostrich-Salience-Glimmer-v5c — настраиваемая мультимодальная модель для диалогов, созданная YFC-112358 слиянием Qwen/Qwen3.8-27B и нескольких моделей на его основе методом della_linear. Она предназначена для общения с пользователем и задач, где нужно анализировать изображения; в метаданных также отмечены интерфейс вызова инструментов и поддержка vision. Архитектура — плотная Qwen3_5ForConditionalGeneration, размер базовой модели — 27 млрд параметров; модель распространяется в safetensors и загружается через Transformers. Токенизатор и конфигурация взяты у Qwen/Qwen3.8-27B. README описывает однопроходное слияние четырёх источников и его технические параметры, включая прореживание по блокам строк, вычисления в fp32 и сохранение в bf16. Это не отдельное дообучение: итоговое поведение зависит от слияния исходных моделей, а специальные токены этих источников в итоговый токенизатор не включены. Основной язык и длина контекста в предоставленных данных не подтверждены. Лицензия не указана, поэтому условия использования следует сверить с лицензиями базовой модели и компонентов слияния.

Qwen3.8-27B-Huihui-Abliterated-NVFP4-MTP-VL — мультимодальная квантованная модель, разработанная lyf на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это поведенческий производный вариант, предназначенный для исследований и локального инференса, включая генерацию текста, работу с изображениями и видео, рассуждения, вызов инструментов и ускорение декодирования с помощью MTP (эталонного многотокенного предсказания). Модель использует языковую часть размером 27B параметров с квантованием линейных слоёв в формате NVFP4 W4A4 и размером группы 16. Башня обработки изображений и видео, MTP-голова, lm_head, эмбеддинги токенов и GDN conv1d сохранены в формате BF16. Поддерживаются английский и китайский языки. Указанный проверенный профиль рассчитан на видеокарты NVIDIA RTX 5090 с архитектурой Blackwell, ограничением контекста 4096 токенов и KV-кэшем FP8; большие контексты требуют отдельной проверки доступной видеопамяти. К сильным сторонам относятся мультимодальность, существенное снижение требований к памяти благодаря NVFP4, сохранение исходной BF16 vision/video tower и MTP-компонентов, а также совместимость с vLLM и OpenAI-compatible API. На одной RTX 5090 модель успешно прошла проверки текстовой генерации, MTP и мультимодального профиля; во время генерации использовалось около 28 944 MiB VRAM. Ограничения включают зависимость от совместимого оборудования и программного окружения, необходимость валидации для иных нагрузок и контекстов, а также экспериментальный характер abliterated-производной. Модель распространяется по лицензии Apache-2.0. Она предназначена для исследовательского использования и локального инференса; ответственность за дальнейшее применение и соблюдение соответствующих политик лежит на пользователе.

Qwen-3.8-27B-Uncensored-mlx-mixed_3_6 — мультимодальная модель для работы с текстом и изображениями, созданная на основе junafinity/Qwen-3.8-27B-Uncensored и преобразованная пользователем tejones36 в формат MLX с помощью mlx-vlm. Модель предназначена для локального запуска на компьютерах Apple Silicon, генерации текста, анализа изображений, технических объяснений и интеграции через CLI, Python API или локальный OpenAI-совместимый сервер. Модель содержит 27 миллиардов параметров и использует смешанное 3/6-битное квантование с размером группы 64: критические слои внимания и проекций хранятся в 6-битном формате, а MLP-слои — в 3-битном. Средняя точность составляет около 3,6 бита на вес, что снижает требования к памяти и пропускной способности; заявлена возможность запуска на Apple Silicon с 18–24 ГБ и более unified memory. Формат хранения — MLX Safetensors. Поддерживаются текстовая и визуальная модальности, однако сведения о языках и размере контекстного окна в README не указаны. К сильным сторонам относятся локальная работа на совместимом оборудовании, заметное сокращение потребления памяти по сравнению с полноразмерными весами и сохранение повышенной точности в наиболее важных слоях. Ограничениями являются зависимость от экосистемы MLX и Apple Silicon, возможное снижение качества из-за агрессивного квантования, а также отсутствие подробных данных о результатах тестирования, языковой поддержке и контекстном окне. Модель обозначена как uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены. Указана лицензия Apache-2.0.

Noobito45/Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF — квантизированная GGUF-версия языковой модели, разработанная на основе empero-ai/Qwen3.8-9B. Модель создана с использованием Heretic v1.4.0 и предназначена для генерации текста, рассуждений и других задач, поддерживаемых исходной моделью Qwen3.8-9B. Это «decensored» или «uncensored» вариант, в котором снижена склонность к отказам: в указанной проверке модель отказалась отвечать на 22 из 100 запросов против 100 из 100 у исходной версии. Модель основана на архитектуре Qwen3.5-9B и представляет собой дистилляцию исходной Qwen3.8 2.4T A95B; точные характеристики архитектуры, размер контекста и полный набор языков в этой карточке не указаны. Доступная версия использует квантизацию NVFP4 + Q8_0 и предназначена для запуска в совместимых с GGUF средах, включая llama.cpp. По данным бенчмарков, квантизация вызывает небольшие изменения качества и поведения по сравнению с эталонной версией BF16; результаты зависят от оборудования и настроек оценки. Модель сохраняет близость к исходной по KL-дивергенции, однако снижение отказов может сопровождаться изменением поведения и не означает отсутствия ограничений или рисков при использовании. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen3.8-Flash-Next-W4A16 — это 4-битная версия модели Qwen3.8-Flash-Next, опубликованная aixiaoma и предназначенная для запуска на потребительских GPU NVIDIA Ampere. Модель использует INT4-квантизацию W4A16 с группами по 128 элементов, симметричными масштабами и форматом compressed-tensors. Архитектурно это мультимодальная модель image-text-to-text с MoE-компонентом: квантифицированы основные экспертные и attention-матрицы, тогда как чувствительные компоненты, включая vision encoder, эмбеддинги, маршрутизатор, GDN/linear attention, PLE-таблицы и MTP-модуль, сохранены в BF16. Точные размеры, список поддерживаемых языков и параметры контекстного окна в README явно не приведены, однако указано, что исходная BF16-модель имеет около 335 ГБ, а квантифицированная версия занимает около 168 ГБ на диске. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку изображений и текста, а также инференс с длинным контекстом. Она запускается через специальную сборку vLLM с поддержкой qwen4_exp, Marlin kernels и PLE offload. На конфигурации из 4 RTX 3090 поддерживается контекст до 96 тысяч токенов, а на 8 RTX 3090 — полный заявленный контекст до 262 тысяч токенов. MTP-модуль сохранён в BF16, поэтому доступно speculative decoding; по данным авторов, для однопоточного декодирования это даёт прирост примерно на 57 процентов. К сильным сторонам относятся возможность запуска на широко распространённых GPU Ampere без поддержки FP8, сохранение качества на заявленном наборе greedy-тестов на уровне базовой модели и существенное сокращение объёма GPU-памяти за счёт выгрузки 102 ГБ PLE-таблиц в оперативную память. Ограничения включают высокие требования к оборудованию и минимум около 110 ГБ свободной оперативной памяти, обязательное использование expert parallelism, специальные параметры Docker и vLLM, а также необходимость отключить torch.compile из-за проблем с компиляцией на Ampere. Лицензия указана как qwen-community-1.0; также отмечена связь с базовой моделью Qwen3.8-Flash-Next.

Qwen3-EZO-8B-beta — диалоговая языковая модель с плотной архитектурой Qwen3ForCausalLM, разработанная AXCXEPT на базе Qwen/Qwen3-8B. Модель содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Она предназначена для многоходового диалога, генерации текста и параллельной обработки запросов с углублённым рассуждением по технике Deep-Think. Модель можно развернуть через vLLM с совместимым с OpenAI API интерфейсом; в карточке указана работа на одной GPU A40. README приводит внутренние оценки MT-Bench 9,08 и JMT-Bench 8,87, но предупреждает, что результаты могут отличаться при внешней оценке. Модель дообучена на Qwen3-8B, использует формат Safetensors и распространяется по лицензии Apache-2.0. В метаданных указаны японский и английский языки; результаты и заявленные возможности основаны на карточке разработчика.

Vishva007/Qwen3-VL-8B-Instruct-W4A16-AutoRound-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для генерации текста по изображениям и текстовым инструкциям, включая визуальный анализ и распознавание текста на изображениях. Разработчик данной версии — Vishva007; базовая модель создана командой Qwen. Модель содержит 8 млрд параметров и оптимизирована для запуска через vLLM и Transformers. Веса языковой части представлены в формате W4A16 с квантизацией AWQ и дообучались 800 шагов с использованием AutoRound, чтобы минимизировать потерю качества. Визуальный энкодер сохранён в формате FP16, что должно поддерживать высокую точность в OCR и других задачах компьютерного зрения. Заявлена возможность работы на видеокартах с 12 ГБ и более видеопамяти, а в примере использования указан максимальный контекст 4096 токенов. Сильные стороны модели — сниженное потребление VRAM, высокая скорость сервинга и сохранение точности визуальной части благодаря отсутствию её квантизации. Ограничения включают возможную небольшую потерю качества из-за 4-битного представления весов, а также зависимость от совместимого GPU и программного окружения. В README языки модели не указаны. Лицензия — Apache-2.0.

R1-Qwen2.5-32B-Instruct-5k — дообученная pe-nlp модель на базе Qwen/Qwen2.5-32B-Instruct, обученная на наборе данных Sky-T1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Карточка не раскрывает конкретные сценарии обучения или результаты оценки, поэтому специализированные преимущества модели подтвердить нельзя. Лицензия указана как «other», без уточнения условий в доступных данных.

CombinHorizon/Rombos-Qwen2.5-7B-Inst-BaseMerge-TIES — языковая модель, созданная методом слияния TIES с помощью mergekit на основе Qwen/Qwen2.5-7B и Qwen/Qwen2.5-7B-Instruct. Модель разработана для генерации текста и диалоговых сценариев; поддерживает интерфейс вызова инструментов. Она содержит 7,1 млрд параметров, построена на плотной архитектуре Qwen2 и использует класс Qwen2ForCausalLM. Контекстное окно составляет до 131 072 токенов. Модель подходит для ответов на запросы, продолжения текста и генерации структурированных ответов. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но они сами по себе не гарантируют качество в конкретном применении. Репозиторий использует формат safetensors, библиотеку Transformers и лицензию Apache-2.0. README указывает на слияние с Qwen2.5-7B-Instruct; отдельные специализированные области применения не заявлены.

RWKV7-G1i-1.5B-20260805 — базовая предварительно обученная языковая модель архитектуры RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчуном Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Модель содержит 1,5 млрд параметров и использует рекуррентную архитектуру без attention: состояние фиксированного размера и вычисления на каждый генерируемый токен постоянны, при этом обучение допускает параллелизацию. Для работы применяется формат flash-linear attention и токенизатор RWKV World с размером словаря 65 536 токенов. Модель предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для генерации текста, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат промпта, но сам по себе не означает, что модель является безопасным или согласованным ассистентом. Метаданные каталога указывают контекст 2048 токенов и поддержку английского, китайского, японского, корейского, французского, арабского, испанского и португальского языков. Лицензия — Apache-2.0.

SauerkrautLM-7b-HerO-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и SauerkrautLM-7b-HerO; конфигурация слияния использует bf16. Модель предназначена для генерации текста и ответов на инструкции в формате диалога. Контекстное окно составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Seraph-7B-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, созданная слиянием Mistral-7B-Instruct-v0.1 и Weyaxi/Seraph-7B методом SLERP. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и принимает текстовые инструкции и диалоговые запросы для генерации ответов. Модель предназначена для диалоговых приложений и генерации текста по инструкциям. Нативный контекст составляет 32 768 токенов; файлы опубликованы в формате safetensors. Лицензия — Apache-2.0. Данных о языковой специализации и ограничениях качества в карточке нет.

Shisa V2 Qwen2.5 32B — двуязычная диалоговая языковая модель общего назначения от Shisa.AI, дообученная на основе Qwen/Qwen2.5-32B-Instruct. Она рассчитана на задачи на японском языке, сохраняя возможности английского, и подходит для диалога, ответов на вопросы, генерации текста и структурированных ответов. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2 и принимает текстовые запросы. Контекст — до 32 768 токенов; поддерживаются чат-шаблон базовой модели и интерфейс вызова инструментов. В README описано улучшение качества японских ответов относительно базовой модели и приведены результаты тестирования на японских и англоязычных бенчмарках. Модель распространяется по лицензии Apache 2.0. Для инференса авторы проверяли vLLM и SGLang.

Spark-X2.5-1.7B-Abliterated-GGUF — набор GGUF-квантов модели Spark-X2.5-1.7B, разработанный сообществом darioooooo0o на основе XHToken/Spark-X2.5-1.7B. Модель предназначена для генерации текста и рассуждений, включая многоязычные сценарии и агентское использование с инструментами. Основное изменение — однократная rank-1-абляция направления отказа методом heretic, выполненная на сбалансированной многоязычной выборке из 6292 запросов; это существенно снизило склонность модели к отказам и предисловиям о соблюдении ограничений. Доступны варианты Q8_0 размером около 1,8 ГБ, Q6_K около 1,4 ГБ, Q4_K_M около 1,0 ГБ и IQ4_XS около 0,9 ГБ. Для работы требуется совместимая версия llama.cpp с архитектурой spark2_5; README рекомендует F16 KV-кэш и задаваемый лимит рассуждений, поскольку типичная длина скрытого рассуждения превышает 1500 токенов, а отдельные цепочки превышают 4000 токенов. Размер контекста указан в инструкции запуска как 65536 токенов, максимальная длина вывода — 4096 токенов. Точные сведения об архитектуре базовой модели, языковом покрытии и исходном контекстном окне вынесены в отдельную карточку и здесь не приведены. По заявленным проверкам, на закрытых наборах после аудита модель не демонстрировала реальных отказов в ответах, сохранив результат 5 из 6 эффективных задач агентского использования. Ограничением стала небольшая потеря качества по perplexity: ухудшение относительно базовой модели составило 2,3%. Кроме того, абляция направлена на снятие отказов, поэтому поведение и защитные ограничения базовой модели не следует считать сохранёнными. Распространение указано по лицензии Apache-2.0.

Tralalabs_Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Tralalabs/Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-FP16. Исходная модель связана с семейством Qwen3 и обучена с использованием набора данных TeichAI/claude-haiku-4.5-1700x; квантизацию выполнил bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров, поддерживает текстовый ввод и вывод, а в метаданных указан английский язык. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; размеры файлов составляют примерно от 2,36 до 8,05 ГБ. В README приведён формат шаблона чата на основе специальных токенов Qwen. Контекстное окно, точный набор поддерживаемых языков и результаты сравнительных оценок не указаны. Основное преимущество модели — выбор вариантов квантизации, позволяющий адаптировать качество и требования к памяти, причём Q6_K и Q6_K_L отмечены как варианты очень высокого качества, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает потребление памяти, но может снижать качество генерации. Для запуска требуется совместимое программное обеспечение с поддержкой данной архитектуры; для новых моделей иногда необходимо обновление используемого инструмента. Лицензия — Apache-2.0.

airoboros-m-7b-3.1.2-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и airoboros-m-7b-3.1.2-dare-0.85. Она построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Модель принимает текст и генерирует текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Данные карточки не описывают её качество на конкретных задачах или подробные ограничения, поэтому результаты следует проверять на целевом сценарии.

Amadeus-Verbo-MI-Qwen-2.5-14B-PT-BR-Instruct-Experimental — объединённая SLERP-модель семейства Qwen2.5, созданная Amadeus AI на основе Qwen/Qwen2.5-14B-Instruct и AmadeusAI/AV-BI-Qwen2.5-14B-PT-BR-Instruct. Это плотная авторегрессионная языковая модель с 14 млрд параметров для диалогов и генерации текста; поддерживает интерфейс вызова инструментов. Модель принимает текстовые запросы и выдаёт текстовые ответы, рассчитана прежде всего на португальский язык Бразилии. Контекст составляет 32 768 токенов, для запуска README рекомендует актуальную версию Transformers. Модель подходит для чат-ботов, ответов на вопросы, написания и преобразования текста на португальском языке. Заявленные данные не описывают специальные предметные области или результаты сравнительных оценок качества. Распространяется по лицензии Apache-2.0.

AquilaChat2-34B-16K — диалоговая языковая модель BAAI из серии Aquila2, предназначенная для генерации ответов и работы с длинными текстами. Модель основана на плотной авторегрессионной архитектуре AquilaForCausalLM и содержит 33,1 млрд параметров; максимальная длина контекста — 16 384 токена. Доступны веса в формате PyTorch. Модель подходит для диалогов, генерации и суммирования длинных текстов, а также выполнения инструкций в обычных сценариях общения. В README описана версия V1.2, в которой улучшены синтез длинных текстов и выполнение инструкций по сравнению с V1. Для модели указана лицензия other; конкретные условия следует сверять с лицензией репозитория.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.3-GGUF — квантизированная версия модели OwenArli/ArliAI-Llama-3-8B-Dolfin-v0.3, созданная QuantFactory с использованием llama.cpp. Модель основана на Meta-Llama-3-8B-Instruct и дообучена на улучшенном наборе данных Dolphin и WizardLM. Модель предназначена для генерации текста, диалоговых сценариев и выполнения пользовательских инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Поддерживается чатовый формат с системными сообщениями, пользовательскими запросами и ответами ассистента. Размер базовой модели составляет 8 млрд параметров; используется архитектура семейства Llama 3 и текстовая модальность. Обучение проводилось с длиной последовательности 2048 токенов, при этом заявлена работоспособность с контекстом до 8192 токенов. Дообучение выполнялось методом QLoRA с 4-битной загрузкой, рангом 64 и alpha 128; обучаемыми были примерно 2% параметров. Данные о поддерживаемых языках, конкретных параметрах квантизации и результатах бенчмарков не приведены. Модель может быть полезна в локальных приложениях и системах, где важны экономичное использование памяти и выполнение инструкций. Ограничения включают отсутствие опубликованных результатов OpenLLM Benchmark и неполное описание характеристик квантизированных вариантов. Использование регулируется лицензией Meta Llama 3 License, обозначенной в карточке как llama3.

A.X 3.1 Light — компактная языковая модель SKT, обученная с нуля на многоязычном корпусе с приоритетом корейского языка. В метаданных указаны 6,8 млрд параметров, архитектура Llama с плотной авторегрессионной моделью и контекст до 32 768 токенов; доступны веса в формате Safetensors. Модель предназначена для диалогов, понимания корейского языка и корпоративного развёртывания, а интерфейс поддерживает вызов инструментов. SKT сообщает, что модель обучалась на 1,65 трлн токенов и показывает результаты на корейских языковых бенчмарках KMMLU и KoBALT-700. Компания также заявляет о снижении вычислительных затрат относительно моделей со сравнимыми результатами. В карточке приведён пример использования с Transformers версии 4.46.0 или новее и vLLM для функций вызова инструментов. Лицензия — Apache 2.0.

aya-23-8B-IMat-GGUF — это квантизированная версия языковой модели CohereForAI/aya-23-8B, разработанной CohereForAI. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, в формате GGUF. Доступны варианты от FP16 до низкобитных квантов, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и семейство IQ-квантов. Модель имеет 8 миллиардов параметров и поддерживает работу с текстом на английском, французском, немецком, испанском, итальянском, португальском, японском, корейском, китайском, арабском, греческом, персидском, польском, индонезийском, чешском, иврите, хинди, нидерландском, румынском, русском, турецком, украинском и вьетнамском языках. Версия опубликована как результат квантизации с использованием llama.cpp и IMatrix; для некоторых низкобитных вариантов указано применение IMatrix, что может помогать сохранять качество при уменьшении размера модели. Сильная сторона модели — сочетание многоязычной текстовой генерации и широкого выбора квантованных файлов для запуска на оборудовании с разным объёмом памяти. Ограничения включают возможную потерю качества в наиболее агрессивных вариантах квантизации; сведения о контекстном окне, детальных архитектурных характеристиках и результатах тестирования в README не указаны. Лицензия — CC BY-NC 4.0, допускающая использование с обязательным соблюдением её условий и ограничений на коммерческое применение.

Beast-Mixed — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и Zephyr-7B-beta методом SLERP с помощью LazyMergekit. Модель на 7,1 млрд параметров предназначена для генерации текста и ответов на инструкции в формате чата; архитектура — плотная MistralForCausalLM, максимальный контекст составляет 32 768 токенов. Модель подходит для диалоговых помощников, черновиков текстов и ответов на вопросы по текстовому контексту. В README указана конфигурация слияния и тип данных bfloat16. Лицензия в предоставленных данных не указана.

Solshine/Brimful-12B-merged-replete — языковая модель для генерации текста, созданная с помощью mergekit на основе Replete-AI/Replete-LLM-V2.5-Qwen-7b. В README указан метод слияния passthrough; модель построена на архитектуре Qwen2 и содержит 11,7 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Размер контекста составляет 32 768 токенов. Модель может использоваться для диалогов и генерации ответов, а также в сценариях, где приложению требуется передавать вызовы инструментов через соответствующий интерфейс. README предупреждает, что merge пока не тестировался, поэтому качество и надёжность результатов не подтверждены. Репозиторий содержит веса safetensors; сведения о лицензии в предоставленных данных отсутствуют.

MiniMax-M2-REAP-139B-A10B — это языковая модель для генерации текста, разработанная Cerebras. Она создана на основе MiniMax-M2: методом REAP из исходной модели равномерно удалено 40% экспертов. По доступным данным, модель использует разреженную MoE-архитектуру, имеет заявленный размер 139B параметров и активную часть A10B. Указан английский язык; сведения о поддерживаемых модальностях и размере контекста отсутствуют. Эта версия представляет собой GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и калибровочных данных imatrix. Она предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от Q8_0 до 2-битных и IQ-квантизаций с размером файлов примерно от 55 до 148 ГБ; более высокие разрядности обычно обеспечивают лучшее качество, а низкоразрядные варианты уменьшают требования к памяти, но могут заметно снижать качество. Сильными сторонами являются широкий выбор квантизаций, возможность локального использования и сохранение работоспособности после структурного сокращения MoE-модели. Ограничения включают очень большой объём памяти, зависимость качества от выбранного варианта квантизации и отсутствие в карточке подробных результатов оценки. Лицензия указана как other; конкретные условия необходимо уточнять в лицензии исходной модели Cerebras.

bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF — набор GGUF-квантизированных версий модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и подготовленной bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от BF16 до низкобитных Q3 и IQ3, а также Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Версии с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; варианты Q4 и Q5 предлагают компромисс между качеством и потреблением ресурсов, а Q3 рассчитаны на системы с ограниченным объёмом памяти. Квантизация выполнена с использованием imatrix и llama.cpp release b4514. Это текстовая модель, однако README не содержит достоверных сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре исходной модели, результатах оценки или специализированных сценариях применения. Лицензия в предоставленных данных также не указана. Для работы следует использовать рекомендованный формат prompt с системным сообщением, запросом пользователя и ответом ассистента.

Mungert/Devstral-Small-2505-GGUF — это набор GGUF-квантизованных версий модели Devstral-Small-2505, базовой моделью которой указана mistralai/Devstral-Small-2505. Модель предназначена для генерации и преобразования текста, а GGUF-формат — для ресурсоэффективного локального запуска, в том числе на системах с ограниченной видеопамятью, CPU и edge-устройствах. Файлы созданы с использованием llama.cpp, commit f5cd27b7. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Точные архитектура, число параметров, размер контекста и набор модальностей не указаны. Представлены варианты квантования, включая ультранизкобитные схемы IQ1 и IQ2 с динамическим распределением точности IQ-DynamicGate; они снижают требования к памяти, но могут уступать полноразмерным версиям по точности. В приведённых тестах для Llama-3-8B такие схемы улучшали perplexity относительно стандартного квантования при сопоставимой скорости, однако эти результаты не являются прямой оценкой данной модели. Модель подходит для локального инференса при ограниченных ресурсах и для исследований низкобитного квантования. Для максимальной точности рекомендуется использовать более высокоточные форматы, если оборудование их поддерживает. Лицензия — Apache-2.0.

dragon-deci-6b-v0 — модель серии dRAGon от llmware, дообученная для ответов на вопросы по контексту документов. Она предназначена для RAG-сценариев в корпоративных процессах, особенно при работе со сложными деловыми, юридическими и нормативными материалами. Основные задачи — ответы на вопросы, извлечение пар «ключ—значение» и краткое суммирование с опорой на предоставленный текст; модель рассчитана на короткие, ясные ответы и снижение галлюцинаций. Модель построена на Deci-6B, использует архитектуру DeciLMForCausalLM и содержит 6,6 млрд параметров. Она принимает и генерирует текст, поддерживает английский язык и имеет контекст до 4096 токенов. В описанном тестировании RAG-Instruct-Benchmark-Tester получила 94,25 балла из 100; результаты отдельных прогонов не гарантируют точность на других данных. Лицензия — Llama 2 Community License. Модель может выдавать неточные или неполные ответы, поэтому результаты требуют проверки.