I.11Классификация, ранжирование и сопоставление

CleverBoi-Nemo-12B-v2 — текстовая generative-модель, разработанная theprint. Она дообучена в течение одной эпохи на наборе CleverBoi-Data-20k, содержащем примеры, ориентированные на логику, рассуждения, математику и программирование. Модель предназначена для генерации текста и решения задач, требующих следования инструкциям, логического вывода, математического анализа и работы с кодом. Модель дообучена на базе unsloth/Mistral-Nemo-Instruct-2407-bnb-4bit и имеет размер 12B параметров согласно идентификатору модели. Доступная языковая метка — английский. Указана текстовая модальность; сведения о длине контекста в README отсутствуют. Для ускорения обучения использовались Unsloth и библиотека TRL от Hugging Face. В оценках Open LLM Leaderboard модель получила средний результат 17,57: 20,46 на IFEval, 31,65 на BBH, 8,61 на MATH Level 5, 8,50 на GPQA, 11,43 на MuSR и 24,76 на MMLU-PRO. Эти результаты указывают на специализацию в задачах рассуждения и математики, однако не подтверждают высокую точность во всех сценариях. Ограничениями являются отсутствие данных о контекстном окне, мультиязычной поддержке, требованиях к аппаратному обеспечению и практической производительности. Модель распространяется по лицензии Apache-2.0.

ColorShadow-7B — языковая модель для генерации текста и диалогов, созданная слиянием моделей diffnamehard/Mistral-CatMacaroni-slerp-7B и cookinai/Valkyrie-V1. Слияние выполнено методом Gradient-SLERP с помощью mergekit; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста и разговорного взаимодействия. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В README приведены результаты оценки на нескольких бенчмарках рассуждения и понимания текста. Модель распространяется по лицензии Apache-2.0.

unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF — это GGUF-версия дистиллированной языковой модели DeepSeek-R1-Distill-Llama-70B. Модель создана на основе DeepSeek-R1-Distill-Llama-70B, разработанной командой DeepSeek, а данный вариант опубликован Unsloth. Это текстовая модель для генерации ответов и решения задач в диалоговом и общем текстовом режимах; в примере README она используется для рассуждений и простых математических вопросов через llama.cpp. Модель содержит 70 млрд параметров и основана на архитектуре семейства Llama; точная версия базовой архитектуры и размер контекстного окна в README не указаны. Поддерживаемый язык обозначен как английский. Формат GGUF предназначен для локального запуска с llama.cpp и поддерживает квантованные варианты, включая Q4_K_M и Q8_0. Для ускорения возможна частичная выгрузка слоёв на GPU, однако из-за размера модели запуск требует значительных вычислительных ресурсов. К сильным сторонам относятся большой размер, возможности дистиллированной модели DeepSeek-R1 и удобство локального использования в llama.cpp с разными уровнями квантования. Ограничения — высокая требовательность к памяти и отсутствие в предоставленных данных сведений о точности на тестах, мультимодальности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии llama3.3.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе DeepSeek-R1-Distill-Llama-8B. Модель предназначена для текстового диалога, генерации ответов и задач, требующих рассуждений; в примере README она формирует рассуждение перед итоговым ответом. Заявленный язык — английский. Модель основана на Llama 3.1 с размером 8B параметров и рассчитана на запуск через llama.cpp. Доступны квантизированные варианты GGUF, включая Q4_K_M; README также упоминает динамические квантизации Unsloth с разрядностью 1,58 и 2 бита, направленные на улучшение точности по сравнению со стандартными 1- и 2-битными вариантами. Поддерживается выгрузка части слоёв на GPU, что может ускорить обработку при наличии подходящего оборудования. Сильными сторонами являются относительно компактный размер, возможность локального запуска и наличие квантизированных сборок для снижения требований к памяти. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования; контекстное окно, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как llama3.1.

DeepSeek V4 Flash — это квантизированная GGUF-версия базовой модели DeepSeek-AI DeepSeek-V4-Flash, подготовленная antirez для инференс-движка ds4. Модель предназначена для генерации текста и работы с англоязычными запросами, включая локальный запуск на системах с Apple Silicon и поддержкой Metal. Модель использует архитектуру Mixture-of-Experts (MoE). Доступны варианты с квантизацией routed experts в форматах 2-bit IQ2_XXS/Q2_K и 4-bit Q4_K, при этом важные компоненты, включая attention projections, shared experts, output head и router, сохранены в менее агрессивных форматах Q8_0, F16 или F32. Размер основных файлов составляет около 80,8 ГиБ для q2 и 153,3 ГиБ для q4. Дополнительный файл MTP размером 3,6 ГиБ обеспечивает поддержку speculative decoding и не является самостоятельной моделью. Сильной стороной сборки является уменьшение размера за счёт агрессивной квантизации экспертных блоков при сохранении точности маршрутизации и ряда ключевых компонентов. Вариант q2 рассчитан на компьютеры с 128 ГиБ оперативной памяти, а q4 — на системы с объёмом памяти от 256 ГиБ. Сборка может работать с другими инференс-движками, но гарантируется прежде всего совместимость с ds4; MTP требует специального загрузчика. В README приведён пример запуска с контекстом до 100000 токенов, однако максимальный контекст самой модели явно не указан. GGUF-файлы распространяются по лицензии MIT; авторские права на базовую модель принадлежат DeepSeek, а распространение квантизированных файлов осуществляется на условиях релиза базовой модели.

Карточка модели NVEagle/Eagle-X5-7B на Hugging Face совпадает с карточкой NVEagle/Eagle-X5-13B-Chat, поэтому описание составлено по ней. Eagle-X5-13B-Chat — мультимодальная языковая модель семейства Eagle, разработанного NVIDIA. Это плотная Transformer-модель архитектуры EagleLlamaForCausalLM с 12,9 млрд параметров, предназначенная для диалога и анализа изображений вместе с текстом. Контекст модели составляет 4096 токенов. Модель использует комбинацию визуальных энкодеров CLIP+X и рассчитана на обработку изображений высокого разрешения, включая задачи распознавания текста и понимания документов. Она принимает изображения и текст, а выдаёт текст; авторы отмечают сильные результаты на мультимодальных тестах, особенно в задачах, чувствительных к разрешению. Основные сценарии применения — исследование мультимодальных LLM и создание чат-ботов. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README не уточняет языковой охват и подробные ограничения качества; перед применением в конкретной отрасли следует оценить пригодность модели для этого сценария.

Это порт модели Escha Qwen3.8-27B, подготовленный degenmeowster для запуска через llama.cpp на AMD ROCm. В основе — дообученная EschaLabs/Qwen3.8-27B-Escha-W2; веса представлены в формате GGUF с 2-битной квантизацией Escha W2 и головой Q8_0. Модель использует плотную гибридную архитектуру Qwen35: 64 слоя, из которых 48 используют линейное внимание, а 16 — полное. В README заявлена поддержка контекста до 262144 токенов; порт проверен на AMD Radeon RX 7900 XTX с gfx1100. Модель предназначена для диалоговой генерации текста и задач рассуждения. README приводит измерения производительности и качества на указанной видеокарте, но они зависят от оборудования, настроек и протокола оценки. Сильные стороны — большой контекст и возможность полного размещения модели и KV-кэша на подходящей карте AMD; ограничение — сильная 2-битная квантизация может влиять на качество, а сведения о поддерживаемых естественных языках не приведены. Лицензия репозитория — Apache-2.0.

EXAONE-4.0-1.2B — компактная плотная авторегрессионная языковая модель LG AI Research для диалогов, генерации текста и запуска на устройствах. Модель содержит около 1,3 млрд параметров по метаданным; в конфигурации README указано 1,07 млрд параметров без эмбеддингов. Она поддерживает контекст до 65 536 токенов и использует 30 слоёв, групповые запросы внимания с 32 головами и 8 KV-головами, а также словарь из 102 400 токенов. Модель предлагает режимы обычного ответа и рассуждения, а также интерфейс вызова инструментов. Заявлена поддержка английского, корейского и испанского языков; особенно ориентированные языки — английский и корейский. Модель рассчитана на локальные и встроенные сценарии, где важны небольшой размер и длинный контекст, а также на диалоговые приложения и агентные системы. Ответы могут содержать фактические ошибки, предвзятость или неподходящую информацию; знания модели могут быть устаревшими. Для режима рассуждений качество чувствительно к параметрам генерации. Лицензия указана как other; README сообщает об обновлении условий в сторону большей гибкости, но конкретные условия следует сверять с лицензией репозитория.

Falcon-7B-Instruct — языковая модель TII на основе Falcon-7B, дообученная на смеси диалоговых и инструкционных данных. Это плотная авторегрессионная модель с архитектурой decoder-only; в карточке указаны 7 млрд параметров, тогда как метаданные каталога сообщают 10,9 млрд. В архитектуре используются rotary positional embeddings, multi-query attention и FlashAttention, рассчитанные на эффективный инференс. Модель предназначена для диалогов и выполнения инструкций на естественном языке: она может отвечать на вопросы, помогать с текстовыми задачами и вести беседу. Основной язык обучения — английский; карточка также указывает французский, но предупреждает, что качество на языках помимо английского может быть слабым. Для быстрого инференса README рекомендует не менее 16 ГБ памяти; для использования с Transformers требуется PyTorch 2.0. TII сообщает о дообучении на смеси instruct/chat-датасетов объёмом около 250 млн токенов. Модель может воспроизводить стереотипы и смещения из веб-данных, поэтому перед применением в производстве ответы следует оценивать и дополнять защитными мерами. Лицензия — Apache 2.0.

FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview-GGUF — это GGUF-квантизированная версия instruct-модели FuseO1-DeepSeekR1-Qwen2.5-Instruct-32B-Preview, разработанной FuseAI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В основе лежит модель с 32 миллиардами параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp b4514. Более высокие форматы сохраняют лучшее качество, а варианты Q4 и Q3 требуют меньше оперативной памяти; наиболее универсальным в README назван Q4_K_M. Указан специальный шаблон промпта с ролями system, User и Assistant. Модель ориентирована на локальный инференс и сценарии, где важны автономность, выбор размера файла и баланс между качеством и требованиями к памяти. README не содержит сведений о поддерживаемых языках, длине контекста, мультимодальности, результатах бенчмарков или ограничениях качества. Лицензия в предоставленных данных не указана.

Gemma 2B IT — компактная инструкционная языковая модель Google из семейства Gemma, созданного с использованием исследований и технологий, применявшихся при разработке Gemini. Это текстовая авторегрессионная модель с архитектурой decoder-only; версия IT настроена на выполнение инструкций и диалог. Веса открыты, модель доступна в формате Safetensors и GGUF и запускается через Transformers. Модель предназначена для генерации текста, ответов на вопросы, суммаризации и диалоговых приложений. Небольшой размер упрощает развёртывание на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. В карточке семейства заявлена поддержка английского языка; конкретный размер контекста не указан в предоставленных данных. К ограничениям относятся возможные фактические ошибки, устаревшие сведения, смещения в ответах и трудности со сложными задачами, нюансами языка и сарказмом. Модель не является базой знаний; для пользовательских приложений рекомендуется проверять ответы и применять меры безопасности. Использование регулируется лицензией Gemma.

llmfan46 — дообученная на базе Google Gemma 3 12B IT мультимодальная модель для диалогов с текстом и изображениями. По данным карточки, она принимает текст и изображения и формирует текстовые ответы; подходит для вопросов по изображениям, генерации и суммаризации текста, а также диалоговых сценариев. Архитектура — плотная Gemma 3, размер базовой модели — 12 млрд параметров. Для семейства Gemma 3 в README указано контекстное окно 128 тыс. токенов и поддержка более 140 языков; подтверждения, что эти характеристики полностью сохранены в этой производной версии, нет. Автор называет модель uncensored и heretic; отдельные сведения о методе такого изменения или его оценке в карточке не приведены. Модель распространяется в формате safetensors через Transformers. Лицензия указана как gemma; перед использованием следует учитывать её условия. Как и другие генеративные модели, она может выдавать фактически неверные ответы, отражать смещения обучающих данных и ошибаться при сложных или неоднозначных запросах.

Карточка модели unsloth/gemma-3-1b-it-qat на Hugging Face совпадает с карточкой google/gemma-3-4b-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Google Gemma 3 4B IT QAT Q4_0 Unquantized — мультимодальная модель для диалогов с текстом и изображениями, основанная на Gemma 3 4B IT. Несмотря на обозначение QAT Q4_0 в названии, метаданные указывают формат файлов safetensors; отдельная квантизация в них не подтверждена. Модель принимает текст и изображения и генерирует текст, поддерживает чат и предназначена для ответов на вопросы по изображениям, суммаризации и другим задачам генерации и понимания текста. В README семейство Gemma 3 описано как компактное, подходящее для локального запуска на ноутбуках и настольных компьютерах. Для семейства заявлены контекст до 128 тысяч токенов и поддержка более 140 языков; README не уточняет, подтверждены ли эти характеристики именно для данной сборки. Лицензия — Gemma. Возможны фактические ошибки, предвзятые ответы и трудности с неоднозначными формулировками и сложными задачами; для развёртывания следует учитывать эти ограничения и проверять результаты.

Adolphsson/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4 — мультимодальная модель для работы с текстом, изображениями и аудио. Это общественный, вручную собранный чекпойнт на основе Gemma-4-E4B и дообучения HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive. Модель не является официальным релизом Google или HauhauCS; сборку подготовил автор Adolphsson. Текстовый трансформер содержит 42 слоя со скрытым размером 2560. Он квантизован в формат NVFP4 W4A4 с 4-битными весами и активациями, а таблицы эмбеддингов используют FP8 e4m3 с построчными масштабами F32. Зрительный модуль и аудиоэнкодер сохранены в BF16. Модель поддерживает английский и другие языки, а также мультимодальные сценарии с изображениями и аудио. Заявлено контекстное окно до 131 072 токенов, однако фактическая доступная длина зависит от видеопамяти и настроек сервера. Основные преимущества — небольшой размер около 6,2 ГБ, возможность запуска на одной RTX 5090, высокая скорость декодирования с MTP speculative decoding и заметно увеличенный объём KV-кэша благодаря FP8-эмбеддингам. Для работы требуется vLLM с патчем из репозитория: без него FP8-таблицы эмбеддингов загружаются некорректно, что приводит к деградации генерации. Производительность и совместимость в README проверены на vLLM 0.28, Python 3.12, CUDA 13 и RTX 5090; заявленные показатели зависят от оборудования, параметров запуска и сценария нагрузки. Модель распространяется по лицензии Apache-2.0.

Gemopus-4-26B-A4B-it — экспериментальная версия Gemma 4, дообученная методом SFT автором Jackrong на базе google/gemma4-26B-it. Это плотная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; репозиторий содержит веса в формате Safetensors. Модель предназначена для диалогов и следования инструкциям, с улучшениями естественности ответов, их ясности, структуры и полноты. Модель подходит для повседневного текстового помощника, структурирования длинных ответов, суммаризации, подготовки текстов и интерактивной помощи с кодом. В карточке указана поддержка английского, китайского, корейского и японского языков. Разработчик отмечает, что знания и математические способности уступают крупным передовым моделям; возможны ошибки в узкоспециализированных вопросах и сложных многошаговых вычислениях. Лицензия — Apache-2.0.

GLiNER small-v2.1 — модель для распознавания именованных сущностей, разработанная Урчаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарно. Она использует двунаправленный энкодер на основе трансформера, похожий на BERT, и позволяет извлекать из текста сущности разных типов, заданных пользователем, вместо работы только с фиксированным набором категорий. Модель предназначена для разметки текста и сценариев извлечения информации, в том числе там, где важно обойтись без крупных и ресурсоёмких LLM. Вариант small-v2.1 содержит 166 млн параметров, работает с английским языком и использует библиотеку GLiNER. Модель принимает текст и выдаёт найденные сущности с их типами. Для запуска требуется библиотека GLiNER. Распространяется по лицензии Apache-2.0.

GLiNER x-large — мультиязычная модель распознавания именованных сущностей от Knowledgator. Она построена на двунаправленном трансформерном энкодере семейства MT5 и распознаёт типы сущностей, заданные пользователем, вместо работы только с фиксированным набором классов. Модель предназначена для извлечения информации из текста и может служить более компактной альтернативой крупным языковым моделям в сценариях, где нужны разметка сущностей и ограниченные вычислительные ресурсы. Модель поддерживает датский, шведский, норвежский, чешский, польский, литовский, эстонский, латышский, испанский, финский, английский, немецкий, французский, румынский, итальянский, португальский, нидерландский, арабский, китайский, хинди и украинский языки. В опубликованных бенчмарках GLiNER x-large превосходит сравниваемые модели на приведённых наборах для датского, немецкого и английского языков. Доступны веса в форматах Safetensors и ONNX; лицензия — Apache-2.0.

MLX-версия модели GLM-4.7-Flash-8bit, созданная сообществом mlx-community путём конвертации базовой модели zai-org/GLM-4.7-Flash в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в средах, совместимых с MLX и mlx-lm. В README указаны поддерживаемые языки English и Chinese, а также доступность chat template для диалогового использования. Модель имеет 8-битное представление, однако сведения об архитектуре, количестве параметров, размере контекста, модальностях и конкретных сценариях применения не приведены. Лицензия — MIT.

GLM-4-9B-Chat-1M-GGUF — квантованная GGUF-версия языковой чат-модели GLM-4-9B-Chat-1M, разработанной THUDM. Квантование выполнено bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые средства локального запуска. Модель ориентирована на китайский и английский языки и поддерживает текстовый ввод и вывод. В названии указано окно контекста 1M; размер базовой модели — около 9 млрд параметров. Доступны варианты от F16 до различных уровней квантования Q2–Q8 и IQ, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Рекомендуемые варианты обеспечивают высокое или хорошее качество, а компактные варианты подходят для систем с ограниченным объёмом RAM, но дают более заметное снижение качества. Это локальная версия модели, что позволяет запускать её без обращения к облачному API, однако производительность зависит от используемого оборудования и реализации inference. README не содержит результатов тестирования, поэтому точные сильные стороны по сравнению с другими моделями оценить нельзя. Для работы требуется соблюдать формат промпта с токенами [gMASK], <sop>, <|system|>, <|user|> и <|assistant|>. Лицензия указана как glm-4; подробные условия доступны в лицензии исходной модели THUDM.

GLM-5.3-Flash-GGUF — квантизированная GGUF-версия модели GLM-5.3-Flash от Z.ai, подготовленная пользователем aj9o9 с ручным распределением типов квантования по классам тензоров. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальное использование на системах с ограниченной памятью по сравнению с полноразмерной BF16-версией. Заявлены языки английский и китайский. Исходная модель имеет 320,6 млрд параметров, из которых 17,3 млрд активируются на токен; после удаления блока MTP/NextN в представленных файлах остаётся 313,33 млрд параметров. Это разреженная MoE-архитектура с 42 слоями маршрутизируемых экспертов, 288 экспертами в каждом слое, восемью активными экспертами и одним общим экспертом. Из 45 слоёв 34 используют Kimi Delta Attention, а 11 — Multi-head Latent Attention с индексатором DeepSeek. Благодаря этому модель экономно расходует память под контекст: заявлены 32K, 131K и 300K токенов при использовании примерно 0,44, 1,55 и 3,45 ГБ памяти для соответствующих KV-компонентов. Доступны две сборки: AJ-IQ3_XXS размером 112,40 ГБ с плотностью 2,80 бит на вес, рассчитанная на 128 ГБ unified memory или видеокарту на 96 ГБ с небольшим выгрузом, и AJ-IQ2_XXS размером 87,35 ГБ с плотностью 2,23 бит на вес, рассчитанная на видеокарту на 24 ГБ и 64 ГБ системной памяти. AJ-IQ3_XXS заметно лучше сохраняет качество исходной модели, тогда как AJ-IQ2_XXS требует меньше памяти, но имеет более высокое отклонение от BF16. Ограничение обеих сборок — отсутствие MTP-головы и поддержки спекулятивного декодирования через неё. Приведённые оценки качества получены на небольшом тесте Wikitext-2, поэтому не характеризуют все прикладные сценарии. Модель распространяется по лицензии MIT.

OneNexus/GLM-5.3-Flash-MXFP4 — это чекпойнт модели GLM-5.3-Flash, разработанный OneNexus на базе zai-org/GLM-5.3-Flash. Модель предназначена для серверной обработки текстовых запросов и задач преобразования изображений в текст, включая сценарии с длинным контекстом и мультимодальными запросами. Заявлены английский и китайский языки; обработка видео не оценивалась. Модель имеет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. В большинстве слоёв используются маршрутизируемые эксперты с форматом весов MXFP4, а для других тензоров сохраняется заявленная точность. Архитектура включает разреженное внимание, K-пул для выбора контекста и встроенный механизм speculative decoding MTP с EAGLE. Максимальный контекст составляет 1 048 576 токенов, однако описанные тесты AgentX использовали ограничение 262 144 токена. Индексированный объём тензоров — около 182,12 GiB. На фиксированных выборках модель показала небольшие преимущества над amd/GLM-5.3-Flash-Quark-MXFP4 в MMLU и GPQA Diamond, но немного уступила в GSM8K; статистически значимое превосходство не установлено. Измеренная производительность при обслуживании запросов практически совпала с сопоставимым чекпойнтом AMD. Результаты зависят от ограничений длины ответа и не подтверждают превосходство в общем качестве, безопасности или агентских сценариях. Основной проверенный вариант развёртывания использует четыре AMD Instinct MI355X, ROCm и SGLang с TP4/EP4 и FP8 KV-кэшем. Лицензия — MIT.

ibm-granite/granite-4.2-8b-nvfp4 — это версия модели Granite-4.2-8B в формате NVFP4, разработанная IBM. Репозиторий основан на базовой модели ibm-granite/granite-4.2-8b и предназначен для использования с библиотекой Transformers. Из доступных данных известно, что модель относится к языковым моделям и имеет размер 8 миллиардов параметров в базовой версии. Формат NVFP4 ориентирован на более компактное представление модели, однако конкретные сведения о поддерживаемых языках, архитектуре, длине контекста, модальностях, целевых сценариях и результатах оценки в карточке не приведены. Модель может быть полезна как оптимизированное представление Granite-4.2-8B для задач, где важны совместимость с Transformers и снижение требований к хранению или вычислениям, но преимущества и ограничения NVFP4 для конкретного оборудования не указаны. Модель распространяется по лицензии Apache-2.0.

Hermes-3-Llama-3.2-3B-GGUF — набор квантованных версий языковой модели Hermes-3-Llama-3.2-3B от NousResearch, подготовленный и опубликованный bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в формате ChatML, ролевое взаимодействие, ответы на инструкции, вызов функций и выдачу структурированных данных в JSON. В README указана поддержка английского языка. Модель содержит около 3 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты с точностью от F32 и F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Более компактные варианты требуют меньше оперативной памяти, но могут уступать старшим по качеству; некоторые сборки оптимизированы для ARM или AVX и имеют аппаратные ограничения. Размер контекста в README не указан, как и сведения о мультимодальности, точной архитектуре и результатах оценки. Лицензия обозначена как llama3. Модель подходит для локального инференса на совместимом оборудовании, однако выбранный вариант квантования влияет на требования к памяти, скорость и качество генерации.

Huihui-Qwen3.5-9B-abliterated-GPTQ-Pro-4bit-g64 — это квантизированный GPTQ-Pro чекпойнт, опубликованный groxaxo на базе huihui-ai/Huihui-Qwen3.5-9B-abliterated. Модель предназначена для генерации текста, локального или размещённого инференса, открытой оценки и воспроизводимых экспериментов. README указывает англоязычную конфигурацию и совместимость с Transformers, GPTQModel и vLLM при поддержке соответствующего формата и архитектуры. Модель содержит около 9 миллиардов параметров в 4-битном представлении GPTQ-Pro с размером группы 64. Для квантизации использовались 128 калибровочных образцов. По сравнению с исходной моделью заявлены близкие показатели языкового моделирования: perplexity на Wikitext-2 составляет 9,6579 против 9,5234 у оригинала, средняя деградация — 1,41%, KL-дивергенция — 0,03423, совпадение наиболее вероятного следующего токена — 91,96%, а совпадение в топ-5 — 99,98%. Квантизация должна заметно снизить потребление памяти, однако фактические требования зависят от длины контекста, размера кэша, параллелизма и аппаратной конфигурации. Сильной стороной модели является сохранение поведения исходного чекпойнта при более эффективном использовании памяти. Ограничения включают возможное изменение числового поведения, качества и пропускной способности после квантизации, а также необходимость проверять результаты на собственных задачах. Название базовой модели указывает на модифицированную или сниженную фильтрацию, но README не гарантирует одинаковое поведение для всех запросов. Лицензия обозначена как other; для условий использования и распространения необходимо изучить карточку базовой модели. Мультимодальность и размер контекста в README не указаны.

HyperLLama3.1-8b-Nova — объединённая языковая чат-модель, созданная bunnycore с помощью mergekit и метода Model Stock. В объединение вошли bunnycore/LLama-3.1-8b-Ultra-Max-Pro, bunnycore/HyperLlama-3.1-8B, bunnycore/StockLLama-3.1-8B и arcee-ai/Llama-3.1-SuperNova-Lite; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и доступна в формате safetensors для Transformers. Карточка описывает способ объединения, но не приводит сравнительных оценок качества или подробностей о поведении модели. В метаданных указана англоязычная базовая модель Arcee.ai на базе Llama 3.1 8B Instruct; отдельные сведения о лицензии этой модели здесь не приведены.

Idefics2-8b-base — базовая мультимодальная модель от Hugging Face для обработки изображений и текста. Она принимает текстовые запросы и одно или несколько изображений, в том числе чередующиеся с текстом, и генерирует текстовые ответы. Модель предназначена для описания изображений, визуальных вопросов и ответов, чтения текста на изображениях и документах, а также анализа диаграмм и графиков. Модель содержит 8 млрд параметров и построена на архитектуре Idefics2: визуальный кодировщик SigLIP обрабатывает изображения, после чего Perceiver pooling и проекция объединяют визуальные признаки с текстовыми эмбеддингами языковой модели Mistral. Поддерживаются изображения с разными пропорциями и разрешением до 980 × 980 пикселей; несколько изображений и текст могут подаваться в чередующемся порядке. Основной язык карточки — английский. Модель служит основой для специализированной настройки. Версия base уступает Idefics2-8b в следовании инструкциям; для готового диалогового применения авторы рекомендуют инструкционную версию, а для длинных ответов — Idefics2-8b-chatty. Генерировать изображения модель не умеет. В README также отмечена несовместимость с Transformers версий 4.41.0–4.43.3. Лицензия — Apache 2.0.

bartowski/inclusionAI_Ring-mini-2.0-GGUF — это набор квантизованных версий языковой модели Ring-mini-2.0, разработанной inclusionAI. Модель предназначена для генерации текста и запускается в формате GGUF через llama.cpp, LM Studio и другие совместимые приложения. В README указано, что квантизация выполнена с использованием llama.cpp и метода imatrix. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 6,82 до 32,54 ГБ. Более крупные варианты обеспечивают более высокое качество, а Q4_K_M указан как вариант по умолчанию для большинства сценариев; Q6_K и Q6_K_L отмечены как версии очень высокого качества. Модель поддерживает формат промпта с ролями SYSTEM, HUMAN и ASSISTANT, а также специальным маркером рассуждений. Набор подходит для локального вывода текста на устройствах с ограниченными ресурсами, если выбрать подходящий уровень квантизации. Ограничения, архитектура, количество параметров, поддерживаемые языки, размер контекстного окна и мультимодальные возможности в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в описании исходной модели inclusionAI/Ring-mini-2.0.

Instruct-v0.2-Seraph-7B — языковая модель Weyaxi для генерации текста в формате инструкций. Она создана слиянием методом SLERP моделей Weyaxi/Seraph-7B и mistralai/Mistral-7B-Instruct-v0.2; в конфигурации также указана базовая модель mistralai/Mistral-7B-v0.1. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и имеет контекстное окно 32 768 токенов. Модель подходит для диалоговых ответов и выполнения текстовых инструкций. Веса доступны в формате safetensors, лицензия — Apache-2.0. README не приводит результатов оценки качества или перечня поддерживаемых языков, поэтому конкретные языковые возможности и сравнительные преимущества установить нельзя.

Kaoeiri/Interleaved-Upscale-Cydonyanoi-39B — объединённая языковая модель на архитектуре Mistral, созданная методом passthrough с помощью mergekit на основе TheDrummer/Cydonia-22B-v1.3. Веса опубликованы в формате safetensors; модель содержит 38,8 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные также указывают интерфейс вызова инструментов. Карточка не описывает отдельные специализированные области или языки применения. Модель распространяется по лицензии CC BY-ND 4.0. Карточка не приводит оценок качества или подробных ограничений применения.

Kaoeiri/Interleaved-upscale-magnum-v4-39B — объединённая модель большого языкового моделирования, созданная с помощью mergekit на основе anthracite-org/magnum-v4-22b. Она использует плотную архитектуру MistralForCausalLM с 38,8 млрд параметров и рассчитана на генерацию текста, включая диалоговые сценарии и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors и предназначен для использования с Transformers. Лицензия CC BY-ND 4.0 требует указания авторства и ограничивает распространение производных материалов согласно её условиям. Карточка описывает слияние методом passthrough, включающее anthracite-org/magnum-v4-22b.