I.11Классификация, ранжирование и сопоставление

Nous-Hermes-2-Yi-34B-imatrix-GGUF — набор квантизированных версий текстогенерационной модели Nous-Hermes-2-Yi-34B, разработанной Nous Research. Модель предназначена для диалогового взаимодействия и генерации текста, включая многоходовые чаты с системными инструкциями, ролями и управляемым стилем ответа. Модель имеет размер 34B и распространяется в формате GGUF с использованием imatrix-квантизации. Она поддерживает текстовую модальность и английский язык. Для взаимодействия используется формат ChatML, совместимый по принципу структурирования сообщений с API OpenAI; README также указывает на возможность запуска через llama.cpp и LM Studio. Размер контекстного окна и точная базовая архитектура в README не указаны. К сильным сторонам относятся поддержка системных инструкций, ролевой структуры диалога и локального запуска через совместимое программное обеспечение. Ограничения включают отсутствие сведений о качестве, результатах тестирования, требованиях к ресурсам и характеристиках отдельных вариантов квантизации. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bit — языковая модель, разработанная NVIDIA и преобразованная сообществом mlx-community в формат MLX. Она предназначена для генерации текста и локального запуска с использованием библиотеки mlx-lm, включая диалоговые сценарии и другие задачи text generation. Модель представляет собой гибридную Mixture-of-Experts-архитектуру Mamba-2 и attention. Она содержит около 31 млрд параметров, при этом для каждого токена активно используется примерно 3 млрд. Версия выполнена в 4-битной квантизации с размером группы 64 и создана на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 с помощью mlx-lm 0.31.3. В README указана поддержка английского, испанского, французского, немецкого, итальянского и японского языков. К сильным сторонам относятся сочетание большой общей емкости с небольшим числом активных параметров на токен, а также адаптация к MLX для запуска в соответствующей экосистеме. Ограничения включают необходимость совместимого окружения MLX и отсутствие в предоставленных данных сведений о контексте, производительности, мультимодальности и конкретных аппаратных требованиях. Модель распространяется по лицензии openmdw-1.1.

Это конвертированная в GGUF версия NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4, подготовленная автором репозитория для запуска через llama.cpp. Из конвертации исключены MTP-слои; веса сохранены в автоматически выбранном формате исходной модели. Модель предназначена для генерации текста и диалогового использования. Автор сообщает, что она запускалась на двух видеокартах RTX 5060 Ti по 16 ГБ, с контекстом до 1 048 576 токенов и квантизацией KV-кэша q8_0; по его оценке, для этого не требуется выгружать экспертные слои в оперативную память. Поддерживаемые языки по карточке: английский, испанский, французский, немецкий, итальянский и японский. Это конверсия исходной модели NVIDIA в GGUF для llama.cpp, а не самостоятельное дообучение; базовая модель — nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. Репозиторий указывает лицензию «other», поэтому перед использованием следует проверить условия исходной модели и репозитория.

TobDeBer/Olmo-3-1025-7B-magic1 — преобразованная с помощью Magic V1 версия языковой модели OLMo 3 7B, разработанной Allen Institute for AI (Ai2). Это плотная авторегрессионная Transformer-модель примерно с 6,9 млрд параметров, предназначенная для генерации текста и продолжения запросов. Модель обучалась на данных Dolma 3; карточка описывает этапы предварительного обучения, дообучения на смешанных данных и обучения для длинного контекста. Модель работает с текстом на английском языке и поддерживает контекст до 65 536 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Подходит для генерации текста, ответов на вопросы, задач по математике и коду, однако конкретное качество на таких задачах зависит от запроса и развёртывания. Это базовая языковая модель без фильтрации безопасности: она может выдавать неточные, предвзятые или вредоносные ответы, поэтому факты следует проверять. Модель и код распространяются по лицензии Apache 2.0.

Карточка модели OpenBuddy/openbuddy-deepseek-67b-v15.1 на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-deepseek-67b-v15.2, поэтому описание составлено по ней. OpenBuddy-deepseek-67b-v15.2 — мультиязычная разговорная языковая модель семейства Llama, опубликованная проектом OpenBuddy. Она предназначена для диалога и генерации текста в ответ на запросы пользователя; модель содержит 66,6 млрд параметров и использует архитектуру LlamaForCausalLM. Для работы указаны Transformers и формат Safetensors, длина контекста — 4096 токенов. В метаданных перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский, русский и финский языки. Карточка указывает лицензию «deepseek», но не приводит её точные условия. Модель может выдавать ошибочные, вредные или оскорбительные ответы; разработчики предостерегают от использования в медицинских, финансовых, юридических и других критически важных сценариях.

GestaltLabs/Ornstein-Hermes-3.6-27B-GGUF — набор GGUF-квантизаций модели GestaltLabs/Ornstein-hermes-3.6-27b, представляющей собой дообученную в формате Hermes версию Ornstein-3.6-27B на базе мультимодальной Qwen 3.6 с 27 млрд параметров. Квантизации подготовлены с помощью llama.cpp; для калибровки K- и I-квантизаций использован imatrix на 800 диалогах с применением инструментов из датасета Acta-Synthetic. Модель предназначена для мультимодальных задач image-text-to-text, диалогового взаимодействия, агентских сценариев, вызова функций и использования внешних инструментов. Она обучена работать с Hermes-форматом function calling и поддерживает tool use; заявлен английский язык. В репозитории доступны варианты от IQ2_M размером около 9,3 ГБ до Q8_0 размером около 26,6 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Более высокие разрядности обеспечивают большую точность, а агрессивные 3- и 2-битные варианты требуют меньше памяти, но заметно снижают качество. Модель распространяется в формате GGUF и совместима с llama.cpp, Ollama и LM Studio. Квантизация ориентирована на распределения данных, характерные для вызова инструментов, что может быть сильной стороной в агентских задачах, однако README не содержит независимых результатов оценки качества, максимального размера контекста и подробностей о поддерживаемых языках помимо английского. Лицензия — Apache 2.0, унаследованная от базовой модели Qwen 3.6.

muhtasham/Phi-3.5-vision-instruct_20240915_223241 — дообученная версия мультимодальной Phi-3.5-vision-instruct от Microsoft. В карточке указано, что модель обучалась на датасете со средним размером 1,8 млн, но его название не приведено. Модель предназначена для диалоговой генерации текста. Базовая модель поддерживает работу с текстом и изображениями, включая ответы на вопросы по изображениям, OCR, анализ документов и суммирование видеоклипов по кадрам; README не уточняет, сохраняются ли все эти возможности после дообучения. Архитектура — плотная Phi3VForCausalLM, объём — 3,7 млрд параметров, библиотека — Transformers, формат весов — safetensors, указанная длина контекста — 4096 токенов. Карточка не содержит результатов оценки качества и конкретных рекомендаций по применению. Модель распространяется по лицензии MIT.

Это GGUF-квантизированная версия текстовой языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft. Репозиторий подготовлен пользователем legraphista с использованием llama.cpp b3003 и метода IMatrix для отдельных вариантов квантования. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые инструменты. Заявлена поддержка multilingual-сценариев, однако конкретный перечень языков в README не указан. Модель имеет контекстное окно до 128k токенов и поставляется в форматах GGUF с разными уровнями точности: от FP16 и BF16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K, Q8_0 и вариантов IQ. Размер файлов составляет примерно от 4,77 до 27,92 ГБ. Варианты Q2–Q4 и некоторые IQ используют IMatrix, что должно помогать сохранять качество при сильном сжатии, но README не приводит количественных результатов сравнения. Сильная сторона репозитория — широкий выбор форматов для компромисса между качеством, размером и требованиями к памяти, а также поддержка длинного контекста исходной модели. Ограничения включают высокие аппаратные требования для крупных вариантов и возможное снижение качества у низкобитных квантований; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии MIT, унаследованной от исходной модели Microsoft.

Polaris-7B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели Polaris-7B-Preview, разработанной POLARIS-Project и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и может использоваться локально в LM Studio, llama.cpp и других проектах на базе llama.cpp. В набор входят полная версия BF16 и варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2 с размером файлов примерно от 3,55 до 15,24 ГБ. Для квантования применялась llama.cpp версии b5697 и метод imatrix. Данные о точной архитектуре, размере контекста, поддерживаемых языках, модальностях и характеристиках базовой модели в README не указаны. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее снижать качество генерации. Для работы следует использовать указанный формат приглашений с системным сообщением, пользовательским запросом и ответом ассистента. Модель распространяется по лицензии Apache-2.0.

Qwen1.5-1.8B-Chat — чатовая языковая модель из семейства Qwen, разработанная командой Qwen. Это бета-версия Qwen2, основанная на декодерной архитектуре Transformer и предназначенная для диалогов и генерации текста. Модель содержит 1,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель поддерживает многоязычный ввод и вывод, а её токенизатор адаптирован к разным естественным языкам и программному коду. В архитектуре используются активация SwiGLU и смещение QKV в механизме внимания. Карточка относит её к чатовым моделям и отмечает улучшение предпочтений пользователей для диалоговой версии семейства. Модель подходит для чат-ботов, ответов на запросы и генерации текста. В README советуют использовать Transformers версии 4.37.0 или новее и параметры генерации из generation_config.json, чтобы снизить проблемы с переключением языков и другие нежелательные результаты. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

Qwen2.5-14B-Instruct-IMat-GGUF — это GGUF-квантизированная версия текстовой instruction-модели Qwen2.5-14B-Instruct, первоначально разработанной командой Qwen. Квантизацию выполнил legraphista с использованием llama.cpp и IMatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, совместимых с llama.cpp и форматом GGUF. В метаданных указан английский язык; модальность — текстовая. Модель основана на варианте размером 14B параметров с исходным типом данных BF16. Доступны версии от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая варианты с IMatrix для ряда низкобитных квантизаций. Это позволяет выбирать между качеством, размером файла и требованиями к памяти: размер доступных файлов составляет примерно от 5,77 до 29,55 ГБ. Размер контекста, архитектурные детали и результаты тестирования в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка локального запуска и применение IMatrix в низкобитных вариантах, что может помочь сохранить качество при уменьшении размера модели. Ограничения включают возможную потерю качества из-за квантизации, особенно в наиболее компактных вариантах, а также отсутствие в предоставленных данных подробных бенчмарков и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

AiCloser/Qwen2.5-32B-AGI — дообученная диалоговая языковая модель на архитектуре Qwen2.5, созданная на основе Qwen/Qwen2.5-32B-Instruct. Разработчик описывает её как первую донастройку Qwen2.5 32B для снижения чрезмерных отказов отвечать; для этого использованы наборы инструктивных и предпочтительных данных, включая датасеты с токсичным содержимым. Модель предназначена для диалога и генерации текста по инструкциям. Она содержит 32 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В метаданных заявлены китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Распространяется в формате safetensors по лицензии Apache-2.0. Настройка на снижение отказов может приводить к ответам на запросы, которые базовая модель отклоняет; степень такого эффекта и качество модели для отдельных задач в карточке не измерены. Модель сохраняет ограничения базовой языковой модели, включая возможность ошибок и недостоверных утверждений.

Qwen2.5-4B — плотная языковая модель для генерации текста и диалогового взаимодействия, созданная автором репозитория на основе Qwen/Qwen2.5-3B с помощью mergekit. Слияние выполнено методом passthrough: последовательность слоёв базовой модели собрана из перекрывающихся диапазонов, а веса представлены в формате bfloat16 и safetensors. Модель предназначена для генерации текста и ответов в чате; интерфейс также поддерживает вызов инструментов. Она содержит 3,9 млрд параметров, использует архитектуру Qwen2 и имеет контекст длиной до 32 768 токенов. Метаданные перечисляют поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. В README не приведены результаты оценки качества или подробности о том, как именно изменённая последовательность слоёв влияет на поведение, поэтому качество на конкретных задачах следует проверять отдельно. Лицензия в предоставленных данных не указана.

Это версия Qwen2.5-7B-Instruct, подготовленная сообществом mlx-community для использования в формате MLX. Модель основана на плотной авторегрессионной архитектуре Qwen2 с 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате, включая ответы на запросы и работу с интерфейсом вызова инструментов. Длина контекста составляет 32 768 токенов; в метаданных указан английский язык. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также сценариев, где приложению требуется передавать вызовы инструментов через поддерживаемый интерфейс. Репозиторий содержит веса safetensors и преобразован в формат MLX с помощью mlx-lm версии 0.18.1. Базовая модель Qwen2.5-7B дообучена в варианте Instruct; для исходной модели указана лицензия Apache-2.0.

Optitransfer представил Qwen2.5-7B-Instruct-converge-collective-v1 — объединённую модель для диалогов и генерации текста, созданную на основе Qwen2.5-7B-Instruct и восьми донорских моделей четырёх семейств. Слияние выполнено методом converge: тензоры согласуются между архитектурами, объединяются через целочисленный CRDT-механизм и сохраняются в формате safetensors. Заявлены 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов и других текстовых сценариев. В README описаны точное воспроизведение результата с проверкой SHA-256 и результаты парного сравнения с исходной моделью: улучшения неоднородны, отдельные показатели снизились. Поддерживается английский язык; метаданные также отмечают интерфейс вызова инструментов. Модель распространяется по лицензии Apache-2.0. Это слитый чекпойнт одной группы из девяти моделей; README указывает на регрессии по отдельным бенчмаркам и на то, что выравнивание базисов между архитектурами остаётся открытой исследовательской задачей.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.4 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

Модель t-firefly/qwen3-1.7b-rknn3-rk1828 — адаптация Qwen3-1.7B, разработанной командой Qwen, для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная языковая модель с 1,7 млрд параметров; репозиторий содержит веса в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования и рассуждений. Поддерживает режимы с рассуждением и без него, а также более 100 языков и диалектов. Контекстное окно составляет 40 960 токенов. Модель подходит для локальных сценариев на периферийных устройствах, где нужны компактный диалоговый помощник, ответы на инструкции или помощь с кодом. Метаданные отмечают интерфейс вызова инструментов, однако подробности его использования в карточке не приведены. Лицензия — Apache-2.0.

MaziyarPanahi/Qwen3-4B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-4B, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. В репозитории представлены варианты с квантованием 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp и рядом клиентских приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и candle. Это позволяет использовать модель с аппаратным ускорением, локальным пользовательским интерфейсом или OpenAI-совместимым сервером, в зависимости от выбранного инструмента. К сильным сторонам относятся несколько уровней квантования и широкая совместимость с экосистемой локального инференса, что помогает выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, результатах оценки и ограничениях исходной Qwen3-4B. Лицензия в предоставленных данных не указана.

Parda21/Qwen3-4B-NWC — версия языковой модели Qwen3-4B, представленная в формате Neural Weight Compression (NWC). Линейные слои и связанные эмбеддинги хранятся в сжатом BF16-виде; веса восстанавливаются непосредственно CUDA-ядром при умножении матриц. По заявлению автора, веса побитово совпадают с исходной моделью и не квантизированы. Репозиторий содержит 3,7 млрд параметров и рассчитан на контекст до 40 960 токенов. Модель предназначена для генерации текста и диалогов. По сравнению с исходной версией BF16 автор сообщает о сокращении размера весов с 8,04 до 5,55 ГБ, использовании видеопамяти с 8,10 до 5,67 ГБ и скорости 55 против 45 токенов в секунду на RTX 4070 в указанном режиме. Для запуска нужны библиотека nwc, Transformers, Accelerate и CUDA; специальный формат требует поддержки NWC. Лицензия весов — Apache-2.0, как у базовой модели.

Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop-GGUF — набор GGUF-квантизаций модели, опубликованный KevinJK51 на основе модели DavidAU/Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop. Модель относится к семейству Qwen, имеет размер 12B и предназначена для генерации текста и рассуждений в локальных и совместимых с GGUF системах инференса. Указанные языки — английский и китайский. Доступны варианты квантизации от Q8_0 размером 11,57 ГБ до Q2_K размером 4,60 ГБ; Q4_K_M обозначен как оптимальный баланс качества и размера. Модель можно использовать через LM Studio, llama.cpp, Ollama и другие GGUF-совместимые движки. Квантизация снижает требования к памяти, но варианты с меньшим размером могут уступать исходной модели по качеству. Сведения о длине контекста, точной архитектуре, поддержке дополнительных модальностей и результатах независимого тестирования не указаны. Лицензия модели — Apache-2.0.

DreamFoundries/Qwen3.8-27B-6bit — это MLX-конверсия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска локальных inference-сценариев в экосистеме MLX, прежде всего на совместимом оборудовании Apple. Она может использоваться для диалоговых приложений, написания и преобразования текста, а также других задач text generation, поддерживаемых исходной моделью. Модель содержит 27B параметров и использует аффинное 6-битное квантование весов с размером группы 64, выполненное с помощью mlx-lm 0.31.3. Эффективная разрядность составляет около 6,501 бита на вес, а файлы весов в формате safetensors занимают примерно 20 ГБ. В README не указаны поддерживаемые языки, размер контекста и дополнительные модальности. Ключевое преимущество модели — существенное уменьшение требований к памяти по сравнению с полноразмерной версией при сохранении совместимости с MLX. При этом сравнительные показатели качества и производительности для данной конверсии отсутствуют, поэтому её фактические характеристики требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

DreamFast/qwen3-8b-heretic — модифицированная версия языковой модели Qwen/Qwen3-8B, созданная сообществом DreamFast с использованием Heretic v1.2.0. Метод abliteration уменьшает склонность модели к отказам при сохранении качества исходной модели; по приведённым данным, модель отказала в 13 из 100 тестовых запросов против 100 из 100 у оригинала, а KL-дивергенция составила 0,0838. Модель предназначена для генерации текста, диалоговых сценариев и использования в качестве текстового энкодера для моделей генерации изображений, в частности Klein 9B в ComfyUI. Модель содержит около 8 млрд параметров и поддерживает работу через Transformers, llama.cpp и ComfyUI. Указан английский язык. Доступны версии в формате BF16, а также квантованные варианты FP8, INT8, INT4, NVFP4, MXFP8 и GGUF с различными уровнями точности и требованиями к памяти. Полноразмерная версия занимает около 16 ГБ, а рекомендуемая версия GGUF Q4_K_M — около 5 ГБ. Квантованные варианты используют SVD-guided learned rounding, что должно уменьшать ошибку восстановления по сравнению с обычным округлением. Сильной стороной модели является снижение числа отказов при относительно небольшом отклонении от базовой Qwen3-8B, а также широкий выбор форматов для разного оборудования. Ограничения включают наследование ограничений базовой модели, возможное ухудшение поведения из-за abliteration и различия в производительности квантованных форматов; NVFP4 и MXFP8 лучше всего подходят для видеокарт NVIDIA Blackwell, хотя поддерживается программная деквантизация на более старых GPU. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-8B-MLX-4bit — это 4-битная квантизированная версия модели Qwen/Qwen3-8B, преобразованная в формат MLX сообществом lmstudio-community с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, преимущественно на устройствах Apple Silicon, поддерживающих экосистему MLX. Модель относится к классу языковых моделей с параметрами порядка 8 миллиардов и работает в текстовой модальности. Она подходит для диалогов, продолжения текста и других задач генерации, которые поддерживаются базовой моделью Qwen3-8B. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекстного окна, результатах тестирования или специализированных сценариях применения. Ключевое преимущество версии — 4-битное представление, которое снижает требования к памяти и делает локальный запуск более доступным, однако может сопровождаться потерей качества по сравнению с полноразмерной версией. Для использования требуется установка mlx-lm и совместимое окружение MLX. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-8B-MLX-8bit — это 8-битная версия модели Qwen3-8B, преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Исходная модель опубликована в репозитории Qwen/Qwen3-8B; в README указано назначение для генерации текста и совместимость с библиотекой mlx-lm. Модель предназначена для локального запуска на устройствах, поддерживающих MLX, а также для диалоговой генерации с использованием chat template. Ключевые характеристики: около 8 миллиардов параметров, 8-битное представление и текстовая модальность. Архитектура, поддерживаемые языки, размер контекста, сильные стороны и ограничения в README не описаны, поэтому их нельзя достоверно оценить по предоставленным данным. Модель распространяется по лицензии Apache-2.0.

Aldaris/Qwen3-8B-Q4_K_M-GGUF — это квантованный вариант базовой модели Qwen/Qwen3-8B, преобразованный пользователем Aldaris в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и локального запуска через llama.cpp, включая командный интерфейс и серверный режим. Модель содержит 8 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к ресурсам по сравнению с полноразмерной версией и делает её подходящей для локального вывода на совместимом оборудовании. В README указано использование контекста размером 2048 токенов в примере запуска, однако максимальный размер контекста, архитектура, поддерживаемые языки и дополнительные модальности не описаны. К сильным сторонам относятся переносимость формата GGUF, совместимость с llama.cpp и возможность локального использования. Ограничениями являются потенциальная потеря качества из-за квантования, зависимость от llama.cpp для рекомендованного запуска и отсутствие в представленных данных подробных сведений о возможностях исходной модели. Лицензия — Apache 2.0.

Карточка модели speakguru/Qwen3-Omni-30B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

IlyaGusev/saiga_nemo_12b_gptq_8bit — это 8-битная GPTQ-квантизованная версия русскоязычной модели Saiga/MistralNemo 12B, опубликованная разработчиком Ilya Gusev на Hugging Face. Модель предназначена для генерации текста и диалогового взаимодействия на русском языке; в исходной карточке Saiga она описана как русскоязычный автоматический ассистент. Она дообучена на основе аблированной версии Mistral Nemo Instruct 2407 с использованием наборов данных IlyaGusev/saiga_scored и IlyaGusev/saiga_preferences. Модель содержит около 12 миллиардов параметров и использует архитектуру Mistral Transformer с 40 слоями, Grouped-Query Attention, 32 attention heads и 8 key-value heads. Для исходной Mistral Nemo заявлено контекстное окно до 128 тысяч токенов и поддержка нескольких языков, включая русский, английский, французский, немецкий, испанский, итальянский, португальский, китайский и японский, однако Saiga ориентирована прежде всего на русский язык. GPTQ-квантизация в 8 бит уменьшает требования к памяти по сравнению с полной версией, но может немного снижать точность и требует совместимого программного обеспечения для инференса. Сильные стороны модели — специализация на русскоязычных диалогах, относительно крупный размер для локального запуска и экономия памяти благодаря 8-битному представлению. Ограничения включают отсутствие мультимодальных возможностей в опубликованных данных, возможные ошибки и галлюцинации, а также отсутствие подробных официальных оценок именно для этой GPTQ-версии. Для исходной модели указана лицензия Apache 2.0; отдельная карточка квантизованной версии не содержит дополнительных лицензионных условий.

ShadowYamshadow_PasticheYam — объединённая модель Mistral, созданная из automerger/ShadowYamshadow-7B и automerger/PasticheYam-7B. Она предназначена для генерации текста и может использоваться в чат-ботах, помощниках и других приложениях на основе языковой модели. Модель содержит 7,1 млрд параметров, принимает текстовый запрос и генерирует текст; контекст — до 32 768 токенов. Веса доступны в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не описывает её поведение подробнее и не приводит отдельных ограничений качества; фактические результаты следует оценивать на целевых задачах.

MindLink-32B-0801-GGUF — это GGUF-квантизованная версия языковой модели MindLink-32B-0801, разработанной Skywork и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. Модель имеет размер 32B параметров и поставляется в вариантах от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Размер файлов составляет примерно от 13,7 до 65,5 ГБ в зависимости от варианта. Квантизация выполнена с использованием imatrix на базе llama.cpp release b6014; старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее уступают в качестве. Поддерживаемые языки, размер контекстного окна, точная архитектура, мультимодальность и специализация исходной модели в README не указаны. Сильная сторона модели — широкий выбор квантизаций для локального запуска и возможность подобрать баланс между качеством, потреблением памяти и скоростью. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6. Ограничением является отсутствие указанного chat template: в README отмечено, что используется шаблон по умолчанию, который может быть некорректным, поэтому его следует сверять с карточкой исходной модели. Лицензия в предоставленных данных не указана.

Apertus-8B-Instruct-2509-GGUF — это набор квантизированных версий языковой модели Apertus-8B-Instruct-2509, разработанной swiss-ai и подготовленной пользователем bartowski в формате GGUF с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через LM Studio, llama.cpp и другие совместимые проекты. В набор входят варианты с точностью от BF16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 3,8 до 16,1 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Исходная модель обозначена как 8B, однако сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях в представленном README не указаны; по имеющимся данным это текстовая модель. Сильная сторона набора — широкий выбор локальных конфигураций: варианты Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 подходят для большинства сценариев с ограниченными ресурсами. Более сильная квантизация может снизить качество генерации, особенно у вариантов Q3 и ниже. Формат prompt не указан, поэтому для корректного использования необходимо обратиться к странице исходной модели. Лицензия в README не указана.