II.4Отладка, тестирование и качество ПО

ZuzeTt/Qwen3-VL-4B-Instruct-heretic-Imatrix-GGUF — децензурированная версия мультимодальной модели Qwen3-VL-4B-Instruct, созданная пользователем ZuzeTt на основе модели Qwen и обработанная с помощью Heretic v1.0.1. Модель предназначена для работы с текстом и визуальными данными, включая понимание изображений и видео, визуальное рассуждение, OCR, анализ пространственных отношений, генерацию кода и взаимодействие с графическими интерфейсами. Модель относится к классу Dense и имеет 4 млрд параметров. Заявлены контекст длиной 256K токенов с возможным расширением до 1M, поддержка OCR на 32 языках, улучшенное понимание видео и временных связей, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и Text–Timestamp Alignment. Репозиторий распространяется в формате GGUF, однако конкретные параметры квантования в README не указаны. Главная особенность версии — снижение количества отказов от ответа: в приведённом сравнении модель отказала в 8 из 100 случаев против 92 из 100 у исходной Qwen3-VL-4B-Instruct; KL-дивергенция относительно оригинала составляет 0,27. Это может быть полезно для исследовательских и экспериментальных сценариев, требующих менее ограниченного поведения, но одновременно означает изменение исходных механизмов безопасного отказа. Лицензия — Apache-2.0.

Qwythos-9B-v2-GGUF — набор GGUF-квантизаций модели Qwythos-9B-v2, разработанной Empero AI, предназначенный для запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Модель ориентирована на рассуждения, генерацию текста, вызов функций и мультимодальные сценарии с анализом изображений. Это 9-миллиардная гибридная модель с сочетанием блоков Gated-DeltaNet линейного внимания и полноформатного внимания в соотношении 3:1. Доступны варианты от Q4_K_M до BF16, включая версии с восстановленной MTP-головой для speculative decoding. Заявлены английский язык, контекст до 1 млн токенов с YaRN и поддержка изображений через отдельный vision projector, совместимый с Qwen3.5-9B. Версия v2 устраняет зацикливание при жадном и низкотемпературном декодировании, сохраняя показатели знаний и рассуждений на уровне базовой модели или выше; модель при этом намеренно uncensored. Для работы с изображениями требуется файл mmproj, а для MTP-ускорения — свежая сборка llama.cpp с поддержкой draft-mtp. Q4_K_M рекомендуется как начальный вариант благодаря балансу размера и качества, однако квантизация может снижать точность по сравнению с BF16. Модель распространяется по лицензии Apache-2.0.

SmolLM3-3B-trellis-3inst-4bpw-kernel — это квантованная версия языковой модели SmolLM3-3B, разработанной HuggingFaceTB. Модель предназначена для генерации текста, диалоговых приложений, локального инференса и интеграции с vLLM или Transformers, включая использование в coding agents через OpenAI-совместимый API. Поддерживаются английский, французский, испанский, итальянский, португальский, китайский, арабский и русский языки. Модель работает в текстовой модальности; базовая архитектура и точный размер контекста в README не раскрыты, однако в примере конфигурации указано ограничение контекста 4096 токенов. Веса сжаты до 4,0 бит на параметр методом GLQ: используются trellis-coded quantization QTIP TCQ в варианте 3inst, randomized Hadamard transform и LDLQ. Сжатые веса хранятся в памяти и декодируются на лету объединённым CUDA-ядром, что снижает требования к VRAM. Указаны средний SQNR весов 22,06 дБ и близкая к базовой perplexity на WikiText-2: 9,23 против 9,12 у bf16-версии. Для экономии памяти под длинный контекст доступна E8-квантизация KV-кэша, уменьшающая его размер примерно в четыре раза при 4-битном режиме. Ограничения включают необходимость CUDA-совместимой среды и glq версии не ниже 0.7.0; приведённые результаты AIME являются единичными оценками с заметной погрешностью. Модель распространяется по лицензии Apache-2.0.

ThinkingCap-Qwen3.6-27B-FP8 — мультимодальная языковая модель BottleCap AI, представляющая собой FP8-квантизированную версию ThinkingCap-Qwen3.6-27B. Базовая модель Qwen3.6-27B разработана командой Qwen, а ThinkingCap получена её дообучением с сохранением качества и стиля ответов при примерно на 50% меньшем среднем числе токенов рассуждений. Модель предназначена для текстовых задач, требующих рассуждений, а также для работы с визуальными данными, включая сценарии, оцениваемые на MMLU-Pro и RealWorldQA. Вес модели квантизирован в формате native block-wise FP8 E4M3 с блоками масштабирования 128×128 и динамической поканальной квантизацией активаций; отдельные компоненты, включая lm_head, MTP-голову, vision tower и входные вентили Gated-DeltaNet, сохранены в bf16. Размер в формате FP8 составляет около 29 ГБ против примерно 55 ГБ для bf16. MTP-голова поддерживает самоспекулятивное декодирование без отдельной draft-модели, а vLLM и SGLang умеют загружать модель нативно. Максимальный контекст, точный набор языков и полный перечень поддерживаемых модальностей в карточке не указаны. К сильным сторонам относятся снижение потребления памяти, близкое к исходному качество, сокращение длины рассуждений и существенное ускорение генерации; по заявленным внутренним тестам, сочетание дообучения, FP8 и MTP обеспечивало многократное ускорение на задачах MMLU-Pro и RealWorldQA. Ограничения включают зависимость производительности от оборудования и серверного движка, а приведённые результаты получены на внутреннем стенде BottleCap AI и не охватывают все сценарии применения. Лицензия — Apache-2.0, однако для доступа к модели требуется заполнить форму запроса.

XVERSE-13B — многоязычная языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Это плотная decoder-only модель на архитектуре Transformer с 13,2 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит веса PyTorch; лицензия Apache-2.0 разрешает коммерческое использование на её условиях. Модель предназначена для генерации текста, многоходового диалога, ответов на вопросы и суммаризации. Она обучалась на разнообразных данных более чем на 40 языках; в карточке особо отмечены китайский и английский, а также русский и испанский. BPE-токенизатор использует словарь размером 100 534 токена. В карточке также приведены оценки на тестах по пониманию языка, рассуждениям, математике и программированию. Как и другие большие языковые модели, XVERSE-13B может генерировать неточные, предвзятые или оскорбительные ответы. Для конкретного применения разработчикам рекомендуется проверять безопасность и качество ответов. В README указана более новая версия XVERSE-13B-2, обученная на большем объёме данных; описываемая здесь модель — исходная версия.

Agents-A1-4B — плотная языковая модель на 4 млрд параметров от InternScience, созданная для автономного выполнения многошаговых задач. Она основана на архитектуре Qwen3.5 и дообучена для агентных сценариев: поиска, инженерной работы, научных исследований, следования инструкциям и вызова инструментов. Модель поддерживает диалог и интерфейс вызова функций; веса доступны в формате safetensors и совместимы с Transformers, vLLM и SGLang. В README заявлена длина контекста до 262 144 токенов при указанной конфигурации SGLang. Модель предназначена для разложения сложных запросов на шаги, планирования, использования внешних инструментов и ответов на научные и профессиональные вопросы. В README приведены высокие результаты на тестах поиска, агентных задач и следования инструкциям, однако это заявления разработчика, и они не гарантируют качество в конкретном приложении. Лицензия Apache-2.0.

Citaman/command-r-11-layer — объединённая языковая модель на архитектуре Cohere, опубликованная Citaman. По карточке, модель получена методом SLERP с помощью mergekit из слоёв Citaman/command-r-12-layer, а метаданные классифицируют её как дообучение этой базовой модели. Модель содержит 11,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; поддерживает интерфейс вызова инструментов. Модель подходит для чат-ботов, генерации ответов и систем, где языковая модель взаимодействует с инструментами. Контекстное окно составляет 8192 токена. В карточке указана архитектура CohereForCausalLM и формат safetensors. Лицензия и целевые языки в предоставленных данных не указаны.

DeepHermes 3 Llama 3 8B Preview — языковая модель Nous Research на архитектуре Llama, дообученная на базе meta-llama/Meta-Llama-3.1-8B. Это предварительная версия общей разговорной модели с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель поддерживает диалог в формате Llama-Chat и переключение между обычными ответами и режимом рассуждения с помощью системного промпта. Модель предназначена для генерации ответов, многошаговых диалогов, ролевого общения и задач, где полезны рассуждение и объективность. Она также поддерживает интерфейс вызова функций и структурированные ответы в JSON; вызов инструмента выполняет внешняя система, которая обрабатывает ответ модели и передаёт ей результат. Карточка описывает модель как preview с ранними возможностями рассуждения и предупреждает о возможных особенностях и проблемах. Включение режима рассуждения требует специального системного промпта, а для сложных запросов может понадобиться увеличить лимит генерируемых токенов. Указана лицензия Llama 3; применяйте модель с учётом её условий.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

EXAONE-3.5-32B-Instruct-AWQ — двуязычная генеративная языковая модель с инструкционным дообучением, разработанная LG AI Research. Она предназначена для диалоговых приложений, генерации и обработки текста на английском и корейском языках, а также для сценариев, требующих понимания длинного контекста до 32 768 токенов. Модель относится к семейству EXAONE 3.5 и поставляется в формате AWQ-квантованных весов. Модель содержит 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Размер словаря составляет 102 400 токенов. Применяется 4-битное групп-wise квантование весов без квантования активаций по схеме W4A16g128, что снижает требования к памяти и подходит для развёртывания с поддержкой Transformers, TensorRT-LLM, vLLM, SGLang, llama.cpp и Ollama. Сильными сторонами модели являются поддержка английского и корейского языков, длинного контекста и широкий выбор сред инференса. Ограничения включают возможную генерацию вредного, предвзятого, фактически ошибочного или синтаксически некорректного текста; модель также может не отражать актуальную информацию. Для работы рекомендуется использовать системный промпт, на котором модель обучалась. Лицензия EXAONE AI Model License Agreement 1.1 - NC предусматривает некоммерческое использование.

Это конвертированная в формат MLX модель Gemma 4 12B Unified, основанная на google/gemma-4-12B. Конверсию выполнило сообщество mlx-community с помощью mlx-vlm версии 0.6.0; модель предназначена для запуска на устройствах Apple с MLX. Базовая модель Google DeepMind поддерживает диалоги, код, рассуждения и анализ текста, изображений, видео и аудио. Репозиторий содержит веса safetensors в формате bf16. Лицензия — Apache-2.0. README отсылает за подробностями к карточке исходной модели, поэтому специфические для этой конверсии сведения о контекстном окне, языковой поддержке и качестве не приведены. Для запуска через описанный интерфейс требуется mlx-vlm.

Mungert/GLM-4.6V-Flash-GGUF — это GGUF-версия модели GLM-4.6V-Flash из семейства GLM-V, разработанного Z.ai. Модель предназначена для локального развертывания и приложений с низкой задержкой; исходная версия GLM-4.6V-Flash содержит около 9 млрд параметров. Данный репозиторий подготовлен с использованием llama.cpp и включает варианты квантования GGUF с повышенной точностью отдельных важных слоёв. Модель поддерживает мультимодальные сценарии image-text-to-text: анализ изображений, скриншотов и страниц документов, понимание текста, разметки, таблиц, графиков и иллюстраций. Она ориентирована на мультимодальное рассуждение, работу с документами, визуальный вызов инструментов, генерацию смешанного текстово-графического контента, а также восстановление HTML/CSS по скриншотам и визуальное редактирование интерфейсов. Заявлена поддержка китайского и английского языков; контекстное окно при обучении масштабировано до 128 тысяч токенов. К сильным сторонам относятся мультимодальное понимание документов, встроенные возможности Function Calling и оптимизация для локального использования. Ограничения связаны с компромиссами GGUF-квантования: варианты с меньшей разрядностью могут снижать точность, хотя в этой сборке отдельные слои дополнительно переведены в более высокую точность для улучшения качества. Конкретный размер файла, требования к памяти и характеристики отдельных вариантов квантования в README не указаны. Лицензия — MIT.

Hunyuan-A13B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Hunyuan-A13B-Instruct, разработанной Tencent. Квантизацию выполнил bartowski на основе llama.cpp версии b5845; модель представлена в рамках программы Community models сообщества LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста по инструкциям и оптимизирована для агентских задач с гибридным рассуждением. Это MoE-модель с 80 млрд общих параметров, из которых при обработке активируются 13 млрд. Заявлена поддержка контекста до 256 тысяч токенов, при этом значение по умолчанию составляет 32 тысячи токенов. Сведения о поддерживаемых языках и модальностях в README не указаны; по имеющимся данным, модель относится к текстовым моделям. К сильным сторонам относятся большой контекст, архитектура MoE с меньшим числом активных параметров и ориентация на агентские сценарии и рассуждение. Ограничения включают отсутствие в README подробных результатов оценки, перечня языков, информации о требованиях к оборудованию и характеристиках отдельных вариантов квантизации. Модель распространяется по лицензии tencent-hunyuan-a13b; указана ссылка на лицензию Tencent Hunyuan.

Instella-3B-Long-Instruct — языковая модель AMD на 3 млрд параметров для диалогов и работы с длинным контекстом. Она основана на Instella-3B-Instruct и прошла дополнительное обучение: расширение контекста, дообучение на инструкциях и оптимизацию предпочтений. Архитектура — плотная авторегрессионная InstellaForCausalLM; модель принимает текст и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы по длинным документам, анализа больших текстовых массивов, суммаризации и диалоговых сценариев, в том числе связанных с книгами и кодом. AMD сообщает о конкурентных результатах на бенчмарках длинного контекста по сравнению с рядом небольших моделей с открытыми весами. Многоязычные возможности не проверялись, поэтому надёжность работы на языках, отличных от основных данных обучения, не установлена. Модель опубликована в формате Safetensors под лицензией «other»; конкретные условия следует сверить с карточкой и файлами лицензии репозитория. Разработчик предупреждает о возможных фактических ошибках, токсичных, предвзятых или вредоносных ответах и не рекомендует применять модель в критически важных, медицинских или требующих высокой достоверности сценариях. Указанное в README ограничение на исследовательское использование само по себе не меняет категорию зрелости модели.

Llama 2 70B Chat — это диалоговая языковая модель семейства Llama 2, разработанная Meta. Данный репозиторий содержит её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели meta-llama/Llama-2-70b-chat-hf. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, выполнения инструкций и создания связных текстовых ответов. Указан английский язык. Архитектура — Llama, размер — 70 миллиардов параметров, модальность — текстовая. Максимальный размер контекста в README не указан. Для работы используется специальный шаблон запросов Llama 2 Chat с системными инструкциями о полезных, безопасных и честных ответах. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством ответов; конкретные характеристики зависят от выбранного варианта. Репозиторий распространяется по лицензии Llama 2.

Карточка модели livil/llama3.1-8b-instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

cyankiwi/Llama-3.1-8B-Instruct-AWQ-INT4 — это квантизированная версия инструкционной языковой модели Llama 3.1 8B Instruct. Модель основана на Meta Llama 3.1 8B Instruct, разработанной Meta, а версия в формате AWQ INT4 опубликована пользователем cyankiwi. Модель предназначена для диалоговых задач и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, а также другие сценарии применения языковых моделей. Ключевая характеристика версии — 8 миллиардов параметров и 4-битное квантование AWQ, которое может снизить требования к памяти и упростить запуск на совместимом оборудовании по сравнению с полноразмерными весами. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, модальностях и результатах бенчмарков. Преимуществами являются инструкционная настройка исходной модели и более компактное представление весов. Ограничения связаны с возможной потерей качества из-за квантования, зависимостью от совместимого программного обеспечения для AWQ и отсутствием в предоставленных данных подробностей о производительности. Использование регулируется Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая требования об атрибуции, указании «Built with Llama», соблюдении Acceptable Use Policy и дополнительные коммерческие ограничения.

ggml-org/Meta-Llama-3.1-8B-Instruct-Q4_0-GGUF — это квантизированная в формате GGUF версия инструкционно дообученной текстовой модели Meta Llama 3.1 8B Instruct, подготовленная для использования с инструментами экосистемы llama.cpp. Разработчик исходной модели — Meta. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и других задач обработки естественного языка. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер исходной модели составляет 8 миллиардов параметров, а суффикс Q4_0 указывает на 4-битную квантизацию, которая снижает требования к памяти и может упростить локальный запуск, но потенциально уменьшает точность по сравнению с полноразмерными весами. Модальность модели — текстовая; сведения о размере контекста и архитектурных деталях в карточке не указаны. Модель распространяется по Llama 3.1 Community License. При распространении материалов или продуктов на их основе необходимо соблюдать условия лицензии Meta, включая предоставление текста соглашения, указание «Built with Llama», сохранение обязательного уведомления об авторских правах и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

Unsloth/Meta-Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционно настроенной текстовой языковой модели Meta Llama 3.1 с 8 млрд параметров, подготовленная Unsloth для использования с Transformers и форматом bitsandbytes. Модель предназначена для диалогов, генерации и обработки текста, выполнения инструкций, суммаризации и других задач, где требуется компактная LLM с пониженным потреблением памяти. Модель использует авторегрессионную архитектуру Transformer и работает в режиме «текст на входе — текст на выходе». Ключевая особенность версии — селективная динамическая 4-битная квантизация Unsloth, направленная на снижение требований к памяти при сохранении большей точности по сравнению со стандартной 4-битной квантизацией. В карточке официально указан английский язык; дополнительные языки, размер контекста и другие характеристики для данной версии не подтверждены. Разработчик базовой модели — Meta, адаптацию и квантизацию выпустила Unsloth. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробной информации о производительности, контекстном окне и поддерживаемых сценариях за пределами текста. Модель распространяется по лицензии Llama 3.1.

duyntnet/Mistral-NeMo-Minitron-8B-Instruct-imatrix-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA. Исходная модель создана на базе Mistral-NeMo-Minitron-8B-Base, которая была получена из Mistral-NeMo 12B с применением методов pruning и distillation, а затем дообучена в несколько этапов с помощью supervised fine-tuning и выравнивания на основе предпочтений. Модель предназначена для генерации текста, включая диалоговые сценарии, roleplay, retrieval-augmented generation и function calling. Она работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Архитектура представляет собой авторегрессионный Transformer Decoder семейства Mistral-NeMo с 40 слоями, размером эмбеддингов 4096, 32 attention heads, промежуточным размером MLP 11520, Grouped-Query Attention и Rotary Position Embeddings. Формат GGUF позволяет использовать модель в совместимых локальных клиентах и интерфейсах, включая llama.cpp, KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Для оптимальных результатов рекомендуется применять специальный шаблон диалога с ролями System, User и Assistant и заданными специальными токенами. Ограничения включают поддержку только текстовой модальности и заявленного английского языка; конкретные характеристики производительности зависят от выбранного уровня квантизации и аппаратного обеспечения. Исходная модель распространяется по NVIDIA Open Model License; для данного репозитория указано обозначение лицензии other.

Nemotron-3.5-Lightning-30B-A3B-CRACK-GGUF — производная GGUF-версия модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная Dealign.ai для запуска через llama.cpp. Это языковая модель для генерации текста, рассуждений и исследовательских сценариев, включая авторизованное red-teaming. Поддерживаются английский и китайский языки. Модель использует гибридную архитектуру Mamba-2 SSM, Mixture-of-Experts и attention: 52 слоя, включая 23 слоя Mamba-2, 23 MoE-слоя и 6 attention-слоёв; всего 128 маршрутизируемых экспертов, около 3 млрд активных параметров. Заявлен контекст до 262K токенов, а режим рассуждений включён по умолчанию. Репозиторий содержит квантизации Q8_0, Q4_K_M и Q2_K размером около 35,0, 25,4 и 18,7 ГБ соответственно; Q4_K_M обозначена как сбалансированный рекомендуемый вариант. Во все варианты встроена native MTP-голова для спекулятивного декодирования без отдельной draft-модели. Abliteration CRACK удаляет поведение отказа при сохранении знаний, рассуждений и многоязычности, однако по тесту MMLU результат снизился с 78,3% у базовой модели до 74,2%, особенно в STEM и гуманитарных дисциплинах. По HarmBench модель продемонстрировала 100% выполнения вредоносных запросов без отказов, поэтому имеет существенно сниженные защитные ограничения и требует ответственного и законного применения. Лицензия — NVIDIA Open Model License; модель является производной квантизированной версией базовой модели NVIDIA.

MaziyarPanahi/OpenHermes-2.5-neural-chat-7b-v3-1-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-1-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых помощников, ответов на вопросы и выполнения текстовых инструкций. В метаданных указана лицензия Apache-2.0. Языки модели по имеющимся данным определить нельзя.

Open-Instruct Human-mix 7B — языковая модель семейства LLaMA, дообученная командой Allen Institute for AI на смеси созданных людьми инструкционных данных: FLAN V2, CoT, Dolly и OpenAssistant 1. Это плотная авторегрессионная модель примерно с 6,6 млрд параметров; для неё указаны библиотека Transformers и контекст до 2048 токенов. Модель предназначена для генерации текста по инструкциям: ответов на вопросы, выполнения текстовых заданий, рассуждений и генерации кода. Она обучена преимущественно на англоязычных данных, а карточка приводит результаты по нескольким академическим и прикладным бенчмаркам. Для лучшего качества следует соблюдать формат входного запроса, описанный в карточке. Репозиторий содержит diff весов, поэтому для использования нужна исходная модель LLaMA в формате Hugging Face. Указаны лицензия AI model license и исходная лицензия LLaMA; перед применением необходимо учитывать условия обеих лицензий. Модель не описана как мультимодальная и имеет ограниченное контекстное окно.

thesven/Phi-3.5-mini-instruct-awq — это сторонняя AWQ-квантизованная версия Microsoft Phi-3.5-mini-instruct, опубликованная пользователем thesven. Базовая модель разработана Microsoft и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и задач NLP, включая многоязычные сценарии. Репозиторий содержит 4-битные веса в формате Safetensors с AWQ и требует custom code для архитектуры Phi-3. Модель имеет около 4 млрд параметров, архитектуру decoder-only causal language model Phi3ForCausalLM, 32 слоя, 32 attention heads и заявленный контекст до 128K токенов. Это текстовая, а не мультимодальная модель; в карточке базовой модели заявлена многоязычная поддержка, включая английский, немецкий, испанский, французский, японский, русский, тайский и китайский. Квантизация уменьшает размер репозитория примерно до 2,28 ГБ и предназначена для более компактного локального запуска, однако для самой AWQ-версии отдельные результаты качества и подробные ограничения не опубликованы. Лицензия и условия использования у репозитория thesven явно не указаны. Для базовой Microsoft Phi-3.5-mini-instruct указана лицензия MIT. Поэтому при использовании квантизованной версии следует отдельно проверить права на распространение самой производной сборки и учитывать ограничения базовой модели, включая возможные пробелы многоязычного качества и необходимость тестирования в конкретном приложении.

attashe/q-2.5-deepseek-r1-veltha-v0.2 — объединённая 14-миллиардная языковая модель, созданная методом SLERP с помощью mergekit на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-14B и djuna/Q2.5-Veltha-14B. Она использует плотную архитектуру Qwen2 для генерации текста и диалогов; модель поддерживает контекст до 131 072 токенов и работает через Transformers с весами в формате safetensors. Модель предназначена для диалоговых сценариев и генерации текста. Базовая модель DeepSeek-R1-Distill-Qwen рассчитана, в частности, на задачи рассуждения, математики и программирования; карточка этой модели не уточняет, насколько хорошо объединённая версия сохраняет эти возможности. В метаданных также отмечен интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Карточка модели News666520/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

unsloth/Qwen2.5-7B — базовая предобученная языковая модель Qwen2.5, представленная в репозитории Unsloth и основанная на Qwen/Qwen2.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров; веса доступны в формате safetensors. Модель предназначена для генерации и продолжения текста, а также для дальнейшего дообучения под конкретные задачи. Модель поддерживает более 29 языков, включая китайский, английский, русский, французский, испанский, немецкий, японский и арабский. Контекст составляет 131 072 токена. Среди описанных возможностей семейства — генерация длинного текста, работа с кодом, математическими задачами, таблицами и структурированными ответами, включая JSON. Это базовая модель без инструкционной настройки, поэтому в карточке не рекомендуется использовать её напрямую для диалогов; для чат-сценариев её следует дообучить. Репозиторий распространяется по лицензии Apache-2.0.

DhruvalLabs/Qwen2.5-7B-Instruct-GGUF — набор квантизированных версий текстовой генеративной модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen, а представленные GGUF-квантизации подготовлены Dhptl с использованием quant-kit. Модель предназначена для диалогов, генерации текста и работы в качестве локального ассистента; поддерживается запуск через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. В карточке явно указан английский язык. Это семимиллиардная instruction-tuned языковая модель в формате GGUF с вариантами квантизации от Q2_K до Q8_0. Размер файлов составляет примерно от 2,81 до 5,31 ГБ, а рекомендуемым вариантом назван Q4_K_M как компромисс между качеством и требованиями к памяти; для него требуется около 5,9 ГБ RAM. Более сильное сжатие уменьшает потребление памяти, но заметнее снижает качество, тогда как Q6_K и Q8_0 ближе к исходному качеству и требуют больше ресурсов. В README не указаны размер контекста и мультимодальные возможности; приведён пример использования с контекстом 4096 токенов. Лицензия — Apache-2.0. Заявленные оценки сохранения 97–99% качества не подтверждены фактическими результатами в карточке, поскольку бенчмарки предлагается запускать самостоятельно.

Qwen3-1.7B-GGUF — квантизированная GGUF-версия текстовой модели Qwen3-1.7B, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для генерации текста, следования инструкциям, творческого письма, ролевых сценариев и многошаговых диалогов. Модель поддерживает контекст до 32 000 токенов, режимы с рассуждением и без него, а также команду /no_think для отключения рассуждений. Заявлена повышенная эффективность в математике, программировании и задачах на здравый смысл, а также поддержка более 100 языков и диалектов и расширенные возможности для агентских сценариев. К ограничениям относятся возможные неточности, вредное или неподходящее содержание, характерные для языковых моделей. README не содержит сведений о конкретной лицензии модели, поэтому условия коммерческого и иного использования необходимо уточнять по исходной модели Qwen3-1.7B и странице квантизированной версии.

Qwen3-4B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на стадии предварительного обучения, предназначенная для дальнейшей адаптации и генерации текста. В карточке указаны 4,0 млрд параметров, 36 слоёв, групповое внимание с 32 головами Q и 8 головами KV и контекст до 32 768 токенов; метаданные каталога оценивают размер весов в 3,7 млрд параметров. Модель обучена на многоязычном корпусе; README сообщает о 119 языках в обучающих данных, но не перечисляет поддержку каждого из них. Среди заявленных направлений обучения — общие знания, программирование, STEM, рассуждения и понимание длинного контекста. Для запуска рекомендуется актуальная версия Transformers: версии ниже 4.51.0 могут не распознавать архитектуру Qwen3. Лицензия — Apache-2.0.