II.8Инженерия данных и аналитика

Qwen3-VL-235B-A22B-Instruct — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте Mixture-of-Experts с инструктивной настройкой. Она принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, понимания видео, пространственных рассуждений и взаимодействия с графическими интерфейсами. В карточке заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длинных документов и видео, а также OCR на 32 языках. Среди описанных возможностей — локализация событий по временным меткам, анализ объектов и их взаимного расположения, решение задач STEM и генерация кода интерфейсов по изображениям или видео. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Практическое качество может зависеть от языка, сложности изображения или видео и характера задачи; приведённый README не содержит конкретных численных результатов бенчмарков.

Карточка модели mrbooker/Qwen3-VL-8B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-8B-Instruct, поэтому описание составлено по ней. Qwen3-VL-8B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это плотная модель с 8 млрд параметров для диалога и генерации текста по текстовым и визуальным входам; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Модель предназначена для анализа изображений и видео, визуальных вопросов и ответов, распознавания текста и структуры документов, пространственного рассуждения, STEM-задач и управления интерфейсами через инструменты. Она также генерирует код и разметку Draw.io, HTML, CSS и JavaScript по изображениям или видео. Заявлены контекст 256K токенов с возможностью расширения до 1M, временная привязка событий в видео и OCR на 32 языках. Модель объединяет текстовое и визуальное понимание, поддерживает агентные сценарии и вызов инструментов. Карточка описывает возможности семейства Qwen3-VL; конкретные показатели качества для версии 8B в предоставленном README не приведены.

Sakalti разработал ultiima-32B-v1.5 — объединённую языковую модель на архитектуре Qwen2 с 32 млрд параметров. Она создана методом TIES с помощью mergekit: в качестве основы использована Qwen/Qwen2.5-32B, объединённая с Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Она работает с текстом и поддерживает контекст до 131 072 токенов. Модель подходит для создания чат-ботов, подготовки текстовых ответов и запросов к инструментам в приложениях. В репозитории веса представлены в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

XVERSE-65B-2 — базовая мультиязычная языковая модель, самостоятельно разработанная Shenzhen Yuanxiang Technology. Она использует плотную архитектуру Decoder-only Transformer с 65,6 млрд параметров и поддерживает контекст до 16 384 токенов. Модель обучена на 2,6 трлн токенов из разнообразных источников; токенизатор BPE имеет словарь из 100 534 единиц. Модель предназначена для генерации текста, многошаговых диалогов, ответов на вопросы и суммаризации. В обучающих данных представлены более 40 естественных языков, включая китайский, английский, русский и испанский; наибольший объём данных приходится на английский и китайский. В корпус также входили код, энциклопедии, книги и научные статьи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка описывает базовую предварительно обученную модель, поэтому качество выполнения инструкций или диалога отдельно не заявлено; для запуска также потребуются значительные вычислительные ресурсы из-за размера модели.

Baichuan2-13B-Chat-4bits — версия чат-модели Baichuan 2 от Baichuan Intelligence, представленная в 4-битном квантованном варианте. Это плотная авторегрессионная модель на 13,3 млрд параметров для генерации текста и диалогового взаимодействия. Семейство Baichuan 2 обучено на 2,6 трлн токенов; версия Chat v2, согласно карточке, улучшает математические и логические рассуждения и следование сложным инструкциям. Модель ориентирована прежде всего на китайский и английский языки. Модель подходит для диалоговых помощников, ответов на вопросы, выполнения текстовых инструкций, а также задач общего характера в областях права, медицины, математики, программирования и многоязычного перевода. Карточка сообщает о 4-битном варианте для снижения требований к памяти. Для работы указан PyTorch 2.0 или новее. Для использования требуется соблюдать Apache 2.0 и лицензионное соглашение сообщества Baichuan 2. Коммерческое применение требует предварительного обращения за официальной лицензией и зависит от условий, изложенных в карточке. Модель может ошибаться; перед использованием в чувствительных сценариях её ответы следует проверять.

sail-ing-north/DeepSeek-V3-rescaled — это версия языковой модели DeepSeek-V3, размещённая в формате safetensors FP8 и предназначенная для генерации текста и диалогового общения. В карточке указаны архитектура DeepSeek-V3 и 37,6 млрд параметров; исходная модель описана как Mixture-of-Experts с 671 млрд общих и примерно 37 млрд активных параметров на токен, использующая Multi-head Latent Attention и DeepSeekMoE. Метаданные указывают длину контекста 163 840 токенов. Модель подходит для диалогов, генерации и продолжения текста, ответов на вопросы, а также вызова инструментов через соответствующий интерфейс. В README описаны предобучение на 14,8 трлн токенов, последующая настройка с учителем и обучение с подкреплением, а также перенос навыков рассуждения из DeepSeek-R1. Эти сведения относятся к DeepSeek-V3 в целом; карточка не уточняет, как именно была получена версия rescaled. Репозиторий содержит веса FP8, что может снизить требования к памяти при выводе, однако запуск требует подходящей инфраструктуры для крупной модели. README перечисляет способы развертывания через SGLang, LMDeploy, TensorRT-LLM и vLLM. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-Vision-Exp REAP-145B — это производная версия модели DeepSeek-V4-Flash-Vision-Exp, подготовленная primitive-ai на основе весов deepseek-ai. Модель использует разреженную Mixture-of-Experts-архитектуру: половина маршрутизируемых экспертов удалена методом REAP, при этом оставшиеся экспертные веса сохраняются в исходном формате MXFP4 без дополнительного квантования. Размер артефакта составляет около 83,3 ГБ, что позволяет запускать его на одной видеокарте с 96 ГБ памяти через vLLM 0.28.0 или новее. Модель предназначена для генерации текста, рассуждений, ответов на вопросы и вызова инструментов. Указан контекст до 20 480 токенов; для KV-кэша используется специализированный формат fp8_ds_mla, другие варианты не поддерживаются. В состав исходной модели входит визуальная часть, и в README указана подтверждённая работа с изображениями на одной 96-ГБ видеокарте, включая распознавание форм и цветов, подсчёт объектов и чтение текста. MTP-компонент удалён. Производительность зависит от режима: заявлены примерно 73 токена в секунду при однопоточном декодировании с CUDA Graphs и до 150–172 токенов в секунду при пакетной обработке с параллелизмом 16. Сильной стороной модели является возможность запуска крупной 145B-версии на одной GPU, а также высокие результаты на тестах знаний и задачах вызова инструментов: 82,7% на строгом наборе знаний и 74,5% на объединённом тесте tool-calling. Ограничения связаны с потерей части экспертов: модель заметно чаще делает нежелательные вызовы инструментов, а длинные ответы могут достигать лимита генерации. Требуются vLLM 0.28.0 или новее, видеокарта с 96 ГБ памяти и тщательно настроенные ограничения пакетной обработки. Модель распространяется по лицензии MIT.

EXAONE-3.5-7.8B-Instruct-GGUF — двуязычная инструкционная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста, диалоговых приложений, ассистентов и других практических сценариев обработки естественного языка на английском и корейском языках. Модель доступна в формате GGUF, рассчитанном на локальный запуск и инференс с использованием llama.cpp, TensorRT-LLM, vLLM, SGLang или Ollama. Модель содержит 7,8 млрд параметров, из которых 6,98 млрд приходятся на параметры без embeddings, имеет 32 слоя и архитектуру GQA с 32 головами запросов и 8 головами ключей и значений. Размер словаря составляет 102 400 токенов, а максимальная длина контекста — 32 768 токенов. Доступны варианты BF16 и квантизации Q8_0, Q6_0, Q5_K_M, Q4_K_M и IQ4_XS, что позволяет выбирать между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся поддержка длинного контекста, двуязычность и ориентация на реальные прикладные задачи при относительно компактном размере. Ограничения включают возможную генерацию вредного, предвзятого, фактически неверного или синтаксически некорректного текста; модель также не гарантирует актуальность знаний. Для работы рекомендуется использовать системные промпты, предусмотренные разработчиком. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.1 - NC; условия лицензии и ограничения на использование следует уточнять в файле LICENSE.

EpistemeAI/Fireball-Llama-3.1-8B-v1dpo — диалоговая языковая модель на архитектуре Llama 3.1, выпущенная EpistemeAI. Это дообученная версия unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit с 7,5 млрд параметров; она поддерживает генерацию текста, диалог и интерфейс вызова инструментов. Модель предназначена для создания чат-ассистентов, генерации ответов и интеграции с внешними инструментами. Контекстное окно составляет 131 072 токена. В карточке описано использование через Transformers и исходную кодовую базу Llama. Указаны английский и поддержка многоязычного ввода и вывода; исходная Llama 3.1 поддерживает также французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Качество и безопасность ответов могут варьироваться: возможны ошибки, предвзятые или нежелательные ответы, поэтому перед развёртыванием нужны проверки для конкретного сценария. Лицензия — Apache-2.0.

unsloth/gemma-3-1b-it-unsloth-bnb-4bit — инструкцияно дообученная и 4-битно квантованная версия Gemma 3 1B от Google DeepMind, подготовленная Unsloth. Модель имеет открытые веса и предназначена для генерации текста по инструкциям, включая ответы на вопросы, суммаризацию, рассуждения и анализ изображений. В метаданных указано, что основной язык — английский, при этом семейство Gemma 3 поддерживает более 140 языков. Модель принимает текст и изображения, а на выходе генерирует текст. Для версии 1B заявлено контекстное окно до 32 000 токенов и максимальный объём генерируемого вывода до 8192 токенов; изображения нормализуются до 896×896 пикселей и представляются как 256 токенов каждое. Ключевая особенность данного варианта — 4-битная квантование в формате BNB, уменьшающая требования к памяти и упрощающая локальное развёртывание, однако по сравнению с полноразмерными версиями это может ограничивать точность. Модель подходит для запуска на устройствах и инфраструктуре с ограниченными ресурсами, а также для дальнейшей тонкой настройки средствами Transformers и Unsloth. Использование регулируется лицензией Gemma и соответствующими условиями Google; перед применением необходимо ознакомиться с Terms of Use.

davidsyoung/GLM-5.3-EXL3-TR3-3.25bpw — квантизированная версия GLM-5.3 от zai-org, подготовленная в формате EXL3/TR3 с использованием смешанной точности. В основе лежит MoE-модель GLM-5.3 объёмом 755 млрд параметров с архитектурой glm_moe_dsa: 78 слоёв и 256 маршрутизируемых экспертов на слой, включая MTP. Модель предназначена для генерации текста, сложного программирования и задач с длинной цепочкой рассуждений. Заявлены английский и китайский языки, а также поддержка библиотеки Transformers на уровне метаданных модели. Маршрутизируемые эксперты в слоях 3–78 квантизированы методом EXL3 с усреднённой точностью 3,25 бит на параметр: 192 эксперта на слой используют K3, а 64 наиболее чувствительных к ошибке — K4. Внимание, эмбеддинги, нормализации, lm_head и ранние плотные MLP сохранены в BF16; shared experts хранятся в BF16 и обслуживаются с online K6. Квантизация выполнена без калибровочных данных, с использованием trellis-поиска и детерминированных параметров. По измерениям README, отклонение от BF16-учителя при FP8 KV-кэше составило KLD 0,026103 на проверочных окнах. Главное преимущество — существенное снижение требований к памяти: модель рассчитана на запуск в конфигурации TP4 на четырёх GPU с 96 ГБ памяти и FP8 KV-кэшем, что делает крупную GLM-5.3 доступнее для локального сервинга. Ограничения связаны с нестандартным форматом: требуется стек на базе exllamav3-b12x или sparkinfer-lineage, поддерживающий смешанные projection tiers, TP4, DCP4/MTP3 и FP8 KV-кэш. Стандартный загрузчик vanilla exllamav3 несовместим и может выдавать некорректный текст; README также не указывает максимальную длину контекста. Лицензия обозначена как glm-5.3; подробные условия приведены по ссылке на лицензию базовой модели.

Granite 3.2 8B Instruct — языковая instruction-tuned модель семейства Granite, разработанная IBM (ibm-granite). Представленная версия — GGUF-квантизация исходной модели granite-3.2-8b-instruct, подготовленная bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие развитых способностей к рассуждению. Модель имеет размер 8 миллиардов параметров и поддерживает контекст длиной до 128 тысяч токенов. Она работает с текстом и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный инференс в совместимых инструментах, включая llama.cpp и LM Studio. К сильным сторонам относятся большой контекст, многоязычность и настройка на задачи, связанные с рассуждением. Ограничения включают влияние квантизации на качество по сравнению с исходной моделью, а также возможность получать неточные, неподходящие или вводящие в заблуждение ответы. В README не указаны конкретные параметры квантизации и требования к аппаратным ресурсам. Модель распространяется по лицензии Apache 2.0.

Это GGUF-сборка Huihui-Nex-N2-mini-abliterated, подготовленная LocalAI с использованием APEX — смешанной MoE-квантизации с учётом роли и слоя тензоров. Модель основана на гибридной архитектуре Qwen3.5 с 40 слоями, 256 экспертами (8 активны одновременно), линейным вниманием SSM и полным вниманием; всего около 35,1 млрд параметров, из которых активно около 3 млрд. В сборках MTP сохранена встроенная черновая голова предсказания следующего токена для спекулятивного декодирования. Модель предназначена для диалогов и задач с изображениями. Вариант APEX I-Quality калиброван на разнообразных примерах чата, кода, рассуждений и вызова инструментов. MTP-варианты могут ускорять генерацию, но требуют свежей сборки llama.cpp с поддержкой встроенного MTP; вариант без MTP совместим с более широким диапазоном сборок. Репозиторий содержит несколько вариантов GGUF-квантования примерно по 22,8–24,5 ГБ. Это uncensored-производная: удаление направления отказов может приводить к ответам на запросы, от которых исходная модель отказалась бы. Лицензия — Apache-2.0.

InternLM2.5-20B — плотная авторегрессионная языковая модель семейства InternLM2.5, разработанная командой InternLM. Модель содержит 19,3 млрд параметров и предназначена для генерации текста и диалоговых сценариев, включая рассуждения и работу с длинными документами. В метаданных указан контекст до 262 144 токенов; карточка семейства также сообщает о проверках на контекстах до 1 млн токенов, но это значение не подтверждено для данного репозитория метаданными. Разработчик сообщает об улучшении результатов рассуждений относительно InternLM2 и приводит оценки на MMLU, CMMLU и BBH. Карточка не перечисляет конкретные поддерживаемые языки, поэтому модель можно описать как языковую без выделения основного языка. Она может генерировать предвзятый, дискриминационный или иной вредный текст. Код распространяется по Apache-2.0; для весов README указывает открытый доступ для академических исследований и необходимость запросить бесплатное разрешение на коммерческое использование.

Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

NVIDIA Llama 3.1 70B Instruct FP8 — квантованная до FP8 версия диалоговой языковой модели Meta Llama 3.1 70B Instruct. В README указано, что модель разработана не NVIDIA: веса и активации линейных операторов в блоках трансформера преобразованы в FP8 с помощью TensorRT Model Optimizer. Архитектура — авторегрессионный трансформер Llama 3.1 с 69,5 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и интерфейс для вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. FP8-квантование примерно вдвое сокращает требования к дисковому пространству и памяти GPU; в описанном тесте на H100 заявлено ускорение примерно в 1,5 раза. Для инференса указаны TensorRT-LLM и vLLM, совместимое оборудование включает NVIDIA Blackwell, Hopper и Lovelace. Лицензия — Llama 3.1; README сообщает о возможности коммерческого и некоммерческого использования. Следует учитывать условия лицензии Meta и ограничения исходной модели. Модель текстовая, поэтому она не принимает изображения, аудио или видео.

Llama3.1-DarkStorm-Aspire-8B — плотная языковая модель семейства Llama 3.1, опубликованная ZeroXClem. Это объединение моделей Dark Enigma, Storm, Aspire и DarkStock методом TIES с использованием подхода Model Stock; в репозитории указаны 7,5 млрд параметров и формат SafeTensors. Модель предназначена для генерации текста, диалогов и следования инструкциям, включая творческое письмо, ролевые сценарии, помощь с кодом, анализ и исследовательские задачи. Она поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Карточка заявляет сильные стороны в связной генерации, творческом письме, рассуждениях и диалогах. Модель может выдавать предвзятые, ошибочные или вымышленные сведения; ответы в чувствительных сценариях требуют проверки. README также отмечает uncensored-подход, поэтому возможен чувствительный или оскорбительный контент. Лицензия — Apache-2.0.

casperhansen/llama-3-70b-instruct-awq — это 4-битно квантованная методом AWQ версия Llama 3 70B Instruct, опубликованная пользователем casperhansen на Hugging Face. Базовую модель разработала Meta. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и Grouped-Query Attention; она принимает текст и генерирует текст или код, поддерживая диалоговый формат и задачи ассистента. Модель содержит около 70 млрд параметров, использует контекст до 8192 токенов и рассчитана прежде всего на англоязычные коммерческие и исследовательские сценарии: диалог, генерацию текста, ответы на вопросы, программирование и рассуждения. Квантование AWQ уменьшает требования к памяти и делает локальное развертывание более практичным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией. Модель не является мультимодальной и не предназначена для языков, отличных от английского, без дополнительной адаптации. Как и другие LLM, она может выдавать неточные, предвзятые или небезопасные ответы, поэтому требует проверки и дополнительных защитных механизмов. Для использования применяются Transformers, vLLM или SGLang; репозиторий содержит веса в формате Safetensors. Для базовой Llama 3 указана пользовательская коммерческая лицензия Meta Llama 3 Community License и Acceptable Use Policy; использование производной версии следует согласовывать с этими условиями.

unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

Unsloth/Meta-Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционно настроенной текстовой языковой модели Meta Llama 3.1 с 8 млрд параметров, подготовленная Unsloth для использования с Transformers и форматом bitsandbytes. Модель предназначена для диалогов, генерации и обработки текста, выполнения инструкций, суммаризации и других задач, где требуется компактная LLM с пониженным потреблением памяти. Модель использует авторегрессионную архитектуру Transformer и работает в режиме «текст на входе — текст на выходе». Ключевая особенность версии — селективная динамическая 4-битная квантизация Unsloth, направленная на снижение требований к памяти при сохранении большей точности по сравнению со стандартной 4-битной квантизацией. В карточке официально указан английский язык; дополнительные языки, размер контекста и другие характеристики для данной версии не подтверждены. Разработчик базовой модели — Meta, адаптацию и квантизацию выпустила Unsloth. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробной информации о производительности, контекстном окне и поддерживаемых сценариях за пределами текста. Модель распространяется по лицензии Llama 3.1.

Это текстовая конверсия Mistral Small 3.1 Instruct 24B в формат Hugging Face Transformers, опубликованная пользователем mrfakename. Репозиторий содержит только текстовую часть исходной модели и не поддерживает обработку изображений. Модель предназначена для диалогов и генерации текста по инструкциям. Она использует плотную архитектуру MistralForCausalLM, содержит 23,4 млрд параметров и имеет контекст длиной 32 768 токенов. Для хранения весов используется safetensors; модель доступна по лицензии Apache-2.0. Возможности и ограничения конверсии зависят от текстовой части исходной Mistral Small 3.1 Instruct 24B: этот репозиторий не подходит для задач с изображениями. README не приводит отдельной информации о поддерживаемых языках.

Это GGUF-квантизированная версия DeepHermes-3-Mistral-24B-Preview, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix. Модель основана на архитектуре Mistral, содержит 24 млрд параметров и предназначена для генерации текста в формате instruct/chat. В репозитории представлены варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4 и Q3, различающиеся размером файлов и соотношением качества и требований к памяти. Модель ориентирована на диалоговые сценарии, рассуждения, ролевое взаимодействие, синтетическую генерацию данных, function calling и выдачу структурированного JSON. Для работы используется формат сообщений ChatML-подобного типа с ролями system, user и assistant; рекомендуемые среды запуска включают LM Studio, llama.cpp и совместимые проекты. В метаданных указан английский язык, однако сведения о поддерживаемых языках помимо него отсутствуют. Максимальная длина контекста также не указана. Сильной стороной являются доступные варианты квантизации: Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество при меньших требованиях к памяти, а Q4_K_M обозначен как вариант стандартного размера для большинства сценариев. Ограничения связаны с тем, что это preview-версия, а квантизация может снижать точность по сравнению с исходными весами; характеристики производительности и результаты тестирования в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

IsValorum/Occamy-1.0-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Occamy-1.0 от Accio-Lab, подготовленная IsValorum в формате GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена для генерации текста, рассуждений, выполнения сложных инструкций и многоязычных сценариев, включая работу с английским, китайским, испанским, французским, немецким, португальским, итальянским, русским, японским, корейским, вьетнамским, тайским и арабским языками. Архитектура основана на разреженной Mixture-of-Experts с 40 слоями и 256 микроэкспертами. Версия MiniPlus V2.1 использует настраиваемую покомпонентную квантизацию: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные эксперты — преимущественно в IQ3_XXS и Q3_K. Заявленный размер составляет около 13,74 GiB, а поддерживаемый контекст — до 256K токенов. Модель рассчитана на эффективный offload в системную RAM и работу на рабочих станциях с 24 ГБ памяти или видеопамяти, однако фактическая скорость зависит от оборудования и конфигурации запуска. К сильным сторонам относятся компактный размер для MoE-модели, сохранение маршрутизации в высокой точности, поддержка длинного контекста и широкий набор языков. Ограничения связаны с потерями качества и скорости, неизбежными для квантизированной версии, а заявленные показатели производительности и близость к качеству более точных вариантов требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-Abliterated-ROCmFP4-GGUF — это квантизированная GGUF-версия аблитерированной языковой модели Ornith-1.5-35B-A3B. Базовую модель разработала ornith-ai, аблитерацию выполнила huihui-ai, а BF16 GGUF-исходник предоставила PocketAiHub. Автор данного репозитория добавил варианты квантизации ROCmFP4/ROCmFPX, сборку с поддержкой HIP/ROCm и Vulkan, а также тесты производительности. Модель распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста, включая диалоги, программный код, рассуждения, выдачу JSON, агентские сценарии и работу с инструментами. Это MoE-модель с заявленным общим размером 35B параметров и активной частью около 3B параметров. Доступны варианты квантизации от 4 до 8 бит; размеры файлов составляют примерно от 17,4 до 33,9 ГиБ. В репозитории также указан отдельный vision tower в формате F16 GGUF, позволяющий подавать изображения через параметр mmproj. Языки модели в README не указаны. В приведённых конфигурациях использовался контекст 32768 токенов, однако максимальный размер контекста явно не заявлен. Основное преимущество модели — оптимизация для AMD Ryzen AI Max+ 395 и Radeon 8060S с архитектурой gfx1151: один файл можно запускать через HIP/ROCm или Vulkan, выбирая backend во время запуска. Vulkan показывает более высокую скорость генерации, а ROCm — более высокую скорость обработки длинных входных запросов; 4-битные варианты демонстрируют близкую производительность. Модель прошла заявленные тесты стабильности без усечённых генераций. Для работы требуется специальная сборка ROCmFPX с поддержкой обоих backend; стандартная сборка llama.cpp эти файлы не загружает. Приведённые показатели относятся к конкретной аппаратной конфигурации и могут отличаться на других системах.

bartowski/Phi-3.1-mini-4k-instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Phi-3.1-mini-4k-instruct, основанной на модели Microsoft Phi-3-mini-4k-instruct. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, ответов на вопросы и задач, связанных с обработкой естественного языка и программного кода. Модель работает в текстовой модальности и ориентирована на английский язык. Из идентификатора и описания следует контекстное окно 4K токенов, однако точные сведения об архитектуре и количестве параметров в README не приведены. Доступны варианты от F32 до низкоразрядных Q2 и IQ-квантизаций с размером файлов примерно от 1,3 до 15,3 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают в качестве и могут быть непредсказуемее. Модель подходит для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README рекомендует варианты Q4–Q6 как компромисс между качеством и требованиями к ресурсам; конкретный выбор зависит от доступной памяти и допустимой потери качества. Это текстовая модель без заявленной поддержки изображений или других модальностей, а ограниченное окно контекста не рассчитано на обработку очень длинных документов. Указана лицензия MIT.

bartowski/Phi-3-mini-4k-instruct-GGUF — набор GGUF-квантизированных версий Phi-3-mini-4k-instruct, исходно разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и программирования. В README указана поддержка английского языка и контекстное окно на 4K токенов; модальность — текстовая. Ключевая особенность репозитория — квантизация с использованием llama.cpp и метода imatrix. Доступны варианты от Q8_0 до очень компактных IQ1_S, что позволяет выбирать между качеством и требованиями к памяти. Наиболее высокое качество дают Q8_0 и Q6_K, а Q4- и Q3-варианты ориентированы на более экономичное локальное использование; варианты с низкой разрядностью заметно уступают по качеству, хотя некоторые из них остаются пригодными для практических задач. Модель удобна для локального запуска через совместимую инфраструктуру llama.cpp, однако конкретные требования к памяти и производительность зависят от выбранного варианта квантизации. README не содержит подробностей об архитектуре и точном числе параметров исходной модели. Распространение указано по лицензии MIT.

Карточка модели thetoprated76/pMistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Qwen2.5-0.5B-Instruct-AWQ — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen компании Alibaba Cloud. Она предназначена для генерации текста, диалоговых приложений, следования инструкциям, обработки структурированных данных и создания структурированных ответов, включая JSON, а также для задач программирования и математики. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и корейский. Модель построена по архитектуре causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд приходятся на неэмбеддинговые параметры, 24 слоя и механизм GQA с 14 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. AWQ-квантизация до 4 бит снижает требования к памяти и подходит для локального и ресурсно-ограниченного запуска, однако может приводить к некоторой потере качества по сравнению с исходной версией в формате bfloat16. README не содержит конкретных результатов бенчмарков, требований к объёму GPU-памяти или данных о пропускной способности. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы.

JunHowie/Qwen3-0.6B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-0.6B, опубликованная JunHowie на базе модели Qwen/Qwen3-0.6B, разработанной командой Qwen. Она предназначена для генерации текста, диалогов, следования инструкциям, решения задач, программирования, перевода и других сценариев применения причинных языковых моделей, включая локальный запуск и развёртывание через vLLM. Модель имеет архитектуру causal language model, 0,6 млрд параметров, из которых 0,44 млрд не относятся к эмбеддингам, 28 слоёв и механизм GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Квантизация выполнена до 4 бит с размером группы 128; параметр desc_act установлен в false, что, согласно README, повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. К сильным сторонам относятся небольшой размер, сниженные требования к памяти, поддержка мультиязычных задач, диалогов, рассуждений и интеграции с инструментами, а также совместимость с vLLM при наличии версии не ниже 0.9.2. Ограничениями являются малый масштаб модели по сравнению с крупными версиями Qwen3 и возможное снижение качества из-за 4-битной квантизации; конкретные результаты бенчмарков и требования к аппаратному обеспечению в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это производная модель семейства Qwen3.5-9B, основанная на DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Она создана автором модели совместно с Nightmedia с использованием многоэтапной донастройки и слияния нескольких моделей на локальном оборудовании. Модель предназначена для общего диалогового использования, следования инструкциям, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и instruct, а также полностью uncensored-поведение. Поддерживаются английский и китайский языки. Модель имеет контекст до 256k токенов и активированное зрение: для обработки изображений требуется отдельный файл mmproj. GGUF-квантизации совместимы со стандартными приложениями для запуска локальных моделей. Доступны обычные GGUF и MTP-GGUF-варианты с NEO IMATRIX-квантизацией, которая, по заявлению автора, повышает точность и качество работы в длинном контексте. MTP-варианты могут ускорять генерацию благодаря multi-token prediction, но их эффективность зависит от оборудования, настроек и показателя token acceptance; при низком acceptance обычные варианты могут работать быстрее. Сильными сторонами заявлены высокая производительность для модели такого размера, улучшенное следование инструкциям, рассуждения и результаты на ряде тестов. Ограничения включают зависимость скорости и качества от выбранной квантизации, аппаратного обеспечения и параметров генерации, а также отсутствие гарантии превосходства над более крупными моделями во всех задачах. Модель распространяется по лицензии Apache-2.0.