II.8Инженерия данных и аналитика

EasierAI/Phi-4-14B — текстовая языковая модель на 14 млрд параметров, разработанная Microsoft Research и основанная на Microsoft Phi-4. В данном варианте модель преобразована в архитектуру, совместимую с Llama, для более удобного использования и дообучения; также заявлены исправления Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и программирования. Она принимает текстовые входы и лучше всего работает с запросами в чат-формате. Модель представляет собой плотный decoder-only Transformer с контекстом до 16 000 токенов и поддерживает английский язык. Phi-4 обучалась на сочетании синтетических данных, отфильтрованных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а для улучшения поведения использовались supervised fine-tuning и direct preference optimization. К сильным сторонам относятся ориентация на качественные данные, развитое рассуждение, следование инструкциям и возможности для локального запуска и дообучения в форматах, поддерживаемых экосистемой Unsloth и llama.cpp. Ограничения включают текстовую модальность, заявленную специализацию на английском языке и необходимость учитывать ресурсы, требуемые для запуска 14B-модели; конкретные показатели качества в README не приведены. Лицензия указана как MIT. README описывает этот репозиторий как конверсию Phi-4 и ссылается на базовую модель microsoft/phi-4; сведения о точном формате или квантовании данной версии в предоставленных данных отсутствуют.

Qwen2-1.5B-Instruct-GPTQ-Int4 — инструкционно дообученная языковая модель из семейства Qwen2, разработанная командой Qwen. Она предназначена для диалоговых сценариев и генерации текста: ответов на вопросы, кратких объяснений, работы с естественным языком и кодом. Модель относится к классу decoder-only Transformer и содержит 1,5 млрд параметров; версия GPTQ-Int4 использует 4-битное квантование для снижения требований к памяти при инференсе. Поддерживаются текстовые входы и выходы, а контекстное окно в README не указано. В архитектуре заявлены активация SwiGLU, bias в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в метаданных README явно указан английский язык. Модель предварительно обучалась на большом объёме данных, а затем дообучалась с помощью supervised fine-tuning и direct preference optimization; заявлены возможности в понимании и генерации текста, многоязычности, программировании, математике и рассуждениях. README не приводит точных результатов тестов и не описывает специфические ограничения качества квантированной версии; для запуска рекомендуются актуальные версии transformers, autogptq или vLLM. Лицензия — Apache 2.0.

Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Карточка модели ashphisher/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели mahrukhsaeed/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели Yahel666/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели zomasec/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

lmstudio-community/Qwen2.5-3B-Instruct-GGUF — это квантованная версия языковой модели Qwen2.5-3B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и работы с инструкциями, включая понимание и генерацию структурированных данных. Модель поддерживает контекст до 32 тысяч токенов и генерацию до 8 тысяч токенов. Она обучена работать более чем с 29 языками, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся широкий охват знаний, многоязычность и поддержка длинного контекста. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Модель распространяется по лицензии Qwen Research; применимые условия указаны в лицензии исходной модели Qwen2.5-3B-Instruct.

Qwen2.5-VL-72B-Instruct-GGUF — мультимодальная instruct-модель семейства Qwen2.5-VL, разработанная Qwen и представленная в формате GGUF. Квантизация выполнена bartowski на основе llama.cpp версии b5317. Модель предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений, распознавания объектов, чтения и интерпретации текста, таблиц, графиков, значков, схем и элементов макета. Она также рассчитана на сценарии визуального агента с рассуждением и динамическим управлением инструментами, включая взаимодействие с компьютером и телефоном. Поддерживает структурированный вывод и формирование стабильного JSON, а также многоязычную работу. Заявленная длина контекста составляет 128 тысяч токенов. README не уточняет точную архитектуру, перечень поддерживаемых языков и параметры конкретного файла квантизации, поэтому производительность и требования к ресурсам зависят от выбранного варианта GGUF. Как и другие генеративные модели, модель может выдавать неточные, вредоносные или неподходящие результаты. Лицензия указана как qwen и other; подробные условия приведены в лицензии исходной модели Qwen2.5-VL-72B-Instruct.

Карточка модели ehristoforu/qwen2.5-with-lora-think-3b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели Sonorix/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

unsloth/Qwen3.5-2B-GGUF — GGUF-версия модели Qwen3.5-2B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для мультимодального понимания текста и изображений, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и дообучения под конкретные задачи. Модель совместима с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers; для локального запуска и дообучения Unsloth предоставляет отдельные руководства. Модель содержит около 2 млрд параметров, 24 слоя и скрытую размерность 2048. В архитектуре сочетаются Gated Delta Networks и Gated Attention; заявлена гибридная структура с эффективной обработкой последовательностей. Нативная длина контекста составляет 262 144 токена. Модель поддерживает мультимодальные входы и заявленную языковую и диалектную представленность для 201 языкового варианта. GGUF-квантизация ориентирована на эффективный локальный запуск при ограниченных вычислительных ресурсах, однако конкретные характеристики скорости, памяти и точности зависят от варианта квантизации и используемого рантайма. К сильным сторонам относятся сочетание языкового и визуального понимания, длинный контекст, компактный размер и возможность локального применения. Ограничением является меньшая параметрическая ёмкость по сравнению с крупными моделями, поэтому модель может уступать им в сложных задачах и не предназначена как универсальная замена наиболее мощным системам. README также указывает, что модель ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Лицензия — Apache 2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — квантизированная GGUF-версия модели на базе Qwen3.5-9B, разработанная автором bernquant совместно с Nightmedia. Модель создана в результате многоэтапного дообучения и слияния нескольких fine-tune-моделей на локальном оборудовании. Она ориентирована на повышение общего интеллекта, следование инструкциям, рассуждения, программирование, творческое письмо, художественную литературу, ролевые сценарии и другие универсальные задачи. Заявлена как полностью uncensored и heretic-модель с ослабленным отказом от запросов. Модель поддерживает английский и китайский языки, имеет контекстное окно до 256 тысяч токенов и активированную обработку изображений. Для работы с vision требуется отдельный файл mmproj. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction; NEO Imatrix-квантизация заявлена как улучшающая точность, особенно в длинном контексте. MTP-варианты могут обеспечивать более высокую скорость генерации, но чувствительны к температуре, repetition penalty и уровню token acceptance; при низком acceptance обычная версия может работать быстрее. Сильными сторонами заявлены компактный размер 9B, высокая производительность на ряде тестов, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность локального запуска в стандартных приложениях с поддержкой GGUF. Приведённые бенчмарки показывают высокие результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако автор отдельно отмечает, что превосходство над более крупными моделями не гарантируется для всех задач. Ограничениями являются зависимость скорости и качества от выбранной квантизации и оборудования, необходимость отдельного mmproj для изображений и возможное снижение эффективности MTP при неподходящих параметрах. Лицензия — Apache-2.0.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP — мультимодальная модель генерации текста, разработанная AEON-7 на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16. Модель предназначена для диалогов, анализа и генерации текста, программирования и других сценариев, поддерживаемых Qwen3.6. Заявлены языки English, Chinese и multilingual. Модель опубликована в формате NVFP4 с поддержкой Multi-Token Prediction (MTP) и speculative decoding. Архитектура использует гибридный стек Gated DeltaNet (GDN) и attention, а также мультимодальный режим. Размер модели — 27B параметров. В конфигурации развертывания указан контекст до 229 376 токенов. Формат NVFP4 снижает требования к памяти и рассчитан на ускорители NVIDIA Blackwell, включая DGX Spark/GB10 и дискретные RTX, при использовании совместимого контейнера vLLM. Поддерживаются native MTP и внешний DFlash drafter; заявлены функции reasoning и вызова инструментов через соответствующие парсеры vLLM. К сильным сторонам относятся большой контекст, мультимодальность, оптимизация для Blackwell, ускоренное декодирование и uncensored/abliterated-настройка. Ограничения включают зависимость от специализированных версий vLLM, аппаратных и конфигурационных требований, а также то, что модель помечена как устаревшая: автор рекомендует вместо неё Qwen3.8 Ultimate Uncensored NVFP4-MIXED. Лицензия — Apache-2.0.

barozp/Qwen3.6-28B-REAP20-A3B-GGUF — набор GGUF-квантизаций модели, созданной на основе 0xSero/Qwen3.6-28B-REAP20-A3B, которая, в свою очередь, является вариантом Qwen3.6-35B-A3B от Qwen с удалением 20% экспертов методом REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации текста, диалоговых сценариев, программирования, рассуждений и работы со знаниями, включая локальный запуск через llama.cpp, LM Studio, Jan или Ollama. Указан английский язык. Это разреженная MoE-модель с гибридной архитектурой Qwen3.6, объединяющей Gated DeltaNet и Mixture of Experts. Она содержит около 28 млрд параметров, из которых примерно 3 млрд активны на токен; всего используется 205 экспертов, 8 из которых активируются для каждого токена. Контекст составляет до 262 144 токенов. Репозиторий предоставляет варианты от BF16 до 2-битных и IQ-квантизаций; рекомендуемый вариант Q4_K_M занимает около 17 ГБ и обеспечивает баланс качества и размера. Для него заявлены требования от 20 ГБ VRAM при полном запуске на GPU либо около 24 ГБ RAM при работе только на CPU. Сильные стороны модели — уменьшенный размер по сравнению с исходной MoE-моделью, сохранение примерно 3 млрд активных параметров на токен, широкий выбор квантизаций и совместимость с локальными инструментами на базе llama.cpp. Более сильное сжатие уменьшает требования к памяти, но может снижать качество генерации; точные результаты бенчмарков, поддержка других языков и практические ограничения качества в README не приведены. Распространение заявлено по лицензии Apache 2.0.

Minachist/Qwen3.6-35B-A3B-INT8-AutoRound — неофициальная INT8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная Minachist на основе Qwen от команды Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако в README конкретные поддерживаемые языки и полный перечень задач не указаны. Она рассчитана на запуск через Transformers и vLLM, включая использование в качестве языковой модели, генерацию кода, рассуждения и вызовы инструментов при соответствующей настройке vLLM. Модель использует схему W8A16 и квантизацию AutoRound от Intel. Доступны варианты с group size 128 и 32, а основная ветка использует конфигурацию, требующую примерно на 3,2 ГБ меньше VRAM, чем вариант gs32, при почти идентичном качестве. Часть компонентов, включая visual, mtp, linear_attn, mlp.gate, shared_expert, embed_tokens и lm_head, не квантизирована; в отдельных вариантах также сохраняется self_attn. Размер базовой модели обозначен как 35B-A3B, но сведения о контекстном окне и точных модальностях базовой модели отсутствуют. Сильными сторонами являются существенное снижение требований к памяти при сохранении качества, близкого к BF16: для MMLU-Redux указано 93,28% против 93,3% в официальной оценке BF16. Ограничения включают зависимость от совместимых версий vLLM и CUDA, необходимость подходящей GPU-конфигурации, а также известные проблемы с vLLM v0.20.1. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-MTP-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает тип данных для каждого тензора, чтобы сохранять качество при малой разрядности. Модель поддерживает Multi-Token Prediction (MTP), позволяющую предсказывать несколько токенов за один проход и ускорять декодирование за счёт спекулятивного принятия совпадающих токенов. Модель предназначена для GPU-инференса в llama.cpp и поддерживает работу с изображениями и текстом; для загрузки визуального проектора используется параметр --mmproj-auto. MTP особенно полезен при автодополнении кода, генерации структурированных ответов и повторяющегося контента, тогда как для творческой или нетипичной генерации ускорение может быть ниже. Варианты имеют размер от 10 до 18,6 ГБ и используют квантизации IQ2_S, IQ3_S и IQ4_XS с разрядностью 2,25–4,19 бит на вес. Базовая модель имеет 35B параметров и архитектуру, обозначенную как 35B-A3B; другие характеристики, включая языки и размер контекста, в README не указаны. MTP-голова встроена в GGUF, поэтому отдельная draft-модель не требуется, но нужен свежий выпуск llama.cpp с поддержкой draft-mtp. Производительность зависит от конкретной видеокарты и нагрузки; для большинства сценариев рекомендуется предсказывать на 2–4 токена вперёд. Модель распространяется по лицензии Apache-2.0.

Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF — это оптимизированная GGUF-версия Qwen3.8-Flash-Next, основанная на модели Qwen от Qwen и подготовленная автором Cyronius. Модель предназначена для генерации текста, рассуждений и агентских сценариев с вызовом инструментов через llama.cpp. Это текстовая сборка; отдельные vision-тензоры поставляются отдельно, а работа визуального контура после модификации не тестировалась. Модель использует MoE-архитектуру с 48 слоями и 512 экспертами, из которых активируются параметры объёмом около 6B на токен. Общее число параметров сокращено примерно с 176B до 131B за счёт уменьшения n-gram hash-embedding-таблицы с 51,2B до 6,4B параметров: сохранено по одной из восьми голов для каждого типа n-грамм. Основная сборка Q3_K_XL занимает 64,8 GB, также доступна версия Q4_0 размером 75,4 GB. Заявлена поддержка контекста до 256K токенов в исходной архитектуре, но поведение на длинном контексте для этой модификации не проверялось; опубликованные тесты проведены при контексте до 8K. По небольшому набору тестов сборка сохранила показатели базовой модели в tool calling, GSM8K и MMLU, однако perplexity на WikiText-2 ухудшилась с 2,40 до 4,66. Поэтому модель хорошо подходит для рассуждений, задач общего назначения и вызова инструментов, но может быть менее качественной в точном воспроизведении цитат, шаблонного текста и других сценариях, зависящих от поверхностного предсказания продолжений. Q4_0 структурно проверена, но отдельно не тестировалась. Для запуска требуется llama.cpp от 2026-08-27 или новее с поддержкой qwen4exp, а также значительный объём VRAM или оперативной памяти. Модель распространяется по лицензии qwen-community-1.0.

Карточка модели yimdev/Qwen3-test на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3-VL-12B-Thinking-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель в формате GGUF, созданная DavidAU на базе Qwen3-VL-8B-Thinking с адаптером Brainstorm 20x и дополнительной обработкой квантов NEO Imatrix. Модель предназначена для работы с текстом и изображениями, включая image-to-text, описание изображений, программирование, генерацию кода, чат, творческие задачи и рассуждения. В метаданных указан английский язык; заявлена поддержка видео, однако подробности о формате и ограничениях видеовхода не приведены. После применения адаптера размер модели увеличен до 12B параметров; указаны 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, размещённый вместе с основной моделью. Поддерживаются шаблоны Jinja или ChatML. Brainstorm 20x заявлен как модификация, улучшающая детализацию, связность, качество прозы, творческую генерацию и глубину рассуждений, но автор отдельно отмечает, что это не означает кратного повышения интеллектуальных способностей. Сильными сторонами модели являются сочетание обработки текста и изображений, пригодность для сложного многошагового программирования, подробных инструкций, творческих сценариев и работы с длинным контекстом. К ограничениям относятся отсутствие опубликованных в README бенчмарков и примеров, а также возможное зацикливание генерации; для его уменьшения рекомендуются повышенная температура, repetition penalty около 1.1 и presence penalty 2.0. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-GGUF — это мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-4B-Instruct в формате GGUF: языковую модель и отдельный vision encoder в вариантах FP16, Q8_0 и Q4_K_M. Модель предназначена для понимания и генерации текста с учётом изображений, а также для анализа видео. Модель ориентирована на визуальные вопросы и ответы, OCR, распознавание объектов и сцен, пространственное рассуждение, анализ документов и видео, STEM-задачи, генерацию кода и взаимодействие с графическими интерфейсами через инструменты. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длительных видео и поддержка OCR на 32 языках. В архитектуре используются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками для улучшения пространственного и временного анализа. К сильным сторонам относятся сочетание текстового и визуального понимания, работа с мелкими деталями изображений, пространственным контекстом, документами и видео, а также возможность запуска локально на CPU, NVIDIA GPU, Apple Silicon и Intel GPU через llama.cpp, Ollama и другие инструменты GGUF. Выбор точности компонентов позволяет адаптировать потребление памяти и производительность под оборудование, однако квантованные варианты могут уступать FP16 по качеству, а README не содержит подробных числовых результатов бенчмарков, точного перечня поддерживаемых языков для обычного диалога и требований к ресурсам. Лицензия — Apache-2.0.

Spark-X2.5-1.7B-GGUF — компактная языковая модель в формате GGUF, разработанная XHToken на базе XHToken/Spark-X2.5-1.7B. Она предназначена для общего назначения: диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Модель имеет гибридную архитектуру внимания и поддерживает нативный контекст длиной до 1 миллиона токенов. Заявлена поддержка более 200 языков; в карточке модели отдельно указаны английский и китайский. Размер базовой модели — 1,7 млрд параметров. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp, Ollama, LM Studio и Unsloth, однако для нативной поддержки архитектуры требуются совместимые версии этих инструментов. К сильным сторонам относятся компактный размер, широкий набор задач, многоязычность, очень длинный контекст и возможность локального развертывания. README не содержит результатов тестирования, подробностей обучения, сведений о конкретных вариантах квантования или детального описания ограничений качества, поэтому производительность в отдельных задачах по этим данным оценить нельзя. Модель распространяется по лицензии Apache License 2.0.

Swift-Qwen3.8-27b-int4-AMD — квантованная версия модели Swift-Qwen3.8-27B, разработанная UkisAI на базе Qwen3.8-27B. Модель предназначена для задач рассуждения, генерации текста, программирования и структурированного вывода, а также заявлена как image-text-to-text модель с поддержкой визуального компонента. Swift оптимизирована для сокращения избыточных рассуждений: по данным разработчика, она использует на 58,3% меньше thinking-токенов при потере производительности менее 1% и ускорении до 1,95 раза на ряде задач. Данный выпуск использует квантование AMD Quark AWQ INT4 в формате W4A16: веса имеют точность INT4, активации — BF16, применяется симметричное группирование с размером группы 128. Квантованы 496 линейных слоёв языковой модели, а vision tower, embeddings, output head и 15 MTP-тензоров сохранены в BF16. Размер файлов весов составляет около 19,5 ГБ против 55,6 ГБ у BF16-версии. Калибровка выполнена на 128 образцах Pile по 512 токенов. Сильными сторонами являются снижение объёма весов и потенциальное ускорение инференса при сохранении основных возможностей базовой модели. Проверки показали небольшой рост perplexity на Wikitext-2, успешную арифметическую и JSON-генерацию, однако это не является полноценным сравнением качества. Ключевое ограничение выпуска состоит в том, что квантование и проверка проводились на NVIDIA H100, а работа и производительность на AMD/ROCm ещё не валидировались; требуется совместимый с native Quark INT4 runtime. Vision inference и MTP decoding отдельно не тестировались. Модель распространяется по лицензии swift-open-license-1.0.

C4AI Command-R v01 — авторегрессионная плотная языковая модель Cohere и Cohere For AI на 35 млрд параметров, выпущенная с открытыми весами. Она предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и работы с RAG; также обучена формировать вызовы инструментов в специальном формате диалога. Модель принимает и генерирует текст. Она построена на оптимизированном трансформере, после предварительного обучения прошла дообучение с учителем и обучение на предпочтениях. Контекст составляет 128K токенов. Модель рассчитана на английский, французский, немецкий, испанский, итальянский, бразильский португальский, японский, корейский, упрощённый китайский и арабский; русский входил в дополнительные языки предобучения, но не указан среди языков, на которых модель специально оптимизирована. Весам требуется следовать лицензии CC-BY-NC-4.0 и Политике допустимого использования C4AI. Для вызова инструментов рекомендуется использовать предусмотренный шаблон диалога: отклонение от него может снизить качество. README указывает на сильные возможности RAG, но для их использования нужно предоставить модели найденные документы и соответствующий формат запроса.

Dolphin X1 8B — языковая модель для генерации текста, разработанная командой Dolphin на основе dphn/Dolphin-X1-8B и Llama 3.1 8B Instruct. Версия с идентификатором dphn/Dolphin-X1-8B-GGUF предназначена для запуска моделей в формате GGUF. Модель ориентирована на общее назначение и диалоговое взаимодействие, включая сценарии, аналогичные использованию универсальных ассистентов. Модель имеет архитектуру Llama 3.1 с размером около 8 миллиардов параметров и поддерживает текстовую модальность. Она сохраняет стандартный шаблон чата Llama 3 и позволяет задавать тон, характер и правила поведения через системный промпт. Заявленная особенность Dolphin — повышенная управляемость: владелец приложения самостоятельно определяет системные инструкции, выравнивание и способы обработки данных. Сведения о поддерживаемых языках и размере контекста в README не указаны. К сильным сторонам относятся универсальность, возможность локального или контролируемого развёртывания, совместимость с Ollama, LM Studio, Transformers, vLLM, SGLang и TGI, а также стремление сохранить или улучшить возможности Llama 3.1 8B Instruct при снижении ограничений на ответы. Ограничения модели и её поведения зависят от выбранных инструкций и настроек выравнивания; заявленная доля успешного прохождения набора Dolphin-refusals составляет 95,96%, а показатели MMLU и IFEVAL приведены в README без дополнительного описания методики. Лицензия указана как Llama 3.1.

unsloth/gemma-3n-E2B-it-unsloth-bnb-4bit — это квантизированная 4-битная instruction-tuned версия модели Gemma 3n E2B, подготовленная Unsloth на базе google/gemma-3n-E2B-it. Исходную модель разработала Google DeepMind. Gemma создана как семейство компактных открытых моделей для эффективного запуска, в том числе на устройствах с ограниченными ресурсами. Модель предназначена для диалогов, ответов на вопросы, обработки и суммаризации документов и других задач генерации текста. Семейство Gemma 3n поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текста, однако в данном README для этой версии отдельно указано, что в текущей конфигурации поддерживается только текст. Максимальный контекст составляет 32K токенов; заявленная языковая поддержка включает английский, а обучение проводилось на данных более чем на 140 разговорных языках. Ключевая особенность Gemma 3n — технология выборочной активации параметров, обеспечивающая эффективный размер около 2B параметров при меньших требованиях к ресурсам. Формат Unsloth bnb 4bit снижает требования к памяти, но может сопровождаться потерей точности по сравнению с полноточной версией. Для корректной работы рекомендуется использовать chat template Gemma 3n и параметры temperature 1.0, top_k 64 и top_p 0.95. Модель распространяется по лицензии Gemma; условия использования определяются официальными Terms of Use Google.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная языковая модель в формате GGUF, созданная HauhauCS на основе Gemma 4 12B от Google DeepMind. Это вариант с удалёнными ограничениями на отказы, предназначенный для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых задач, где важны следование инструкциям и надёжность ответов. Модель имеет плотную архитектуру размером 12B параметров и поддерживает контекст до 256K токенов. Основной файл использует 4-битную QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; для обработки изображений требуется отдельный mmproj-файл размером 168 МБ. Заявлена поддержка английского языка, а визуальный ввод реализуется через компонент mmproj. Для ускорения генерации доступен MTP-модуль спекулятивного декодирования, который, по данным автора, даёт примерно 60% прироста скорости при использовании llama.cpp без изменения результата. Сильные стороны модели — большой контекст, поддержка изображений, ориентация на кодирование и рассуждения, а также совместимость с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Заявление об отсутствии отказов основано на тестах автора и не является абсолютным: для некоторых пограничных запросов возможны отказы с первой попытки. Модель рекомендована для запуска на одной GPU; автор отмечает возможные сбои Gemma 4 в LM Studio при режиме tensor-split. Распространяется по лицензии Gemma.

Mungert/gpt-oss-20b-heretic-GGUF — это GGUF-версия декензурированной модели OpenAI gpt-oss-20b, созданная пользователем Mungert с применением Heretic v1.0.0 и преобразованная с помощью llama.cpp. Модель предназначена для генерации текста, локального запуска и специализированных сценариев, включая задачи рассуждения, разработку и агентские приложения, поддерживаемые исходной моделью. Для корректной работы требуется формат ответов Harmony. Исходная gpt-oss-20b имеет архитектуру Mixture of Experts: около 21 млрд параметров, из которых примерно 3,6 млрд активны при обработке запроса. Модель выпускается в формате GGUF; автор также применяет специальное повышение точности отдельных слоёв при квантовании, что может улучшать качество при увеличении размера файла. Доступны настраиваемые уровни усилий рассуждения, а исходная модель поддерживает вызов функций, веб-навигацию, выполнение Python-кода и структурированные ответы. Языки и размер контекста в предоставленных данных не указаны. Главная особенность этой версии — снижение склонности к отказам: в приведённом сравнении модель отказалась в 58 из 100 случаев против 100 из 100 у исходной модели, однако это сопровождается отличием от оригинала, измеренным KL-дивергенцией 0,96. Лицензия Apache 2.0 допускает свободное использование, модификацию и коммерческое развёртывание. Показатели качества, безопасность декензурированной версии и совместимость конкретных квантов зависят от выбранного GGUF-файла и требуют самостоятельной проверки.

Homer-v1.0-Qwen2.5-72B — языковая модель, созданная newsbang дообучением Qwen2.5-72B на большом объёме данных с инструкциями. Она предназначена для диалогов и выполнения текстовых инструкций; в метаданных также заявлен интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen2 и содержит 71,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

deltanym/llama-3.1-120b-instruct — текстовая разговорная модель, созданная методом слияния через mergekit на основе meta-llama/Llama-3.1-70B-Instruct. В карточке указана конфигурация passthrough; модель использует плотную архитектуру семейства Llama и формат safetensors. Метаданные указывают 120,8 млрд параметров и контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения, включая сценарии с интерфейсом вызова инструментов. В основе лежит многоязычная instruct-модель Meta; README описывает её как воспроизведение Meta-Llama-3-120B-Instruct с использованием Llama 3.1 70B вместо Llama 3. Лицензия в предоставленных данных не указана.