II.10Разработка и эксплуатация AI/ML-систем

bartowski/Meta-Llama-3.1-70B-Instruct-GGUF — это квантованная версия инструкционной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текстов и другие задачи обработки естественного языка. Из доступных данных известно, что модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров согласно идентификатору базовой модели и работает с текстом. Заявлены языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF обычно ориентирован на локальный инференс, однако конкретный уровень квантования, требования к памяти, размер контекста и точные характеристики производительности в README не указаны. Сильными сторонами модели являются большой размер, инструкционная настройка, поддержка нескольких языков и совместимость с экосистемой GGUF. Ограничениями могут быть высокие требования к вычислительным ресурсам, а также возможная потеря качества по сравнению с полной точностью из-за квантования; степень этого влияния зависит от конкретной версии квантования и не указана. Модель распространяется на условиях Llama 3.1 Community License от Meta. Лицензия предусматривает требования к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и особые коммерческие условия для организаций с более чем 700 миллионами ежемесячных активных пользователей.

MaziyarPanahi/Mistral-7B-Instruct-v0.3 — версия Mistral-7B-Instruct-v0.3, размещённая Maziyar Panahi. Это плотная языковая модель Mistral на 7,1 млрд параметров, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов и генерации ответов на текстовые запросы, включая сценарии с вызовом функций. Модель поддерживает контекст до 32 768 токенов и использует формат safetensors. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и генерации текста. В README указаны расширенный словарь токенизатора и поддержка function calling. Карточка предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соответствовать требованиям к ограничению контента. Лицензия — Apache-2.0.

Rioky/Mistral-Small-4-119B-2603-heretic-i1-gguf — набор GGUF-квантизаций модели Mistral Small 4 119B 2603 Heretic. Базовая модель разработана Mistral AI, а версия Heretic опубликована darkc0de; данный набор подготовлен Rioky. Модель предназначена для генерации текста, мультимодального анализа изображений и текста, агентских сценариев, вызова функций с JSON-выводом и задач, требующих длинного контекста. Заявлена поддержка режимов быстрого ответа и рассуждений с дополнительными вычислениями во время вывода. Модель использует архитектуру Mistral4 с разреженной Mixture-of-Experts и MLA-вниманием: всего 119 млрд параметров, из которых активируются 6,5 млрд на токен; доступны 128 экспертов, 4 из них активируются для каждого токена. Контекстное окно составляет до 256 тысяч токенов. Поддерживаются текстовый и графический ввод с текстовым выводом. Указана многоязычность, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и другие языки. К сильным сторонам относятся большой контекст, мультимодальность, функции для агентских приложений, системные инструкции и несколько вариантов квантизации с importance matrix, которая призвана лучше сохранять качество на низких битностях. Ограничения включают значительные требования к памяти: размер файлов варьируется примерно от 29 до 91 ГиБ, а качество и скорость зависят от выбранного варианта. Показатель отказов Heretic-версии в README составляет 27 из 100 против 98 из 100 у исходной модели, однако независимые оценки качества не приведены. Распространение заявлено по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.

Это чат-модель richardyoung на основе Qwen2.5-14B-Instruct, преобразованная методом abliteration с помощью Heretic v1.4.0 для снижения частоты отказов. По приведённому в карточке сравнению число отказов составило 11 из 100 запросов против 98 из 100 у исходной модели; это значение относится только к описанной в README оценке. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, написание длинных текстов, работу с таблицами и структурированными форматами, а также задачи по математике и программированию. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, реализованная для Transformers и распространяемая в формате Safetensors. Метаданные указывают контекст до 32 768 токенов; README описывает возможность расширения контекста с помощью YaRN и указывает для семейства исходной модели предел до 131 072 токенов. Семейство поддерживает более 29 языков, однако карточка этой модели подтверждает английский; перечисление других языков относится к описанию Qwen2.5 в целом. Модель подходит для разговорных помощников и генерации текста, но указанное снижение отказов не означает отсутствия ограничений или гарантий качества. Лицензия — Apache-2.0.

Это инструкционная чат-модель Qwen2.5-3B, размещённая Unsloth и основанная на Qwen/Qwen2.5-3B-Instruct. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, помощь с кодом и математикой, работу со структурированными данными и формирование JSON. Модель имеет плотную архитектуру Qwen2 с 3,1 млрд параметров; в README указаны 36 слоёв, поддержка контекста до 32 768 токенов и генерация до 8 192 токенов. Модель работает с текстом и рассчитана на многоязычное использование: README заявляет поддержку более 29 языков, включая английский, русский, китайский, французский, немецкий и японский. Среди отмеченных сильных сторон семейства — следование инструкциям, генерация длинных текстов и структурированные ответы. Метаданные указывают библиотеку Transformers, формат Safetensors и интерфейс чата с поддержкой вызова инструментов. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория. Приведённый README в основном описывает семейство Qwen2.5 и материалы Unsloth; он не содержит отдельной оценки качества именно этой публикации модели.

ThomasBaruzier/Qwen2.5-3B-Instruct-GGUF — набор GGUF-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-3B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud; данный репозиторий содержит квантизации, созданные с помощью llama.cpp и метода imatrix с использованием калибровочного файла Bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Она поддерживает более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это каузальная Transformer-модель с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует Grouped-Query Attention с 16 головами для Q и 2 для KV. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Главное преимущество репозитория — выбор компромиссов между размером файлов, качеством и требованиями к памяти: варианты занимают примерно от 755 МБ до 5,9 ГБ, при этом качество квантования различается, поэтому наиболее компактные версии могут заметно уступать F16. Лицензия указана как qwen-research; применяются условия лицензии исходной модели Qwen2.5-3B-Instruct.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия модели Qwen3-VL-30B-A3B-Thinking с fine-grained-квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии в формате BF16. Модель предназначена для генерации и понимания текста, анализа изображений и видео, визуального рассуждения, OCR, пространственного анализа, STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру MoE с 30 млрд параметров и 3 млрд активных параметров. Среди заявленных компонентов — Interleaved-MRoPE для временных и пространственных признаков, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. Поддерживаются текст, изображения и видео; заявлен нативный контекст 256K с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков в README не указан. Сильные стороны модели — развитое мультимодальное понимание, обработка длинного контекста, анализ пространственных отношений и видеодинамики, распознавание текста на сложных изображениях, а также возможности визуального кодирования и агентного взаимодействия. Ограничения включают отсутствие прямой поддержки загрузки этих весов в Transformers на момент публикации README; для развёртывания рекомендованы vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-32B-Instruct-unsloth-bnb-4bit — 4-битная версия модели Qwen3-VL-32B-Instruct, подготовленная Unsloth на базе модели Qwen. Это мультимодальная vision-language модель для понимания и генерации текста по изображениям и видео, а также для работы с чистым текстом. Модель предназначена для описания и анализа изображений, визуального и пространственного рассуждения, распознавания текста, понимания длительных видеоматериалов, STEM- и математических задач, генерации кода и взаимодействия с графическими интерфейсами. Заявлены возможности визуального агента для работы с GUI, поддержка 2D- и 3D-пространственного анализа, а также OCR для 32 языков. Архитектурные компоненты включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Контекст составляет 256K токенов с возможностью расширения до 1M. Это instruct-модель с 32B параметров в исходной конфигурации, представленная в 4-битном формате bitsandbytes для снижения требований к памяти. К сильным сторонам относятся объединённое понимание текста и визуальных данных, расширенное восприятие изображений и видео, длинный контекст и агентские сценарии. Ограничения, включая возможные потери качества из-за квантизации и требования к вычислительным ресурсам, в README подробно не описаны. Указана лицензия Apache-2.0.

GLM-4.6V-Flash-GGUF — мультимодальная модель семейства GLM-V, разработанная Z.ai (zai-org) и представленная в формате GGUF компанией Unsloth. Это облегчённая версия GLM-4.6V с 9 млрд параметров, ориентированная на локальное развёртывание и приложения с низкой задержкой. Модель поддерживает китайский и английский языки, работает с текстом и изображениями, а также предназначена для обработки скриншотов, страниц документов, таблиц, графиков и других визуальных данных. Модель рассчитана на визуальное понимание, мультимодальное рассуждение, анализ длинных и сложных документов, распознавание структуры и содержимого изображений, а также на сценарии мультимодальных агентов. Она поддерживает контекст до 128K токенов, нативный Function Calling с передачей изображений и документов инструментам, интерливинг текстового и визуального контента, генерацию HTML/CSS по скриншотам интерфейсов и визуальное редактирование по инструкциям на естественном языке. К сильным сторонам относятся сочетание визуального восприятия, рассуждения и вызова инструментов, поддержка длинного мультимодального контекста и оптимизация для локального использования. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с облачной версией GLM-4.6V на 106 млрд параметров; конкретные требования к оборудованию и характеристики квантования для данного GGUF в README не указаны. Лицензия модели — MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e — мультимодальная версия модели GLM-5.3-Flash, подготовленная Solstice-AI для Apple Silicon и библиотеки MLX. Исходная архитектура разработана Zhipu AI / ZAI, некensored-веса предоставлены dealignai. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Заявлена поддержка английского и китайского языков. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами, из которых около 18 млрд активируются для каждого токена. Используется смешанная квантизация oQ4e примерно на 4,6 бит на вес: основные веса представлены в 4-битном формате, отдельные критически важные компоненты защищены 8-битным или полным BF16/FP32-представлением. Vision Tower ViT и мультимодальный выравниватель сохранены в BF16. Заявлено нативное контекстное окно до 1 048 576 токенов и поддержка спекулятивного декодирования с drafter DFlash2. Сильными сторонами модели являются большой контекст, мультимодальное понимание изображений и видео, разреженная архитектура и оптимизация под чипы Apple M2, M3, M4 и M5. К ограничениям относятся высокая общая ёмкость модели, требовательность к памяти и совместимость с конкретным программным стеком MLX и аппаратной платформой; фактическая производительность зависит от конфигурации устройства. В README модель описана как uncensored, поэтому её ответы могут не включать стандартные механизмы отказа по чувствительным запросам. Указанная лицензия — MIT.

GLM-5.3-Flash-UNCENSORED-NVFP4-DFlash2 — мультимодальная модель семейства GLM-5.3 Flash. Исходную архитектуру разработала Zhipu AI (ZAI), неконтролируемые веса подготовила dealignai, а упаковку и конфигурацию NVFP4 выполнила Solstice-AI. Модель основана на 320-миллиардной MoE-архитектуре с 288 маршрутизируемыми экспертами и примерно 18 миллиардами активных параметров на токен. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также обработки изображений и видео. Она поддерживает нативные мультимодальные возможности благодаря 24-слойному ViT и проектору размерности 10 240, рассчитана на контекст до 1 048 576 токенов и поставляется с черновой моделью DFlash 2 для спекулятивного декодирования. Ключевая особенность сборки — смешанная точность W4A16: MoE-эксперты используют 4-битный формат NVFP4, а attention, общие эксперты и активации сохраняются в 16-битной точности. Сильными сторонами являются сочетание большого контекста, мультимодальности, сниженного потребления памяти за счёт квантизации и поддержки спекулятивного ускорения. Согласно README, модель ориентирована на GPU NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere. Ограничения включают крупный общий размер, высокие требования к инфраструктуре, зависимость производительности от совместимого ПО и оборудования, а также отсутствие встроенных механизмов отказа от потенциально опасных запросов: веса описаны как uncensored и abliterated. Модель распространяется по лицензии MIT. В README также указаны результаты на MMLU, SWE-bench, LiveCodeBench, MATH-500 и мультимодальных тестах, однако эти показатели приведены авторами карточки и не заменяют независимую оценку.

heretic-org/IBM-granite-4.1-8b-heretic — производная модель на базе IBM Granite-4.1-8B, созданная методом abliteration, который резко снижает склонность модели отказывать в ответах. В сравнении с исходной моделью в карточке указаны 5 отказов из 416 запросов против 409 из 416; также приведено значение KL divergence 0,0285. Это плотный decoder-only трансформер Granite с 8,4 млрд параметров и контекстом до 131 072 токенов, доступный в формате safetensors для Transformers. Модель предназначена для диалога и генерации текста: она может следовать инструкциям, отвечать на вопросы, суммировать и извлекать информацию, классифицировать текст, помогать с кодом и использовать вызов инструментов, унаследованные от Granite-4.1-8B. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; качество на других языках может отличаться от английского. Модель опубликована heretic-org под лицензией Apache 2.0. Снижение числа отказов не гарантирует точности или безопасности ответов: модель может выдавать ошибочную, предвзятую или небезопасную информацию, поэтому её следует проверять и настраивать для целевого применения.

Карточка модели kakaocorp/kanana-2-30b-a3b-mid-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Карточка модели kakaocorp/kanana-2-30b-a3b-thinking-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Карточка модели aoiandroid/LFM2.5-2.6B на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-2.6B, поэтому описание составлено по ней. LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

Meta-Llama-3.1-70B-Instruct-iMat-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-70B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Доступна в формате GGUF для использования с совместимыми инструментами, в частности с актуальными версиями llama.cpp. Модель содержит около 70 миллиардов параметров и работает с текстовыми данными. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Представлены варианты квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты; при квантизации использовалась importance matrix (imatrix), призванная уменьшить потери качества. Длина контекста в README не указана. Сильной стороной модели является сочетание крупного размера, инструкционного обучения и широкого набора вариантов квантизации, позволяющих выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения связаны с тем, что качество и ресурсоёмкость зависят от выбранного варианта квантизации, а для работы требуется современная сборка совместимого программного обеспечения. Модель распространяется по лицензии llama3.1.

MyAwesomeModel — языковая модель, представленная в репозитории david123TJP/MyAwesomeModel-TestRepo. README не указывает имя разработчика или организацию, создавшую модель. Модель реализована с использованием библиотеки Transformers и распространяется по лицензии MIT. Модель предназначена для сложных задач рассуждения, математических и логических задач, программирования, понимания и генерации текста, классификации, анализа тональности, суммаризации, перевода, ответов на вопросы и диалогового взаимодействия. Также заявлена поддержка function calling, системных промптов, загрузки файлов и генерации с использованием результатов веб-поиска. По данным README, после обновления были улучшены глубина рассуждений, возможности вывода и снижена частота галлюцинаций. Точные сведения об архитектуре, количестве параметров, модальностях, языках и размере контекстного окна не приведены. Указано, что модель использует увеличенную глубину рассуждений: в тесте AIME 2025 среднее использование выросло примерно с 12K до 23K токенов на вопрос, а точность повысилась с 70% до 87,5%. Для работы рекомендуется temperature 0,6 и системный промпт с текущей датой. README также упоминает вариант MyAwesomeModel-Small, архитектура которого идентична базовой модели, но подробности о нём не раскрыты.

MyAwesomeModel — языковая модель, распространяемая через библиотеку Transformers; разработчик в представленном README не указан. Модель ориентирована на задачи, требующие рассуждений и генерации текста, включая математические и логические задачи, программирование, ответы на вопросы, классификацию текстов, анализ тональности, суммаризацию, перевод, диалог, творческое письмо и следование инструкциям. Также заявлена поддержка function calling, загрузки файлов и генерации с использованием результатов веб-поиска. По данным README, обновлённая версия получила улучшения в глубине рассуждений, возможностях вывода и постобучении, а также сниженный уровень галлюцинаций. На тесте AIME 2025 точность выросла с 70% до 87,5%, при этом среднее число токенов рассуждения увеличилось примерно с 12 тысяч до 23 тысяч на задачу. В сводных оценках модель показывает наиболее заметные результаты в рассуждениях и генерации, однако конкретные архитектура, число параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. Для использования рекомендуется библиотека Transformers, системный промпт с текущей датой и температура 0,6. Специальные токены в начале ответа для включения определённого режима рассуждений не требуются. README также упоминает вариант MyAwesomeModel-Small, но не приводит его подробных характеристик. Модель распространяется по лицензии MIT.

next-8b-i1-GGUF — квантизированная GGUF-версия языковой модели next-8b, разработанной thelamapi и подготовленной квантизатором mradermacher. В README также указана поддержка со стороны nethype GmbH. Модель предназначена для генерации текста, диалоговых сценариев, аналитических и рассуждающих задач, а также многоязычного применения. Это текстовая Transformer-модель примерно на 8 млрд параметров, обученная и дообученная с использованием наборов данных для instruction tuning, reasoning, диалогов, программирования, медицинских и других специализированных текстовых сценариев. Заявлены языки: турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский. Мультимодальность и размер контекстного окна в README не указаны. Модель доступна в большом наборе GGUF-квантизаций размером примерно от 2,2 до 6,8 ГБ. Варианты различаются балансом между скоростью, требованиями к памяти и качеством; для общего использования рекомендован i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Более агрессивные квантизации имеют заметные ограничения качества, поэтому конкретный вариант следует выбирать с учётом доступной памяти и требований к результату. Лицензия — MIT.

Карточка модели mastema007/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Это мультимодальная модель Qwen3.6-27B, созданная darkc0de на основе Qwen/Qwen3.6-27B и дообученная на примерах рассуждений Claude Opus. Затем модель прошла decensoring методом abliteration с помощью Heretic v1.3.0; опубликованные параметры и сравнение показывают снижение частоты отказов с 98 до 8 на 100 запросах относительно исходной версии distill. Модель предназначена для диалогов, программирования, творческого письма, понимания изображений и задач общего назначения. Архитектура плотная, с 27 млрд параметров; заявлена поддержка изображений и текстового чата. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Для запуска автор отсылает к инструкциям команды Qwen.

Qwen3.7-Max — флагманская модель серии Qwen3.7, разработанная Alibaba. Она принимает и выдаёт текст и предназначена для агентных сценариев, включая программирование, работу с офисными задачами и повышение продуктивности. Карточка модели отмечает сильные стороны в задачах кодирования и офисной работы. В метаданных Hugging Face указана задача генерации текста и дата публикации 21 мая 2026 года. Сведений о размере, длине контекста, языках, лицензии и ограничениях в доступных материалах нет.

Qwythos-27B-v1-GGUF — это набор GGUF-квантизаций модели Qwythos-27B-v1, разработанной компанией Empero. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Это плотная гибридная модель семейства Qwen3.5 с 27 миллиардами параметров, прошедшая SFT, DPO и ESFT; представленная версия является предварительной RL-оптимизации v1. Модель поддерживает текстовые задачи и обработку изображений при использовании отдельного vision-проектора mmproj-Qwythos-27B-F16.gguf. Заявлены встроенные MTP-возможности для ускорения генерации, мультимодальность и контекстное окно до 1 048 576 токенов. Доступны варианты от Q4_K_M до BF16 с различным соотношением размера, качества и требований к памяти; Q4_K_M указан как рекомендуемый вариант по умолчанию. На практике полноценное использование длинного контекста требует значительных ресурсов для KV-кэша, а более точные варианты могут потребовать 48–80 ГБ видеопамяти, нескольких GPU или выгрузки части вычислений на CPU. Модель подходит для локальных диалоговых и аналитических сценариев, рассуждений, агентных задач, работы с длинным контекстом и анализа изображений. Сильными сторонами являются сохранённые vision tower и MTP head, большой контекст и широкий выбор квантизаций. Ограничения связаны с высокими требованиями к памяти, зависимостью MTP от свежей версии llama.cpp и необходимостью отдельного vision-проектора для изображений. Модель и её квантизации распространяются по лицензии Apache-2.0.

Spark-X2.5-4B-GGUF — компактная языковая модель общего назначения, разработанная XHToken и представленная в формате GGUF. Модель предназначена для диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Это текстовая модель размером 4 млрд параметров с гибридной архитектурой внимания, нативной длиной контекста до 1 млн токенов и поддержкой более 200 языков, включая английский и китайский. К сильным сторонам относятся компактный размер, широкий набор прикладных задач, многоязычность и возможность локального запуска через llama.cpp, Ollama, LM Studio и Unsloth. Для работы требуется совместимая версия программного обеспечения с поддержкой архитектуры spark2_5: llama.cpp b10828 или новее, Ollama v0.34.1 или новее либо соответствующая версия LM Studio. README не содержит подробных результатов тестирования, требований к ресурсам и сведений о поддерживаемых модальностях помимо обработки текста. Модель распространяется по лицензии Apache License 2.0.

Это экспериментальная селективно-квантованная GGUF-сборка DeepSeek-V4-Flash-0731 REAP-150B от Tinker-Stack. Модель основана на обрезанном варианте REAP-150B с архитектурой DeepSeek4 и MoE: 150 млрд параметров, 132 эксперта, из которых активны 6 на токен, и один общий эксперт. Веса упакованы в контейнер TurboQuant TQ3_4S с рецептом квантования примерно 3,49 бит на параметр; для запуска нужна специальная версия llama.cpp с поддержкой этого формата. Сборка предназначена для генерации текста, диалогов, агентного использования инструментов, программирования, анализа длинных документов и задач на рассуждение. Заявлена работа с контекстом до 256 тысяч токенов при использовании подходящего KV-кэша. В README приведены внутренние сравнительные тесты и показатели perplexity, однако они не являются стандартизированными оценками; качество зависит от режима рассуждения и настроек инференса. Модель компактнее полноразмерных вариантов благодаря обрезке и квантованию, но квантование может снижать точность, а REAP-вариант может уступать исходной модели в некоторых возможностях. Сборка экспериментальная, требует нестандартного форка llama.cpp; контекст 1 млн токенов на описанном оборудовании не подтверждён. Лицензия репозитория — MIT.

EXAONE-4.0-32B-FP8 — мультиязычная большая языковая модель LG AI Research, представленная в формате для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Это авторегрессионный плотный Transformer с 32 млрд параметров, предназначенный для генерации текста, следования инструкциям, решения сложных задач с использованием режима рассуждений, вызова инструментов и агентских сценариев. Модель поддерживает английский, корейский и испанский языки, работает с текстовыми входами и выходами. Модель объединяет обычный режим без рассуждений, включённый по умолчанию, и режим reasoning, который активируется отдельно для запроса. Она поддерживает вызов функций через формат EXAONE-4.0. Веса статически квантизированы в FP8, активации динамически квантизируются в FP8 во время выполнения, а KV-кэш сохраняется в 16-битной точности. На FuriosaAI RNGD используется тензорный параллелизм на 32 PE, что соответствует четырём картам RNGD. Карточка описывает интеграцию с Furiosa-LLM и аппаратным обеспечением FuriosaAI RNGD; для других движков, включая vLLM, SGLang и Transformers, следует обращаться к исходной карточке модели. Ограничения по размеру контекста и дополнительные характеристики производительности не указаны. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.2 - NC, предусматривающей некоммерческое использование.

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.