I.14Автоматизация процессов и AI-агенты

Maestro1-9B — плотная мультимодальная модель с 9 млрд параметров от Vection Labs, построенная на архитектуре Qwen3-VL. Она принимает текст и изображения, а также предназначена для анализа видео, и генерирует текстовые ответы. Модель ориентирована на пошаговые рассуждения, математику, программирование и визуальный анализ; заявленное контекстное окно — до 1 млн токенов. Модель подходит для решения математических задач, генерации и отладки кода, ответов на вопросы по изображениям, документам, диаграммам и коротким видеороликам, а также анализа длинных документов и кодовых баз. Карточка указывает поддержку английского языка. Для запуска рекомендуются Transformers и GPU с 24–80 ГБ памяти при использовании bf16; веса доступны в формате safetensors. Модель может уверенно выдавать неверные ответы, а сгенерированный код требует проверки. Длинные контексты и видео увеличивают задержку и потребление памяти; аудио не поддерживается. Не предназначена для принятия важных медицинских, юридических или финансовых решений без проверки человеком. Лицензия — Apache-2.0.

CallComply/openchat-3.5-0106-11b — дообученная компанией OpenChat чат-модель на архитектуре Mistral, представленная в формате Safetensors. Метаданные указывают 10,6 млрд параметров, контекст до 32 769 токенов и лицензию Apache 2.0. В README приведены сведения о варианте OpenChat-3.5-0106 на 7 млрд параметров с контекстом 8192 токена; поэтому заявленные там размеры и контекст расходятся с метаданными именно этого репозитория. Модель предназначена для диалогов, генерации текста, программирования и математических рассуждений. В README описаны общий режим и отдельный режим математических задач, а также экспериментальные возможности оценки ответов и предоставления обратной связи. Карточка рекомендует запускать её через OpenChat API-сервер с vLLM и указывает поддержку шаблона чата. README приводит результаты тестов на задачах кодирования, математики и общего рассуждения, но эти цифры не гарантируют качество в конкретных сценариях. Это текстовая модель: данные не подтверждают работу с изображениями или аудио. Лицензия репозитория — Apache 2.0.

Phi-3-Medium-4K-Instruct — плотная языковая модель семейства Phi-3, разработанная Microsoft. Модель содержит 13,8 млрд параметров и рассчитана на контекст до 4096 токенов. Она обучена на синтетических данных и отфильтрованных общедоступных веб-текстах с упором на качество и рассуждения, а затем дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно для сред с ограниченными вычислительными ресурсами и требованиями к задержке, а также для задач программирования, математики, логики и понимания текста. Она работает с текстом и ориентирована прежде всего на английский язык; для других языков качество может быть ниже. Весы доступны в формате safetensors, лицензия — MIT. Как и другие языковые модели, Phi-3-Medium-4K-Instruct может выдавать недостоверные или устаревшие сведения, предвзятые либо оскорбительные ответы. Генерацию кода следует проверять: обучающие данные для кода преимущественно охватывают Python и распространённые библиотеки.

Tri-21B — авторская причинная языковая модель компании Trillion Labs для диалогов и генерации текста. Она предназначена для повседневного общения, ответов на вопросы, рассуждений, математических задач и генерации кода. По данным карточки, модель использует декодерный Transformer с RoPE, SwiGLU, RMSNorm и GQA, содержит 20,73 млрд параметров и имеет контекстное окно 8 192 токена. Модель обучалась на 2,3 трлн токенов; разработчики сообщают об улучшениях в обучении с подкреплением и настройке данных для рассуждений. Tri-21B оптимизирована для английского, корейского и японского языков. В README приведены результаты тестов на знания, рассуждения, программирование, математику и следование инструкциям. Эти результаты заявлены разработчиком и зависят от условий оценки. Для других языков качество может снижаться; знания ограничены данными примерно до февраля 2025 года. Модель распространяется под лицензией с обозначением «other»; конкретные условия следует проверять на странице репозитория Hugging Face.

Yi-1.5-34B-32K — базовая большая языковая модель семейства Yi, разработанная компанией 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 33,9 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации и продолжения текста, понимания инструкций, рассуждений, решения математических задач, программирования и ответов на вопросы по длинным текстам. Yi-1.5 получена продолжением предобучения Yi на высококачественном корпусе из 500 млрд токенов и дообучением на 3 млн разнообразных примеров. README отмечает улучшения в коде, математике, рассуждениях и следовании инструкциям, сохраняя способности к пониманию языка и чтению. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0. В карточке нет сведений о поддерживаемых естественных языках или об отдельных ограничениях качества.

Athena-1 3B — дообученная языковая модель для следования инструкциям, созданная на базе Qwen/Qwen2.5-3B-Instruct. Модель разработана для диалогов и генерации текста в компактных приложениях; она имеет архитектуру Qwen2 с 3,1 млрд параметров и поддерживает контекст до 32 768 токенов, а длина генерируемого ответа может достигать 8 000 токенов. Модель предназначена для создания чат-ботов, генерации и объяснения кода, решения математических задач, анализа документов и работы со структурированными данными, включая JSON и таблицы. README заявляет поддержку более 29 языков, в том числе английского, русского, китайского, французского, испанского, немецкого и японского; метаданные карточки отдельно подтверждают английский язык. Модель работает с текстом и может выдавать структурированные текстовые ответы. Это компактная модель для сценариев, где важны скорость и умеренные вычислительные ресурсы. Указанная лицензия — other; конкретные условия лицензии в предоставленных данных не раскрыты.

Mungert/gemma-4-31B-it-GGUF — это GGUF-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и преобразованной автором Mungert с использованием llama.cpp. Модель предназначена для локального запуска задач генерации и понимания текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текста. Модель имеет плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и контекстным окном до 256 тысяч токенов. Она поддерживает текст и изображения, но не аудио в варианте 31B. Gemma 4 заявлена как мультиязычная модель с поддержкой более 140 языков. В архитектуре используется гибридное внимание: локальное скользящее окно чередуется с глобальным вниманием; размер скользящего окна для 31B составляет 1024 токена. Модель поддерживает режимы рассуждений, системные инструкции и встроенный вызов функций. Главная особенность этой публикации — GGUF-квантизация, подготовленная на основе llama.cpp с выборочным повышением точности важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при заданном уровне квантизации, особенно у моделей с большим числом параметров, но увеличивает размер файлов. В README нет результатов бенчмарков, конкретных вариантов квантизации или требований к оборудованию, поэтому фактические скорость, качество и потребление памяти зависят от выбранного файла и среды запуска. Лицензия — Apache 2.0.

InternLM2-Chat-7B-SFT — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это версия с supervised fine-tuning на базе InternLM2-Base-7B; позднее модель InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. Параметры модели представлены плотной архитектурой InternLM2ForCausalLM, вес составляют 7,4 млрд параметров, формат репозитория — Safetensors, нативное окно контекста — 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, рассуждений, математических и кодовых задач, творческого письма и анализа длинных текстов; README также описывает возможности вызова инструментов и анализа данных. Карточка отдельно указывает, что SFT-версия выпущена для изучения влияния RLHF. Модель поддерживает китайский и английский языки, а в карточке представлены также результаты оценки языковой компетенции. Заявление README о контексте до 200 тысяч относится к возможностям семейства и запуску через LMDeploy; для этого репозитория метаданные указывают нативный контекст 32 768 токенов. Модель может выдавать предвзятые, дискриминационные или иные вредоносные ответы. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

Llama3.1-SuperDeepFuse-CrashCourse12K — мультиязычная языковая модель для диалогов и выполнения инструкций, разработанная на базе agentlans/Llama3.1-SuperDeepFuse и дообученная на 12 тысячах примеров из agentlans/crash-course. В метаданных указаны 7,5 млрд параметров, архитектура Llama с плотной моделью LlamaForCausalLM, контекст до 131 072 токенов и формат safetensors. README описывает дообучение методом LoRA с 4-битной квантизацией во время обучения. Модель предназначена для генерации ответов, следования инструкциям, рассуждений, решения математических задач и программирования. Карточка указывает на мультиязычную поддержку; конкретные языки не перечислены. README приводит результаты оценивания на IFEval и BBH и предупреждает, что ответы могут быть ошибочными и требуют проверки в критически важных сценариях. Лицензия — llama3.1, с условиями использования Llama 3.1.

OpenAI o3 — универсальная модель, предназначенная для решения задач в разных областях. Она ориентирована на математику, естественные науки, программирование и рассуждения по визуальным данным, а также подходит для технического письма и выполнения инструкций. Метаданные каталога относят модель к задаче image-text-to-text; описание указывает на работу с визуальной информацией, но не уточняет архитектуру, размер, контекст, языки или лицензию.

microsoft/phi-4-gguf — GGUF-версия модели phi-4, разработанной Microsoft Research. Это открытая языковая модель для генерации текста, ориентированная преимущественно на английский язык. Она предназначена для исследовательских задач, создания генеративных функций и универсальных AI-систем, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке, а также для задач рассуждения, логики, математики, программирования, диалогового взаимодействия и следования инструкциям. Модель построена как плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы и выходы. Контекстное окно составляет 16K токенов; рекомендуемый формат взаимодействия — chat-промпты. Обучение проводилось на 9,8 трлн токенов в период с октября по ноябрь 2024 года, а выпуск состоялся 12 декабря 2024 года. Данные включали синтетические учебные материалы, отфильтрованные общедоступные документы, код, академические книги, наборы вопросов и ответов и данные для supervised fine-tuning и direct preference optimization. Мультиязычные данные составляли около 8% корпуса, поэтому основной акцент сделан на английском языке. К сильным сторонам относятся компактный для своих возможностей размер, ориентация на рассуждение и логические задачи, а также дополнительное выравнивание для соблюдения инструкций и повышения безопасности. Ограничения включают статичность модели и отсечение общедоступных данных июнем 2024 года, преимущественную ориентацию на английский язык и необходимость самостоятельной проверки точности, безопасности, справедливости и соответствия требованиям законодательства в конкретных сценариях, особенно в высокорисковых областях. Модель распространяется по лицензии MIT.

Qwen2.5-1.5B-Instruct-AWQ — квантизированная 4-битная AWQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель относится к каузальным языковым моделям и использует архитектуру на базе transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантизации, улучшенные возможности следования инструкциям, работы с длинными текстами, кодом, математикой и JSON. Ограничения включают возможную потерю качества относительно исходной версии в формате bfloat16 из-за квантизации; конкретные результаты тестов в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-Uncensored-FernflowerAI-MLX-8bit — это мультимодальная MoE-модель, преобразованная в формат MLX для нативного запуска на Apple Silicon. В её основе лежит Qwen3.5-35B-A3B от Alibaba, использованы uncensored-вариант HauhauCS и исправленные веса FernflowerAI от LuffyTheFox. Конверсию выполнил автор репозитория froggeric. Исправление устраняет повреждение двух тензоров в исходных весах, вызывавшее деградацию на длинном контексте. Модель предназначена для диалогов, генерации и анализа текста и кода, работы с изображениями и видео, рассуждений и вызова инструментов. Она содержит около 35 млрд параметров, активирует примерно 3 млрд параметров на токен, использует архитектуру qwen3_5_moe с 256 экспертами, DeltaNet-MoE и Attention-MoE. Поддерживаются текстовые, визуальные и видеовходы, multi-token prediction, переключаемый режим рассуждений и контекст до 262 тысяч токенов, расширяемый до 1 млн с помощью YaRN. Заявлена поддержка 201 языка и словаря размером 248 тысяч токенов. К сильным сторонам относятся высокая вычислительная эффективность MoE, мультимодальность, большой контекст, поддержка tool calling и 8-битное квантование с объёмом около 35 ГБ. Ограничения включают зависимость от совместимых версий mlx-lm и mlx-vlm, необходимость Apple Silicon для целевого сценария и известное замедление примерно в 2,7 раза при декодировании Gated DeltaNet с невокабулярными эмбеддингами; обычный текстовый инференс этим ограничением не затронут. Модель распространяется по лицензии Apache-2.0.

Это версия Qwen3-8B, подготовленная Geoff Munn в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель содержит 8 млрд параметров и предназначена для генерации текста, диалогов, рассуждений, работы с кодом и многоязычных задач. В карточке описаны варианты GGUF-квантизации и результаты сравнения их размера, скорости и качества; для этой версии указаны форматы GGUF и GGUF F16. Модель подходит для локальных ассистентов, суммаризации документов, структурированной генерации и автономных RAG-систем. В README отмечены высокая эффективность некоторых вариантов с imatrix и компромиссы между точностью, скоростью и объёмом памяти. Заявления о производительности зависят от конкретного варианта квантизации и оборудования. Лицензия — Apache-2.0.

Trinity Mini GGUF — квантизированная версия модели Trinity-Mini, разработанная Arcee AI. Это открытая по весам языковая модель для генерации текста, ориентированная прежде всего на задачи рассуждения, а также на универсальные сценарии работы с инструкциями. Модель предназначена для запуска на платформах, использующих llama.cpp, включая LM Studio, а также доступна через API. Модель построена на архитектуре AfmoeForCausalLM и использует разреженную MoE-архитектуру: всего 26 млрд параметров, из которых 3 млрд активны при обработке токена. В составе 128 экспертов, 8 активных экспертов и 1 общий эксперт. Контекстное окно составляет 128 тысяч токенов. Модель обучена на 10 трлн токенов с дополнительным акцентом на математику и программный код. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. К сильным сторонам относятся сочетание крупного общего числа параметров с меньшим числом активных параметров, большой контекст и специализация на рассуждениях при сохранении универсальности. Ограничения включают необходимость совместимого программного обеспечения и аппаратных ресурсов для запуска, а также отсутствие в предоставленных данных подробных количественных результатов тестов и информации о мультимодальности; модель описана как текстовая. Распространяется по лицензии OpenMDW-1.1.

Darwin-31B-Opus — языковая модель VIDRAFT на архитектуре Gemma 4 Dense с 31 млрд параметров, созданная слиянием google/gemma-4-31B-it и TeichAI/gemma-4-31B-it-Claude-Opus-Distill с помощью Darwin V6. Модель предназначена для диалогов и задач, требующих рассуждений, включая научные вопросы, математику, программирование и анализ. Для слияния применён вариант DARE-TIES с индивидуальным подбором коэффициентов для 1 188 тензоров. Модель работает с текстом и, благодаря сохранённой мультимодальной архитектуре Gemma 4, поддерживает изображения; заявленное контекстное окно — 256 тысяч токенов. README заявляет поддержку более 140 языков, а метаданные карточки указывают английский, корейский, японский и китайский. Весовая точность — BF16, файлы опубликованы в формате safetensors. Карточка сообщает о результате 85,9% на GPQA Diamond при использовании дополнительного движка рассуждений Darwin-DELPHI; методика оценки защищена, поэтому результат нельзя считать независимой оценкой базовой модели. Лицензия — Apache-2.0.

unsloth/DeepSeek-R1-Distill-Qwen-7B-unsloth-bnb-4bit — 4-битная динамически квантованная версия DeepSeek-R1-Distill-Qwen-7B. Базовую модель разработала команда DeepSeek, а квантованную сборку подготовила Unsloth. Модель основана на Qwen и относится к плотным большим языковым моделям примерно на 7 млрд параметров. Модель предназначена для текстовых задач, требующих рассуждений, включая решение математических задач, программирование и другие сценарии генерации и анализа текста. DeepSeek-R1 был обучен с применением крупномасштабного reinforcement learning, а серия Distill создана на основе дистилляции возможностей рассуждения DeepSeek-R1 в модели Llama и Qwen. В метаданных указана поддержка английского языка; сведения о размере контекста и дополнительных модальностях не приведены. Ключевая особенность этой версии — Dynamic 4-bit quantization от Unsloth: отдельные параметры выборочно не квантуются, что должно обеспечивать более высокую точность по сравнению со стандартной 4-битной квантизацией при меньших требованиях к памяти. Ограничениями являются возможные потери качества из-за квантования и отсутствие в предоставленных данных подробных результатов именно для этой сборки, характеристик контекстного окна и описания многоязычной поддержки. Лицензия — Apache-2.0.

llmfan46/gemma-4-E2B-it-ultra-uncensored-heretic — мультимодальная производная Gemma 4 E2B IT от независимого автора llmfan46. По README, изменён компонент attn.o_proj; модель основана на google/gemma-4-E2B-it и предназначена для диалогов, рассуждений, генерации и исправления кода, а также анализа изображений и аудио. Метаданные указывают архитектуру Gemma4ForConditionalGeneration, плотную модель и формат safetensors; библиотека для работы — Transformers. Модель принимает текст и изображения, а для варианта E2B также поддерживает распознавание речи и перевод речи в текст. README базовой Gemma 4 сообщает о контекстном окне до 128K токенов для E2B и E4B, видеоанализе по последовательности кадров, вызове инструментов и поддержке более 35 языков; карточка этой производной не подтверждает отдельно все эти возможности. Лицензия — Apache-2.0. В названии и тегах модель обозначена как uncensored, decensored и abliterated. README в основном описывает базовое семейство и не приводит отдельных оценок качества или точных характеристик этого варианта. Возможны фактические ошибки, затруднения с неоднозначными формулировками и пробелы, связанные с обучающими данными.

winglian опубликовал текстовую генеративную модель на архитектуре Meta Llama 3 с 7,5 млрд параметров. Модель использует плотный авторегрессионный Transformer с Grouped-Query Attention и распространяется в формате safetensors. Метаданные указывают на контекст до 131 072 токенов; название репозитория также содержит «64k» и «PoSE».

QuantFactory/Llama-3-8B-Instruct-262k-GGUF — это квантизированная версия GradientAI модели Llama-3-8B-Instruct-262k в формате GGUF, созданная с использованием llama.cpp. Модель разработана Gradient на основе Meta-Llama-3-8B-Instruct при спонсорской поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также работы с большими текстовыми документами и контекстами. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention, содержит около 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно расширено с исходных 8K до более чем 160K токенов; обучение проводилось с последовательностями до 262144 токенов. Для расширения контекста применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение. Сильной стороной модели является поддержка очень длинного контекста при относительно небольшом размере, что подходит для анализа крупных документов и продолжительных диалогов. Ограничения включают ориентацию преимущественно на английский язык, текстовую модальность и возможные потери качества, связанные с квантизацией. Модель основана на Llama 3, предназначенной для коммерческого и исследовательского использования, и распространяется по пользовательской коммерческой лицензии Llama 3.

Llama-Krikri-8B-Instruct-v1.5 — диалоговая языковая модель, разработанная ILSP и дообученная на основе ilsp/Llama-Krikri-8B-Base, которая, в свою очередь, основана на Llama 3.1 8B. Модель с архитектурой Llama содержит 7,6 млрд параметров и рассчитана прежде всего на работу с греческим и английским языками. Контекстное окно — 131 072 токена; базовая модель использует расширенный токенизатор с греческими токенами. Модель предназначена для диалога и выполнения инструкций: она может отвечать на вопросы, создавать и редактировать тексты, суммировать документы, извлекать сущности и структурированные данные, помогать с кодом и использоваться в RAG-сценариях. В карточке также заявлены перевод между греческим и английским, а также с греческого и английского на французский, немецкий, итальянский, португальский и испанский языки. Обучение включало греческие и английские инструкции и предпочтения; заявлены улучшения в греческих чат-бенчмарках относительно предыдущей версии Instruct. Модель распространяется в формате safetensors и лицензируется по условиям Llama 3.1 Community License. Как и другие генеративные языковые модели, она может выдавать фактические ошибки; качество и надёжность ответов в специализированных юридических, финансовых, медицинских и научных сценариях следует проверять отдельно.

Llama-TI-8B — текстовая авторегрессионная модель семейства Llama, разработанная и загруженная ehristoforu на основе Meta Llama 3.1 8B. В модели сохранена архитектура LlamaForCausalLM; README указывает на дополнительное обучение и слияние моделей. Число параметров — 7,5 млрд по метаданным, контекст — до 131 072 токенов. Распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, решения математических и физических задач, творческого письма, программирования и анализа длинных текстов. README заявляет об улучшениях в математике, биологии, рассуждениях и письме; модель ориентирована на многоязычную генерацию, однако конкретные поддерживаемые естественные языки не перечислены. Доступна базовая версия, а чат-версия вынесена в отдельный репозиторий.

Qwen2.5-7B-Instruct-1M-heretic — это модифицированная версия Qwen2.5-7B-Instruct-1M, разработанная автором репозитория saidutta69 с использованием Heretic v1.4.0. Модель предназначена для генерации текста, диалогов, ролевых сценариев, программирования, анализа длинных документов и рассуждений по большим контекстам, включая анализ целых кодовых баз. Она ориентирована на локальный запуск разработчиками и пользователями потребительских GPU. Модель относится к семейству Qwen 2.5, имеет около 7 млрд параметров и поддерживает контекст до 1 млн токенов. Это instruction-tuned текстовая авторегрессионная модель; заявленный язык — английский. Доступны веса BF16 и квантованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на GPU с 8–24 ГБ памяти, а также на CPU и Apple Silicon при наличии достаточного объёма оперативной памяти. Модификация выполнена методом directional ablation, или abliteration: целевые изменения весов attention output и MLP down-projections подавляют поведение, связанное с отказами, без дообучения. Сильной стороной модели являются большой контекст, возможность локального запуска и сохранение большей части знаний и возможностей базовой модели после модификации. При этом подавление отказов является осознанным ограничением безопасности: модель может выполнять запросы, которые исходная версия отклоняла, в том числе потенциально опасные, и не содержит дополнительной фильтрации. Поэтому её не рекомендуется использовать за незащищённым публичным интерфейсом без собственной модерации. Модель распространяется по лицензии other, унаследованной от базовой Qwen2.5-7B-Instruct-1M.

duyntnet/Qwen2.5-7B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной текстовой модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и генерации текста через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой авторегрессионную causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами запросов и 4 головами ключей и значений. Модель ориентирована на диалог, следование инструкциям, генерацию длинных текстов, работу со структурированными данными и создание структурированных ответов, включая JSON, а также на задачи программирования и математики. Поддерживается более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. При этом исходная конфигурация рассчитана на 32 768 токенов; для работы с более длинными входами требуется включение расширения YaRN с указанными параметрами. Квантизация снижает требования к ресурсам и упрощает локальный запуск, но конкретные характеристики качества, скорости и потребления памяти зависят от выбранного варианта GGUF. В репозитории указана лицензия other, без подробного описания условий использования.

Это общественная конверсия модели Qwen/Qwen3-30B-A3B-Thinking-2507 в формат GGUF, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. Модель относится к семейству Qwen3 и предназначена для диалогов, генерации текста и задач, требующих рассуждений: решения математических задач, программирования, логического анализа и работы с инструментами. Режим рассуждений можно переключать командами /think и /no_think. В карточке указано 30 млрд параметров и поддержка множества языков; метаданные перечисляют английский, китайский, испанский, французский, немецкий, русский, арабский, японский, корейский и хинди. Репозиторий содержит GGUF-варианты разной степени квантования; README рекомендует более точные варианты для сложных задач и отмечает высокие требования к памяти. Конверсия не связана с разработчиками Qwen. Лицензия — Apache-2.0.

ZuzeTt/Qwen3.5-9B-imatrix-GGUF — мультимодальная каузальная языковая модель с vision-энкодером из семейства Qwen, разработанного командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Указана лицензия Apache-2.0. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для квантования использовался llama.cpp; при подготовке указано вычисление более чем 400 фрагментов с n_ctx=1024, однако конкретный уровень квантования в README не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, высокая заявленная эффективность архитектуры, большой контекст и широкая языковая поддержка. Ограничения заключаются в отсутствии подробных сведений о фактических характеристиках именно данной квантованной сборки, включая точный формат и уровень квантования, требования к памяти и результаты независимого тестирования. README также описывает совместимость с Transformers, vLLM, SGLang и KTransformers.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

RedHatAI/Qwen3-8B-quantized.w4a16 — языковая авторегрессионная модель на архитектуре Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-8B. Модель работает с текстом на входе и генерирует текст на выходе; заявлены поддержка рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под предметные области посредством дообучения. Модель использует квантизацию весов до INT4 в формате W4A16. Квантизуются веса линейных операторов внутри трансформерных блоков с применением GPTQ, асимметричной групповой схемы и размером группы 64; параметр lm_head исключён. Такое сжатие уменьшает число бит на параметр с 16 до 4, а заявленный размер на диске и требования к памяти GPU — примерно на 75%. Для развёртывания рекомендуется backend vLLM, включая OpenAI-совместимый режим сервинга. Сильные стороны модели — существенно сниженные требования к хранению и GPU-памяти при сохранении назначения исходной Qwen3-8B, а также пригодность для задач рассуждений, перевода и работы с инструкциями. Ограничения включают потенциальное снижение качества из-за квантизации и отсутствие в представленном README конкретных численных результатов оценки; также не указаны точный перечень поддерживаемых языков и гарантированное максимальное окно контекста. В материалах приведены конфигурации с длиной последовательности до 8192 и отдельные оценки с длиной до 40960 токенов, что не следует автоматически трактовать как универсальное ограничение модели. Модель распространяется по лицензии Apache-2.0. Использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3-Embedding-0.6B-auto — текстовая модель для создания эмбеддингов, опубликованная в репозитории michaelfeil и основанная на Qwen/Qwen3-0.6B-Base. Это дообученная плотная архитектура Qwen3 примерно с 508 млн параметров; она принимает текст и возвращает векторы размерностью от 32 до 1024. Модель поддерживает контекст до 32 768 токенов и более 100 языков, включая языки программирования. Модель предназначена для поиска и извлечения текстов и кода, сравнения смысловой близости, классификации, кластеризации и поиска параллельных текстов. Она учитывает инструкции, заданные для конкретной задачи, и позволяет настраивать размер вектора. Для работы с архитектурой Qwen3 требуется Transformers версии 4.51.0 или новее; без инструкции на стороне запроса качество поиска в некоторых сценариях может снизиться примерно на 1–5%. Лицензия — Apache-2.0.

Vikhr-Nemo-12B-Instruct-R-21-09-24 — русско-английская унимодальная языковая модель команды VikhrModels, дообученная на базе mistralai/Mistral-Nemo-Instruct-2407. Это плотная архитектура Mistral с 12,1 млрд параметров; модель распространяется в формате safetensors и предназначена для генерации текста и диалога. Для обучения использованы этапы SFT и SMPO, а среди обучающих данных — синтетические наборы GrandMaster-PRO-MAX и Grounded-RAG-RU-v2. Модель подходит для ответов на вопросы, рассуждений, суммаризации, генерации кода и ролевого диалога. Она поддерживает системные промпты и специальный режим grounded RAG для ответов по предоставленным документам, включая поиск идентификаторов релевантных документов. README заявляет контекст до 128 тысяч токенов; в метаданных указано значение 1 024 000 токенов. Практический предел зависит от конфигурации запуска. К ограничениям относятся низкий уровень безопасности ответов, возможные случайные дефекты генерации при высокой температуре и риск добавления модельных знаний к ответу по документам. Режим grounded RAG требует специального системного промпта; авторы рекомендуют низкую температуру. По оценке авторов на ru-arena-general часть тестовых примеров попала в обучающие данные, поэтому приведённый результат следует интерпретировать с осторожностью. Лицензия — Apache-2.0.