I.14Автоматизация процессов и AI-агенты

HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.5-122B-A10B, разработанная HauhauCS на базе исходной модели Qwen. Это вариант в формате GGUF с усиленным снятием ограничений на отказы; по заявлению автора, изменения наборов данных и базовых возможностей не вносились. Модель предназначена для генерации и понимания текста, программирования, рассуждений, а также работы с изображениями и видео. Поддерживаются текстовая, графическая и видео-модальности, 201 язык и контекст до 262 тысяч токенов. Модель использует гибридную архитектуру MoE с 122 млрд общих параметров и примерно 10 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий; архитектура включает Gated DeltaNet linear attention и полноформатное softmax-внимание в соотношении 3:1, всего 48 слоёв. Доступны квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ; специальные квантизации K_P оптимизированы для сохранения качества. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами, а для поддержки изображений требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая ёмкость MoE при меньшем числе активных параметров и широкий выбор квантизаций. Агрессивный вариант практически не использует отказы и защитные оговорки, поэтому может быть удобен для сценариев, где требуется минимальная модерация, но одновременно повышает риск небезопасных или нежелательных ответов. Для запуска необходимы значительные объёмы оперативной или видеопамяти, особенно для высококачественных квантизаций. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.6-27B-Miraculix-i1-GGUF — набор квантизированных GGUF-версий модели Qwen3.6-27B-Miraculix, разработанной nightmedia и преобразованной и опубликованной mradermacher. Модель имеет размер 27B параметров, предназначена для запуска в совместимых локальных средах, поддерживает instruction-tuned и conversational-сценарии, а также заявлена как vision-модель при наличии соответствующих mmproj-файлов в статическом репозитории. Модель ориентирована на генерацию текста, программирование, математические и STEM-задачи, исследовательские сценарии, рассуждения, многоязычное общение и творческое письмо, включая создание сюжетов, сцен и ролевые взаимодействия. В метаданных указаны английский, китайский, японский и испанский языки. Также заявлена поддержка длинного контекста до 256K и 1M токенов, однако точные характеристики контекстного окна в README не подтверждены отдельно. Репозиторий предоставляет варианты квантизации от i1-Q2_K до i1-Q6_K размером примерно от 11 до 22,5 ГБ. Квантизации IQ могут обеспечивать лучшее качество при сопоставимом размере, а i1-Q4_K_M отмечена как быстрая и рекомендуемая; Q4_0 описана как быстрая, но с низким качеством. Конкретные требования к памяти, производительность, результаты тестирования и ограничения качества не приведены. Лицензия — Apache-2.0.

mradermacher/Qwen3.8-27B-Brainwaves-WFH-i1-GGUF — квантованная версия модели Qwen3.8-27B-Brainwaves-WFH, разработанной nightmedia и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для локального запуска в задачах генерации текста, диалогов, программирования, математики, научно-технических запросов, рассуждений, творческого и художественного письма, а также ролевых сценариев. В README также указана поддержка изображений через дополнительные mmproj-файлы, доступные в статическом репозитории. Модель относится к семейству Qwen и имеет заявленный размер 27B параметров. Доступны варианты квантования i1 с использованием imatrix, включая Q2_K, Q3_K, IQ3, IQ4, Q4, Q5 и Q6; размер файлов составляет примерно от 11 до 22,5 ГБ. Для некоторых вариантов указаны компромиссы между скоростью, размером и качеством: i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Заявлены языки English, Chinese, Japanese и Spanish. В тегах упоминается контекст до 1M токенов, однако README не подтверждает фактические ограничения именно этой сборки. Сильной стороной модели является широкий набор предполагаемых сценариев применения и наличие нескольких уровней квантования для выбора под доступные ресурсы. Ограничения связаны с потерями качества, зависящими от типа квантования, отсутствием подробных результатов оценки и неполным описанием архитектуры, точной мультимодальной конфигурации и практического размера контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-oQ4e-mtp — смешанно-точно квантованная версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, опубликованная underlotus. В основе лежит Qwen3.8-27B; модель имеет около 27 млрд параметров, поддерживает текстовые, графические и видео входы, а также английский и китайский языки. Vision tower и голова Multi-Token Prediction сохранены. Веса представлены в формате MLX safetensors и совместимы с oMLX, mlx-lm, LM Studio и другими приложениями с поддержкой MLX. Модель предназначена для генерации текста, мультимодального анализа изображений и видео, программирования и локального запуска на устройствах Apple Silicon. Квантование oQ4e использует около 4,6 бит на параметр и распределяет точность по слоям с учётом их чувствительности, что уменьшает требуемую память примерно с 55 ГБ до 16–18 ГБ. Ограничениями являются зависимость от MLX-совместимой инфраструктуры, повышенные требования к памяти по сравнению с небольшими моделями и отсутствие указанного в README максимального контекста. Модель описана как декензурированная и сохраняет мультимодальные возможности, однако конкретные гарантии качества и безопасности для всех сценариев не приведены. Лицензия — Apache 2.0, унаследованная от базовой модели.

philbert440/Qwen3.8-27B-NVFP4 — это 4-битная NVFP4-квантизованная версия плотной мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для работы с текстом и изображениями, включая задачи рассуждения, ответов на вопросы, анализа визуальной информации и генерации текста. Режим рассуждений включён по умолчанию, а визуальная часть модели и голова MTP для спекулятивного декодирования сохранены. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв: 16 слоёв с полноценным вниманием и 48 слоёв GatedDeltaNet с линейным вниманием. Основная часть весов представлена в формате NVFP4 E2M1 с групповым масштабированием FP8, при этом отдельные чувствительные компоненты, эмбеддинги, выходная голова, vision tower и MTP-head сохранены в BF16. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов посредством YaRN. Доступный размер файлов модели — около 25,2 ГБ. Главное преимущество этой сборки — оптимизация под инференс на видеокартах NVIDIA V100: она рассчитана на запуск на двух V100 с 32 ГБ памяти через 1Cat-vLLM и, согласно приведённым измерениям, обеспечивает около 42–47 токенов в секунду в однопоточном режиме рассуждений. К ограничениям относятся зависимость от совместимого стека 1Cat-vLLM и особенности поддержки аппаратных платформ; заявленные показатели получены на конкретной конфигурации и могут отличаться в других условиях. Модель распространяется по лицензии Apache-2.0.

TeichAI/Qwen3-8B-Gemini-2.5-Flash-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-8B. Модель обучена методом дистилляции на крупном наборе данных TeichAI/gemini-2.5-flash-11000x, созданном на основе Gemini 2.5 Flash. Она предназначена для генерации текста общего назначения, включая программирование, научные задачи, юридические и исторические вопросы, а также маркетинговые сценарии. Модель содержит 8 миллиардов параметров. В README указана поддержка английского языка, однако сведения о точной архитектуре, модальностях, размере контекстного окна и дополнительных языках отсутствуют. К сильным сторонам относятся универсальная область применения и обучение на данных, связанных с Gemini 2.5 Flash; при этом качество и поведение модели могут зависеть от особенностей дистиллированного набора данных и базовой Qwen3-архитектуры. Лицензия — Apache-2.0.

Salamandra 7B Instruct — модель семейства Salamandra, разработанного Barcelona Supercomputing Center (BSC), для генерации текста и диалогового общения. Это decoder-only трансформер с архитектурой Llama, дообученный следовать инструкциям; в метаданных указано 6,7 млрд параметров, а карточка описывает семейство как предварительно обученное с нуля на 12,875 трлн токенов. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов и предназначена для работы на европейских языках и с кодом. Инструкционная версия подходит для использования в качестве многоязычного помощника, генерации текста и ответов на запросы; базовую модель также можно дообучать под специализированные сценарии. Salamandra обучалась на 35 европейских языках и коде, а среди языков в метаданных указаны, в частности, болгарский, каталанский, чешский, датский, немецкий, греческий, английский, испанский, финский, французский, хорватский, венгерский, итальянский, литовский, латышский, нидерландский, польский, португальский, русский и украинский. Лицензия Apache 2.0 допускает коммерческое и исследовательское использование. Это ранняя proof-of-concept версия с предварительной настройкой инструкций, без RLHF-фильтрации чувствительных тем. Модель может выдавать вредный или неподходящий контент; оценки также выявили социальные и когнитивные смещения, поэтому для прикладных систем необходимы отдельная проверка и настройка безопасности.

Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Toffee-3B-β — языковая модель для генерации текста и диалогового взаимодействия, разработанная maxzt. Модель дообучена на базе mistralai/Ministral-3-3B-Base-2512 с целью создания компактного полезного ассистента. Основной язык — английский; заявленные сценарии включают чат, выполнение инструкций, ответы на вопросы, рассуждения, математические задачи и программирование. Модель содержит около 3 млрд параметров и использует архитектуру Ministral 3 семейства Mistral. Длина контекста составляет 8 192 токена, размер словаря — 131 072, размер скрытого состояния — 3 072, 26 слоёв, 32 attention heads и 8 KV heads. Базовая точность указана как BF16. Дообучение выполнено методом SFT с LoRA на наборах UltraChat 200k, OpenMathInstruct-2 и CodeFeedback-Filtered-Instruction; использовалось до 80 000 примеров. Сильными сторонами являются компактный размер, пригодность для локального развёртывания и хорошие результаты на ряде стандартных тестов для моделей этого класса: 63,10% на MMLU, 72,04% на HellaSwag, 84,98% на BoolQ и 68,11% на Winogrande. Ограничения включают преимущественно англоязычную специализацию, небольшой контекст в 8 192 токена и отсутствие заявленной мультимодальности. Результаты на бенчмарках могут зависеть от настроек оценки и не гарантируют аналогичное качество в прикладных сценариях. Лицензия — MIT.

German-RAG-LLAMA-3.1-8B-CPT-HESSIAN-AI — авторегрессионная трансформерная языковая модель, разработанная командой Avemio AI при поддержке Hessian AI. Это продолжительно предобученная версия Meta-Llama-3.1-8B: в метаданных указано 7,5 млрд параметров, архитектура LlamaForCausalLM и контекст до 131 072 токенов. Модель предназначена для работы с немецким и английским языками, с акцентом на немецкий. Она обучалась на датасете German-RAG-CPT и ориентирована на ответы на вопросы с опорой на предоставленный контекст, структурированные рассуждения и суммаризацию. Её можно использовать в сценариях RAG, передавая найденные документы вместе с вопросом. Модель может генерировать недостоверные ответы и чувствительный или вредоносный контент; результаты следует проверять, а для прикладных систем предусмотреть меры безопасности. Метаданные Hugging Face указывают лицензию Llama 3.1, тогда как README заявляет Apache 2.0 для кода и модели; условия распространения весов следует сверить с лицензией репозитория.

GLM-4-9B — плотная языковая модель с архитектурой ChatGLM, разработанная Zhipu AI и выпущенная как открытая базовая версия семейства GLM-4. Модель содержит 10,7 млрд параметров и принимает текст, формируя текстовые ответы; базовая версия поддерживает контекст до 8 192 токенов. Модель предназначена для генерации текста и решения задач на понимание языка, знания, математику, рассуждение и программирование. Семейство GLM-4 поддерживает 26 языков, включая японский, корейский и немецкий; карточка также указывает китайский и английский. Упомянутые в README возможности многоходового диалога, вызова инструментов и контекста до 128K относятся к версии GLM-4-9B-Chat, а не к этому базовому чекпойнту. Весы распространяются в формате safetensors. Лицензия указана как other; README отсылает к LICENSE репозитория для условий использования. Заявленные в карточке сравнительные результаты не гарантируют качество на конкретных данных и сценариях.

Granite-3.0-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и преобразования текста в текст. Это плотный авторегрессионный трансформер с архитектурой decoder-only, реализованный как GraniteForCausalLM; модель содержит 8,2 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Она обучена с нуля в два этапа на 10 трлн токенов разнородных данных и затем на 2 трлн токенов отобранных данных. Контекст модели составляет 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, а также как базовая точка для дообучения под специализированные сценарии. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание по требованиям безопасности и может выдавать проблемные ответы, предвзятый или недостоверный контент; возможны галлюцинации и воспроизведение фрагментов обучающих данных. Результаты требуют проверки, особенно в сценариях с высокими последствиями.

INTELLECT-1-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели INTELLECT-1-Instruct от PrimeIntellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста по инструкциям и может запускаться локально, в том числе через LM Studio. Доступны варианты от полноразмерных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4. Размер файлов составляет примерно от 5,6 до 40,85 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Указан английский язык; поддерживаются текстовые сценарии, включая общение по инструкциям, программирование, математику и работу с данными обучения, перечисленными в карточке. Архитектура, число параметров, максимальный контекст и мультимодальные возможности в README не указаны. Сильная сторона набора — широкий выбор квантизаций для локального запуска и наличие вариантов, оптимизированных для отдельных ARM-конфигураций. Ограничения зависят от выбранного варианта: более компактные квантизации могут снижать качество, а некоторые ARM-версии требуют конкретных аппаратных возможностей и не рекомендуются для Mac или GPU. Модель распространяется по лицензии Apache-2.0.

Карточка модели RoyYao233/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Карточка модели vy22215/Llama-3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Карточка модели ModelCloud/Llama3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная в формате GGUF инструкционная языковая модель семейства Llama 3.1, разработанная Meta. Версия GGUF подготовлена bartowski на основе llama.cpp и предназначена для локального запуска, в частности через LM Studio. Модель поддерживает генерацию текста и диалоговые сценарии, включая работу с инструкциями и многоязычными запросами на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель содержит около 8 миллиардов параметров и имеет контекстное окно до 128 000 токенов. Она обучалась на 15 триллионах токенов, включая 25 миллионов синтетически созданных примеров. К сильным сторонам относятся улучшенная производительность по сравнению с предыдущими моделями Llama 3 и развитые возможности для многоязычных задач. При этом модель может генерировать неточную, вредную или неподходящую информацию, а качество и скорость работы зависят от используемой квантизации и локального оборудования. Для работы в LM Studio требуется версия 0.2.29 или новее и шаблон запроса Llama 3. Модель распространяется по лицензии Llama 3.1. README не уточняет условия коммерческого использования и конкретные ограничения лицензии, поэтому перед применением необходимо ознакомиться с её полным текстом.

JANGQ-AI/Mistral-Small-4-119B-A6B-JANG_2L — версия Mistral Small 4, подготовленная Jinho Jang с использованием открытого метода адаптивного квантования JANG и предназначенная для запуска на Apple Silicon через MLX. В README указаны архитектура Mistral Small 4 с MLA attention, 128 MoE-экспертами и визуальным энкодером Pixtral; размер модели — 119 млрд параметров, из которых активны около 6 млрд на токен. Репозиторий содержит веса safetensors, а вариант JANG_2L использует смешанную разрядность около 2,14 бита. Модель предназначена для диалогов и генерации текста, включая рассуждения, ответы на вопросы, математические задачи и написание кода. Она также принимает изображения для визуального анализа; README указывает максимальное разрешение 1540 пикселей и режим рассуждений с тегами [THINK]. Заявлены размер файлов около 30 ГБ и пиковое потребление памяти около 40 ГБ, поэтому автор рекомендует Mac с 48 ГБ объединённой памяти и MLX Studio для поддержки JANG. В метаданных указана лицензия Apache-2.0 и связь с базовой моделью mistralai/Mistral-Small-4-119B-2603. Заявления README о скорости и результатах MMLU являются результатами автора; они не описывают независимую оценку качества. Сильное квантование может влиять на точность, а для запуска нужны совместимая среда MLX и достаточно памяти.

Это конвертированная в формат MLX версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, опубликованная mlx-community. Исходная модель — nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README указывает, что преобразование выполнено с помощью mlx-lm 0.29.1. Метаданные описывают модель как диалоговую и указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, написания текстов и программного кода. Репозиторий рассчитан на запуск с библиотекой MLX. В README не приведены дополнительные сведения о размере активной части MoE, длине контекста или оценках качества; базовая модель описана в каталоге как гибридная языковая модель для рассуждений, программирования и агентных приложений. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией исходной модели.

QuantTrio/Qwen3.5-2B-AWQ — вариант мультимодальной модели Qwen3.5-2B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования и предметно-ориентированной донастройки. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. В архитектуре используются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; указана ранняя интеграция мультимодальных токенов. Заявлена поддержка 201 языка и диалекта. Суффикс AWQ указывает на вариант весов, подготовленный для 4-битного квантованного инференса, однако подробные параметры квантования в предоставленных данных не описаны. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер, потенциально эффективный инференс и широкое языковое покрытие. Ограничением является масштаб 2B: модель ориентирована прежде всего на прототипирование, исследовательские задачи и разработку, поэтому может уступать более крупным моделям в сложном рассуждении и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-NVFP4 — это квантованная версия мультимодальной vision-language модели Qwen3.5-9B, опубликованная sanskar003 на базе модели команды Qwen из Alibaba Group. Она принимает изображения, текст и видео в чередующемся формате и генерирует текст, включая режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Базовая модель поддерживает 201 язык и диалект, а её нативная длина контекста составляет 262 144 токена с возможностью расширения посредством RoPE scaling. Квантование выполнено в формате NVFP4 с использованием compressed-tensors: линейные слои языковой модели переведены в 4-битный формат, тогда как vision tower, router gates и lm_head сохранены в более высокой точности. Основное преимущество версии NVFP4 — снижение требований к вычислениям и потенциально высокая производительность на GPU NVIDIA Blackwell с FP4 tensor cores, например RTX 5090 с архитектурой sm_120, при сохранении возможностей работы с изображениями. Для запуска рекомендуется современная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration. Ограничение модели заключается в том, что ожидаемая производительность NVFP4 ориентирована на совместимое оборудование NVIDIA Blackwell; характеристики качества и подробные результаты тестирования в карточке этой версии не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-9B.

RobinsonLabs Qwen3.6-35B-A3B-abliterated-GGUF — набор квантованных моделей в формате GGUF, созданный Robinson Labs на базе Qwen/Qwen3.6-35B-A3B. Это разреженная Mixture-of-Experts-модель архитектуры qwen35moe с 35 млрд параметров и бюджетом около 3 млрд активных параметров на токен, предназначенная для генерации текста и запуска в совместимых локальных inference-движках. В модели сохранён Multi-Token Prediction (MTP/NextN), благодаря чему поддерживается спекулятивное декодирование в runtime, которые умеют с ним работать. Сведения о длине контекста и языках в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы о взрослом и творческом контенте. Согласно описанию, базовые защитные механизмы от реального вреда намеренно сохранены; на внутренних тестах модель получила 5/5 по набору задач на рассуждение, код, математику, фактические ответы и следование инструкциям, а также 10/10 по проверенному набору детской безопасности. При этом авторы подчёркивают, что наборы тестов невелики и не гарантируют сохранность всех защитных механизмов. Модель помечена как предназначенная не для всех аудиторий и требует ответственного использования. Основные ограничения связаны с квантованием: доступные варианты отличаются размером и потенциальным компромиссом между качеством и требованиями к памяти, однако конкретные параметры каждого варианта следует уточнять по выбранному файлу. Лицензия унаследована от базовой модели и указана как Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6-MTP — это общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для Apple Silicon и поддерживает сценарии vision-language: работу с текстом и изображениями, диалоговые приложения, анализ визуального содержимого и генерацию текста. Это не официальный релиз Qwen, а производная сборка Vontra, созданная из официальных BF16-весов. Модель использует архитектуру qwen4_exp: sparse mixture-of-experts с 125 млрд параметров (около 6 млрд активных), 48 слоями, 512 маршрутизируемыми экспертами и одним общим экспертом. Она сочетает Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams и хешированные bigram/trigram embeddings объёмом 51 млрд параметров. Конфигурируемый контекст составляет 262 144 токена, предусмотрены 24 attention heads и 2 KV heads. Квантование выполнено в формате oQ6 с 6-битной базой и защищёнными модулями в 6/8 бит; размер группы — 32. В сборке сохранён нативный MTP-блок Qwen4Exp для speculative decoding. К сильным сторонам относятся существенно уменьшенный объём вычислений за счёт MoE, поддержка длинного контекста, мультимодальность и ускорение генерации с помощью native MTP. Размер весов составляет около 158,07 ГБ, поэтому модель требует значительных ресурсов. Для работы необходим runtime oMLX или MLX-VLM с явной поддержкой qwen4_exp и native MTP; стандартные runtime без этой поддержки могут не загрузить модель. Приведённые измерения на Apple M3 Studio показывают примерно 28–37 токенов в секунду, но производительность зависит от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

CortexLM/Teutonic-1-Chat-Preview — экспериментальная чат-модель, разработанная CortexLM на базе текстовой линии Qwen3.5-9B. Модель предназначена для диалогов с поддержкой рассуждений, решения проверяемых математических и программных задач, работы с инструментами и обработки длинного контекста. Это предварительный снимок в процессе обучения, поэтому он не рекомендуется для production-сценариев. Модель использует гибридную архитектуру с linear attention и softmax attention, относится к классу примерно 9B параметров и поставляется с весами FP8 block-scaled e4m3 и конфигурацией квантования в стиле Qwen. Поддерживается текстовая модальность и английский язык. Заявлена вместимость контекста до 256 тысяч входных токенов благодаря RoPE с max_position_embeddings 262144. Шаблон чата поддерживает опциональные блоки рассуждений <think>…</think> и разметку вызова инструментов. Сильные стороны текущего checkpoint — извлечение информации из длинного контекста, включая внутренние тесты с одним ключевым фрагментом на 128k и 256k токенах, а также математические задачи и сохранение качества чата. Ограничения связаны с экспериментальным статусом: обучение продолжается, стабильная генерация ответов длиной 64k ещё не завершена, более сложные многоключевые и многошаговые задачи длинного контекста требуют доработки, а мультимодальность запланирована на будущее. Модель распространяется по лицензии Apache-2.0.

Astra-v1-12B — языковая модель на архитектуре Mistral, разработанная P0x0 как дообучение Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и предназначена для генерации текста и выполнения инструкций в диалоговом формате. Её можно применять для создания и редактирования текстов, суммаризации, ответов на вопросы и диалоговых систем. В README заявлена настройка на качество и стиль ответов Claude 3 Sonnet и Opus. Указанное в метаданных контекстное окно — 1 024 000 токенов. Модель принимает текст и выдаёт текст. Карточка не подтверждает специализацию на конкретном языке или предметной области. Модель распространяется по лицензии Apache 2.0. README предостерегает от использования для принятия решений в реальном времени в критически важных сценариях и от генерации вредоносного или предвзятого контента.

unsloth/gemma-3-4b-it-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 4B, подготовленная Unsloth на базе google/gemma-3-4b-it. Семейство Gemma разработано Google DeepMind и распространяется с открытыми весами. Вариант предназначен для диалогов, генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Модель поддерживает мультимодальный ввод: текст и изображения с последующей генерацией текста. Для модели 4B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, включая английский. Модель совместима с библиотекой Transformers, а 4-битное представление снижает требования к памяти и упрощает локальное развёртывание, однако может несколько ухудшать точность по сравнению с полноразмерными вариантами. Модель рассчитана на запуск в условиях ограниченных ресурсов, включая локальные компьютеры и собственную облачную инфраструктуру. README не содержит подробностей о конкретной архитектуре, результатах тестирования или известных ограничениях качества для отдельных языков и задач. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

AtomicChat/gemma-4-12B-it-GGUF — это квантизированная в формат GGUF версия мультимодальной модели google/gemma-4-12b-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также сценарии, требующие развитого рассуждения; для изображений в репозитории предусмотрен vision-проектор mmproj. Модель содержит около 11,95 млрд параметров и 48 слоёв. Это плотный decoder с гибридным вниманием: скользящее окно на 1024 токена сочетается с глобальным вниманием. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи; архитектура использует 16 attention heads и 8 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ3_M и IQ4_XS с importance matrix. Q4_K_M указан как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность ценой требований к памяти. К преимуществам относятся мультимодальность, большой контекст, возможность локального запуска и квантизация с importance matrix, снижающая потери качества в низкобитных вариантах. Ограничения связаны с зависимостью качества и скорости от выбранного варианта квантизации и доступной RAM или VRAM; для корректного применения шаблона чата требуется режим --jinja, а для изображений — vision-проектор и совместимый интерфейс. Результаты в README относятся к базовой модели Google и не являются собственными измерениями Atomic Chat. Лицензия — Apache 2.0.

unsloth/GLM-4-9B-0414-GGUF — GGUF-квантизированная версия языковой модели GLM-4-9B-0414, подготовленная Unsloth на базе модели THUDM. Модель предназначена для локального текстового общения и генерации текста, включая выполнение инструкций, программирование, математическое и общее рассуждение, создание отчётов и работу в ресурсно-ограниченных средах. Она поддерживает китайский и английский языки и относится к классу text-generation. Модель содержит 9 миллиардов параметров; точная архитектура, длина контекста, доступные варианты квантования и поддерживаемые дополнительные модальности в представленном README не указаны. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Заявленные сильные стороны исходной GLM-Z1-9B-0414 включают математическое рассуждение, выполнение общих задач и баланс между эффективностью и качеством при небольших требованиях к ресурсам. Ограничения, результаты конкретных бенчмарков и требования к оборудованию не приведены. Лицензия — MIT.

Kanana-2-1.3B-Instruct — компактная языковая модель Kakao для диалогов и выполнения инструкций. Это плотная авторегрессионная модель примерно с 1 млрд параметров, полученная из Kanana-2-3B с помощью каскадного pruning и дистилляции, а затем настроенная для следования инструкциям. Модель использует гибридное внимание: три слоя Sliding Window Attention на каждый слой полного внимания; размер окна — 1024 токена. Поддерживает контекст до 32 768 токенов и снижает расход памяти KV-кэша при длинном контексте. Модель рассчитана на компактное развёртывание, в том числе на устройствах с ограниченными ресурсами. Она предназначена для общения и генерации текста по инструкциям; в карточке серии также описаны оценки для задач работы с инструментами, кода, математики и знаний. Токенизатор повышает эффективность обработки корейского языка по сравнению с предыдущим поколением Kanana. Для запуска доступны Transformers с пользовательским кодом архитектуры, vLLM и SGLang с настройкой из репозитория. Лицензия в метаданных указана как other; конкретные условия следует сверить с файлами лицензии репозитория. Для SGLang карточка рекомендует версию 0.5.1 и предупреждает о снижении точности и скорости при использовании backend flashinfer.

Llama-3.1-Nemotron-70B-Instruct-GGUF — квантованная версия инструкционной модели Llama 3.1 Nemotron 70B, разработанной NVIDIA и опубликованной в формате GGUF сообществом Backyard AI. Модель основана на nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и предназначена для локального текстового общения, генерации текста и решения задач, требующих рассуждений. Модель содержит около 70,6 млрд параметров, поддерживает текстовую модальность и английский язык. Заявленный размер контекста составляет до 131 072 токенов. Формат GGUF совместим с приложениями на базе llama.cpp и позволяет распределять вычисления между CPU и GPU, снижая требования к видеопамяти по сравнению с полноразмерными форматами. Квантование уменьшает потребление ресурсов, но при низкой точности квантования может ухудшать связность и качество ответов. Сильными сторонами модели заявлены улучшенные способности к рассуждению и потенциальное превосходство над значительно более крупными моделями в соответствующих задачах. Ограничениями являются высокая вычислительная требовательность 70-миллиардной модели, зависимость качества от используемого уровня квантования и отсутствие заявленной поддержки языков, кроме английского. Модель распространяется по лицензии Llama 3.1.