I.14Автоматизация процессов и AI-агенты

Ro-xe/FMixAI_7B — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из OpenChat 3.5-1210 и OpenChat 3.5-0106. Она предназначена для генерации текста и ведения диалога; базовые модели также рассчитаны на программирование, математические рассуждения и ответы на общие вопросы. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В репозитории веса сохранены в формате safetensors. Лицензия в предоставленных данных не указана.

FuseAI/FuseChat-Qwen-2.5-7B-Instruct — разговорная языковая модель FuseAI на архитектуре Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. Это целевая модель семейства FuseChat-3.0, обученная методом неявного слияния: сначала её дообучили на лучших ответах сильных языковых моделей, затем применили Direct Preference Optimization (DPO) к парам предпочтительных и менее предпочтительных ответов. В качестве источников использовались Gemma-2-27B-It, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct и Llama-3.1-70B-Instruct. Модель предназначена для диалога, следования инструкциям, решения математических задач и помощи с кодом; обучение также включало китайскоязычные данные. Подходит для локального запуска в формате Safetensors, а метаданные отмечают интерфейс вызова инструментов. README сообщает об улучшениях на ряде бенчмарков, однако приведённые там конкретные приросты относятся к версии с целевой моделью Llama-3.1-8B и не подтверждают такие же результаты для этой версии. Лицензия в предоставленных данных не указана.

Gemma-4-31B-JANG_4M-CRACK — мультимодальная чат-модель dealignai на архитектуре Gemma 4 Dense с 31 млрд параметров, основанная на google/gemma-4-31b-it. Веса изменены методом abliteration для снижения отказов на запросы; автор сообщает результаты тестирования на HarmBench и MMLU, а также отмечает улучшение устойчивости режима рассуждений в версии v2. Модель предназначена для диалогов, программирования, общих вопросов и анализа изображений. Она принимает текст и изображения, поддерживает режим thinking и гибридное скользящее и глобальное внимание. Для запуска автор рекомендует vMLX на Apple Silicon Mac с не менее чем 32 ГБ объединённой памяти; стандартные mlx_lm и mlx_vlm, согласно карточке, Gemma 4 не поддерживают. Это изменённая версия инструкционной модели Google, а не базовый чекпойнт. Abliteration снижает склонность к отказам, но автор сообщает, что модель всё ещё может отказывать на некоторые категории запросов и что режим thinking может зацикливаться при неподходящих настройках генерации. Лицензия — Gemma; карточка указывает исследовательское назначение и возлагает соблюдение применимых законов на пользователя.

JetMoE-8B-Chat — разговорная языковая модель семейства JetMoE, созданная авторами проекта JetMoE. Это дообученная версия JetMoE-8B для диалоговой генерации текста. Архитектура включает 24 блока с разреженными слоями Mixture of Attention heads и Mixture of Experts: в каждом слое из восьми экспертов для токена активируются два. Всего модель содержит 8 млрд параметров, из которых при инференсе активны 2,2 млрд; базовая JetMoE-8B обучалась на 1,25 трлн токенов из открытых наборов данных. Модель предназначена для диалогов, ответов на вопросы, написания кода и решения математических задач. README сообщает о сравнительных результатах на языковых и кодовых бенчмарках, однако приведённые таблицы неполны, поэтому эти заявления нельзя независимо оценить по карточке. Контекст составляет 4096 токенов. Модель принимает и генерирует текст; в метаданных заявлена возможность чата, но конкретный список поддерживаемых естественных языков не приведён. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка описывает её как открытую и допускающую дообучение при ограниченных вычислительных ресурсах; практическое качество зависит от запроса и сценария применения.

Llama 3.1 Tulu 2 8B — языковая модель-помощник, разработанная AI2 и дообученная на базе Meta-Llama-3.1-8B. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Она обучена на смеси открытых, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2; основной язык — английский. Модель предназначена для диалогового общения и выполнения пользовательских инструкций: она генерирует ответы на вопросы, помогает с рассуждениями и решает разнообразные текстовые задачи. В опубликованных оценках показаны результаты по знаниям, математическим задачам, программированию, следованию инструкциям и безопасности ответов. Модель распространяется под лицензией Apache 2.0; README также указывает на включённую лицензию Meta Llama 3.1. Tulu не проходила этап RLHF для выравнивания безопасных ответов и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно при соответствующих запросах.

Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Locutusque/Llama-3-Orca-2.0-8B — разговорная языковая модель, дообученная Locutusque на базе Meta Llama 3 8B преимущественно на SlimOrca и дополнительных данных. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога применяется шаблон ChatML. Модель предназначена для генерации текста в диалогах, а также для задач письма, программирования и математики. В карточке заявлены сильные результаты в написании текстов и коде; количественные оценки качества не приведены. Репозиторий содержит веса в формате Safetensors. Указана лицензия Llama 3; применяются условия лицензии Meta Llama 3.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q4_K_M — это квантизированная версия инструкционной модели Mellum2, разработанной JetBrains. Модель представлена в формате GGUF и предназначена для запуска в llama.cpp, Ollama, LM Studio и других совместимых средах, включая использование через OpenAI-совместимый API. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявлен контекст до 131 072 токенов, поддерживается генерация текста, а в карточке указана поддержка английского языка. Квантизация Q4_K_M использует 4-битное представление и занимает около 8,1 ГБ, обеспечивая компромисс между качеством и размером. Модель ориентирована на прямые ответы без внешнего отображения цепочки рассуждений и может применяться для диалогов, генерации текста и программного кода. Основное преимущество этой версии — заметное снижение требований к дисковому пространству и памяти по сравнению с BF16 при сохранении значительной близости к исходной модели: совпадение наиболее вероятного токена составляет 87,2%, а значение KLD относительно BF16 — около 0,106 на указанном тесте Wikitext-2. Ограничением является потеря точности из-за 4-битной квантизации; приведённые метрики не заменяют полноценную оценку качества прикладных задач. Модель распространяется по лицензии Apache 2.0.

JANGQ-AI выпускает JANG_6M — квантованный вариант Mistral Small 4 от Mistral AI, подготовленный Jinho Jang для запуска через MLX на компьютерах Apple с большим объёмом памяти. Это модель семейства Mistral3 с архитектурой MoE: 119 млрд параметров всего и около 6 млрд активных на токен; в README указаны 36 слоёв, 128 экспертов с выбором четырёх, MLA-внимание и квантование JANG с точностью 6,04 бита. Для вычислений используется bfloat16. Модель предназначена для диалогов, рассуждений, генерации кода и математических решений, а также анализа изображений через визуальный энкодер Pixtral с заявленным пределом 1540 пикселей. В README заявлены режим рассуждений с маркерами [THINK] и управление reasoning_effort. Указаны размер файлов 84 ГБ, пиковое потребление памяти 95 ГБ и скорость генерации 74 токена в секунду на M3 Ultra; эти показатели относятся к описанной конфигурации тестирования. Карточка называет MLX Studio приложением с полной поддержкой, а также упоминает поддержку oMLX. Лицензия — Apache-2.0. Метаданные связывают модель с базовой Mistral-Small-4-119B-2603 как дообучение, хотя README описывает прежде всего квантование; поэтому происхождение отражено по метаданным, а детали обучения в карточке не раскрыты.

Модель agentlans/multilingual-e5-small-aligned-v2 — мультиязычная модель эмбеддингов на базе Sentence Transformers, разработанная как дообучение agentlans/multilingual-e5-small-aligned. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического сравнения и поиска; близость векторов оценивается косинусным сходством. Модель использует архитектуру BERT с усреднением токенных представлений и нормализацией выходного вектора. Максимальная длина последовательности — 512 токенов. Дообучение проводилось на парах предложений из Tatoeba, включая примеры на разных языках; модель выравнивает представления переводов, чтобы их векторы были близки. Подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. Репозиторий распространяется по лицензии MIT.

Nex-N2.5-mini-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Nex-N2.5-mini, разработанной Nex AGI и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и локального запуска через llama.cpp, включая сценарии с частичной или полной выгрузкой весов в системную память и большими контекстами. Модель использует разреженную архитектуру Mixture of Experts с 40 слоями и 256 микроэкспертами. Заявлена поддержка контекста до 256K токенов и языков English, Chinese, Spanish, French, German, Portuguese, Italian, Russian, Japanese, Korean, Vietnamese, Thai и Arabic. В текущей версии применена тензорно-ориентированная квантизация: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные компоненты используют варианты IQ3_XXS, Q3_K, Q4_K, Q5_K и Q6_K. Размер сборки составляет примерно 13,74 GiB, или около 14,7 GB. К сильным сторонам относятся сравнительно небольшой объём, сохранение точности маршрутизации экспертов, оптимизация для работы в системной RAM и поддержка длинного контекста. README сообщает о perplexity WikiText-2 6,4725 ± 0,1635 и близком к неквантизированной версии качестве, однако эти результаты следует считать заявленными авторами сборки. Ограничения связаны с потерями качества, присущими квантизации, зависимостью скорости от пропускной способности памяти и требований к объёму RAM или VRAM; для комфортной работы с контекстом до 256K могут потребоваться значительные ресурсы. Модель распространяется по лицензии Apache-2.0.

Open-Instruct SNI 7B — языковая модель на архитектуре LLaMA, дообученная исследователями Allen Institute for AI на наборе Super-Natural Instructions. Она предназначена для генерации ответов на инструкции и выполнения разнообразных текстовых задач, включая вопросы и ответы, рассуждения, задачи по математике и генерацию кода. Модель содержит 6,6 млрд параметров, использует формат PyTorch и имеет контекст длиной 2048 токенов. Модель обучалась в рамках исследования состояния instruction tuning на открытых ресурсах; в README приведены результаты на MMLU, GSM, BBH, TyDiQA, Codex-Eval и AlpacaFarm. Для качественной генерации следует соблюдать указанный в карточке формат запросов с переводами строк. Репозиторий содержит diff весов: для использования нужна доступная базовая модель LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model и исходной лицензией LLaMA.

lunahr/Phi-4-mini-instruct-abliterated — изменённая версия компактной языковой модели Phi-4-mini-instruct от Microsoft. Это плотная авторегрессионная модель семейства Phi-3 с 3,8 млрд параметров; репозиторий содержит веса в формате Safetensors. Модель предназначена для генерации текста, диалогов, программирования и решения задач, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Для исходной Phi-4-mini-instruct в README заявлено контекстное окно 128 тыс. токенов, однако метаданные этой модели указывают native context 4096 токенов. Модель поддерживает множество языков, включая английский, русский, китайский, арабский, японский и европейские языки. В README версия названа abliterated, то есть подвергшейся изменению механизмов отказа; степень и последствия этого изменения не описаны. Она унаследовала от базовой модели возможности диалогов, генерации кода и интерфейс вызова инструментов. Для вызовов инструментов возможны вымышленные имена функций или URL, а качество может различаться между языками; перед применением в чувствительных сценариях необходима оценка точности и безопасности. Лицензия — MIT.

RedHatAI/Qwen2-72B-Instruct-FP8 — это текстовая instruction-tuned модель для диалоговых и ассистентских сценариев, созданная Neural Magic на основе Qwen2-72B-Instruct. Модель принимает текст и генерирует текст; заявлена для коммерческого и исследовательского использования на английском языке. Модель содержит 72 млрд параметров и использует FP8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Симметричная поканальная схема не используется: применяется симметричная поквантовая схема с одним масштабным коэффициентом на тензор. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битной версией. Модель подготовлена для инференса через vLLM версии 0.5.0 и выше; в примерах развертывания и оценки используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам при сохранении качества исходной модели: средний результат на OpenLLM benchmark составляет 80,34 против 79,97 у неквантизированной версии. Ограничения включают ориентацию на английский язык, необходимость совместимого FP8-оборудования и программного стека для эффективного запуска, а также отсутствие в README сведений о поддержке изображений или других модальностей. Лицензия указана как tongyi-qianwen; применение должно соответствовать условиям этой лицензии и законодательству.

unsloth/Qwen3-1.7B-GGUF — GGUF-версия языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это авторегрессионная causal language model для диалогов, следования инструкциям, генерации текста и кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из них 1,4 млрд без учёта embedding, и имеет 28 слоёв. Архитектура внимания использует GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает переключение между режимами thinking для сложного рассуждения и no_think для более эффективного общего диалога. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая llama.cpp и Ollama. Сильные стороны модели — компактный размер, мультиязычность, следование инструкциям, рассуждения, генерация кода и возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают небольшой по современным меркам объём параметров и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-NVFP4-Full-GB10 — мультимодальная квантованная версия модели Qwen/Qwen3.5-122B-A10B. Квантование выполнено с помощью llm-compressor по схеме NVFP4 W4A4: линейные слои, включая lm_head, используют 4-битные веса, а vision encoder сохранён в BF16. Модель предназначена для запуска и вывода на NVIDIA DGX Spark с чипом GB10 и обслуживается через vLLM при использовании специальной поддержки для NVFP4 lm_head. Архитектура включает 48 слоёв гибридного внимания, из которых 36 используют GDN/Gated-DeltaNet, а 12 — полноценное внимание, 256 маршрутизируемых экспертов и один общий эксперт на слой; активируются 8 экспертов. Размер скрытого представления — 3072, словарь содержит 248 320 токенов, заявленный контекст — до 262K токенов. Модель поддерживает обработку текста и изображений, однако языки в README не указаны. На DGX Spark заявлена скорость последовательной генерации около 33–35 токенов в секунду. Главное преимущество модели — максимальная скорость декодирования среди описанных вариантов и сниженные требования к памяти: размер контрольной точки составляет около 66 ГБ. Ограничением является небольшое ухудшение качества по сравнению с вариантом FP8Dense, особенно в понимании и передаче нюансов при длительном использовании; 4-битные активации и квантованный lm_head слегка уплощают распределение выходов. В контрольной точке отсутствуют веса MTP, поэтому спекулятивное декодирование недоступно. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-4B-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-4B, подготовленный командой Atomic Chat. Модель предназначена для локального и полностью автономного запуска задач генерации текста, включая диалоги, рассуждения, программирование и агентские сценарии. В репозитории представлены только текстовые версии без визуального проектора, поэтому изображения не поддерживаются, хотя базовая модель относится к мультимодальным моделям Text и Image. Модель содержит около 4,7 млрд параметров и 32 слоя; заявлены контекст до 262 144 токенов и словарь размером 248 320 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая версии с importance matrix, которая призвана уменьшить потери качества при низкой разрядности. Вариант Q4_K_M указан как оптимальный баланс размера, скорости и качества; файлы занимают примерно от 1,9 до 4,5 ГБ. Сильные стороны модели — возможность офлайн-использования, широкий выбор квантизаций и относительно небольшие требования к памяти. К ограничениям относятся потеря качества в наиболее компактных вариантах, отсутствие поддержки изображений в данном репозитории и необходимость применять шаблон чата Qwen3.5 через параметр --jinja, иначе возможна некорректная генерация диалоговых реплик. Приведённые в README результаты являются опубликованными оценками базовой Qwen3.5-4B, а не независимыми измерениями Atomic Chat. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored. Квантизацию выполнил mradermacher. Модель предназначена для генерации и обработки текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и исследовательских экспериментов. В метаданных заявлена поддержка английского, китайского, японского и испанского языков, а также conversational, instruction-tuned и multilingual-сценариев. Доступны варианты с разными уровнями квантизации — от Q2_K размером 13,3 ГБ до Q8_0 размером 37,9 ГБ, включая IQ4_XS, Q4_K_M и другие форматы. Для мультимодального использования предоставляются дополнительные файлы mmproj. Более качественные варианты требуют больше памяти, тогда как компактные быстрее и экономичнее, но могут сильнее терять качество; конкретные характеристики архитектуры, максимального контекста и производительности в README не указаны. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель на базе Qwen3.6-35B-A3B, разработанная HauhauCS. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель генерирует полный ответ даже на запросы, от которых обычно отказывается базовая версия. Модель предназначена для диалогов, анализа и генерации текста, программирования, а также работы с изображениями и видео. Архитектура — гибридная MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Используются 256 экспертов, из которых для каждого токена выбираются 8; модель содержит 40 слоёв и сочетает linear attention с полной softmax attention в соотношении 3:1. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Для обработки изображений требуется отдельный файл mmproj. Модель доступна в формате GGUF с вариантами квантования от Q8 до Q2, включая пользовательские K_P-кванты, оптимизированные для сохранения качества. Сильные стороны — большой контекст, мультимодальность, MoE-эффективность и отсутствие встроенных отказов. Ограничение агрессивного варианта — возможное отсутствие защитных барьеров и редкие краткие дисклеймеры, которые автор связывает с обучением базовой модели. Для запуска подходят llama.cpp, LM Studio и другие GGUF-совместимые среды. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модификация модели Qwen/Qwen3.6-35B-A3B, подготовленная HauhauCS. Это мультимодальная модель в формате GGUF для генерации текста, работы с изображениями и видео, а также для диалоговых, аналитических, творческих и программных задач. Версия Aggressive ориентирована на минимальное количество отказов: по данным README, она не содержит дополнительных изменений в датасетах или базовых возможностях, но отключает встроенные отказы модели. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8, 40 слоёв и гибридная схема внимания: линейное и полноразмерное softmax-внимание в соотношении 3:1. Нативное контекстное окно составляет 262 тысячи токенов. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется отдельный файл mmproj; доступны различные варианты квантования GGUF, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Сильными сторонами являются большое контекстное окно, мультимодальность, низкое число активных параметров при значительном общем объёме модели и широкий выбор квантований, включая оптимизированные K_P-варианты с повышенным сохранением качества. Ограничением является отсутствие или ослабление защитных механизмов: модель может генерировать нежелательный, небезопасный или потенциально вредный контент, поэтому требует дополнительного контроля в прикладных системах. Для сохранения возможностей рассуждения рекомендуется использовать контекст не менее 128 тысяч токенов; для vision-сценариев необходим mmproj-файл. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-W4A16-AWQ — это 4-битная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen и дополнительно квантованной пользователем hyperhuzaifa. Квантизация выполнена методом AWQ в формате compressed-tensors pack-quantized с симметричной схемой int4, размером группы 128 и разрядностью W4A16. Модель использует MoE-архитектуру с 35 млрд параметров и рассчитана на запуск с длинным контекстом на одной потребительской видеокарте с 24 ГБ памяти. На диске она занимает около 20,5 ГБ, а в памяти GPU — около 19,06 GiB. Модель предназначена для генерации текста и обработки изображений, поскольку сохраняет vision tower. В архитектуре используются 40 слоёв, включая 30 слоёв gated DeltaNet с линейным вниманием и 10 блоков полного внимания, а маршрутизация MoE выбирает 8 экспертов из 256. Также сохранена MTP-голова для спекулятивного декодирования. Квантированы языковые Linear-слои, включая routed и shared experts, но эмбеддинги, lm_head, vision tower, маршрутизаторы, нормализации и MTP-голова оставлены в bf16 для сохранения качества и совместимости. Основные преимущества — заметно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и совместимость с vLLM версии 0.26.0 и новее. На одной 24-ГБ видеокарте заявлена работа с контекстом до 32K при использовании CUDA graphs; на двух GPU через tensor parallelism поддерживается до 262K токенов. Ограничения включают невысокую допустимую конкурентность на одной карте из-за recurrent cache для DeltaNet, резкое снижение скорости при использовании enforce-eager и необходимость корректно выбирать мультимодальный класс загрузки. MTP не рекомендуется включать на одной 24-ГБ карте из-за резкого уменьшения доступного KV-кэша; на двух PCIe-GPU он также может снижать итоговую производительность. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-3bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX пользователем lukaskremla с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и использования инструментов, включая задачи с длинным контекстом и многоязычные приложения. Модель сохраняет возможности преобразования текста в текст и не содержит vision tower, поэтому не поддерживает обработку изображений. Она использует 3-битное квантование весов с affine- и RTN-подходами и размером группы 64; заявленный размер базовой модели — 27B параметров. Формат MLX ориентирован на запуск с использованием экосистемы MLX и mlx-lm. Конкретные поддерживаемые языки и максимальная длина контекста в README не указаны. К преимуществам относятся сниженные требования к памяти по сравнению с полноразмерной моделью, поддержка текстовой генерации, рассуждений, инструментов и длинного контекста. Ограничения связаны с отсутствием мультимодальности и возможными потерями качества из-за 3-битного квантования; точные показатели производительности не приведены. Модель распространяется по лицензии Apache-2.0.

Avesed/Qwen3.8-27B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.8-27B, разработанная Avesed. Это плотная гибридная vision-language-модель с линейным механизмом внимания GatedDeltaNet, периодическими слоями полного внимания, встроенной vision-башней и MTP-головой для speculative decoding. Модель поддерживает английский и китайский языки, а также обработку изображений и текста; точный размер контекста в README не указан. Модель предназначена для генерации и анализа текста, рассуждений, решения математических задач, перевода, двуязычных сценариев и задач с изображениями. Квантизация INT8 применяется к весам и активациям по схеме W8A8: используются симметричные INT8-веса и динамические INT8-активации, тогда как наиболее чувствительные к качеству компоненты, включая embeddings, lm_head, vision tower и MTP head, сохранены в bf16. Объём модели составляет около 30 ГБ; для запуска рекомендуется две видеокарты по 24 ГБ с tensor parallelism. Сильная сторона сборки — высокая скорость prefill: на двух RTX 3090 зафиксировано около 4408 токенов/с против 2276 токенов/с у INT4-сборки, при этом доступно speculative decoding через MTP. Скорость decode ниже, около 73 токенов/с, поскольку INT8 требует больше пропускной способности памяти. На GSM8K модель показала 96,8% на выборке из 250 задач; также проверены англо-китайская генерация и перевод, работа vision-пути и reasoning-параметров. MMLU-Pro не тестировалась. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска через vLLM.

Qwen3.8-Flash-Next (PLElast) GGUF — это GGUF-сборка модели Qwen3.8-Flash-Next, опубликованная whm0627 на основе весов Qwen/Qwen3.8-Flash-Next и квантизаций unsloth. Модель предназначена для генерации текста, включая программный код и структурированные форматы. Архитектура — MoE с общим размером около 177B параметров и примерно 3B активных параметров. Доступны варианты Q2_K_XL размером 79 ГБ и IQ1_S размером 68 ГБ; веса не переквантизировались, изменён только порядок тензоров. Особенность сборки PLElast — размещение большой таблицы PLE/n-gram-эмбеддингов в конце файла. Это позволяет запускать модель на Apple Silicon и Metal при ограниченной памяти: на Mac с 64 ГБ заявлено около 42–48 ГБ использования VRAM или unified memory, несмотря на больший размер файла. Поддерживается контекст до 128K токенов. В тестах на Apple M1 Max с llama.cpp скорость декодирования составила около 21 токена в секунду, а с MTP speculative decoding для кода — около 24 токенов в секунду. Q2_K_XL обеспечивает немного лучшую perplexity, тогда как IQ1_S занимает меньше места и оставляет больше памяти для длинного контекста; автор отмечает, что глубокое тестирование не проводилось. Модель требует llama.cpp с поддержкой qwen4exp, быстрой SSD-памяти и актуального runtime; для MTP нужны отдельная draft-модель и специальная ветка llama.cpp. Совместимость с LM Studio заявлена только для новых runtime. Лицензия — Apache-2.0.

SagaLM-slm2 — диалоговая языковая модель, созданная разработчиком SagaLM на основе Qwen/Qwen2.5-7B-Instruct. Модель дообучена методами QLoRA и supervised fine-tuning (SFT); её архитектура Qwen2 совместима с реализацией Qwen2/Qwen2.5 в Transformers. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов согласно метаданным; в README указана длина контекста 2 048 токенов при обучении. Модель предназначена для диалогов и выполнения инструкций, включая рассуждения, математические задачи и программирование. Обучение включало разговорные и инструктивные данные, а также примеры, закрепляющие идентичность SagaLM. Для генерации автор рекомендует до 1 024 новых токенов с настройками temperature 0,7 и top_p 0,9. Сведения о лицензии в предоставленных материалах отсутствуют.

Zrald-AI Qwen 3.8 27B zraldv1-cs — GGUF-версия модели Qwen3.8-27B, опубликованная Zrald и оптимизированная для компактного размера. Это чат-модель для генерации текста, диалогов, программирования и рассуждений. В репозитории указан файл размером 10,18 GiB; README приводит результаты замеров на AMD Instinct MI300X, включая сохранение 90,72% точности и скорость генерации 76,33 токена в секунду. Для запуска рекомендуется не менее 12 ГБ VRAM. Модель основана на Qwen/Qwen3.8-27B и заявлена как дообученная; доступна в формате GGUF для использования с llama.cpp. Базовая модель описана как мультимодальная, но сведения о поддержке изображений или видео именно этой сборкой не приведены. Лицензия — Apache-2.0.

airoboros-l2-70b-2.2 — экспериментальная языковая модель от Jon Durbin, дообученная на базе Llama 2 70B преимущественно на синтетических данных набора airoboros-2.2. Это плотная авторегрессионная модель примерно с 68,7 млрд параметров, рассчитанная на генерацию текста; нативное контекстное окно составляет 4096 токенов. Карточка описывает формат общения с метками USER и ASSISTANT, а также отдельный формат для ответов по предоставленному контексту. Модель предназначена для ответов на инструкции и вопросы, создания текстов, помощи с кодом и генерации структурированных аргументов функций в JSON или YAML. Она также может строить планы выполнения задач с инструментами, но сама по себе инструменты не вызывает. Обучение ориентировано на пары «инструкция — ответ» больше, чем на свободный чат или ролевые сценарии; карточка отмечает возможность переопределения системных инструкций и отсутствие де-алignment данных в этой версии. Модель доступна в формате PyTorch и распространяется по лицензии Llama 2. README характеризует её как экспериментальную и предупреждает, что ответы по контексту могут быть выдуманными; для снижения риска рекомендуется явно просить не придумывать неизвестное и останавливать генерацию перед продолжением от имени пользователя.

Arcee Spark — разговорная языковая модель компании Arcee AI на 7,1 млрд параметров, основанная на Qwen2. По README, её обучали на 1,8 млн примеров, объединили с Qwen2-7B-Instruct и дополнительно улучшили с помощью Direct Preference Optimization (DPO). Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, анализ тональности, решение задач и работу с кодом. Модель принимает текст и генерирует текст; в метаданных указан контекст до 32 768 токенов. README заявляет контекст 128 тыс. токенов, поэтому его длина в источниках расходится. В метаданных перечислены английский, немецкий и арабский языки. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Небольшой размер может упростить локальное развёртывание, однако заявленные в README превосходство над другими моделями, скорость и результаты бенчмарков не следует считать гарантией качества для конкретной задачи.

Locutusque/DareQwen-2.5-7B — объединённая языковая модель, созданная автором репозитория с помощью mergekit на основе Qwen2.5. В слиянии DARE TIES использованы Qwen2.5-7B, Qwen2.5-7B-Instruct, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct; параметры сохранены в формате bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, а объединение вариантов Instruct, Coder и Math ориентировано на сочетание общих инструкций, программирования и математических задач. В метаданных также отмечен интерфейс вызова инструментов. Указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. README предупреждает, что объединённая модель требует дообучения, поэтому её готовность к практическому использованию без дополнительной настройки не подтверждена. Лицензия в предоставленных данных не указана.

ERNIE-4.5-300B-A47B-W4A8C8-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и распространяемая с весами для PaddlePaddle. Репозиторий содержит вариант W4A8C8 с 4-битными и 8-битными весами; в карточке указаны 47,1 млрд параметров, а README описывает семейство как модель с 300 млрд параметров всего и 47 млрд активируемых на токен. Архитектура включает 54 слоя и 64 текстовых эксперта, из которых активируются 8. Модель предназначена для диалогов, генерации текста и общего языкового понимания. Семейство ERNIE 4.5 обучалось на текстовых и визуальных данных, однако именно этот вариант обозначен как текстовая модель. Поддерживает английский и китайский языки; контекстное окно — 131072 токена. Для запуска предназначены PaddlePaddle и FastDeploy. Модель выпущена под лицензией Apache-2.0. Возможности и качество зависят от аппаратных ресурсов и настроек развёртывания; README приводит пример конфигурации FastDeploy с ограничением длины ввода 32768 токенов.