I.14Автоматизация процессов и AI-агенты

Nous-Hermes-13b — языковая модель Nous Research, дообученная совместно с Teknium и Karan4D на более чем 300 тысячах инструкций. В её основе Llama с плотной архитектурой и примерно 12,9 млрд параметров; модель распространяется в формате PyTorch. Она принимает текстовые инструкции в формате Alpaca и предназначена для генерации текста и диалоговых ответов. Модель обучалась преимущественно на синтетических ответах GPT-4 и наборах инструкций по общим темам, ролевым сценариям, программированию, математике и естественным наукам. Карточка заявляет длинные ответы и низкий уровень галлюцинаций, но не приводит в предоставленных материалах независимой проверки этих свойств. Контекст модели — 2048 токенов; карточка указывает английский язык. Лицензия — GPL.

Карточка модели mayflowergmbh/occiglot-7b-it-en-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-it-en-instruct, поэтому описание составлено по ней. Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

TheBloke/Orca-2-13B-GGUF — это квантизированная версия языковой модели Orca 2 13B, разработанной Microsoft и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и диалогового взаимодействия, включая работу через llama.cpp и совместимые графические интерфейсы и библиотеки. Для форматирования запросов используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. Модель относится к архитектуре Llama и содержит около 13 миллиардов параметров. Она работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. GGUF-файлы доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации, а также запускать её на CPU и GPU. К сильным сторонам относятся поддержка широкого набора локальных инструментов, возможность GPU-ускорения и выбор вариантов квантизации. Ограничения связаны с возможной потерей качества при низкой разрядности и с тем, что точные характеристики производительности и контекстного окна не приведены. В метаданных указана лицензия other, без уточнения конкретных условий использования.

Ornith-1.5-9B-Uncensored-W4A16 — мультимодальная модель для задач image-text-to-text, разработанная bowmanslayer. Это квантованная версия Ornith-1.5-9B-Uncensored в формате W4A16: веса представлены в INT4, активации — в FP16. Модель ориентирована на английский и китайский языки, а также на сценарии, где требуется обработка текста и изображений. Архитектура включает 32 слоя, из которых 24 являются linear-слоями и 8 — слоями full attention; размер скрытого состояния составляет 4096. Размер квантованной модели — около 8 ГБ. Она предназначена прежде всего для запуска через vLLM с ядром gptq_marlin; поддерживается FP8 KV-кэш fp8_e5m2, который уменьшает расход памяти и позволяет эффективнее работать с длинным контекстом. Указанные в README оценки относятся главным образом к BF16-версии-источнику; для W4A16 заявлены близкие результаты в выборочных проверках. Сильными сторонами являются сохранённые возможности рассуждения, программирования и следования инструкциям, высокая производительность на ряде тестов, а также экономичное использование памяти благодаря гибридной архитектуре и квантованию. Ограничение модели заключается в удалении исходного safety alignment: она не содержит фильтров и защитных ограничений и может выполнять вредоносные, опасные или незаконные запросы. Поэтому ответственность за безопасное и законное применение полностью лежит на пользователе. Лицензия модели — MIT.

Карточка модели AISE-TUDelft/pharo-keyimplementationpoints-classifier на Hugging Face совпадает с карточкой AISE-TUDelft/pharo-collaborators-classifier, поэтому описание составлено по ней. pharo-collaborators-classifier — модель семейства MPNet от AISE-TUDelft на базе Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости; подходит для семантического поиска и кластеризации текстов. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучена с функцией потерь CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

duyntnet/Phi-3.5-mini-instruct-imatrix-GGUF — набор квантованных версий модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной пользователем duyntnet в формате GGUF с использованием imatrix. Модель относится к семейству Phi-3 и предназначена для генерации текста и выполнения инструкций в диалоговом формате; для работы подходят llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. Она поддерживает контекст до 128 000 токенов, словарь размером до 32 064 токенов и, согласно карточке, ориентирована на английский язык. Обучение включало supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на соблюдение инструкций и повышение безопасности ответов. К преимуществам относятся компактность исходной модели, длинный контекст, поддержка локального запуска и наличие нескольких уровней квантования, потенциально снижающих требования к ресурсам. Ограничения связаны с тем, что квантование может влиять на качество по сравнению с исходной моделью, а сведения о конкретных размерах файлов, параметрах и характеристиках отдельных вариантов в карточке не приведены. Лицензия указана как other, без подробного описания условий использования.

Карточка модели AISE-TUDelft/python-developmentnotes-classifier на Hugging Face совпадает с карточкой AISE-TUDelft/python-expand-classifier, поэтому описание составлено по ней. AISE-TUDelft/python-expand-classifier — модель на базе MPNet, разработанная AISE при TU Delft. Она кодирует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения семантической близости. Модель можно применять для семантического поиска, кластеризации и задач sentence similarity. Модель содержит 136,7 млн параметров, работает с текстом и имеет контекстное окно до 514 токенов. Она обучалась с функцией потерь CosineSimilarityLoss и распространяется в формате PyTorch. Лицензия в предоставленных данных не указана.

Qwable-v1-Qwen3.6-35B-A3B-abliterated — мультимодальная производная модель, опубликованная пользователем eggdog100 на основе lordx64/Qwable-v1. Она предназначена для генерации текста и обработки изображений с текстовыми инструкциями, включая сценарии, где требуется сниженное количество отказов. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов и 40 слоёв. В архитектуре применяются гибридное линейное внимание Gated-DeltaNet и отдельная vision tower, сохранённая без изменений. Точный размер контекста и перечень поддерживаемых языков в карточке не указаны. Это версия v2, полностью пересобранная после проблем с предыдущей версией, которая страдала от повторов и бессвязной генерации. Для подавления отказов изменялись выходные проекции внимания attn.o_proj; маршрутизатор MoE, эксперты, слои Gated-DeltaNet и vision tower не редактировались. В заявленных тестах модель показала 1 отказ из 100 adversarial-запросов без reasoning и 1 из 94 при включённом reasoning, при этом зафиксировано ноль случаев коллапса генерации. На MMLU-Pro результат составил 78,9, на GSM8K — около 95, однако показатели зависят от настроек и оборудования, а часть бенчмарков не проводилась. К сильным сторонам относятся мультимодальность, сохранённая визуальная часть, разреженная MoE-архитектура с низким числом активных параметров и существенно сниженная склонность к отказам. Ограничения включают потенциально ослабленные защитные механизмы, отсутствие подробных данных о контексте и языковой поддержке, а также неполные результаты оценки. Модель распространяется по лицензии AGPL-3.0.

Mungert/Qwen2.5-14B-Instruct-GGUF — набор GGUF-версий инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, диалоговых сценариев и чат-приложений, включая локальный запуск через llama.cpp и системы с ограниченными ресурсами. Модель содержит 14 миллиардов параметров и работает с текстом; в карточке указана поддержка английского языка. Доступны варианты BF16 и F16, а также квантизованные версии Q4_K, Q4_K_S, Q6_K и Q8_0. Более точные варианты требуют больше памяти, тогда как Q4_K и Q4_K_S подходят для CPU и устройств с небольшим объёмом памяти, но могут уступать по точности. Указанный размер контекста и дополнительные модальности не приведены. Основные преимущества — широкий выбор форматов для разных аппаратных конфигураций и возможность локального инференса с уменьшенным потреблением памяти. Ограничения включают компромисс между качеством и требованиями к памяти при квантизации, а также отсутствие в README подробных данных о производительности, бенчмарках и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-YS-V2 — дообученная yusikyang инструктивная языковая модель на архитектуре Qwen2, основанная на unsloth/Qwen2.5-7B-Instruct. В репозитории указано, что обучение проводилось с Unsloth и библиотекой Hugging Face TRL; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, составления текстов и кода, а также выдачи структурированных ответов. Метаданные указывают на интерфейс диалога и tool calling, но карточка не описывает специализированные сценарии или качество этих возможностей. Указанный язык карточки — английский. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или подробностей о данных и целях дообучения, поэтому её преимущества относительно базовой модели не установлены.

Theros/Qwen2.5-ColdBrew-R1-test5 — объединённая языковая модель, созданная с помощью mergekit методом SLERP из Theros/Qwen2.5-ColdBrew-R1-test3 и bunnycore/Qwen-2.5-7B-Stock-Deep-Bespoke-v2. Модель разработана для диалогов и генерации текста; её архитектура — плотная Qwen2, размер — 7,1 млрд параметров, а родной контекст составляет 131 072 токена. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers. Модель подходит для ведения диалогов и генерации текста с длинным контекстом. В карточке не приведены сведения о языках, лицензии и специальных прикладных областях, поэтому их нельзя уточнить. Качество и поведение объединённой модели зависят от исходных моделей; отдельные ограничения в карточке не описаны.

Карточка модели rgtjf/Qwen2-UtK-72B-128K на Hugging Face совпадает с карточкой rgtjf/Qwen2-UtK-7B-128K, поэтому описание составлено по ней. Qwen2-UtK-7B-128K — языковая модель на основе Qwen2-7B, дообученная командой проекта Untie the Knots для работы с длинным контекстом. Это плотная авторегрессионная модель с 7,1 млрд параметров; её контекстное окно составляет до 131 072 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста и поиска нужной информации в длинных последовательностях. Метод Untie the Knots продолжает предобучение на перемешанных фрагментах документов, чтобы улучшить выделение релевантных сведений при большом контексте. В README приведены результаты оценки на RULER для 128K контекста; указанный пример обслуживания использует vLLM. Карточка сообщает о поддержке английского и китайского языков. Модель основана на Qwen2-7B с изменённым параметром RoPE theta: 5 000 000 вместо 1 000 000. README описывает отдельную инструктивную версию ChatQA2, но эта карточка относится к базовой модели UtK, поэтому её не следует считать чат-моделью ChatQA2. Практическое качество зависит от задачи и длины входа; результаты README не гарантируют такую же точность на других данных и сценариях.

Qwen2-UtK-7B-128K — языковая модель на основе Qwen2-7B, дообученная командой проекта Untie the Knots для работы с длинным контекстом. Это плотная авторегрессионная модель с 7,1 млрд параметров; её контекстное окно составляет до 131 072 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста и поиска нужной информации в длинных последовательностях. Метод Untie the Knots продолжает предобучение на перемешанных фрагментах документов, чтобы улучшить выделение релевантных сведений при большом контексте. В README приведены результаты оценки на RULER для 128K контекста; указанный пример обслуживания использует vLLM. Карточка сообщает о поддержке английского и китайского языков. Модель основана на Qwen2-7B с изменённым параметром RoPE theta: 5 000 000 вместо 1 000 000. README описывает отдельную инструктивную версию ChatQA2, но эта карточка относится к базовой модели UtK, поэтому её не следует считать чат-моделью ChatQA2. Практическое качество зависит от задачи и длины входа; результаты README не гарантируют такую же точность на других данных и сценариях.

Qwen3-30B-A3B-Base — базовая языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная причинная MoE-модель для генерации текста: всего 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; архитектура включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель рассчитана на контекст до 32 768 токенов и работает через библиотеку Transformers. Модель предназначена для продолжения текста и служит основой для дообучения под диалоговые и прикладные сценарии. Обучающий корпус охватывает 119 языков и включает материалы по программированию, STEM, рассуждениям, книгам и многоязычным данным. Карточка также отмечает интерфейсы для чата и вызова инструментов, однако конкретные инструкции по использованию этих возможностей в базовой модели не описаны. Лицензия — Apache-2.0. Для запуска требуется актуальная версия Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3_moe. Это базовая, а не специализированно настроенная на выполнение инструкций модель; качество в конкретных задачах зависит от промптинга и возможного дообучения.

pearl-ai/Qwen3-30B-A3B-Instruct-2507-pearl — сертифицированный вариант Qwen3-30B-A3B-Instruct-2507, разработанный Pearl Research Labs на базе модели Qwen от Alibaba. Это каузальная instruction-tuned языковая модель для генерации текста и диалоговых сценариев, прежде всего предназначенная для работы в связке с Pearl vLLM mining plugin и стеком Pearl miner. В карточке указана поддержка английского языка. Модель использует архитектуру Qwen3MoeForCausalLM и подход Mixture-of-Experts: всего 30 млрд параметров, из которых около 3 млрд активируются для каждого токена; на токен маршрутизируются 8 экспертов. Архитектура включает 48 скрытых слоёв. Применяется смешанная квантизация W7A7 и FP8, выполненная средствами Pearl, что ориентировано на эффективное развёртывание. В примере запуска через vLLM используется максимальная длина контекста 8192 токена, однако это значение относится к конфигурации запуска. Основное преимущество модели — совместимость с инфраструктурой Pearl для майнинга при сохранении близких к исходной модели результатов: на полном тесте MMLU-Pro Pearl-версия получила 77,33% против 77,88% у оригинала. Для работы рекомендуются CUDA и NVIDIA GPU класса sm90, например H100 или H200, а также компоненты Pearl, включая запущенный узел pearld с RPC-доступом. Модель можно использовать через Pearl vLLM plugin, vLLM или Transformers, но совместимость зависит от программного стека и поддерживаемой GPU-архитектуры. Возможны некорректные, небезопасные или предвзятые ответы, поэтому необходимы контроль развёртывания и проверка результатов. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-4B-AWQ — это квантизированная версия языковой модели Qwen/Qwen3.5-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых и инструкционных сценариев, локального инференса и развёртывания на потребительских GPU. Указаны поддерживаемые языки English и Chinese, а также интеграция с Transformers и vLLM. Модель использует квантизацию AWQ INT4 по схеме W4A16_ASYM с размером группы 128 и zero point. Калибровка выполнена на 512 примерах OpenPlatypus с максимальной длиной последовательности 1024 токена посредством llm-compressor; формат хранения — compressed-tensors. Размер модели составляет около 3,13 ГБ, а потребление VRAM при загрузке — около 3,06 ГБ, что примерно в 2,5–2,6 раза меньше базовой BF16-версии. Это позволяет запускать её на одной видеокарте с 8 ГБ памяти. В заявленных оценках нулевого выстрела модель получила 77,69% на PIQA, 68,75% на Winogrande, 71,65% на HellaSwag, 73,53% на ARC-Easy и 51,71% на ARC-Challenge; средний результат — 68,67%. Сильными сторонами являются существенно сниженные требования к памяти и сохранение заметной производительности в задачах здравого смысла и школьных научных вопросов. Ограничение состоит в том, что результаты приведены только для квантизированной версии и не сопоставлены в идентичных условиях с BF16-моделью, поэтому влияние квантизации точно не установлено. Распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это экспериментальная instruction-модель на базе Qwen3.5-9B, опубликованная пользователем W00ds1. В README указано, что она создана в результате многоэтапного fine-tuning и объединения нескольких моделей на локальном оборудовании при участии Nightmedia; базовая модель связана с DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на общий диалог, следование инструкциям, reasoning, программирование, творческое письмо и roleplaying, а также заявлена как uncensored и heretic-модель с уменьшенным количеством отказов. Модель поставляется в формате GGUF в обычных и MTP-вариантах, включая квантизации с использованием NEO IMATRIX. MTP предназначен для ускорения генерации за счёт multi-token prediction, но его эффективность зависит от оборудования, температуры и acceptance rate; при низком acceptance rate обычный вариант может работать быстрее. Заявлено контекстное окно 256k токенов. Поддерживаются английский и китайский языки. Vision активирован, однако для обработки изображений требуется отдельный файл mmproj. Указана совместимость со стандартными приложениями, поддерживающими GGUF. В README приведены результаты на ARC-C, ARC-E, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель сравнивается с рядом более крупных моделей; эти результаты следует считать заявленными авторами и не распространять автоматически на все задачи. Ограничения включают зависимость производительности от выбранной квантизации, режима thinking или instruct, параметров генерации и аппаратного обеспечения, а также отсутствие гарантии превосходства над моделями большего размера во всех сценариях. Лицензия указана как Apache-2.0.

Qwen3.6-35B-A3B-Q6_K-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с использованием llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в сценариях с высокой нагрузкой на CPU; использовать её можно через llama.cpp и совместимые инструменты. Модель имеет архитектуру mixture-of-experts (MoE), что отражено в обозначении 35B-A3B: общий размер составляет около 35 млрд параметров, а активными при обработке, предположительно, являются около 3 млрд параметров. Вариант Q6_K использует 6-битное квантизирование и позиционируется как версия с очень высоким качеством при меньшем размере по сравнению с полной моделью. В метаданных указано назначение image-text-to-text, однако сведения о поддерживаемых языках, точном размере контекста, визуальном модуле и фактических мультимодальных возможностях отсутствуют. Сильными сторонами являются локальный запуск, совместимость с экосистемой GGUF и llama.cpp, а также компромисс между качеством и требованиями к ресурсам. Ограничения связаны с потерями качества, возможными для квантизированной версии, потребностью подобрать параметры потоков и контекста под конкретное оборудование и отсутствием подробных данных о производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Abliterated + MTP GGUF — неофициальная производная модель Global Cybersecurity Alliance на базе Qwen/Qwen3.8-27B. Это плотная модель с 27 миллиардами параметров и нативной поддержкой понимания текста, изображений и видео. Модель распространяется в формате GGUF с квантованиями Q8_0, Q6_K, Q4_K_M и Q4_K_S; для каждого варианта предусмотрен соответствующий vision projector mmproj. Базовая модель ориентирована на мультимодальные задачи, управляемый режим рассуждений и работу с длинным контекстом, однако точный размер контекстного окна и перечень поддерживаемых языков в карточке не указаны. В производной версии применено вмешательство Abliterix, направленное на снижение поведения, связанного с отказами. Это может быть полезно для исследовательских и прикладных сценариев, где требуется более свободное следование инструкциям, но эффект не гарантирован и способен ухудшить тон, калибровку, качество рассуждений, точность или соблюдение инструкций. Приведённые в README результаты относятся к отдельной FP8-версии и не являются подтверждёнными показателями GGUF-квантований. Дополнительно доступен BF16 MTP-драфт для speculative decoding в совместимых версиях llama.cpp и других runtime: он может повысить скорость, но требует дополнительной памяти и явной настройки, а выигрыш зависит от оборудования и параметров запуска. Модель не является официальным релизом Qwen, Alibaba Cloud или авторов Abliterix. Лицензия — Apache-2.0.

Israeli-AI/Qwen3.8-27B-MTP-W4A16-VOLTA-Ampere — квантованная версия Qwen/Qwen3.8-27B, подготовленная командой Israeli-AI. Это текстогенерационная thinking-модель с поддержкой native MTP speculative decoding. Основной сценарий — запуск и обслуживание на GPU, включая Volta V100, где официальная FP8-версия не работает, а также на Ampere и более новых архитектурах. Заявлена поддержка английского языка; мультимодальные возможности сохранены, но на Volta проверялся только текстовый режим. Модель использует квантование INT4 W4A16 с симметричной схемой и group size 128 для значительной части self-attention и MLP-проекций. Размер BF16-варианта 51,7 ГБ сокращён до 25,8 ГБ, благодаря чему модель может работать на двух V100 по 32 ГБ с tensor parallelism и контекстом до 256K; в измерениях обслуживался контекст 131 072 токена. MTP-head, vision tower, embeddings, lm_head, нормы и компоненты Gated-DeltaNet сохранены в полной точности. На двух V100 заявлена скорость декодирования 43–68 токенов в секунду, обычно около 53,5, при трёх speculative-токенах. Сильные стороны модели — совместимость с устаревшими Volta GPU, уменьшенный объём памяти и сохранённая эффективность MTP-декодирования за счёт нетронутой MTP-head. Ограничения включают необходимость специальной Volta-совместимой сборки vLLM и настройки окружения, отсутствие проверки мультимодальной работы на Volta, а также неподтверждённую в README работу на Ampere и новее. Модель распространяется по лицензии Apache-2.0.

igorvibes/Qwen3.8-27B-UD-Q4_K_XL-AWQ-MTP-mlx — это квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для запуска через MLX на компьютерах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии, где важны уменьшенный размер файлов и возможность использования Apple GPU. Архитектура относится к семейству Qwen 3.5; указаны 27,78 млрд параметров, 64 слоя, скрытый размер 5120 и промежуточный размер 17408. Из 64 слоёв 48 используют GatedDeltaNet; остальные относятся к стандартным механизмам внимания, однако полное описание архитектуры в README отсутствует. Модель использует смешанную affine-квантизацию MLX с базовым классом 4-bit и размером группы 64, но её фактическая средняя точность составляет 6,02 бита на вес. Размер на диске — 20,89 ГБ без учёта дополнительной памяти под KV-cache. Применено AWQ activation-aware pre-scaling с calibration imatrix, а 15 тензоров MTP сохранены внутри основных shards в формате BF16 без квантизации. MTP-компонент предназначен для multi-token prediction, но отдельной директории или sidecar-файла drafter нет. К сильным сторонам относятся сохранение более высокой точности для чувствительных компонентов за счёт смешанной разрядности, AWQ-калибровка и адаптация к MLX. Ограничения включают значительный объём оперативной памяти, необходимость учитывать запас под KV-cache и несовместимость формата с vLLM и autoawq: это стандартный формат affine-квантизации MLX, а не AutoAWQ или GPTQ. Языки, длина контекста и лицензия в предоставленном README не указаны.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем jaromer и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоги и другие задачи обработки текста; доступны также варианты с поддержкой изображений, если это поддерживается базовой моделью. Уровень отказов существенно снижен с помощью метода abliteration на базе Heretic, однако полностью не устранён. Дополнительное обучение и новые обучающие данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, контекст до 262 144 токенов, один MTP-слой и поддержку vision. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ. Варианты с сохранённой MTP-головой поддерживают speculative decoding; также предлагаются отдельные target- и draft-файлы. Заявленные языки — английский и китайский. Сильными сторонами являются большой контекст, широкий выбор квантизаций, поддержка MTP и близкие к f16 показатели perplexity у большинства вариантов; IQ2_M заметно уступает остальным по этому измерению. Perplexity не оценивает качество рассуждений, программирования, мультиязычности или поведения отказов. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-8B-Base-unsloth-bnb-4bit — это 4-битная квантованная версия базовой причинной языковой модели Qwen3-8B-Base, подготовленная Unsloth на основе модели Qwen от команды Qwen. Модель предназначена для генерации и продолжения текста, языкового моделирования, программирования, STEM-задач, рассуждений и других сценариев, где требуется компактная локальная LLM. Поскольку это базовая предобученная модель, она не ориентирована специально на выполнение пользовательских инструкций или ведение диалога без дополнительной настройки. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою, включает 36 слоёв и использует Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Qwen3 обучалась на корпусе объёмом 36 трлн токенов, охватывающем 119 языков, с данными по программированию, STEM, рассуждениям, книгам, многоязычным и синтетическим материалам. Квантование уменьшает требования к памяти и упрощает локальный запуск, однако может сопровождаться потерей точности по сравнению с исходной полноразмерной версией. Для работы рекомендуется актуальная версия библиотеки transformers; версия ниже 4.51.0 не поддерживает архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Distilled-9B-NPU2 — это квантизированный порт модели empero-ai/Qwen3.8-9B-Distill, подготовленный Atomic-Germ для инференса на NPU AMD XDNA. Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Размер файла весов model.q4nx составляет 7,11 ГБ; конверсия выполнена 26 августа 2026 года. Модель предназначена для языковых и визуально-языковых задач, включая работу с изображениями, рассуждения и function calling. В репозитории также присутствует отдельный файл vision_weight.q4nx, а конфигурация и шаблон диалога рассчитаны на использование с FastFlowLM. Архитектура, точное число параметров, поддерживаемые языки и размер контекстного окна в карточке не указаны. Ключевое преимущество модели — адаптация к инференсу на AMD XDNA NPU с использованием квантизации Q4NX и специализированного runtime FastFlowLM. Ограничения связаны с зависимостью от FastFlowLM и совместимого оборудования AMD XDNA, а также с отсутствием подробных сведений о качестве, языковом охвате и контексте. Лицензия — Apache-2.0.

agentionai/Qwen3.8-Flash-Next-AP-GGUF — набор квантизированных GGUF-вариантов базовой модели Qwen/Qwen3.8-Flash-Next, подготовленный AgentionAI. Модель предназначена для генерации текста и запуска через совместимые с mainline llama.cpp инструменты, включая локальный инференс при ограниченном объёме видеопамяти. Для работы с изображениями доступен отдельный vision projector mmproj-F16.gguf. Доступны варианты AP-Q5_K_XL, AP-Q5_K_M, AP-Q4_K_XL, AP-Q4_K_M, AP-IQ4_XS, AP-IQ3_XXS и AP-IQ2_S с эффективной разрядностью примерно от 3,69 до 5,46 бит на вес. Объём требуемой VRAM составляет около 49,21–76,75 GiB в зависимости от варианта. Архитектура включает таблицу n-грамм размером 51,2 млрд параметров, которую можно выгружать в системную RAM; это снижает требования к VRAM, но требует дополнительной оперативной памяти. Для сбалансированного качества и размера рекомендуется AP-Q4_K_XL, а AP-IQ2_S предназначен для систем с минимальным доступным объёмом VRAM. К сильным сторонам относятся оптимизация точности на каждый гигабайт VRAM, измеренные различия между вариантами на отложенном корпусе и совместимость со стандартными типами GGUF без отдельного форка llama.cpp. Ограничения включают высокие аппаратные требования, зависимость качества от выбранного уровня квантизации и отсутствие в README сведений о языках и максимальном контексте. Лицензия указана как qwen-community-1.0; модель распространяется по лицензии other, а файл условий доступен в репозитории.

albucino/Qwen3.8-Flash-Next-W4A16-FP8PLE — локальная сборка модели семейства Qwen3.8-Flash-Next для генерации текста. В README не указан отдельный разработчик этой сборки; она объединяет компоненты из репозиториев Intel и RadixArk, а также компактный модуль MTP3 для speculative decoding. Модель рассчитана на запуск через специальный runtime на базе vLLM, а не через стандартный Transformers checkpoint. Сборка использует W4A16-квантизацию AutoRound с INT4 и group-128 для целевых экспертных и линейных весов, BF16 для чувствительных слоёв, FP8 E4M3FN для таблицы n-gram/PLE объёмом 51,2 млрд параметров и дополнительный INT4-модуль MTP с group-32. Поддерживается контекст до 262 144 токенов, текстовая модальность и запуск на двух RTX 3090 по 24 ГБ с 128 ГБ оперативной памяти, включая offload экспертов в CPU и NVMe-backed swap. Заявленные характеристики производительности являются экспериментальными и зависят от runtime и конфигурации. Основные преимущества — очень длинный контекст, возможность локального запуска крупной модели на потребительских GPU, prefix caching, экспертный offload и ускорение декодирования с помощью MTP3. Ограничения включают необходимость специального pinned runtime и пользовательского vLLM overlay, значительные требования к оперативной памяти и быстрому NVMe, риск CUDA и host OOM, а также экспериментальный статус части оптимизаций. Модель распространяется по лицензии qwen-community-1.0; её условия следует уточнять в файле LICENSE.

Swift-Qwen3.8-27B-NVFP4 — квантизированная мультимодальная модель UkisAI, производная от Swift-Qwen3.8-27B, которая, в свою очередь, основана на Qwen3.8-27B. Модель предназначена для задач рассуждения и обработки текста и изображений; в карточке указана поддержка сценариев image-text-to-text. Архитектура, компоненты зрения, токенизатор и веса BF16 для MTP сохранены от исходной модели. Модель использует смешанную точность NVIDIA Model Optimizer: основные MLP-проекции и lm_head представлены в NVFP4 с размером блока 16, крупные проекции DeltaNet и полнослойного внимания — в FP8 E4M3, а embeddings, нормализации, свёртки, компоненты зрения и MTP — в BF16. Размер чекпойнта составляет примерно 21,945 ГБ. Квантизация снижает требования к памяти под веса и оставляет больше памяти для KV-кэша, при этом точность KV-кэша не изменена. Сильными сторонами являются сохранение мультимодальных компонентов и MTP, документированная калибровка и совместимость с vLLM 0.28.0 при наличии загрузчика для смешанных ModelOpt-чекпойнтов. Ограничения включают необходимость соответствующего программного стека и оборудования; модель проверялась на GPU H100. Языки и размер контекстного окна в предоставленных данных не указаны. Доступ к модели ограничен, а лицензия обозначена как swift-open-license-1.0; также указана возможность корпоративного лицензирования.

Google T5Gemma-B-B-UL2 — предварительно обученная текстовая модель из семейства T5Gemma. Это энкодер-декодерная архитектура, адаптированная из decoder-only моделей Gemma; данный вариант использует энкодер B и декодер B и подготовлен с помощью UL2. Модель принимает текст и генерирует текст на английском языке. Модель предназначена для генерации и преобразования текста, в том числе ответов на вопросы, суммаризации и задач рассуждения. Её энкодер также может применяться в дискриминативных сценариях, например для классификации и понимания текста. Компактный размер семейства позволяет развёртывать модели на локальных компьютерах и в облачной инфраструктуре, однако точное число параметров этого варианта в предоставленных данных не указано. К ограничениям относятся возможные фактические ошибки, предвзятость обучающих данных и трудности с тонкими языковыми нюансами или сложными открытыми задачами. Модель распространяется с открытыми весами по лицензии Gemma; для использования следует учитывать политику запрещённого использования Gemma.

Teuken-7B-instruct-research-v0.4-GGUF — это квантизированная версия инструкционной языковой модели Teuken-7B-instruct-research-v0.4, разработанной openGPT-X и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций, а также для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер наиболее компактных представленных вариантов составляет около 4,1–4,7 ГБ, а F16-версия занимает около 14,9 ГБ. В README заявлена поддержка немецкого, болгарского, чешского, датского, греческого, английского, испанского, эстонского, финского, французского, ирландского, хорватского, венгерского, итальянского, литовского, латышского, мальтийского, нидерландского, польского, португальского, румынского, словенского, шведского и словацкого языков. Некоторые квантизации оптимизированы для ARM или AVX, однако отдельные варианты не рекомендуются для Mac или GPU. Более качественные варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. README не содержит сведений об архитектуре, размере контекстного окна, параметрах обучения, точных мультимодальных возможностях или формате промпта, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки других модальностей. Лицензия указана как other, без дополнительных условий; перед использованием в коммерческих или распространительных сценариях необходимо проверить лицензию исходной модели и конкретные ограничения.

Cohere и Cohere Labs разработали Cohere Labs Tiny Aya Global — авторегрессионную языковую модель на основе оптимизированного Transformer с 3,35 млрд параметров. Модель дообучена с помощью supervised fine-tuning и обучения предпочтениям, поддерживает диалог и предназначена для эффективного запуска при ограниченных вычислительных ресурсах. Контекст составляет 8K токенов; модель принимает текст и генерирует текст. Модель ориентирована на многоязычную генерацию и диалог, включая суммаризацию, перевод и межъязыковые задачи. Она охватывает более 70 языков, в том числе русский и ряд языков с ограниченными ресурсами; заявленный баланс между языками и регионами — ключевая особенность версии Global. Модель также подходит для адаптации под конкретные задачи и исследований многоязычной обработки естественного языка. Сильные стороны — генерация текста на широком наборе языков и сравнительно хорошая работа с языками, для которых доступно меньше обучающих данных. Качество рассуждений, включая многоязычную математику, слабее, чем открытая генерация и диалог; фактические ошибки и нестабильность вероятнее для низкоресурсных языков, а сложные инструкции могут быть трудны для модели. Лицензия CC-BY-NC-4.0 ограничивает использование некоммерческими целями; также требуется соблюдать политику допустимого использования Cohere Labs.