I.14Автоматизация процессов и AI-агенты

OmniBeagleMBX-v3-7B — объединённая модель для генерации текста и диалогов, созданная с помощью LazyMergekit на основе mlabonne/OmniBeagle-7B и flemmingmiguel/MBX-7B-v3. В основе лежит плотная архитектура MistralForCausalLM с 7,1 млрд параметров; модель распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст, поэтому подходит для диалоговых систем и других сценариев языковой генерации. В README указано, что веса объединены методом slerp с настройками для слоёв self-attention и MLP. Репозиторий использует лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

OpenLLaMA 7B — авторская предварительно обученная языковая модель OpenLM Research, созданная как открытая воспроизводимая реализация архитектуры Meta AI LLaMA. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов. Она обучена с нуля на наборе RedPajama, содержащем более 1,2 трлн токенов; доступны веса PyTorch, а проект также выпускал веса для JAX. Модель предназначена для генерации текста и может служить основой для языковых приложений и дальнейшей адаптации. По оценке авторов, OpenLLaMA 7B показывает сопоставимые с оригинальной LLaMA 7B и GPT-J 6B результаты на большинстве рассмотренных задач. В карточке не заявлены специализированная область или отдельная языковая специализация. Для корректной токенизации авторы рекомендуют не использовать быстрый токенизатор Transformers: автоматически конвертированная версия может ошибаться. При few-shot оценке рекомендуется добавлять BOS-токен. Авторы также отмечают возможное загрязнение обучающего набора данными бенчмарков CB и WSC и исключили эти задачи из оценки. Лицензия модели — Apache-2.0.

giraffe176/Open_Maid_Samantha_Hermes_Orca — языковая модель на архитектуре Mistral, созданная объединением предварительно обученных моделей с помощью mergekit и метода SLERP. В объединение вошли cognitivecomputations/samantha-1.1-westlake-7b, NeverSleep/Noromaid-7B-0.4-DPO, OpenHermes-2.5-Mistral-7B и Open-Orca/Mistral-7B-OpenOrca. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста. Максимальная длина контекста — 32 768 токенов. Карточка приводит результаты оценки на Open LLM Leaderboard, включая средний балл 68,81, ARC и HellaSwag. Модель может использоваться для диалога, ответов на вопросы, рассуждений и создания текстов. Языки в доступных сведениях не перечислены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

OrcaMaid 13B — это языковая модель для генерации текста в формате GGUF, созданная ddh0 на базе архитектуры Llama и квантизированная TheBloke. Репозиторий содержит варианты модели с разрядностью 2, 3, 4, 5, 6 и 8 бит для запуска на CPU и GPU. Исходная модель доступна в формате FP16 для GPU-инференса и дальнейших преобразований. Модель предназначена для выполнения инструкций и генерации ответов в текстовых сценариях, включая локальный инференс через llama.cpp и совместимые приложения и библиотеки. Для работы используется шаблон Alpaca с секциями Instruction и Response. Поддерживаются клиенты и инструменты, совместимые с GGUF, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ключевые характеристики — 13 миллиардов параметров, текстовая модальность, архитектура семейства Llama и формат GGUFv2. Сведения о поддерживаемых языках и размере контекста в README не указаны. Квантизация позволяет выбирать компромисс между требованиями к памяти и качеством, однако конкретные характеристики качества и аппаратные требования зависят от выбранного варианта. Лицензия указана как microsoft-research-license для исходной модели; также заявляется применимость лицензии Meta Llama 2, поэтому условия использования и взаимодействие лицензий следует проверять в исходном репозитории.

Это набор GGUF-квантизаций модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем mistrjirka с использованием форматов PXA/PXQ. Модель имеет около 9 млрд плотных параметров, архитектуру qwen35 и нативный контекст до 262 144 токенов. Она предназначена для генерации и анализа текста, а исходная модель также поддерживает обработку изображений при наличии совместимого мультимодального проектора, который в этом репозитории не поставляется. Доступны варианты с разной степенью сжатия: от PXQ2 и PXQ3 до рекомендованного PXQ4, повышающего качество PXQ4-HQ и ориентированного на качество PXQ6. Чем выше уровень, тем больше размер файла и потенциально выше точность, тогда как PXQ2 и PXQ3 рассчитаны на ограниченные ресурсы и сильнее жертвуют качеством. Преимуществами являются большой контекст и выбор компромисса между размером, качеством и скоростью декодирования. Ограничение заключается в использовании нестандартных PXQ-типов тензоров: обычные сборки llama.cpp без их поддержки, как правило, не загрузят файлы. Требуется PXA или специальная ветка mistrjirka/llama.cpp; оптимизация в первую очередь ориентирована на GPU NVIDIA Pascal и Volta, а поддержка более новых архитектур может использовать общие, менее специализированные пути. Указана лицензия MIT.

Ornstein-27B-v2-i1-GGUF — это квантованная версия модели Ornstein-27B-v2, разработанной DJLougen и преобразованной в формат GGUF пользователем mradermacher. Модель относится к семейству Qwen3.5 и предназначена для локального запуска с использованием совместимых инструментов, поддерживающих GGUF. По данным карточки, модель ориентирована на диалоговые сценарии, рассуждения и задачи image-text-to-text, то есть может работать с текстом и изображениями. Заявлен английский язык. Размер исходной модели составляет 27B параметров, однако сведения о точной архитектуре, максимальной длине контекста и фактическом наборе поддерживаемых модальностей в карточке не приведены. Репозиторий содержит набор вариантов квантования с разными компромиссами между размером, скоростью и качеством: от примерно 7,2 до 22,2 ГБ. В частности, Q4_K_M отмечен как быстрый и рекомендуемый вариант, а Q4_K_S — как оптимальный по сочетанию размера, скорости и качества; наиболее низкие уровни квантования могут заметно снижать качество ответов. Условия использования унаследованы от указанной лицензии Apache-2.0.

Penjing-27B-Pollard — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная PollardWeights с использованием метода Pollard Weights. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, ik_llama.cpp, Ollama и LM Studio. Указанная архитектура — qwen3_5, объём — около 27,3 млрд параметров. Поддерживаются текстовые и графические входы, а заявленный язык — английский. Модель рассчитана на диалоговые сценарии и мультимодальные задачи, включая работу с изображениями при использовании дополнительного vision-проектора mmproj-Penjing-27B-bf16.gguf. Доступно несколько вариантов квантизации с разным соотношением размера и качества: от IQ1_KT размером 6,53 ГБ до Q6_K размером 22,43 ГБ. Квантизация основана на измерении чувствительности отдельных слоёв и использует importance matrix; это позволяет эффективнее распределять биты по сравнению с равномерным сжатием. Главное преимущество модели — существенное уменьшение требований к памяти: вариант IQ1_KT примерно на 88% меньше исходной версии f16. При этом качество зависит от выбранного файла: по измерениям на wikitext2 вариант IQ2_KT показал perplexity 5,0817 и был обозначен как рекомендуемый вариант по умолчанию, тогда как IQ1_KT обеспечивает минимальный размер, но заметно сильнее отклоняется от f16. IQ1_KT и IQ2_KT требуют ik_llama.cpp; остальные варианты совместимы со стандартным llama.cpp. Результаты измерений получены на одной машине и могут не полностью отражать качество в прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

phi-2-dpo-7k — дообученная на диалоговых данных модель семейства Phi-2, опубликованная mlx-community на Hugging Face. Она предназначена для генерации текста в формате общения и может использоваться для ответов на запросы и ведения диалога. Модель основана на Microsoft Phi-2: плотная архитектура PhiForCausalLM, около 3,5 млрд параметров и контекст до 2048 токенов. В README указано дообучение на 7 тысячах диалоговых примеров из наборов Orca pairs, UltraFeedback ratings и Capybara-DPO. Репозиторий содержит веса Safetensors и ориентирован на использование с MLX. В метаданных указан английский язык и возможность работы с кодом. Лицензия — MIT. Карточка отсылает к описанию исходной Phi-2 за дополнительными сведениями.

Prima-LelantaclesV4-7b-16k-bf16 — языковая модель семейства Mistral, объединённая ChaoticNeutrals из Test157t/Prima-LelantaclesV3-7b и Test157t/Yarncules-7b-128k методом SLERP. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста. Репозиторий содержит веса в формате Safetensors с точностью bfloat16; заявленный нативный контекст — 32 768 токенов. Модель подходит для генерации продолжений и ответов, а также для задач рассуждения и работы с длинным контекстом. В README приведены результаты Open LLM Leaderboard, в том числе 66,04 на AI2 Reasoning Challenge и 85,07 на HellaSwag; это отдельные оценки, а не гарантия качества в конкретном применении. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и лицензиях компонентов.

Qwen3-235B-A22B-Instruct-2507-4bit — языковая instruction-модель, разработанная командой Qwen и адаптированная сообществом mlx-community для формата MLX. Модель преобразована из Qwen/Qwen3-235B-A22B-Instruct-2507 с использованием mlx-lm 0.26.0 и предназначена для генерации текста по инструкциям в приложениях, работающих на MLX. В названии указаны общий размер 235B параметров, архитектура MoE с 22B активных параметров и 4-битное квантование, однако эти характеристики в представленном README явно не описаны и основаны только на идентификаторе модели. Поддерживается текстовая генерация; сведения о языках, размере контекста, модальностях, сильных сторонах и ограничениях не приведены. Для использования требуется библиотека mlx-lm и совместимое с MLX окружение. Модель распространяется по лицензии Apache-2.0. README не содержит дополнительных сведений о требованиях к оборудованию, производительности или особенностях применения.

mlx-community/Qwen3-30B-A3B-4bit — это 4-битная версия модели Qwen3-30B-A3B, преобразованная в формат MLX из базовой модели Qwen/Qwen3-30B-A3B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска в среде MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple Silicon. Ключевые характеристики включают формат MLX, 4-битное квантование и назначение text-generation. README не содержит сведений о точной архитектуре, количестве активных и общих параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования, сильных сторонах и ограничениях качества. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено Dhptl с использованием quant-kit в формате GGUF, предназначенном для локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Модель относится к классу текстовых instruction-following и conversational-моделей и предназначена для диалогов, генерации текста, ответов на вопросы и других сценариев работы с текстом. Заявленный размер базовой модели — 4 млрд параметров. В карточке указано поддерживаемое язык — английский; сведения о контекстном окне, точной архитектуре и мультимодальности отсутствуют. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 1,55 до 3,99 ГБ. Версия Q4_K_M рекомендована как баланс размера и качества, Q3_K_M — для систем с ограниченной памятью, а Q8_0 — для максимально близкого к исходной модели качества. Квантование уменьшает требования к памяти и позволяет запускать модель на потребительском оборудовании, но варианты с более сильным сжатием могут заметно терять в качестве. Приведённые показатели сохранения качества около 97–99% заявлены без фактических результатов тестов в этой карточке, поэтому их следует воспринимать ориентировочно. Модель распространяется по лицензии Apache-2.0. Для практического использования необходимо выбрать конкретный GGUF-файл с учётом доступной оперативной памяти и допустимого компромисса между скоростью, размером и качеством.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой и заявленным размером 35B параметров; активная конфигурация обозначена как A3B. Обучение или дистилляция связаны с наборами данных, содержащими примеры рассуждений и ответов Claude Opus, а также Qwen reasoning-данные. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих рассуждений. В README она также обозначена как vision model и image-text-to-text модель, поэтому может поддерживать обработку изображений вместе с текстом при наличии соответствующего mmproj-файла. Заявлен английский язык; сведения о длине контекста, точной поддержке других языков, результатах тестирования и рекомендуемых параметрах запуска отсутствуют. Главное преимущество — сочетание reasoning-направленности, MoE-архитектуры и большого набора вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством. При этом низкобитные варианты могут заметно терять в качестве: для некоторых файлов README прямо указывает на очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; конкретные условия использования базовой модели и датасетов отдельно не раскрыты.

Набор GGUF-квантизаций модели Qwen3.6-35B-A3B, разработанной командой Qwen и опубликованной в формате quantized derivative weights пользователем jimbothigpen. Модель имеет архитектуру Mixture-of-Experts: около 35 млрд параметров всего и примерно 3 млрд активных параметров на токен. Набор предназначен для локального запуска и сравнения качества, perplexity и производительности разных форматов квантизации через llama.cpp-совместимые бэкенды. Репозиторий включает исходный вариант BF16 и широкий диапазон форматов от IQ1 до Q8_0, включая IQ-K, K-quants, legacy-типы и WHT3_0/WHT4_0. При большинстве квантизаций используется единая importance matrix, рассчитанная на полном калибровочном корпусе calibration_datav3; это помогает снизить потерю качества при низкой разрядности. Также доступен отдельный vision projector в формате F16, поэтому модель поддерживает мультимодальные сценарии с изображениями при использовании совместимой конфигурации. Ограничения зависят от выбранного формата: BF16 занимает около 69 ГБ, а даже компактные варианты требуют несколько гигабайт памяти. Основные форматы работают в стандартном llama.cpp, тогда как IQ-K, KS, KT, KL и KSS требуют совместимой сборки семейства ik_llama.cpp, а WHT-форматы — сборки jimbothigpen/llama.cpp или другой реализации с поддержкой WHT. Производитель и поддерживаемые языки, размер контекста и конкретные возможности базовой модели в README не указаны. Производные веса распространяются по лицензии Apache-2.0.

Qwen3.8-27B-GLA-g2 — производная от Qwen/Qwen3.8-27B модель TelperionAI с архитектурой Grouped Latent Attention на двух группах. Переход на низкоранговые латентные представления ключей и значений уменьшает объём KV-кэша в среднем вдвое при обслуживании с параллелизмом до двух GPU. Изменение выполнено без обучения: проекции подогнаны методом whitened SVD на калибровочных данных; остальные веса, включая vision tower и MTP head, сохранены. Модель предназначена для генерации текста и диалогов, в том числе для задач программирования и длинного контекста; в карточке также заявлена поддержка изображений как у базовой модели. В парном сравнении на SWE-bench Verified результат составил 0,394 против 0,395 у исходной модели, при генерации на 14% меньшего числа токенов. По метаданным, модель имеет 27 млрд параметров, плотную архитектуру семейства Qwen3.5 и лицензию Apache-2.0. Для запуска требуется экспериментальный плагин qwen-mla-vllm; модель не загружается в Transformers и стандартный vLLM. README сообщает о проверке плагина на RTX PRO 6000 с vLLM 0.27.1, а результаты за пределами SWE-bench Verified и HELMET (64k) не оценивались. При параллелизме более чем на двух GPU сжатие снижается примерно до 1,14 раза.

TheCluster/Qwen3.8-27B-Heretic-MLX-4bit — 4-битная квантованная версия модели Qwen3.8-27B, разработанная TheCluster на базе Qwen/Qwen3.8-27B. Модель модифицирована с помощью Heretic v1.4.0 и позиционируется как uncensored-версия с уменьшенными ограничениями на генерируемый контент. В метаданных указана задача image-text-to-text, однако подробности о поддержке изображений в README не приведены. Модель предназначена для диалоговой генерации текста, рассуждений и выполнения инструкций. Заявлена поддержка английского, китайского, русского, испанского, французского, итальянского, японского, корейского и ряда других языков, включая немецкий, арабский, турецкий, польский, украинский, португальский и финский. Размер базовой модели — 27B параметров; используется формат MLX и 4-битная affine-квантизация с размером группы 64. Размер контекста в README не указан. К сильным сторонам относятся сниженный уровень встроенных ограничений, поддержка многоязычных сценариев и возможность запуска в экосистеме MLX при уменьшенных требованиях к памяти благодаря 4-битной квантизации. По умолчанию reasoning_effort установлен в low, чтобы избежать избыточного обдумывания. Для thinking mode рекомендованы temperature 1.0, top_p 0.95 и top_k 20, а для instruct или non-thinking mode — temperature 0.7, top_p 0.80 и top_k 20. Повышение presence_penalty может уменьшить бесконечные повторы, но иногда приводит к смешению языков и небольшому снижению качества. Лицензия — Apache-2.0.

timteh673/Qwen3.8-27B-Opus-Reasoning-Control-BF16 — мультимодальная модель для диалога и рассуждений, созданная timteh673 на основе Qwen/Qwen3.8-27B. Это дообученный QLoRA-чекпойнт, объединённый с базовой моделью и опубликованный в формате BF16 для Transformers; архитектура Qwen3_5ForConditionalGeneration объединяет текстовую часть на 27 млрд параметров и визуальный энкодер. Модель принимает текст и изображения и выдаёт текст; заявленный предел контекста — 262 144 токена. Вариант служит контрольным чекпойнтом для сравнения с версией Abliterix и резервной моделью семейства, а не официальной базовой моделью Qwen. Он предназначен для многошаговых рассуждений, диалога и анализа изображений. В локальных тестах проекта контрольная версия чаще отказывала на вредоносных запросах и уступила выбранной версии семейства по ряду метрик, но была сильнее на полном наборе задач по коду. Эти результаты не являются официальными бенчмарками и могут не переноситься на другие условия. Модель распространяется по лицензии Apache-2.0; BF16-чекпойнт велик и требует значительной памяти ускорителя.

Guile/Qwen3.8-27B-Uncensored-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный автором Guile. Модель предназначена для генерации текста и запуска в llama.cpp, включая локальный инференс, а также сценарии со speculative decoding и обработкой изображений при использовании vision-файлов. Поведение отказов существенно снижено с помощью метода abliteration на базе Heretic, но не устранено полностью; дополнительное обучение и новые данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Поддерживаются английский и китайский языки. README указывает наличие vision-компонентов, однако применение изображений зависит от поддержки vision tower базовой моделью и совместимости runtime. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ, а также отдельные draft-варианты для speculative decoding. Сохранённая MTP-голова может ускорять генерацию, но после изменения основной модели коэффициент принятия draft-токенов может немного снизиться; на качество проверяемых токенов это не должно влиять. Сильные стороны модели — большой контекст, поддержка текста и изображений в соответствующих сборках, широкий выбор квантизаций и сохранённая MTP-голова. Ограничения включают неполное устранение отказов, требования к значительным ресурсам и зависимость vision- и speculative-decoding-сценариев от возможностей конкретного runtime. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный lactroiii на базе модели Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального запуска через llama.cpp. Поведение отказов существенно снижено, но не устранено; основные возможности, обучающие данные и архитектура базовой модели сохранены. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Заявлена поддержка английского и китайского языков, а также визуального ввода при наличии vision tower в базовой модели. Доступны варианты IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, включая конфигурации со встроенной или отдельной MTP draft-моделью для speculative decoding. К сильным сторонам относятся большое контекстное окно, поддержка текста и изображений, несколько уровней квантизации и сохранённая MTP-голова для потенциального ускорения генерации. Измерения perplexity показывают близкое к f16 качество для большинства вариантов, тогда как IQ2_M заметно уступает остальным. Снижение отказов не является полным и может влиять на профиль безопасности модели. Для использования требуется совместимый runtime, например llama.cpp; лицензия — Apache-2.0.

fallentree/Qwen3.8-27B-Uncensored-GP100-GGUF — это мультимодальная GGUF-сборка модели Qwen3.8-27B с модификацией Uncensored (abliteration). В основе указаны Qwen/Qwen3.8-27B, JonathanColetti/Qwen3.8-27B-Uncensored, mradermacher/Qwen3.8-27B-Uncensored-i1-GGUF и incoai/Qwen3.8-27B-DFlash2. Сборка предназначена для запуска через llama.cpp и оптимизирована разработчиком fallentree для двух видеокарт Tesla P100 с архитектурой Pascal sm_60. Основной файл использует квантизацию Q4_1_G64 примерно на 4,5 бит на вес и занимает около 15 ГиБ; выходная голова хранится в Q8_0, эмбеддинги — в Q4_1, используется calibration imatrix. В комплект входят отдельная DFlash-модель для speculative decoding и vision projector в формате F16, поэтому сборка поддерживает обработку текста и изображений. Заявлены английский и китайский языки, а также контекст до 128K токенов. Для максимальной производительности требуется специальная ветка llama.cpp-gp100 с поддержкой sm_60, LoopSpec и связанных оптимизаций; стандартный llama.cpp не загружает тип Q4_1_G64, но может использовать поставляемый вариант Q4_1. Главное преимущество — оптимизация скорости декодирования и работы с длинными сессиями на Tesla P100: в приведённых тестах G64 быстрее Q4_1 примерно на 10% в обычном режиме и на 4,8% в сценарии с контекстом 128K и компактированием. Ограничения включают зависимость от специализированного программного стека и оборудования sm_60, несовместимость с P40 и видеокартами GTX 10-й серии, а также небольшое ухудшение perplexity и более слабые результаты на коротких запросах по сравнению с Q4_1. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-NInfer — это конверсия модели orcarouter/Qwen3.8-27B, основанной на Qwen/Qwen3.8-27B, в самодостаточный формат .ninfer. Артефакт подготовлен для runtime NInfer-4090 и видеокарты RTX 4090 с архитектурой sm_89; конверсия является только изменением формата развертывания и не включает дополнительное обучение или изменение поведения исходной модели. Разработчик и автор конверсии указаны как pyros-vault. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений и видео через режим Vision. В комплект встроены веса, токенизатор, chat template, конфигурации генерации и ресурсы обработки изображений и видео. Размер модели — 27B параметров; используется смешанная точность и групповая квантизация, включая варианты Q4G64, Q5G64, Q6G64 и W8G32. Поддерживается speculative decoding с MTP на один–пять черновых токенов. В проверенных конфигурациях использовалась емкость контекста 4096 токенов, но фактическое потребление памяти также зависит от KV-состояния, рабочих областей и уровня параллелизма. Сильной стороной является оптимизация под RTX 4090 и возможность существенно ускорить декодирование с MTP: в одном интеграционном тесте был зафиксирован результат 155,42 токена в секунду против 46,68 токена в секунду в базовом режиме. Эти измерения относятся к одному сценарию и не являются универсальным бенчмарком. Артефакт требует совместимого native-сборки NInfer-4090 с целевым Qwen3.8; он не предназначен для Transformers, llama.cpp или сторонних форков NInfer. Заявления об «uncensored» и «abliterated» не подтверждены независимо в рамках этой конверсии. Лицензия — Apache-2.0.

mlx-community/Qwen3-8B-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели Qwen/Qwen3-8B в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для запуска и генерации текста через библиотеку mlx-lm, включая диалоговые сценарии с применением chat template, если он доступен в токенизаторе. Модель имеет 8B параметров; обозначение 4bit указывает на 4-битное представление, ориентированное на более компактное хранение и эффективный запуск. В README не указаны архитектурные детали, поддерживаемые языки, контекстное окно или дополнительные модальности, поэтому эти характеристики нельзя достоверно определить. Сильной стороной является готовая конвертация в формат MLX и возможность использования через стандартный интерфейс mlx-lm; ограничениями могут быть особенности совместимости и качества, связанные с 4-битным представлением, однако конкретные показатели в README не приведены. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README содержит пример загрузки модели и генерации ответа.

mlx-community/Qwen3-8B-8bit — языковая модель для генерации текста, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-8B, созданной командой Qwen. Модель предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm, и может использовать чат-шаблон токенизатора для диалоговых сценариев. Модель представлена в формате MLX и имеет размер 8B с 8-битным представлением, что отражено в её идентификаторе. Поддерживаемая модальность — текст; README не содержит сведений о языках, размере контекста, конкретной архитектуре, результатах тестирования, сильных сторонах или ограничениях. Для работы требуется библиотека mlx-lm; конвертация выполнена с использованием версии 0.24.0. Модель распространяется по лицензии Apache-2.0.

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT-Search-TauSFT-Tau на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Это квантованная сборка Qwen3.8-Flash-Next от ghost-actual на основе объединённой модели orcarouter/Qwen3.8-Flash-Next-Uncensored и Qwen/Qwen3.8-Flash-Next. Сборка в формате EXL3 с эффективной разрядностью около 2,5 бит на вес предназначена для запуска MoE-модели на одной видеокарте с 24 ГБ памяти, используя выгрузку экспертов в оперативную память процессора. Веса занимают около 41,5 ГБ, а вместе с таблицей n-грамм артефакт — около 61 ГБ; для запуска также требуется примерно 59 ГБ оперативной памяти и быстрый NVMe-накопитель. Модель предназначена для диалоговой генерации текста, рассуждений и анализа изображений, включая распознавание текста на изображениях. В ней сохранены vision tower, MTP-голова, таблица PLE n-грамм и контекст до 262 144 токенов. Это сборка с удалённым направлением отказов: она может отвечать на запросы, которые исходная модель отклонила бы, поэтому у неё отсутствует соответствующий уровень защитного выравнивания. Агрессивная квантизация может снижать точность, особенно при сложном извлечении фактов; автор проверил несколько примеров, но не запускал широкие оценки качества. README указывает лицензионные условия Qwen, однако конкретный тип лицензии в метаданных обозначен как other.

AtomicChat/Qwen3.8-Flash-Next-GGUF — квантованная версия модели Qwen3.8-Flash-Next, основанная на оригинальных весах Qwen и подготовленная командой AtomicChat. Модель предназначена для локальной генерации текста и мультимодальных сценариев с обработкой изображений через llama.cpp. Это первый открытый релиз весов архитектуры, лежащей в основе Qwen4. Модель содержит около 177 млрд параметров; примерно 51 млрд из них представлены таблицей n-грамм, а не обычными весами. Доступны сборки GGUF с квантованием от 3,84 до 5,00 бит на вес, причём вариант AD-4.27bpw-Q4_K_M заявлен как оптимальный по соотношению качества и размера. Для него требуется около 92,9 ГБ на SSD и 54,5 ГБ памяти без учёта таблицы n-грамм. В README указан контекст до 32768 токенов, поддержка изображений и скорость около 36 токенов в секунду при генерации на Apple M5 Max; языки явно не перечислены. Сильные стороны модели — возможность локального запуска крупной 176–177B-модели на системах с ограниченной оперативной памятью за счёт размещения таблицы n-грамм на SSD, а также сохранение близкого к более тяжёлой 5-битной сборке качества у варианта AD-4.27bpw. Ограничения включают очень большой объём файлов, необходимость совместимой сборки llama.cpp с поддержкой этой архитектуры и специальные параметры запуска, включая mmap и отключение автоматической подгонки размещения. Для Apple Silicon таблица должна находиться в отдельном GGUF-шарде. Лицензия указана как qwen-community-1.0; ссылка ведёт на лицензию базовой модели Qwen/Qwen3.8-Flash-Next. Дополнительные условия использования в README не раскрыты.

Vontra/Qwen3.8-Flash-Next-MLX-8bit-MTP — конверсия модели Qwen/Qwen3.8-Flash-Next, подготовленная Vontra для Apple Silicon в формате MLX safetensors. Модель предназначена для мультимодальных сценариев с обработкой текста и изображений, включая чат и использование через OpenAI-совместимый API при наличии совместимого runtime. Архитектура представляет собой vision-language модель с разреженной mixture-of-experts архитектурой Qwen4Exp и причинным языковым моделированием. Всего языковая часть содержит около 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно заявлены 51 млрд параметров в hashed bigram/trigram embedding и 4 млрд параметров в блоке native MTP. Модель поддерживает контекст до 262 144 токенов. Применяется равномерная 8-битная affine-квантизация с group size 32, тогда как мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Native MTP включает один draft-блок Qwen4Exp для speculative decoding. Сильными сторонами являются уменьшенный по сравнению с BF16-вариантом объём весов, поддержка длинного контекста и потенциальное ускорение генерации с MTP: в приведённом тесте на Apple M3 Studio скорость выросла с 20,07 до 24,90 токена в секунду. Ограничения включают размер весов около 202,951 ГБ, необходимость runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Приведённые показатели относятся только к генерации текста и могут меняться в зависимости от оборудования и условий запуска. Модель распространяется по Qwen Community License 1.0. Языки, точный перечень разрешённых сценариев и дополнительные ограничения лицензии в README не описаны.

Vontra/Qwen3.8-Flash-Next-MLX-oQ2-MTP — это общественная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и обработки изображений и видео в совместимых vision-language сценариях на устройствах Apple Silicon. Это не официальный релиз Qwen, а квантованная версия, преобразованная из официального BF16-чекпойнта в формат MLX safetensors. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов (MoE), Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и hashed n-gram embeddings. Общее число параметров языковой модели составляет около 125 млрд, активных — около 6 млрд; дополнительно указаны 51 млрд параметров n-gram embedding и 4 млрд параметров native MTP-блока. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий эксперт. Контекст настроен на 262 144 токена и может быть расширен upstream до 1 000 000 токенов. Ключевая особенность — чувствительно-ориентированное смешанное квантование oQ2: базовое представление использует 2-битное affine-квантование с размером группы 32, а отдельные модули — 3, 4, 5, 6 и 8 бит. В чекпойнте сохранён один native MTP draft-блок для speculative decoding. На Apple M3 Studio в тестах скорость генерации составила 26,1398 токена в секунду без MTP и 25,9290 токена в секунду с MTP глубины 3; в данном тесте MTP снизил производительность на 0,81%, поэтому рекомендуется отключать его по умолчанию. Для запуска требуется runtime с явной поддержкой qwen4_exp и native MTP; без такой поддержки загрузка может завершиться ошибкой. Модель распространяется по лицензии Qwen Community License 1.0. Размер весов составляет около 70,782 ГБ, поэтому необходимы значительные объёмы памяти и совместимое оборудование. README не содержит полного описания ограничений исходной модели и предупреждает, что результаты производительности зависят от длины запроса, размера контекста, состояния кэша, версии runtime, нагрузки на память и температуры устройства.

Qwen3.8-Flash-Next-Uncensored-NVFP4 — квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и опубликованной OrcaRouter. Это мультимодальная Mixture-of-Experts-модель для работы с текстом и изображениями, рассуждений, вызова инструментов, функционального вызова, исследовательского red-teaming и анализа механизмов отказа моделей. Модель представляет preview-архитектуры Qwen4 и поддерживает английский и китайский языки. Архитектура включает 512 экспертов, из которых для каждого запроса активируются 10 маршрутизируемых и 1 общий эксперт, Gated DeltaNet linear attention, Qwen Sparse Attention, HyperConnections и PLE n-gram embeddings. Экспертные веса сжаты в NVFP4 с точностью 4 бита, attention и общие экспертные веса — в FP8, а отдельные компоненты, включая эмбеддинги, vision tower и нормализации, сохранены в bf16. Размер хранения сокращён примерно с 330 ГБ в bf16 до 178 ГБ; KV-кэш во время работы остаётся в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении полноточных путей в важных компонентах, а также встроенная поддержка vision, reasoning и tool calling. Ограничения включают необходимость GPU с архитектурой Blackwell и FP4 tensor cores; Hopper и более старые GPU не поддерживаются. Для запуска нужны свежие версии vLLM с архитектурой qwen4_exp и compressed-tensors NVFP4, а мультимодальный режим зависит от поддержки vision-стека Qwen. Из модели удалена значительная часть safety alignment методом abliteration, поэтому она может выполнять вредоносные или незаконные запросы, от которых исходная модель отказалась бы. Модель предназначена только для легитимных исследований; перед практическим развёртыванием необходимы собственные фильтры безопасности и модерация. Лицензия — Apache 2.0, унаследованная от базовой модели.

Qign Qwen3-VL-8B-Instruct-abliterated-v2-GGUF — это GGUF-версия мультимодальной модели prithivMLmods, основанной на Qwen3-VL-8B-Instruct от Alibaba. Модель содержит около 8 млрд параметров и предназначена для задач image-text-to-text: анализа изображений, подробного описания визуального содержимого, следования инструкциям и мультимодального рассуждения. Доступны варианты квантования от Q2_K до Q8_0, а также F16; размер файлов составляет примерно от 3,28 до 16,4 ГБ, отдельно предоставляются мультимодальные проекционные файлы mmproj в форматах Q8_0 и F16. Заявлены поддержка механизма Interleaved-MRoPE, контекста длиной до 262 тысяч токенов, OCR на 32 языках, различных разрешений и соотношений сторон, видео и сложных макетов. Основным языком считается английский, при этом заявлена возможность мультиязычного использования. Вариант abliterated модифицирован для снижения или удаления отказов и защитных ограничений базовой модели, что может быть полезно для исследований безопасности, red-teaming, творческих и технических сценариев, но одновременно повышает риск генерации нежелательного, небезопасного или неточного контента. Для запуска рекомендуются инструменты llama.cpp, Transformers или vLLM; требования к памяти зависят от выбранного варианта квантования. Модель распространяется по лицензии Apache-2.0.