I.14Автоматизация процессов и AI-агенты

bunnycore/Llama-3.2-3B-TitanFusion-v2 — текстовая языковая модель, созданная слиянием нескольких предварительно обученных моделей семейства Llama 3.2 с помощью mergekit и метода TIES. В качестве базовой использована unsloth/Llama-3.2-3B; в слияние также вошли модели с уклоном в программирование и рассуждения. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Заявленная длина контекста — 131 072 токена. В карточке не приведены сведения о специальных языковых или предметных ограничениях, а также о лицензии, поэтому их нельзя уточнить по доступным данным.

Llama-3-8B-Instruct-Coder-v2-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Coder-v2. Базовая модель указана как NousResearch/Meta-Llama-3-8B-Instruct, оригинальная модель разработана rombodawg, а квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель относится к текстовым генеративным моделям и ориентирована на работу с инструкциями и задачами программирования, включая генерацию и обработку кода. Заявленный язык — английский. Доступны варианты с разными уровнями квантизации: от Q8_0 размером 8,54 ГБ до IQ2_XXS размером 2,39 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS отмечены как рекомендуемые; более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Файлы предназначены для запуска через llama.cpp и используют специальный шаблон запросов Llama 3. В README не указаны точный размер контекстного окна, архитектурные детали сверх принадлежности к семейству Llama 3, результаты тестирования и поддержка других языков. Лицензия — Apache-2.0.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF — это квантизированная версия Gradient Llama-3-8B-Instruct-Gradient-1048k в формате GGUF, созданная с использованием llama.cpp. Базовая модель разработана Gradient на основе Meta Llama 3 8B Instruct; исходное семейство Llama 3 разработано Meta. Модель предназначена для генерации текста и кода, диалоговых сценариев, создания ассистентов и обработки очень больших текстовых документов. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention, содержит около 8 млрд параметров и работает только с текстом на входе и выходе. Заявленное контекстное окно расширено с 8 тысяч до более чем 1,04 млн токенов. Расширение выполнено с помощью оптимизации RoPE theta, NTK-aware interpolation и последовательного обучения на контекстах длиной 65K, 262K, 524K и 1048K токенов. В README указан английский язык, а для обучения длинного контекста использовались данные на основе SlimPajama. Ключевое преимущество модели — сочетание относительно компактного размера, формата GGUF для использования в экосистеме llama.cpp и поддержки сверхдлинного контекста, что может быть полезно при анализе крупных документов и длинных последовательностей. Ограничения включают текстовую модальность, отсутствие подробных результатов оценки качества и конкретных характеристик квантизации в представленном README, а также возможное снижение точности по сравнению с полной или менее квантизированной версией. В качестве лицензии указана llama3.

Meta Llama 3 70B Instruct — разработанная Meta инструкция-настроенная большая языковая модель для диалоговых сценариев. Это авторегрессионный плотный трансформер Llama с Grouped-Query Attention, примерно 69,5 млрд параметров и контекстом 8192 токена. Модель принимает текст и генерирует текст, включая код; карточка указывает английский как целевой язык. Модель подходит для диалогового помощника и генерации текста или кода. Настроенная версия обучена с помощью supervised fine-tuning и обучения с подкреплением на основе человеческих предпочтений (RLHF), с акцентом на полезность и безопасность. Репозиторий распространяет веса в формате safetensors; заявлена пользовательская коммерческая лицензия Meta Llama 3, условия которой необходимо соблюдать. Модель не предназначена для использования на языках, отличных от английского, согласно указанному назначению; для ответственного развертывания могут потребоваться дополнительные меры безопасности.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.

Карточка модели Alexhuou/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой thenlper/gte-large, поэтому описание составлено по ней. gte-large — модель текстовых эмбеддингов General Text Embeddings, разработанная Alibaba DAMO Academy на основе архитектуры BERT и обученная контрастивным обучением на крупном корпусе пар текстов с оценками релевантности. Она преобразует английские тексты в векторы размерностью 1024 и предназначена для поиска информации, сравнения семантической близости и ранжирования текстов. Модель применима в поисковых системах, семантическом сопоставлении предложений и других задачах, использующих текстовые эмбеддинги. В тесте MTEB для gte-large указана средняя оценка 63,13 по 56 задачам. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Модель рассчитана только на английский язык. Лицензия — MIT.

Карточка модели artdev99/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой artdev99/MNLP_M3_document_encoder, поэтому описание составлено по ней. artdev99/MNLP_M3_document_encoder — модель для кодирования предложений и коротких абзацев в плотные векторы размерностью 384, отражающие их семантику. Это форк all-MiniLM-L6-v2, дообученный на базе nreimers/MiniLM-L6-H384-uncased с контрастивной целью на более чем миллиарде пар предложений. Модель использует архитектуру BERT и библиотеку Sentence Transformers; число параметров — 25,9 млн. Векторы подходят для семантического поиска, оценки сходства предложений и кластеризации. Модель принимает текст и выдаёт векторные представления; в README указано усечение входа длиннее 256 word pieces, а контекстное окно по метаданным составляет 512 токенов. В карточке заявлен английский язык. Модель распространяется по лицензии Apache-2.0.

tasksource/ModernBERT-base-embed — англоязычная модель Sentence Transformers, дообученная на базе answerdotai/ModernBERT-base для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, оценки сходства и обнаружения перефразировок. Модель также подходит для кластеризации и классификации текста с использованием эмбеддингов. Архитектура состоит из ModernBertModel и слоя пулинга по CLS-токену. Максимальная длина входной последовательности — 8192 токена; сходство векторов можно оценивать косинусной мерой. Модель обучалась на наборах данных для поиска ответов, естественного следования, сходства предложений и выявления перефразировок. В первую очередь рассчитана на английский язык. Сведения о лицензии в предоставленных данных отсутствуют.

Карточка модели linhha2705/multilingual-e5-nutrition на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

SeanLee97/mxbai-embed-large-v1-nli-matryoshka — модель на базе BERT, созданная для преобразования предложений и абзацев в плотные векторные представления. Её можно применять для семантического поиска и кластеризации текстов; метаданные также указывают поддержку оценки сходства предложений. Модель содержит около 433,9 млн параметров и принимает последовательности длиной до 512 токенов. Обучение использует MatryoshkaLoss с MultipleNegativesRankingLoss и размерами представлений от 64 до 3072 измерений, что позволяет выбирать векторы разной размерности. Модель распространяется в форматах PyTorch и Safetensors. В README не указаны языки обучения или лицензия.

OrcaDB/mxbai-large — текстовая модель эмбеддингов предложений из семейства Mixedbread mxbai-embed-large-v1. Она преобразует предложения и фрагменты текста в векторы для поиска, сравнения семантической близости и других задач векторного поиска. Архитектура — плотная модель на базе BERT с 433,9 млн параметров и контекстом до 512 токенов. Модель рассчитана прежде всего на англоязычный текст. Для поисковых запросов при retrieval следует добавлять префикс «Represent this sentence for searching relevant passages:»; для остальных входов специальный префикс не требуется. Поддерживаются Matryoshka Representation Learning и бинарное квантование, позволяющие сокращать размерность и объём хранения эмбеддингов. README сообщает о сильных результатах на MTEB для моделей размера BERT-large. Модель опубликована по лицензии Apache-2.0. Карточка отмечает, что у версии есть ограничения, которые планировалось устранить в v2, но конкретные ограничения не перечисляет.

Abenzerps/Nex-N2.5-mini-MLX-4bit — это 4-битная конверсия модели Nex-N2.5-mini, разработанной Nex AI и опубликованной организацией nex-agi. Модель предназначена для локального запуска задач генерации текста, программирования, рассуждений и работы с длинным контекстом через библиотеку MLX и инструменты mlx-lm. Модель использует разреженную архитектуру MoE и поддерживает текстовую модальность. Заявлены английский и китайский языки, а исходный чекпойнт рассчитан на контекст до 262 144 токенов (256K). Веса представлены в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; объём релиза составляет около 19,53 ГБ. В комплект входят веса генерации текста и токенизатор. К сильным сторонам относятся возможность локального инференса, сниженные требования к хранению по сравнению с полноразмерными весами и поддержка очень длинного контекста. Ограничения релиза заключаются в отсутствии MTP-весов и vision projector, поэтому он не предназначен для мультимодальной обработки изображений. В README приведены результаты бенчмарков исходной модели, но подробные численные показатели не указаны. Лицензия — Apache-2.0.

Англоязычная модель эмбеддингов на базе ModernBERT, подготовленная mlx-community для запуска в формате MLX. Репозиторий описывает конвертацию модели nomic-ai/modernbert-embed-base; метаданные связывают её с answerdotai/ModernBERT-base и nomic-ai/modernbert-embed-unsupervised. Модель содержит 149 млн параметров и рассчитана на входной контекст до 8192 токенов. Она предназначена для получения векторных представлений текста, вычисления сходства предложений и семантического поиска. Её можно использовать для поиска похожих фрагментов, группировки текстов и построения retrieval-компонентов. Указанная лицензия — Apache-2.0. README подтверждает конвертацию в MLX, но не уточняет, каким способом получена 6-битная точность.

nq-distilbert-base-v1 — модель Sentence-Transformers, обученная командой sentence-transformers на базе DistilBERT. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. В метаданных указаны библиотека Sentence-Transformers, поддержка PyTorch, TensorFlow, ONNX и OpenVINO, а также контекст до 512 токенов. Модель подходит для построения семантического поиска и группировки текстов по смысловой близости. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Карточка не уточняет поддерживаемые естественные языки; качество для конкретного языка и предметной области следует проверять отдельно.

OpenChat-3.6-8B-20240522 — диалоговая языковая модель команды OpenChat, созданная дообучением Meta-Llama-3-8B с использованием смешанных по качеству данных и метода C-RLFT. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 7,5 млрд параметров и контекст до 8192 токенов; веса доступны в формате safetensors, для работы используется библиотека Transformers. Модель предназначена для чата, генерации текста и кода, а также общих задач по умолчанию. Авторы рекомендуют использовать шаблон диалога OpenChat и предлагают сервер с совместимым с OpenAI ChatCompletion API интерфейсом; в README заявлена возможность запуска на потребительском GPU с 24 ГБ памяти. Карточка сообщает о сравнении с Llama-3-8B-Instruct и другими открытыми моделями, но не приводит здесь независимой оценки качества. Лицензия — Llama 3; применяются её условия использования.

bunsenfeng/parti_19_full — языковая модель для генерации текста и диалогового взаимодействия, опубликованная на Hugging Face. По метаданным она относится к семейству Qwen2, содержит около 7,1 млрд параметров и предназначена для использования через библиотеку Transformers с форматом safetensors. Модель подходит для чат-ботов, генерации ответов, продолжения текста и других сценариев, где требуется autoregressive text generation. Она поддерживает контекст до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и фрагменты переписки. README не содержит сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии и рекомендуемых ограничениях использования. Поэтому модель следует предварительно проверять на качество, безопасность, устойчивость к галлюцинациям и соответствие требованиям конкретного применения.

Карточка модели Justbackup/phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

ShayanCyan/phi4-multimodal-quantisized-gguf — это набор предварительно сконвертированных GGUF-весов модели microsoft/Phi-4-multimodal-instruct, подготовленный для локального запуска через специализированную ветку llama.cpp. Репозиторий содержит квантизированную языковую модель phi4-mm-Q4_K_M.gguf и отдельный мультимодальный проектор phi4-mm-omni.gguf с визуальным энкодером на основе SigLIP/Navit-style и аудиоэнкодером Conformer. Нового обучения или новых обучающих данных набор не добавляет. Модель предназначена для локального инференса, исследований, экспериментов и создания прототипов агентов, работающих с текстом, изображениями и аудио. Она поддерживает следование инструкциям, рассуждения, программирование и многоходовой диалог, визуальные вопросы и ответы, создание описаний изображений, анализ документов и графиков, а также автоматическое распознавание речи, перевод с английского на французский и суммаризацию аудио при наличии соответствующего Conformer-пути. Заявленные языки: английский, урду, немецкий, испанский, турецкий, французский и итальянский. Основная языковая модель использует 4-битную групповую квантизацию Q4_K_M, тогда как мультимодальный проектор хранится в F16/F32 для сохранения качества работы с изображениями и аудио. Для запуска требуются совместимые возможности llama.cpp и одновременное подключение языковой модели и mmproj-файла. К преимуществам относятся локальная работа, поддержка нескольких модальностей и снижение требований к памяти за счёт квантизации. Ограничения включают возможные галлюцинации и ошибки интерпретации; модель не следует применять для медицинских, юридических или критически важных решений без проверки человеком. Использование регулируется лицензией phi4-model-license от Microsoft; необходимо соблюдать условия исходной лицензии.

LIF1014/ptdbench-Llama-3.2-1B-Instruct — текстовая инструктивная модель семейства Llama 3.2, разработанного Meta. Это авторегрессионный трансформер с плотной архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель предназначена для диалогов с ассистентом, генерации текста и сценариев с агентным поиском и суммаризацией. Поддерживает текст на входе и выдаёт текст, включая код. Контекстное окно — 131 072 токена. Модель работает с английским, немецким, французским, итальянским, португальским, хинди, испанским и тайским языками. Небольшой размер подходит для развёртывания в средах с ограниченными ресурсами, в том числе на мобильных устройствах. Знания модели ограничены данными обучения со срезом до декабря 2023 года; качество и безопасность могут уступать более крупным моделям, поэтому ответы следует проверять в критичных сценариях. Использование регулируется пользовательской лицензией Llama 3.2 Community License и связанными условиями Meta.

unsloth/Qwen2.5-14B — 14-миллиардная плотная авторегрессионная языковая модель семейства Qwen2.5, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-14B. Она предназначена для генерации и продолжения текста; базовая модель особенно подходит для дальнейшего постобучения, а карточка не рекомендует использовать базовые языковые модели непосредственно для диалогов. Архитектура использует RoPE, SwiGLU, RMSNorm и grouped-query attention; контекст составляет до 131 072 токенов. Модель поддерживает многоязычную генерацию, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Семейство Qwen2.5 заявлено как улучшенное в программировании, математике, следовании инструкциям, работе с длинными текстами и структурированными данными, однако эти характеристики в README описаны для семейства в целом и не подтверждены отдельной оценкой данного чекпойнта. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0.

Карточка модели ripgermany/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

TeichAI/Qwen3-14B-DeepSeek-v3.2-Speciale-Distill — плотная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на наборах рассуждений DeepSeek v3.2 Speciale. Она предназначена для генерации текста в диалоге, решения математических задач, программирования и исследовательских запросов. Модель принимает текст и выдаёт текст; метаданные указывают контекст до 40 960 токенов и поддержку интерфейса вызова инструментов. Модель основана на unsloth/Qwen3-14B и распространяется в формате safetensors. В карточке перечислены обучающие наборы OpenCodeReasoning, 1000x и openr1-math. Указаны английский язык и лицензия не приведена в предоставленных данных. Возможности и качество рассуждений, кодирования и вызова инструментов независимо не подтверждены.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — квантизированная GGUF-версия модели на базе Qwen3.5-9B, разработанная автором bernquant совместно с Nightmedia. Модель создана в результате многоэтапного дообучения и слияния нескольких fine-tune-моделей на локальном оборудовании. Она ориентирована на повышение общего интеллекта, следование инструкциям, рассуждения, программирование, творческое письмо, художественную литературу, ролевые сценарии и другие универсальные задачи. Заявлена как полностью uncensored и heretic-модель с ослабленным отказом от запросов. Модель поддерживает английский и китайский языки, имеет контекстное окно до 256 тысяч токенов и активированную обработку изображений. Для работы с vision требуется отдельный файл mmproj. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction; NEO Imatrix-квантизация заявлена как улучшающая точность, особенно в длинном контексте. MTP-варианты могут обеспечивать более высокую скорость генерации, но чувствительны к температуре, repetition penalty и уровню token acceptance; при низком acceptance обычная версия может работать быстрее. Сильными сторонами заявлены компактный размер 9B, высокая производительность на ряде тестов, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность локального запуска в стандартных приложениях с поддержкой GGUF. Приведённые бенчмарки показывают высокие результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако автор отдельно отмечает, что превосходство над более крупными моделями не гарантируется для всех задач. Ограничениями являются зависимость скорости и качества от выбранной квантизации и оборудования, необходимость отдельного mmproj для изображений и возможное снижение эффективности MTP при неподходящих параметрах. Лицензия — Apache-2.0.

btbtyler09/Qwen3.6-27B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия модели Qwen/Qwen3.6-27B, разработанной командой Qwen. Модель представляет собой плотную мультимодальную систему примерно с 27 млрд параметров, предназначенную для генерации и понимания текста, работы с изображениями и ускоренного вывода с использованием MTP (Multi-Token Prediction). Контрольная точка опубликована с лицензией Apache-2.0. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, чередующихся в соотношении 3:1. Размер скрытого представления составляет 5120, размер промежуточного слоя — 17408, максимальная длина контекста — 262 144 токена. В состав входят полноразмерный 27-блочный ViT-энкодер для обработки изображений и MTP-модуль для speculative decoding. Языки и специализированные языковые возможности отдельно не указаны. Линейные модули текстового декодера квантизованы в INT8 с помощью GPTQ, тогда как vision-энкодер, MTP, эмбеддинги, нормы и выходная голова сохранены в BF16 или FP16. Размер модели составляет около 32 ГБ вместо примерно 50 ГБ в BF16. По заявленным измерениям, ухудшение perplexity на wikitext-2-raw-v1 составляет всего 0,07%, что указывает на близкое к исходному качество. Модель подходит для мультимодального сервинга и длинного контекста, однако для запуска рекомендуется vLLM; прямое использование через GPTQModel и transformers на момент публикации не поддерживается, а для некоторых версий vLLM может потребоваться исправление ошибки разбора конфигурации.

Qwen3.6-27B-Text-NVFP4-MTP (GGUF) — производная текстовая сборка Qwen3.6-27B, подготовленная для запуска через llama.cpp на NVIDIA DGX Spark. Разработчик убрал модуль обработки изображений и квантовал веса в NVFP4 с помощью nvidia-modelopt; голова MTP сохранена в BF16 для спекулятивного декодирования. Репозиторий также объединяет эту сборку с Qwen3.6-27B и sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP. Модель предназначена прежде всего для программирования и рассуждений в платформе .init: она подходит для помощи при разработке ПО, анализа кодовых баз и работы с длинными техническими документами. README заявляет контекст до 128K токенов и скорость около 40 токенов в секунду на DGX Spark при коротком контексте и включённом спекулятивном декодировании; для длинного контекста указано около 25–35 токенов в секунду. Это показатели для конкретной конфигурации оборудования и настроек. Это текстовая модель с поддержкой чата; обработка изображений отключена. README описывает английский язык, но не подтверждает поддержку других языков. Лицензия — Apache-2.0. Сборка ориентирована на llama.cpp и DGX Spark; заявленные характеристики скорости и использования памяти зависят от оборудования и параметров запуска.

Qwen3.6-35B-A3B-MTP-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает тип данных для каждого тензора, чтобы сохранять качество при малой разрядности. Модель поддерживает Multi-Token Prediction (MTP), позволяющую предсказывать несколько токенов за один проход и ускорять декодирование за счёт спекулятивного принятия совпадающих токенов. Модель предназначена для GPU-инференса в llama.cpp и поддерживает работу с изображениями и текстом; для загрузки визуального проектора используется параметр --mmproj-auto. MTP особенно полезен при автодополнении кода, генерации структурированных ответов и повторяющегося контента, тогда как для творческой или нетипичной генерации ускорение может быть ниже. Варианты имеют размер от 10 до 18,6 ГБ и используют квантизации IQ2_S, IQ3_S и IQ4_XS с разрядностью 2,25–4,19 бит на вес. Базовая модель имеет 35B параметров и архитектуру, обозначенную как 35B-A3B; другие характеристики, включая языки и размер контекста, в README не указаны. MTP-голова встроена в GGUF, поэтому отдельная draft-модель не требуется, но нужен свежий выпуск llama.cpp с поддержкой draft-mtp. Производительность зависит от конкретной видеокарты и нагрузки; для большинства сценариев рекомендуется предсказывать на 2–4 токена вперёд. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored-W4A16-AutoRound — это 40-миллиардная языковая модель для генерации текста, кода, рассуждений и творческих ответов. Она основана на модели DavidAU Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored и квантизирована с помощью Intel AutoRound. Заявлены языки английский, китайский, русский, украинский, греческий и иврит; модель поддерживает текстовую генерацию и визуальную башню, однако подробности мультимодального применения в README не описаны. Используется схема W4A16: 4-битные веса и 16-битные активации, размер группы 64, симметричная квантизация. Размер модели составляет около 38 ГБ против примерно 80 ГБ в BF16. Архитектура гибридная: 72 слоя линейного внимания Gated DeltaNet с Mamba SSM и 24 слоя полного внимания; сохранены MTP-компоненты для многотокенного предсказания и speculative decoding. Для запуска рекомендуются vLLM или SGLang, при этом в примерах указан контекст до 32768 токенов. Для квантизации использовалась длина последовательности 2048. По данным README, модель ориентирована на программирование, математические и логические задачи, рассуждения, длинные ответы и творческое письмо, включая русскоязычные тексты. Заявлены скорость около 35–47 токенов в секунду, рабочий MTP=3 в vLLM и возможность запуска на нескольких GPU, например двух ускорителях по 24 ГБ. Ограничения включают высокие требования к памяти, необходимость много-GPU конфигурации для комфортной работы, зависимость производительности от контекста и принятия MTP-токенов, а также обязательный batch size 1 при квантизации из-за особенностей гибридного внимания. Для SGLang MTP не работает при pipeline parallelism с PP=3. Лицензия модели наследуется от базовой модели; для AutoRound в README указана Apache-2.0. Отдельная лицензия базовой модели явно не приведена, поэтому условия коммерческого и иного использования следует уточнять в её репозитории.

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp. Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись. Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста. Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

Qwen3.8-27B-Opus-Distill-v2-FP8 — это квантизированная версия модели barozp/Qwen3.8-27B-Opus-Distill-v2, опубликованная пользователем или организацией barozp. Модель предназначена для задач рассуждения и мультимодального общения с текстом и изображениями; в карточке также заявлена поддержка MTP и speculative decoding. Она распространяется в формате, совместимом с Transformers, и основана на архитектуре Qwen3.8 с 27 млрд параметров, однако точные сведения о контекстном окне и поддерживаемых языках не указаны. В модели используется блочная FP8-квантизация E4M3 с блоками 128×128 и динамическим масштабированием активаций. Квантизируются главным образом веса, без калибровочного набора данных; vision tower, MTP head, нормализующие и gate-слои, embedding-слои и отдельные параметры Gated-DeltaNet сохраняются в исходной точности. Размер checkpoint составляет примерно 31 ГБ против около 55 ГБ у исходной BF16-версии. По представленным тестам, снижение качества на MMLU, HellaSwag и ARC-Challenge находится в пределах статистической погрешности. Сильные стороны модели — существенно меньший размер, поддержка native FP8 на совместимом оборудовании и близкое к BF16 качество на проверенных задачах. Ограничения связаны с требованиями к программному окружению и аппаратуре: для native FP8 в Transformers требуется специальный FP8 kernel, а некоторые сценарии MTP и sampling на Blackwell могут быть ограничены проблемами flashinfer. На A100 модель автоматически вычисляется через BF16 после де-квантизации. Лицензия — Apache-2.0.

Это квантизированная версия модели Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, опубликованная esatapedico и созданная на основе модели DavidAU, которая, в свою очередь, происходит от Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и развёртывания через vLLM или совместимые движки serving compressed-tensors. Настройка TWIN-TURBO ориентирована на сокращение числа токенов рассуждений при сохранении сопоставимого качества ответов. Модель использует архитектуру Qwen3_5ForCausalLM с 64 слоями, гибридной GatedDeltaNet, 16 полными attention-слоями, MTP head для speculative decoding и контекстом до 262144 токенов. Поддерживается генерация на английском языке и, согласно метаданным, мультиязычные сценарии. Контрольная точка имеет размер около 19 ГБ и поставляется в формате compressed-tensors nvfp4-pack-quantized. Квантизация выполнена по схеме W4A16 с группами размера 16, FP8 E4M3-масштабами и только для весов; калибровочные данные не использовались. Ключевые компоненты, включая lm_head, vision tower, MTP head и отдельные элементы DeltaNet, сохранены в BF16. Сильными сторонами являются существенное уменьшение размера весов, совместимость с vLLM, сохранение мультимодального vision tower и MTP-компонента, а также возможность работы с длинным контекстом. Ограничения связаны с зависимостью от поддержки compressed-tensors NVFP4 в serving-движке и особенностями конфигурации: заявлена проверка при tensor parallel 2 и контексте 2048 токенов, а FP8 KV-cache включается параметром запуска, а не хранится в контрольной точке. Модель распространяется по лицензии Apache-2.0.