I.14Автоматизация процессов и AI-агенты

AIDA-UPM/MSTSb_paraphrase-xlm-r-multilingual-v1 — модель на базе XLM-RoBERTa, опубликованная AIDA-UPM и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и сравнения сходства предложений. В метаданных указано 305,2 млн параметров и контекстное окно 514 токенов; веса доступны в формате PyTorch. Модель обучалась с CosineSimilarityLoss. Для работы требуется корректное объединение контекстных представлений токенов с помощью pooling; Sentence-Transformers предоставляет готовый способ использования. Карточка не указывает лицензию, поэтому условия распространения здесь описать нельзя.

srikarvar/multilingual-e5-small-pairclass-contrastive — дообученная модель Sentence Transformer на базе intfloat/multilingual-e5-small. Она кодирует предложения и абзацы в плотные векторы размерности 384; для сравнения векторов используется косинусное сходство. Архитектура включает BERT, усреднение токенных представлений и нормализацию; максимальная длина входа — 512 токенов. Модель предназначена для оценки семантического сходства пар текстов, семантического поиска и поиска перефразирований. Эмбеддинги также можно использовать для кластеризации и классификации текста. В README приведены результаты бинарной классификации на наборах pair-class-dev и pair-class-test; обучение проведено с ContrastiveLoss на 296 парах. Многоязычность унаследована от базовой multilingual-e5-small, однако конкретные поддерживаемые языки в доступных данных не перечислены. Лицензия в предоставленных данных не указана.

Модель h4g3n multilingual-MiniLM-L12-de-en-es-fr-it-nl-pl-pt — компактная модель эмбеддингов предложений на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. По данным карточки, это дистиллированный вариант с четырьмя слоями внимания, обученный сохранять согласованное векторное пространство для семи языков; метаданные указывают архитектуру BERT и около 105,5 млн параметров. Модель преобразует предложения и абзацы в плотные векторы размерности 384 и подходит для семантического поиска, сравнения сходства и кластеризации текстов. Модель принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 512 токенов. Поддерживаются немецкий, английский, испанский, французский, итальянский, нидерландский, польский и португальский языки. Репозиторий распространяет веса в формате safetensors; лицензия в предоставленных данных не указана.

marianodo/MultipleNegativesRankingLoss — модель Sentence Transformers на архитектуре MPNet, преобразующая предложения и абзацы в плотные векторы размерностью 768. Она обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством и предназначена для сравнения смысловой близости текстов. Модель подходит для семантического поиска, кластеризации и получения текстовых эмбеддингов. В метаданных указаны 136,7 млн параметров, контекст до 514 токенов и формат PyTorch. Лицензия в предоставленных данных не указана.

Модель celik-muhammed/multi-qa-mpnet-base-dot-v1-finetuned-dtc-zoomcamp — дообученная модель Sentence Transformers на архитектуре MPNet, разработанная Muhammed Celik. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу и кластеризации. В обучении использовались MultipleNegativesRankingLoss и OnlineContrastiveLoss с косинусным сходством. Модель содержит 136,7 млн параметров, принимает текст и формирует векторные представления; заявленная длина контекста — 514 токенов. Доступны форматы PyTorch, Safetensors и TFLite. Лицензия в предоставленных данных не указана.

MyAwesomeModel — модель семейства BERT от пользователя bench-induction-ai на Hugging Face, помеченная для извлечения признаков. Метаданные указывают архитектуру BertModel, библиотеку Transformers, формат PyTorch и лицензию MIT. Это позволяет использовать её для получения векторных представлений текста и последующих задач классификации или поиска.

MyAwesomeModel-TestRepo — модель на базе BERT от автора qf-iquest, опубликованная на Hugging Face. Метаданные указывают задачу извлечения признаков, библиотеку Transformers и формат PyTorch; лицензия — MIT. Модель предназначена для получения признаковых представлений текста, например для последующей обработки в NLP-системах. В карточке и метаданных нет надёжных сведений о размере модели, длине контекста, языковой поддержке или конкретных сценариях применения. Название репозитория указывает на тестовый характер, а результаты поиска содержат противоречивые описания, поэтому заявления о рассуждениях, генерации текста и бенчмарках нельзя считать подтверждёнными.

sapidlabs подготовила разреженную MoE-версию языковой модели NVIDIA Nemotron-3-Nano-30B-A3B: методом REAP удалена половина маршрутизируемых экспертов, по 64 из 128 в каждом MoE-слое. Это сокращает объём модели примерно с 59 до 32 ГБ; число активируемых экспертов на токен осталось равным шести, поэтому основной выигрыш — в размере и потреблении памяти, а не в скорости генерации. Модель использует архитектуру Nemotron-H с классом NemotronHForCausalLM, поддерживает чат и имеет контекст до 262 144 токенов. Модель предназначена для генерации текста, диалогов, задач программирования и рассуждений. Прунинг выполнен без повторного обучения с калибровкой на 256 примерах из набора evol-codealpaca-v1, поэтому лучше всего подтверждены сценарии, близкие к коду и рассуждениям. Формальные бенчмарки не проводились; возможна потеря качества относительно исходной модели, особенно за пределами калибровочных данных. Для запуска доступны веса safetensors через Transformers; для ускоренного пути Mamba требуются mamba-ssm и causal-conv1d. Лицензия указана как other; дополнительных условий README не приводит.

annazdr/new-nace-pl-up-3 — модель на базе BERT, опубликованная в формате sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 124,3 млн параметров, принимает текстовые входы, а максимальная длина контекста составляет 512 токенов. При обучении использовалась функция BatchAllTripletLoss. Модель подходит для построения эмбеддингов и сравнения текстов; сведений о поддерживаемых языках, лицензии и оценках качества в предоставленных данных нет.

NV-Embed-v1 — англоязычная модель эмбеддингов от NVIDIA на базе decoder-only LLM Mistral-7B-v0.1. Она преобразует запросы и тексты в векторы размерностью 4096 для поиска и других задач сравнения и анализа текста. Модель использует pooling с latent attention и двухэтапную настройку инструкциями. В README сообщается о результатах на бенчмарке MTEB по 56 задачам, включая поиск, ранжирование, классификацию, кластеризацию и семантическое сходство; также указаны результаты AIR-Bench QA для английского языка и Long-Doc. Для доступа к репозиторию требуется аутентификация Hugging Face. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для получения эмбеддингов и поддерживает задачи извлечения признаков и сравнения предложений; в каталоге файлов указан формат safetensors.

NVLM-D-72B — мультимодальная модель NVIDIA из семейства NVLM 1.0 для задач с изображениями и текстом, а также для текстовых задач. Это decoder-only Transformer с 72-миллиардной языковой основой Qwen2-72B-Instruct и визуальным энкодером InternViT-6B; в репозитории используются веса Safetensors и библиотека Transformers. Модель принимает текст и изображения и формирует текстовые ответы. Контекст — до 128 тысяч токенов. Модель предназначена для визуальных вопросов и ответов, OCR, анализа документов и диаграмм, мультимодальных рассуждений, локализации объектов, а также задач на общие знания, здравый смысл и программирование. В карточке приведены результаты на мультимодальных и текстовых бенчмарках; также заявлено улучшение текстовых возможностей относительно языковой основы после мультимодального обучения. Модель рассчитана на некоммерческое использование и распространяется по лицензии CC BY-NC 4.0. Для инференса в README указаны PyTorch, Linux и оборудование NVIDIA Hopper; загрузка модели и многопроцессный инференс требуют значительных вычислительных ресурсов. Генерация изображений не поддерживается, а результаты могут немного различаться в зависимости от версий Transformers, CUDA и Docker.

Occamy-1.0 APEX-I-MiniPlus-V2-GGUF — это квантованная мультимодальная версия модели Occamy-1.0, разработанной Accio-Lab и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, математических и логических задач, а также анализа изображений и оптического распознавания документов. В основе используется архитектура Qwen3_5MoeForConditionalGeneration с гибридным механизмом внимания, включающим рекуррентные слои DeltaNet и 256 микроэкспертов. На каждый токен активируется примерно 3,2 млрд параметров. Основной файл занимает 14,62 GB, или 13,62 GiB, и использует схему квантования с показателем 3,38 BPW. В комплект входит отдельный vision projector mmproj в формате Q8_0 размером 614 MB. Заявлена поддержка контекста до 256K токенов и работы в пределах 24 GB VRAM. Модель ориентирована на английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. К сильным сторонам относятся сохранение F32 router gates, повышенная точность token output head за счёт Q6_K, защита attention gates в Q8_0 и использование не менее 3-битного квантования для ключевых экспертных блоков. Такая настройка должна обеспечивать лучшее качество и устойчивость по сравнению с плоскими 3-битными квантованиями и общими сборками APEX-I-Mini, особенно в задачах рассуждения и при работе с длинным контекстом. Ограничения связаны с потерями качества, присущими квантованной версии, значительными требованиями к памяти и необходимостью совместимого ПО, например llama.cpp. В README указана лицензия Apache-2.0.

Карточка модели JSCreatorPro/offline-cpu-e5-large-v2 на Hugging Face совпадает с карточкой intfloat/e5-large-v2, поэтому описание составлено по ней. E5-large-v2 — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang, Xiaolong Huang и соавторами. Она обучена методом контрастивного предобучения со слабой супервизией и основана на архитектуре BERT: 24 слоя и размерность эмбеддинга 1024. Общее число параметров — 433,9 млн, максимальная длина входа — 512 токенов. Модель преобразует тексты в векторы для семантического поиска, сопоставления запросов и документов, оценки сходства предложений, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричного сравнения обычно используют «query: » перед обоими текстами. Модель предназначена только для английских текстов; более длинные входы обрезаются до 512 токенов. При использовании косинусного сходства важнее относительный порядок оценок, чем их абсолютные значения. Расхождения в версиях PyTorch и Transformers могут вызывать небольшие различия результатов. Лицензия — MIT.

swardiantara/one-cdk10-m0.5-e5-b16-v1 — модель Sentence-Transformers на базе RoBERTa, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель обучалась с ContrastiveLoss, использующей косинусное расстояние и margin 0,5; размер составляет 95,2 млн параметров, максимальная длина контекста — 514 токенов. Модель подходит для построения эмбеддингов текстов и поиска похожих фрагментов. Метаданные указывают поддержку извлечения признаков и сравнения предложений. Для использования предусмотрена библиотека Sentence-Transformers; веса доступны в формате safetensors. Языки обучения или приоритетные языки в предоставленных данных не описаны. Лицензия в предоставленных данных отсутствует.

swardiantara/one-stage-k3-MiniLM-L12-v2 — модель sentence-transformers на архитектуре BERT, разработчик обучил её для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов; метаданные также указывают возможность извлечения признаков. Модель содержит около 40 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Это подходит для сравнения смысловой близости текстов и построения векторного поиска. README не сообщает обучающие данные, поддерживаемые языки или лицензию, поэтому нельзя оценить языковой охват и условия коммерческого использования.

Locutusque/Orca-2-13b-SFT_v5 — плотная языковая модель на архитектуре Llama, созданная полным дообучением Microsoft Orca-2-13b на наборах No Robots, EverythingLM, Guanaco, OpenAssistant и Open-Platypus. Модель содержит 12,9 млрд параметров и рассчитана на генерацию текста; карточка отмечает поддержку кода и языки английский, французский, испанский, хинди и китайский. Контекст составляет 4096 токенов, для запросов используется шаблон ChatML. Модель подходит для диалоговых ответов, следования инструкциям, решения задач и генерации кода. В README сообщается о тестовом loss 0,38 на Open-Platypus, но сравнительные оценки качества не приведены. Репозиторий содержит веса в формате safetensors. Для использования необходимо соблюдать исследовательскую лицензию Microsoft Orca-2; метаданные обозначают лицензию как other.

DPolatajko/osm-nlp-setfit — модель Sentence-Transformers на базе MPNet, разработанная DPolatajko. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и сохраняется в формате PyTorch. Обучение использовало CosineSimilarityLoss. Модель подходит для построения эмбеддингов и поиска текстов по смыслу; в карточке не указаны поддерживаемые естественные языки или специализированные предметные области. Лицензия в предоставленных данных не указана.

shmartcode/osrs-embedder-v2 — текстовая Sentence Transformer-модель на архитектуре MPNet, разработанная и опубликованная пользователем shmartcode. Модель преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для вычисления семантической близости по косинусному сходству, семантического поиска, поиска перефразирований, классификации и кластеризации текста. Модель использует MPNetModel с усредняющим pooling; размер составляет 136,7 млн параметров, максимальная длина последовательности — 512 токенов. Она принимает текст и выдаёт эмбеддинги. Лицензия и конкретные поддерживаемые языки в предоставленных данных не описаны.

valurank/paraphrase-mpnet-base-v2-offensive — модель Sentence-Transformers на базе MPNet для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, которые можно применять для поиска семантически близких текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги. В README указано обучение с CosineSimilarityLoss; метаданные также подтверждают поддержку извлечения признаков и сходства предложений. Контекст модели составляет 514 токенов. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

PawanEmbd-68M — модель эмбеддингов предложений на основе Transformer-энкодера с проекционным слоем, разработанная dmedhi. Модель содержит 67,7 млн параметров, выдаёт векторы размерностью 768 и обрабатывает последовательности длиной до 512 токенов. Она создана методом дистилляции знаний из IBM Granite-278M Multilingual Embedding; репозиторий содержит веса в формате safetensors. Модель предназначена для семантического поиска, оценки сходства предложений, кластеризации текстов, выявления дубликатов, подбора похожих объектов и извлечения релевантных фрагментов для систем вопросно-ответного поиска. В README автор приводит сравнение, согласно которому студенческая модель существенно меньше и быстрее учительской на CPU. В метаданных указан английский язык и набор данных all-nli. Лицензия — Apache-2.0. Максимальная длина последовательности составляет 512 токенов, поэтому более длинные тексты потребуется обрезать или обрабатывать частями.

RedHatAI/phi-4-quantized.w4a16 — квантизированная версия языковой модели phi-4, разработанной Microsoft; оптимизацию выполнили Red Hat и Neural Magic. Это авторегрессионная текстовая модель архитектуры Phi3ForCausalLM с текстовым вводом и выводом, предназначенная для генерации текста, диалоговых и conversational-сценариев, задач рассуждения, логики, математики и программирования, преимущественно на английском языке. Модель ориентирована на исследовательское использование и создание генеративных AI-функций в средах с ограниченными ресурсами, а также в сценариях, чувствительных к задержке. Веса линейных операторов в трансформерных блоках квантизированы до INT4 по симметричной групповой схеме с размером группы 128 с применением алгоритма GPTQ через библиотеку llm-compressor. По сравнению с представлением FP16 это примерно на 75% снижает размер на диске и требования к памяти GPU, что может облегчать развертывание и повышать эффективность инференса. В README также указана поддержка развертывания через vLLM и совместимость с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI; максимальный контекст в приведённой конфигурации составляет 32768 токенов. Ограничения включают фокус на английском языке, возможные типичные проблемы языковых моделей с точностью, безопасностью и справедливостью, а также отсутствие специальной оценки для всех прикладных сценариев. Перед использованием в чувствительных и высокорисковых системах необходимы отдельная проверка и меры контроля. Модель распространяется по лицензии MIT.

DejanX13/Poverenik_embedding_doc_2000 — модель на базе XLM-RoBERTa, созданная для преобразования предложений и абзацев в плотные векторы размерности 1024. Она предназначена для семантического поиска, сравнения текстов и кластеризации с использованием Sentence-Transformers. Модель содержит 658,7 млн параметров, принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Лицензия в предоставленных данных не указана.

AISE-TUDelft/python-parameters-classifier — модель эмбеддингов на базе MPNet, опубликованная AISE-TUDelft. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель обучалась с функцией потерь CosineSimilarityLoss и подходит для построения семантического поиска и группировки текстов по смыслу. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста — 514 токенов. В репозитории указаны веса PyTorch и использование через Sentence-Transformers. Лицензия в предоставленных данных не указана.

Qemma-Q1.7B — компактная текстовая модель для диалогов и выполнения инструкций от Convergent Intelligence LLC: Research Division. Она объединяет веса Gemma 3 1B и Qwen3 1.7B, используя основу Gemma с MLP и телом Gemma и механизмом внимания и головой в стиле Qwen; после слияния модель прошла дополнительное SFT-обучение для пошаговых рассуждений. Указанный в метаданных размер — 1B параметров, архитектура — плотная Gemma3ForCausalLM, формат весов — safetensors. Модель предназначена для следования инструкциям, диалогов, рассуждений, помощи с кодом и анализа, а также для дальнейшего дообучения. Она принимает текст и выдаёт текст, поддерживает английский язык и заявляет контекст до 262 144 токенов с масштабированием RoPE на основе YaRN. Лицензия — OSL-3.0. Карточка предупреждает о возможных галлюцинациях и не рекомендует полагаться на модель в критически важных медицинских, юридических и финансовых решениях.

kwondw/quora-mnrl — модель Sentence Transformer, дообученная автором на наборе quora-duplicates от sentence-transformers на базе sentence-transformers/stsb-distilbert-base. Она кодирует английские предложения и абзацы в плотные векторы размерности 768 для семантического поиска и сравнения сходства. Архитектура состоит из DistilBERT и mean pooling; сходство векторов рекомендуется оценивать косинусной мерой. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 128 токенов. Модель подходит для поиска похожих вопросов и документов, извлечения релевантных текстов и обнаружения дубликатов. Её обучение на парах Quora ориентировано на сопоставление вопросов с близким смыслом, поэтому перенос качества на другие типы текстов может различаться. Лицензия в предоставленных данных не указана.

AlexWortega/qwen11k — Sentence Transformers модель, дообученная на базе Qwen/Qwen2.5-0.5B-Instruct для создания текстовых эмбеддингов. Она кодирует предложения и абзацы в плотные векторы размерности 896; близость текстов можно оценивать косинусным сходством. Архитектура включает трансформер Qwen2 с усреднением токенных представлений, а метаданные указывают контекст до 32 768 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации. В README приведена оценка на sts-dev: Spearman для косинусного сходства — 0,7854 при размерности 896. Для текстов длиннее указанного в README лимита последовательности 1024 токена может потребоваться обрезка или разбиение на части. Лицензия в предоставленных данных не указана.

unsloth/Qwen2.5-7B — базовая предобученная языковая модель Qwen2.5, представленная в репозитории Unsloth и основанная на Qwen/Qwen2.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров; веса доступны в формате safetensors. Модель предназначена для генерации и продолжения текста, а также для дальнейшего дообучения под конкретные задачи. Модель поддерживает более 29 языков, включая китайский, английский, русский, французский, испанский, немецкий, японский и арабский. Контекст составляет 131 072 токена. Среди описанных возможностей семейства — генерация длинного текста, работа с кодом, математическими задачами, таблицами и структурированными ответами, включая JSON. Это базовая модель без инструкционной настройки, поэтому в карточке не рекомендуется использовать её напрямую для диалогов; для чат-сценариев её следует дообучить. Репозиторий распространяется по лицензии Apache-2.0.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP — мультимодальная модель генерации текста, разработанная AEON-7 на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16. Модель предназначена для диалогов, анализа и генерации текста, программирования и других сценариев, поддерживаемых Qwen3.6. Заявлены языки English, Chinese и multilingual. Модель опубликована в формате NVFP4 с поддержкой Multi-Token Prediction (MTP) и speculative decoding. Архитектура использует гибридный стек Gated DeltaNet (GDN) и attention, а также мультимодальный режим. Размер модели — 27B параметров. В конфигурации развертывания указан контекст до 229 376 токенов. Формат NVFP4 снижает требования к памяти и рассчитан на ускорители NVIDIA Blackwell, включая DGX Spark/GB10 и дискретные RTX, при использовании совместимого контейнера vLLM. Поддерживаются native MTP и внешний DFlash drafter; заявлены функции reasoning и вызова инструментов через соответствующие парсеры vLLM. К сильным сторонам относятся большой контекст, мультимодальность, оптимизация для Blackwell, ускоренное декодирование и uncensored/abliterated-настройка. Ограничения включают зависимость от специализированных версий vLLM, аппаратных и конфигурационных требований, а также то, что модель помечена как устаревшая: автор рекомендует вместо неё Qwen3.8 Ultimate Uncensored NVFP4-MIXED. Лицензия — Apache-2.0.

Qwen3.8-27B-Intel-Arc-Tuned-GGUF — это квантованная GGUF-версия модели Qwen3.8 с примерно 27 млрд параметров, подготовленная Greatjedi при участии Gemini для ускоренного запуска на видеокартах Intel Arc через llama.cpp, oneAPI SYCL и аппаратные матричные блоки DPAS. В качестве базовых моделей указаны empero-ai/Qwen3.8-27B-Ridge-GGUF и ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF. Модель предназначена для генерации текста, рассуждений, программного кода и структурированных ответов, включая извлечение JSON. Заявлены английский и китайский языки, а тип задачи в каталоге обозначен как text-generation. Ключевая особенность — преобразование неподдерживаемых на Intel Arc I-Quant-тензоров в преимущественно Q4_K-блоки с сохранением отдельных высокоточных компонентов, rotary embeddings, layer normalization и, в вариантах с MTP, встроенной NextN prediction head. Это устраняет переход к медленной CPU-деквантизации в SYCL-бэкенде. Для Intel Arc Pro B60 24GB заявлена скорость авторегрессионной генерации около 21–22 токенов в секунду, а со встроенным speculative decoding и MTP — до 41,88 токена в секунду; фактические показатели зависят от версии файла, сценария, оборудования и конфигурации запуска. Сильными сторонами являются оптимизация под Intel Arc поколений Battlemage Xe2 и Alchemist Xe, отсутствие необходимости во внешней draft-модели для вариантов со встроенным MTP и заметное ускорение относительно исходных I-Quant-вариантов. Ограничения включают узкую аппаратную специализацию, зависимость от совместимого SYCL-стека и llama.cpp, а также отсутствие в README точных сведений о максимальном контексте и единой архитектурной конфигурации всех вариантов. Модель распространяется по лицензии Apache-2.0.

utautako/Qwen3.8-27B-NVFP4-MTP-Q8attn-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen. Конверсию выполнил автор репозитория с использованием NVIDIA ModelOpt: MLP-слои представлены в формате NVFP4, а проекции attention и линейного внимания DeltaNet сохранены в Q8_0 для повышения точности, особенно при работе с длинным контекстом. Модель предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии: для обработки изображений поставляется отдельный BF16 vision projector, совместимый с путём Qwen3-VL. Архитектура содержит 64 текстовых слоя и один MTP-слой для speculative decoding; общий размер основного файла составляет около 17,81 GiB, а плотность — примерно 5,60 бит на вес. Заявлена поддержка контекста до 213056 токенов в текстовом режиме и до 163840 токенов при подключённом vision projector на RTX 5090 с 32 ГБ видеопамяти. К сильным сторонам относятся сохранение качества attention-компонентов за счёт Q8_0, поддержка изображений и ускорение генерации с помощью MTP: на RTX 5090 производительность достигает примерно 120–130 токенов в секунду, что примерно вдвое выше авторегрессионного режима. Ограничения включают зависимость от совместимой версии llama.cpp, значительные требования к видеопамяти и снижение эффективности speculative decoding при глубине чернового предсказания четыре и более. Модель распространяется по лицензии Apache-2.0.