I.14Автоматизация процессов и AI-агенты
В разделе собраны самостоятельные задачи, где AI помогает выполнять многошаговые цифровые процессы и координировать действия между системами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 022 моделиRewardAnything-8B-v1 — языковая модель для оценки ответов по принципам, сформулированным на естественном языке. Её разработали исследователи Пекинского университета, WeChat AI, William & Mary и Westlake University. Модель дообучена на базе Qwen/Qwen3-8B и содержит 7,6 млрд параметров; поддерживает контекст до 40 960 токенов. На этапе вывода можно задавать или менять критерии оценки без повторного обучения. Модель предназначена для сравнения ответов, оценки их соответствия заданным принципам и интеграции в конвейеры RLHF, включая PPO и GRPO. По описанию авторов, она также выдаёт объяснения решений и показывает высокие результаты на RM-Bench и RABench; численные результаты в карточке не приведены. Репозиторий содержит веса Safetensors. Указаны английский и китайский языки. Модель распространяется по лицензии Apache-2.0. README рекомендует локальный запуск для экспериментов, а vLLM — для пакетной оценки и рабочих нагрузок с высокой пропускной способностью.
rfdetr-docvqa-media3-trainval-agree1-medium — модель обнаружения объектов на изображениях, созданная дообучением Roboflow/rf-detr-medium на неизвестном наборе данных. Она предназначена для локализации объектов и присвоения им классов; метрики оценки отдельно приведены для изображений, диаграмм и подписей, что указывает на применение к визуальным документам. Архитектура относится к семейству RF-DETR, веса сохранены в формате safetensors; библиотека — Transformers. Модель распространяется по лицензии Apache-2.0. В карточке приведены результаты оценки, включая mAP 0,2703 и mAP@50 0,4858, однако описание данных и назначения классов отсутствует. Поэтому по имеющимся сведениям нельзя оценить качество для конкретных типов документов или объектов.
Ring-lite-linear-preview — созданная InclusionAI гибридная линейная MoE-модель для генерации текста и рассуждений в диалоге. В README указано 17,1 млрд параметров, из которых активируются 3 млрд; архитектура в метаданных обозначена как Bailing MoE Linear. Модель получена преобразованием Ling-lite-0220 с softmax-attention-архитектурой, а метаданные связывают её с inclusionAI/Ling-lite как с базовой моделью для дообучения. Модель предназначена для многошаговых рассуждений, в том числе решения математических задач и ответов на вопросы. Авторы заявляют контекст до 64 тыс. токенов и снижение вычислительных затрат за счёт гибридного линейного внимания; метаданные каталога указывают нативный контекст 16 384 токена. В README приведены результаты на AIME24 и MATH-500, а также заявление об увеличении пропускной способности генерации в тестах на vLLM. Модель поддерживает китайский и английский языки, принимает текст и генерирует текст. Для работы README указывает Transformers версии 4.48.3 или новее и flash-linear-attention версии 0.2.1 или новее. Лицензия — MIT. Результаты производительности приведены авторами и зависят от настроек оценки и развёртывания.
leomaurodesenv/roberta-base-nvidia-aegis-v2 — англоязычная модель RoBERTa, разработанная на основе FacebookAI/roberta-base и дообученная для классификации текста. Она содержит 151,8 млн параметров, принимает текстовые последовательности длиной до 514 токенов и выдаёт класс текста. На указанном в карточке наборе оценки достигла accuracy 0,8540 и loss 0,3329; данные обучения не описаны. Модель может применяться для классификации текстов в приложениях на базе Transformers. Лицензия — MIT.
Это неизменённая копия Silero VAD 6.2 в формате ONNX, опубликованная crash-sv для утилиты Scribe SV — программы для диктовки и перевода в Windows. Исходную модель разработала команда Silero; граф ONNX и его размещение подготовлены в проекте istupakov/silero-vad-onnx. Репозиторий содержит вариант графа silero_vad.onnx, который использует загрузчик onnx_asr. Модель предназначена для обнаружения участков речи в аудиосигнале, например, чтобы выделять речь перед диктовкой или последующей обработкой. Это модель обнаружения голосовой активности, а не распознавания или перевода речи. Копия распространяется без изменений по лицензии MIT; README также указывает MIT для исходной модели и ONNX-сборки.
Модель Jhusef Alfonso López Parra для классификации тональности текста на испанском языке. Это дообученная с помощью Transformers архитектура XLM-RoBERTa-large с 658,7 млн параметров; она присваивает тексту одну из трёх меток: отрицательная, нейтральная или положительная. Модель предназначена для анализа испаноязычных текстов, в том числе сообщений в социальных сетях, и запускается для инференса через библиотеку Transformers. При проверке на валидационной выборке указано значение F1-macro 0,729. Модель обучалась на наборе данных cardiffnlp/tweet_sentiment_multilingual; максимальная длина контекста составляет 514 токенов. Распространяется по лицензии Apache-2.0. Возможны смещения, связанные с обучающими данными; результаты не следует использовать как единственное основание для критически важных решений без проверки специалистом.
Это компактная модель генерации текста, разработанная как часть эксперимента Parameter Floors for Developer-Agent Subroutines. Она представляет собой полнопараметрическую донастройку HuggingFaceTB/SmolLM2-135M-Instruct с архитектурой LlamaForCausalLM и 134,5 млн параметров. Модель предназначена для одной узкой подзадачи: преобразовывать запрос разработчика, сформулированный обычными словами, в поисковое регулярное выражение в заданном JSON-формате. Рекомендуемый сценарий — запуск внутри проверяющей обвязки, которая формирует специализированный запрос, разбирает JSON, применяет детерминированные проверки и при необходимости использует запасные правила. На тесте до 250 примеров из не встречавшихся при обучении репозиториев HTTPX и Jinja2 точность успешного выполнения после одной попытки составила 64,8%; валидность схемы JSON при первой попытке — 100%. Контекст модели составляет 8192 токена. Модель не предназначена для общего программирования или диалога и может хуже выполнять широкие инструкции. Лицензия — Apache-2.0.
SmolVLM-256M-Instruct — компактная мультимодальная модель Hugging Face для понимания изображений и ответов на текстовые запросы. Она принимает последовательности изображений и текста, в том числе чередующиеся, и генерирует текст. Модель основана на архитектуре Idefics3 и объединяет языковую SmolLM2-135M-Instruct с визуальным энкодером SigLIP; в метаданных указаны связи с обеими базовыми моделями. Модель предназначена для описания изображений, визуальных вопросов и ответов, распознавания текста на изображениях, анализа диаграмм и документов, а также создания текстовых историй по визуальному содержимому. Для компактного представления изображения используются 64 визуальных токена на патчи 512×512; большие изображения разбиваются на патчи. По данным карточки, инференс для одного изображения возможен менее чем с 1 ГБ видеопамяти, что делает модель подходящей для локальных и периферийных устройств. Модель ориентирована на английский язык и не генерирует изображения. Ответы могут быть фактически неверными, поэтому модель не подходит для решений, влияющих на благополучие или права людей. Выпущена под лицензией Apache 2.0.
Aime2k2/spam-email-distilbert — англоязычная модель классификации текста на базе DistilBERT, дообученная для обнаружения спама в электронной почте. Она принимает текст письма и относит его к одному из классов; в README приведены результаты оценки: accuracy 0,9874, F1 0,9785, precision 0,9705 и recall 0,9867. Модель построена на DistilBERTForSequenceClassification, использует библиотеку Transformers и формат safetensors; базовая модель поддерживает контекст до 512 токенов. Датасет для дообучения не описан, поэтому приведённые метрики не позволяют судить о качестве на других источниках писем. Лицензия — Apache-2.0.
Это модель двоичной классификации предложений, дообученная на основе bert-base-cased для определения рекламного содержания в подкастах. Она использует контекст предыдущего предложения для более точных предсказаний и была применена в исследовании «Leveraging multimodal content for podcast summarization», опубликованном на ACM SAC 2022. Модель предназначена для разметки текстов подкастов: она относит предложение к рекламному или нерекламному. В отчёте оценки на тестовой выборке указаны точность 92%, F1-мера 0,89 для рекламного класса и 0,94 для нерекламного. Архитектура — BERT для классификации последовательностей, размер — 135,5 млн параметров, максимальный контекст — 512 токенов; модель работает с английским текстом. Модель опубликована в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.
srikantp/svara-tts-v1-fp8 — FP8-квантизированная версия Svara TTS v1, разработанной Kenpath. Это многоязычная модель преобразования текста в речь на базе архитектуры Llama с 3,3 млрд параметров; репозиторий указывает контекст 131 072 токена. Она предназначена для синтеза речи на 12 индийских языках и английском: поддерживает мужские и женские голоса, выбираемые идентификатором вида «код_языка_пол». FP8 снижает потребление видеопамяти примерно до 6–8 ГБ; заявлен интерфейс, совместимый с OpenAI Audio Speech API. Для запуска README указывает NVIDIA GPU с 8 ГБ или более видеопамяти, CUDA, Transformers и PyTorch. Модель основана на kenpath/svara-tts-v1 и распространяется по лицензии Apache-2.0.
Модель suriya7/t5-base-text-to-sql — дообученная версия T5 для преобразования вопросов на естественном английском языке в SQL-запросы SELECT. Она предназначена для получения данных из баз по текстовым вопросам; в карточке приведён сценарий автоматического перевода вопросов в SQL. Архитектура — encoder-decoder T5 с 38,5 млн параметров и контекстом до 512 токенов. Модель работает с текстовым вводом и выдаёт SQL-текст на английском языке. В README указано, что модель основана на Google T5-small и дообучена на парах английских вопросов и SQL SELECT из разных предметных областей; метаданные также связывают её с датасетом b-mc2/sql-create-context. Для оценки в карточке приведён BLEU 34,9627. Лицензия — MIT. Модель узкоспециализирована на SELECT: карточка не подтверждает поддержку записи данных, других SQL-операций или адаптацию к конкретной схеме базы данных.
sathishmahi/tamil-ner-model — модель распознавания именованных сущностей в тексте на тамильском языке. Это дообученная версия bert-base-uncased на датасете XTREME, построенная на архитектуре BERT с классификационной головой для разметки токенов. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт метки для токенов. Модель предназначена для извлечения именованных сущностей из тамильского текста. В README приведено значение loss 0,5562 на оценочном наборе, но классы сущностей и подробности протокола оценки не описаны. Распространяется по лицензии Apache-2.0.
TAPAS — модель Google на архитектуре BERT, дообученная для ответов на вопросы по таблицам на датасете WikiTableQuestions (WTQ). Базовая версия содержит 136,7 млн параметров; модель использует двунаправленное представление текста и таблиц, а для выбора ответа — специальные головы выбора ячеек и агрегации. В репозитории доступны веса PyTorch и TensorFlow. Модель принимает вопрос и таблицу, преобразованную в последовательность токенов, и предназначена для поиска ответа в таблице, включая выбор ячеек и агрегацию значений. Она предварительно обучалась на англоязычных данных Википедии, а затем последовательно дообучалась на SQA, WikiSQL и WTQ. Карточка приводит точность 45,25% на dev для базовой версии с абсолютными позиционными эмбеддингами; результаты зависят от варианта чекпойнта и подготовки таблицы. Указанный лимит контекста — 1024 токена; при описанной настройке дообучения использовалась максимальная длина последовательности 512. Модель ориентирована на английский язык и табличные данные. Лицензия — Apache-2.0.
Модель разработана Hari Krishna как дообученный энкодер предложений для поиска таблиц в схемах баз данных по вопросам на естественном языке в сценариях text-to-SQL. На вход она принимает текст вопроса и формирует векторы для сравнения с описаниями таблиц; ранжирование выполняется по косинусному сходству. Базовая архитектура — BERT из sentence-transformers/all-MiniLM-L6-v2, около 25,9 млн параметров, контекст до 512 токенов. Репозиторий содержит веса safetensors и квантированный до int8 экспорт ONNX для использования, в частности, с Transformers.js. Модель дообучена контрастивным методом на парах вопросов и таблиц из обучающей части enterprise text-to-SQL benchmark. В описанной оценке она помещала все нужные таблицы в топ-3 для 96,3% тестовых вопросов; особенно полезна для предварительного отбора таблиц перед генерацией SQL. Модель рассчитана на английский язык. Лицензия — Apache-2.0. Качество зависит от формулировок вопроса и текстовых описаний таблиц. В README отмечены ошибки, когда нужную таблицу можно распознать только по значениям данных или скрытым связям, не отражённым в схеме; результаты теста также не гарантируют качество на других базах данных и доменах.
Ghazouaniwala/trocr-tunisian-arabic — модель распознавания рукописного тунисского арабского текста, разработанная для обработки юридических форм в системе Wathiqa. Это TrOCR с архитектурой vision-encoder-decoder, дообученная на рукописном тунисском арабском; словарь декодера заменён на арабский словарь из 30 тысяч токенов. Модель распознаёт отдельные слова на изображениях и рассчитана на локальную офлайн-обработку без передачи документов в облако. Модель подходит для извлечения арабских имён, заметок и других рукописных текстовых полей из структурированных форм. Перед распознаванием нужно сегментировать текст на слова и подавать их по отдельности; обработка целых строк и предложений не является целевым сценарием. Для цифр и печатного текста в Wathiqa используются отдельные распознаватели. Модель распространяется по лицензии MIT.
Tulu V2.5 DPO 13B Capybara — англоязычная диалоговая языковая модель от Allen Institute for AI (Ai2), основанная на Tulu 2 и дообученная методом DPO на наборе Capybara 7k. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров и контекстом до 4096 токенов; для диалогов предусмотрен шаблон чата в токенизаторе. Модель предназначена для генерации текста и ответов помощника на инструкции, включая многошаговые запросы и диалоги на английском языке. Она обучалась на смеси инструкций и синтетических и созданных людьми диалогов, а затем выравнивалась по предпочтениям на данных Capybara. Модель может выдавать проблемные ответы: в ходе RLHF её не обучали безопасным завершениям, и в карточке не описана фильтрация ответов во время использования. Лицензия — Apache 2.0.
Turkish PII Guard 1.5B — для турецких текстов дообученная модель Qwen2.5-1.5B-Instruct, разработанная для выявления и маскирования персональных данных. Она поддерживает 50 типов данных, включая идентификационные номера TCKN, IBAN, телефоны, имена, адреса и финансовые сведения; умеет маскировать все найденные данные или выборочно скрывать типы по инструкции. Модель построена на плотной архитектуре Qwen2 и содержит 1,5 млрд параметров. Она принимает текстовые инструкции и текст для обработки, а выдаёт преобразованный текст с масками вместо выбранных персональных данных. Контекст составляет до 32 768 токенов; основной язык — турецкий. Для репозитория указана лицензия Apache-2.0. В описанном тесте схема-нейтральное точное совпадение составило 0,857. Модель может ошибаться в выборочном маскировании, особенно когда требуется оставить определённый тип данных открытым. Для процессов с высокими рисками или нормативными требованиями результаты следует дополнительно проверять.
Vinci-MLE-8B-1.0 — языковая модель на 8,4 млрд параметров, разработанная канадской лабораторией SimpleDirect как дообучение IBM Granite 4.1 8B. Она предназначена для задач машинного обучения и инженерной работы с экспериментами: анализировать файлы и результаты, диагностировать проблемы, предлагать ограниченные изменения и обосновывать решение ничего не менять или остановиться. Модель поддерживает диалог и имеет контекстное окно до 131 072 токенов. Модель выдаёт текст и может использоваться в агентном цикле с инструментами, которые предоставляет приложение. Одних весов для этого недостаточно: приложению нужно самостоятельно реализовать инструменты, ограничения доступа и проверку предложенных изменений. README описывает обучение на 91 траектории за одну эпоху, но завершённой оценки на специализированном тесте по инженерии машинного обучения нет; результаты общих тестов не заменяют такую оценку. Возможны ошибки в ответах, вызовах инструментов и предлагаемых изменениях, поэтому их следует проверять. Лицензия — Apache-2.0.
Vi-Qwen2-7B-RAG — модель AITeamVN, дообученная на базе Qwen/Qwen2-7B-Instruct для задач генерации с дополнением извлечёнными данными (RAG). Она рассчитана на работу с вьетнамскими документами и вопросами: извлекает полезную информацию из шумного контекста, отказывается отвечать, если в найденных материалах нет нужных сведений, объединяет факты из нескольких документов и определяет, содержит ли контекст ответ. Также подходит для обычного диалога и последовательных вопросов с учётом входного контекста. Модель имеет плотную архитектуру Qwen2ForCausalLM и 7,1 млрд параметров. В метаданных указан контекст до 32 768 токенов; README описывает RAG-сценарии с контекстом до 8 192 токенов. Доступны веса в формате safetensors. Карточка сообщает о точности около 99% для определения наличия ответа в контексте и приводит результат 56,04 на среднем показателе VMLU; это результаты авторской оценки, а не гарантия качества на других данных. Модель предназначена прежде всего для вьетнамского языка. Авторы предупреждают о возможных ошибках в вопросах политики и общественной жизни, а также о предвзятых или неподходящих ответах. Лицензия — Apache-2.0.
jbetker/wav2vec2-large-robust-ft-libritts-voxpopuli — модель автоматического распознавания речи на архитектуре wav2vec2-large, разработанная jbetker дообучением facebook/wav2vec2-large-robust-ft-libri-960h на наборах LibriTTS и VoxPopuli. Она преобразует аудио в текстовые транскрипции с пунктуацией, что особенно полезно для подготовки текстов к синтезу речи, где пунктуация влияет на просодию. Модель содержит 402,8 млн параметров и доступна в формате PyTorch. В карточке указана оценка WER 4,45% на валидационном наборе LibriSpeech; для базовой модели приводится 4,3%. Обучение велось на чистом аудио, поэтому модель хуже подходит для шумных записей. Условия лицензии в предоставленных данных не приведены.
whispercharsplitnewround20061 — дообученная на неизвестном наборе данных модель распознавания речи на базе OpenAI Whisper Tiny. Она принимает аудио и преобразует речь в текст; размер модели — 29,4 млн параметров. В README приведены результаты обучения и валидации после 60 эпох: Validation Loss 0,5606 и Validation Wermet 7,0558. Модель предназначена для автоматической транскрибации аудиозаписей. Язык данных обучения и качество распознавания для отдельных языков не описаны. Модель распространяется по лицензии Apache-2.0; результаты на неизвестном наборе данных не позволяют оценить качество для конкретных сценариев.
WiNGPT-Babel-2 — многоязычная языковая модель для машинного перевода, разработанная командой WiNGPT. Это дообученная модель Gemma 2 с плотной архитектурой Gemma2ForCausalLM и 2,7 млрд параметров. Она предназначена прежде всего для перевода с английского на другие языки и с разных языков на китайский; заявлена поддержка 55 языков. Модель также поддерживает диалоговый режим и переводит текстовые поля в структурированных данных, сохраняя формат JSON, а также работает с текстом, содержащим формулы LaTeX, код и HTML/Markdown-разметку. Для обучения использовались WMT24++ и внутренние данные, отобранные с участием человека по результатам анализа журналов реальных сценариев. Контекстное окно в метаданных указано как 8192 токена; в README приведено значение 4096 токенов. Модель доступна в формате safetensors под лицензией Apache-2.0. Заявления об улучшении точности и качестве перевода приведены в карточке модели; численные результаты оценки в README опущены.
XLMCITA — дообученная phunganhsang модель XLM-RoBERTa-base с архитектурой XLMRobertaForSequenceClassification, предназначенная для классификации текста. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. В README указаны результаты оценки: accuracy 0,7705, F1 0,7698 и loss 0,5616. Набор данных и конкретная задача классификации не описаны, поэтому применимость к отдельным тематикам или языкам по карточке определить нельзя. Модель распространяется по лицензии MIT.
mocher72/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa, дообученная для классификации токенов. Она предназначена для разметки последовательностей, например распознавания именованных сущностей в тексте. В README указаны результаты оценки: F1 0,8629 и loss 0,1338; обучающий датасет не описан. Модель содержит 305,2 млн параметров, принимает текст, а контекст составляет до 514 токенов. Репозиторий распространяется в формате safetensors по лицензии MIT.
XYZAILab_XYZ-Aquila-mini-GGUF — это GGUF-квантизированная версия модели XYZ-Aquila-mini, разработанной XYZAILab. Квантизацию выполнил bartowski с использованием llama.cpp b10142 и метода imatrix. Модель предназначена для задач image-text-to-text, то есть обработки изображений и генерации текстовых ответов, а также может применяться в сценариях agentic-search, указанных в метаданных. Точные сведения о размере исходной модели, архитектуре, языках и длине контекста в README не приведены. Доступны варианты от BF16 размером 69,38 ГБ до низкобитных IQ3 и Q3 размером около 16–17 ГБ, а также распространённые варианты Q4, Q5, Q6 и Q8. Более качественные квантизации Q5–Q8 обеспечивают минимальные потери относительно исходных весов, тогда как Q3 и некоторые IQ-варианты экономят память ценой снижения качества. Модель можно запускать через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation WebUI и другие совместимые инструменты; для работы требуется поддержка данной архитектуры конкретным приложением. Лицензия — Apache-2.0. README не содержит результатов тестирования, подробностей о поддерживаемых языках, точного контекстного окна или детального описания ограничений мультимодальной обработки, поэтому эти характеристики нельзя определить по имеющимся данным.
AIN (aAIN) — модель перевода текста, разработанная в рамках проекта aAIN для перевода между английским и игбо. Она предназначена для отдельного использования и как переводной компонент конвейера преобразования речи в речь для английского, йоруба, хауса и игбо. Модель представляет собой дообученную версию facebook/nllb-200-distilled-600M с архитектурой M2M100ForConditionalGeneration; содержит 463,7 млн параметров и поддерживает контекст до 1024 токенов. Дообучение проведено на 27 097 парах предложений на английском и игбо, извлечённых и очищенных из двуязычного словаря. В карточке указана оценка BLEU 26,86: перевод обычно связный, но его качество не гарантируется для каждого предложения. Словарные данные могут приводить к формальному или буквальному стилю, а некоторые разговорные выражения модель иногда оставляет без перевода. Модель не синтезирует речь. Лицензия — Apache-2.0.
ckiplab/albert-base-chinese — модель ALBERT от CKIP для обработки традиционного китайского языка. В репозитории представлены модели и инструменты для сегментации слов, разметки частей речи и распознавания именованных сущностей; этот чекпойнт предназначен для классификации токенов и распознавания сущностей. Модель использует архитектуру ALBERT и содержит 129,5 млн параметров. Она принимает текст и выдаёт метки для токенов; максимальная длина контекста — 512 токенов. Для токенизации автор рекомендует BertTokenizerFast вместо AutoTokenizer. Модель подходит для извлечения именованных сущностей из текстов на традиционном китайском языке. В карточке также упомянуты сегментация слов и разметка частей речи как задачи проекта, но подтверждённая задача этого чекпойнта — классификация токенов. Лицензия — GPL-3.0.
ValkB/all-MiniLM-L12-v2_HazMiner_nonevents — модель классификации текста, созданная на основе sentence-transformers/all-MiniLM-L12-v2 с помощью SetFit. Разработчик карточки использовал обучение с малым числом примеров: дообучил Sentence Transformer контрастивным методом, а затем обучил классификационную голову LogisticRegression. Модель содержит около 40 млн параметров, поддерживает последовательности длиной до 512 токенов по метаданным; в README указана максимальная длина 128 токенов. Классификатор различает два класса: сообщения о событиях и сообщения без событий, в частности в примерах речь идёт о наводнениях и других опасных явлениях. Модель предназначена для отбора и категоризации текстовых сообщений по наличию события, например для мониторинга сообщений об угрозах и происшествиях. Она принимает текст и выдаёт метку класса. Базовая модель описана как компактная англоязычная модель эмбеддингов; примеры и обучающие данные в карточке англоязычные. Репозиторий использует PyTorch и библиотеку SetFit. Лицензия — Apache-2.0.
APAR-13B — языковая модель на архитектуре Llama, разработанная авторами метода APAR. Это плотная авторегрессионная модель примерно с 12,9 млрд параметров, дообученная инструкциями на данных общего назначения с иерархической структурой, чтобы планировать генерацию и выполнять автоматическое параллельное авторегрессионное декодирование. Модель предназначена для генерации текста с более эффективным обслуживанием запросов. По данным авторов, APAR может ускорить генерацию до 2 раз, а в сочетании со speculative decoding — до 4 раз. В сценариях высокой нагрузки метод также снижает потребление KV-кэша и вычисления внимания; заявлены рост пропускной способности на 20–70% и сокращение задержки на 20–35% относительно современных систем обслуживания. Контекст модели составляет 2048 токенов. Карточка не приводит сведений о языках обучения и лицензии.