I.14Автоматизация процессов и AI-агенты
В разделе собраны самостоятельные задачи, где AI помогает выполнять многошаговые цифровые процессы и координировать действия между системами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 022 моделиzeromodels/siglip2_so400m_p14_224 — конверсия модели SigLIP 2 Google в формат Keras 3 для библиотеки zeromodels. Это мультимодальная модель нулевой классификации изображений: при инференсе она сопоставляет изображение или изображения с текстовыми подсказками и оценивает, какие из них лучше соответствуют содержимому. Реализация работает с TensorFlow, PyTorch и JAX. Модель основана на google/siglip2-so400m-patch14-224. SigLIP 2 использует мультиязычный словарь Gemma на 256 тысяч токенов; предварительное обучение включает обучение по подписям, самодистилляцию и предсказание маскированных областей для улучшения семантических и плотных визуальных признаков. Для загрузки рекомендован соответствующий Processor, чтобы согласовать размер изображений и токенизатор. Модель подходит для классификации изображений по заданным текстовым меткам и сопоставления изображений с текстовыми описаниями. В репозитории указана лицензия Apache 2.0. Конкретные показатели качества и контекстные ограничения в предоставленных данных не приведены.
zeromodels выпускает конверсию SigLIP Large Patch16-384 в формате Keras 3 для классификации изображений по текстовым меткам без дополнительного обучения. Модель использует двухбашенную архитектуру: кодирует изображение и текстовые подсказки и оценивает их соответствие. Размер патча — 16 пикселей, разрешение изображения — 384 пикселя; реализация работает с TensorFlow, PyTorch и JAX. Модель предназначена для zero-shot классификации изображений и поиска соответствий между изображениями и текстом. Она принимает изображения и текстовые подсказки, а на выходе даёт оценки соответствия, позволяющие выбрать подходящие метки. Основана на google/siglip-large-patch16-384; лицензия — Apache 2.0. README описывает формат и способ применения, но не приводит конкретных результатов оценки качества.
juanquivilla выпустил полноточную дообученную модель LiquidAI/LFM2.5-350M-Base для очистки текстов, полученных распознаванием речи. Она исправляет транскрипты, нормализует числа, удаляет речевые заполнители и рассчитана на постобработку результатов ASR, в том числе на локальном устройстве. Модель построена на плотной архитектуре LFM2 и содержит 444,6 млн параметров; контекст — до 128 000 токенов. Веса представляют собой усреднение двух дообученных чекпойнтов одной линии разработки. README приводит высокие показатели точности чисел и на тестах с трудными примерами, но они получены на ограниченных наборах оценки и не гарантируют такие же результаты для других языков или типов транскриптов. Модель рассчитана на английский язык, распространяется в формате safetensors по лицензии MIT; для запуска на Apple Silicon автор рекомендует отдельную 5-битную MLX-версию.
Speaker Names Attribution, Ettin 150M — англоязычная модель для извлечения из расшифровки напечатанного имени человека, соответствующего диаризованной метке говорящего, например Speaker A. Она разработана на основе энкодера jhu-clsp/ettin-encoder-150m: ModernBERT с 149 млн параметров дообучен с SQuAD-подобной головой, предсказывающей начало и конец фрагмента; позиция 0 обозначает отсутствие ответа. Модель принимает текст и возвращает имя либо воздерживается, если расшифровка не позволяет его установить. Контекст модели — до 7 999 токенов. Модель предназначена для связывания меток диаризации с именами, явно упомянутыми в стенограммах, например при обработке новостных и общественно-политических передач. На вручную проверенной выборке из 264 строк показатель F1 по человеку составил 0,857, а точный F1 текста — 0,812; на автоматически проверенной тестовой выборке из 638 строк — соответственно 0,882 и 0,830. Модель не определяет личность по голосу, внешним знаниям или неупомянутому контексту. Для работы нужны PyTorch и Transformers; пользовательская голова хранится отдельно, поэтому чекпойнт не является стандартной моделью AutoModelForQuestionAnswering. Лицензия — MIT.
SS-350M-SQL-Strict — компактная языковая модель Саада Салмана для преобразования запросов на естественном языке в SQL. Она основана на LiquidAI/LFM2.5-350M и дообучена методом QLoRA на синтетических примерах text-to-SQL. Модель использует архитектуру LFM 2.5; в карточке указаны 350 млн параметров, а в метаданных — 444,6 млн. Метаданные указывают контекст до 128 000 токенов и формат safetensors; README также описывает 4-битную квантизацию bitsandbytes и оптимизации Unsloth. Модель рассчитана на генерацию только SQL-кода по вопросу пользователя и предоставленной схеме базы данных, в том числе для запросов с соединениями, подзапросами и группировкой. Для строгого вывода README рекомендует передавать запрос в формате ChatML с описанием схемы. Указана лицензия Apache-2.0. Ограничения: лучше подходит для схем менее чем с 20 таблицами; по умолчанию ориентирована на стандартный SQL-диалект. Модель не объясняет сгенерированный запрос, а соблюдение формата ChatML важно для снижения риска постороннего текста.
Модель utrobinmv/t5_translate_en_ru_zh_large_1024 — мультиязычная версия трансформера T5 для машинного перевода, разработанная автором репозитория. Она переводит между русским, китайским и английским языками: ru↔zh, en↔zh и en↔ru. Целевой язык задаётся префиксом «translate to :»; язык исходного текста можно не указывать, а сам текст может содержать несколько языков. Модель содержит 419 млн параметров и опубликована в формате safetensors. В карточке указано обучение на датасете CCMatrix. Поддерживаются русский, китайский и английский языки. Репозиторий распространяется по лицензии Apache-2.0.
TAPAS medium — разработанная Google модель семейства TAPAS на базе BERT, предназначенная для получения представлений таблиц и связанного с ними текста. Модель содержит 49,2 млн параметров, предобучена на англоязычных таблицах Википедии и тексте с помощью masked language modeling и дополнительного этапа для рассуждений о числах и табличном следовании. По умолчанию используются относительные позиции, сбрасываемые в каждой ячейке таблицы; доступна версия с абсолютными позиционными эмбеддингами через revision="no_reset". Модель принимает текстовый вопрос или предложение вместе с сериализованной таблицей и выдаёт скрытые представления для последующей обработки. Её можно дообучить для ответов на вопросы по таблицам, классификации и определения, подтверждается ли утверждение содержимым таблицы. Максимальная длина входа при предобучении составляла 512 токенов; для прикладных задач обычно требуется дообученная версия с подходящей классификационной головой. Доступна по лицензии Apache-2.0.
Это точечная модель-реранкер для оценки релевантности пары «запрос — фрагмент документа». Её разработали на базе Qwen3-8B с использованием инструментария Tevatron 3.0; модель имеет плотную архитектуру Qwen3ForSequenceClassification с 7,6 млрд параметров и дообучена методом contrastive с помощью LoRA, веса которой объединены с базовой моделью. Модель принимает запрос и заголовок с текстом фрагмента в формате «query: … passage: …», добавляет EOS и выдаёт один регрессионный логит как оценку релевантности. Её можно применять для переупорядочивания результатов поиска и ранжирования фрагментов при информационном поиске. Максимальная длина контекста — 32 768 токенов; основная область применения — англоязычные запросы и документы, указанные в обучающей карточке. Для загрузки используется AutoModelForSequenceClassification. Лицензия — Apache-2.0.
Tiron — модель распознавания речи с разделением реплик по говорящим, разработанная Trelis. Она построена на архитектуре Whisper large-v3 с расширенным словарём токенов и за один проход создаёт расшифровку с маркерами говорящих и временными метками. Число параметров — 905,3 млн; модель совместима с WhisperForConditionalGeneration и распространяется в формате safetensors. Модель предназначена для транскрибации многоголосых встреч и совещаний. Она обрабатывает аудио окнами по 30 секунд, поддерживает до восьми говорящих в окне, а для полной записи README рекомендует открытый harness, который выполняет разбиение на фрагменты и связывает говорящих между окнами. Заявлены английский и китайский языки, а также многоязычная поддержка. В бенчмарках авторов модель показала скорость около 43× реального времени на одном GPU при потреблении 3–12 ГБ видеопамяти. Метки говорящих анонимны и не сопоставляются с именами или образцами голоса. Встреча ограничена восемью глобальными говорящими при использовании harness; временные метки приблизительны, особенно при сильном перекрытии речи. Лицензия — Apache-2.0.
Карточка модели wannaphong/tongyi-model-v1.1-1b на Hugging Face совпадает с карточкой wannaphong/tongyi-model-v1.3-1b, поэтому описание составлено по ней. Модель wannaphong/tongyi-model-v1.3-1b — дообученная авторегрессионная языковая модель семейства Qwen2, созданная wannaphong на базе sail/Sailor2-1B. Она предназначена для генерации текста и диалогов; в метаданных также отмечен интерфейс для вызова инструментов. Модель содержит 851,8 млн параметров и поддерживает контекст до 32 768 токенов. В карточке указано, что модель обучалась с использованием Unsloth и библиотеки TRL. В метаданных указан английский язык, но специальных языков или прикладных областей для этой версии README не уточняет. Модель распространяется по лицензии Apache-2.0.
Triton VX Qwen3.5 2B — компактный ассистент Fabrix.ai / RDAF, разработанный на базе unsloth/Qwen3.5-2B и дообученный на технической документации, схемах и форматах цитирования Fabrix. После supervised fine-tuning модель прошла выравнивание предпочтений методом DPO, чтобы выдавать краткие ссылки на отдельные карточки базы знаний вместо длинных списков путей. Модель предназначена для поиска сведений в документации Fabrix и RDAF, подбора документации для настройки виджетов и дашбордов, создания сторибордов и работы с динамическими конвейерами. Это плотная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration, 2 млрд параметров, представленная в формате Safetensors с точностью float16 и лицензией Apache-2.0. Метаданные указывают поддержку диалогового режима и интерфейса вызова инструментов; карточка ориентирует модель на английский язык.
MusaNyaks/trocr-barbados-fold3 — дообученная модель Microsoft TrOCR base handwritten для распознавания рукописного текста на изображениях. Она использует архитектуру vision-encoder-decoder и предназначена для преобразования изображения с текстом в текстовую транскрипцию. В README указано значение Loss 0.9763 на оценочном наборе; датасет описан как неизвестный. Модель подходит для распознавания рукописных строк на изображениях в сценариях, связанных с данными, на которых её дообучили. Карточка не раскрывает сведения о составе данных или более широких оценках качества. Лицензия — MIT.
cyttic/trocr-bigram5-BY — дообученная модель cyttic/exp2-frozen-benyehuda-cont для преобразования изображений с текстом в текст. Она использует архитектуру VisionEncoderDecoder и библиотеку Transformers; веса представлены в формате safetensors. По названию модели можно предположить связь с распознаванием биграмм и белорусским языком, однако README не подтверждает назначение суффикса BY или языковую поддержку. В карточке приведены результаты оценки: Loss 0.5955, CER 0.0292 и WER 0.0838. Датасет, сценарии применения, ограничения и условия лицензии не описаны, поэтому оценить качество за пределами указанного набора данных нельзя.
TrOCR_german_handwritten — трансформерная модель OCR на архитектуре vision-encoder-decoder, дообученная на наборе fhswf/german_handwriting. Она распознаёт немецкий рукописный текст на изображениях отдельных строк и преобразует его в текст. Модель основана на TrOCR_large_handwritten; семейство TrOCR представлено в работе Li и соавторов о распознавании текста с помощью предварительно обученных моделей. В README приведены метрики оценки: WER 17,5% и CER 4,1%. Модель предназначена для распознавания немецкого почерка; эти показатели относятся к описанной оценке и не гарантируют точность на других данных. Лицензия — AFL-3.0.
Ultravox v0.4.1 70B — мультимодальная речевая языковая модель от Fixie.ai. Она построена на Llama 3.1 70B Instruct и использует Whisper Large v3 Turbo для обработки речи. Модель принимает аудио вместе с текстовым контекстом, например текстовую системную инструкцию и голосовое сообщение, а в ответ генерирует текст. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи. В README приведены результаты оценки перевода между английским и арабским, немецким и испанским языками. Версия не проходила preference tuning. Генерация аудио не поддерживается. Модель распространяется по лицензии MIT.
Glimpse — модель распознавания текста на изображениях строк, разработанная surfiniaburger для арабской и персидской письменности. Это дообученная на базе unsloth/PaddleOCR-VL компактная мультимодальная модель с архитектурой PaddleOCR-VL; карточка также описывает её как ERNIE-4.5-0.3B Vision-Language Model. В метаданных указаны 318,2 млн параметров и контекст 131 072 токена. Модель предназначена для OCR изображений с текстом справа налево, включая строки со сложными лигатурами и разными шрифтами. По данным карточки, после 500 шагов дообучения CER на отложенных RTL-строках составил 6,97% против примерно 59% у исходной модели. Использованы датасет Persian_Arabic_TextLine_Image_Ocr_Medium и QLoRA; заявленные показатели относятся к описанной оценке и не гарантируют качество на других данных. Лицензия — Apache-2.0. Модель рассчитана прежде всего на арабский и персидский языки; данных о поддержке других языков OCR в карточке нет.
UW1-DPO-soft — диалоговая языковая модель на архитектуре Qwen2 с 7,1 млрд параметров, разработанная авторами репозитория promotion. Она дообучена методом DPO с мягкими метками предпочтений и β_DPO = 0,1 на базе Qwen/Qwen2.5-7B-Instruct. Модель предназначена для генерации текста и диалогов; карточка описывает экспериментальное сравнение вариантов обучения на одном протоколе. Для обучения использовались 319 обучающих и 83 проверочных запроса из отфильтрованной выборки WildChecklists. В README приведены результаты тестов языковых возможностей и предпочтений, но авторы отмечают, что различия между вариантами не превышают одной стандартной ошибки, использован один seed, а оценки локальных судей не являются результатами лидербордов. Контекст модели составляет 32 768 токенов; доступны веса safetensors и интерфейс для вызова инструментов. Лицензия в предоставленных данных не указана.
Карточка модели Koyiljon/uzbek_stt_v1 на Hugging Face совпадает с карточкой Kotib/uzbek_stt_v1, поэтому описание составлено по ней. Kotib/uzbek_stt_v1 — модель автоматического распознавания речи, разработанная командами Kotibai и Rubai и дообученная на базе OpenAI Whisper Medium. Она принимает аудио и преобразует узбекскую речь в текст; модель рассчитана прежде всего на узбекский язык и латинскую письменность, включая некоторые русские заимствования, произнесённые в узбекской речи. Архитектура Whisper, 455,8 млн параметров; модель использует формат safetensors и библиотеку Transformers. Для обучения использовали около 1 600 часов узбекского аудио, а оценку провели на 1 864 примерах из восьми тестовых наборов. В карточке указана общая доля ошибок WER 16,7%; на чистой речи — около 6–11%, на шумной или дополненной — около 12–24%. Модель подходит для расшифровки речи, диктовки, голосовых помощников и создания субтитров. Качество снижается при сильном шуме и частом переключении между языками; модель оптимизирована для узбекского. Лицензия — Apache-2.0.
VibeVoice-ASR-Streaming-7B — потоковая модель распознавания речи семейства VibeVoice, представленная в карточке как модель для транскрибации с указанием говорящего. Она обрабатывает поступающую речь и связывает распознанный текст с тем, кто его произнёс; пользовательские горячие слова помогают распознавать имена и специальные термины. Модель поддерживает китайский, английский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки. В метаданных указаны архитектура VibeVoice, класс VibeVoiceForASRStreamingTraining, библиотека Transformers и формат safetensors. Размер 7B следует из названия модели. Лицензия — MIT. Карточка направляет к репозиторию microsoft/VibeVoice за кодом и инструкциями по использованию. Подробные сведения о контекстном окне, качестве распознавания и ограничениях в предоставленных материалах отсутствуют.
timm/ViT-B-32-SigLIP2-256 — визуально-языковая модель семейства SigLIP 2, обученная на наборе WebLI и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Это контрастивный энкодер изображений и текста, предназначенный прежде всего для классификации изображений по текстовым описаниям без специального дообучения под каждый набор классов. Модель подходит для сопоставления изображения с перечнем текстовых меток или описаний и выбора наиболее подходящих вариантов. Репозиторий использует библиотеку OpenCLIP; веса представлены в форматах PyTorch и Safetensors. Указана лицензия Apache-2.0. Карточка не приводит размер модели, длину контекста или конкретный перечень поддерживаемых языков.
timm/vit_base_patch16_clip_224.laion400m_e32 — модель семейства CLIP с визуальным энкодером Vision Transformer ViT-B/16, обученная на датасете LAION-400M. Она доступна для использования через open_clip и timm; карточка указывает имя OpenCLIP ViT-B-16. Модель предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов. Её можно применять для поиска изображений по тексту и сопоставления изображений с категориями, заданными текстовыми метками. Репозиторий содержит веса PyTorch и safetensors, лицензия — MIT. В описании модели не приведены сведения о размере входа, поддерживаемых языках или количественных оценках качества; название timm указывает разрешение 224 пикселя. Результаты зависят от формулировок текстовых меток и домена изображений; карточка не сообщает об отдельной адаптации для узких областей.
Это модель CLIP на архитектуре ViT-bigG-14 с разрешением изображения 378 пикселей, связанная с MetaCLIP 2. Её можно использовать через open_clip и timm для классификации изображений по текстовым описаниям без отдельного обучения на целевых классах: модель сопоставляет изображение с набором текстовых меток и оценивает соответствие между ними. Репозиторий содержит веса в форматах PyTorch и safetensors; для работы предназначена библиотека open_clip. Модель рассчитана на задачи zero-shot классификации изображений в широком международном контексте. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение. Карточка не описывает ограничения качества или список поддерживаемых языков.
ViT-SO400M-14-SigLIP-384 — контрастивная модель сопоставления изображений и текста семейства SigLIP, обученная на наборе WebLI. Исходные веса созданы в JAX в проекте Big Vision и преобразованы в PyTorch; разработчик конвертированной версии в репозитории — timm. Модель доступна в форматах PyTorch и safetensors и предназначена для работы через OpenCLIP с изображениями и текстом либо через timm для получения эмбеддингов изображений. Основной сценарий — классификация изображений по текстовым описаниям без дообучения: пользователь задаёт варианты классов словами, а модель оценивает соответствие изображения каждому варианту. Контрастивное обучение связывает визуальные и текстовые представления, что также позволяет использовать модель для получения эмбеддингов изображений. В карточке указана лицензия Apache-2.0. Размер модели, длина контекста и поддерживаемые языки в предоставленных источниках не указаны.
Voyage — диалоговая языковая модель Xenon1 на базе Mistral-7B-v0.1, дообученная на наборе Ultrafeedback с применением методов из статьи Self-Rewarding Language Models. Это плотный трансформер MistralForCausalLM примерно на 7,1 млрд параметров с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE. Модель предназначена для генерации текста и ответов в формате диалога; контекст — до 32 768 токенов. Для инструкций используется шаблон Mistral с маркерами [INST] и [/INST], доступный также через chat template. В карточке приведены результаты на ARC-Challenge, HellaSwag, MMLU, TruthfulQA и WinoGrande. Модель поддерживает английский язык и распространяется под лицензией Apache-2.0. Карточка не описывает специализированную область применения или гарантии качества; фактические ответы могут быть ошибочными.
NomaDamas подготовил конверсию модели naver/v-splade-quality в формат MLX bfloat16 для запуска на Apple Silicon. Это разреженный поисковый энкодер для визуального поиска по документам: он кодирует страницы PDF, презентаций и сканов в векторы размерности 50 368 в пространстве токенов. Запросы обрабатываются через заранее вычисленную таблицу Bag-of-Words без нейросетевого кодирования, что позволяет искать документы по текстовым запросам. Артефакт включает веса энкодера в safetensors, таблицу запросов и конфигурации токенизатора и процессора. Архитектура объединяет визуальную башню SigLIP, pixel-shuffle connector, текстовый энкодер ModernBERT и SPLADE MLM head. В README приведены результаты проверки отдельной fp32-конверсии; они не относятся к хранящимся здесь весам bfloat16. Обучение или дообучение для этого репозитория не выполнялись. Модель предназначена для поиска по содержимому страниц документов и лицензирована Apache-2.0. Для загрузки и инференса требуется совместимая среда MLX на Apple Silicon.
elgeish/wav2vec2-large-xlsr-53-arabic — модель автоматического распознавания арабской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасетах Arabic Speech Corpus и Common Voice. Это плотная архитектура wav2vec2 с CTC-выходом и примерно 402,7 млн параметров; репозиторий содержит веса PyTorch и Flax. Модель принимает аудио с частотой дискретизации 16 кГц и предназначена для преобразования арабской речи в текст. Результаты модели представлены в транслитерации Buckwalter, где арабские буквы кодируются символами ASCII; для получения арабского письма требуется обратная транслитерация. В карточке указаны WER 23,39% на валидации Common Voice и тестовый результат 26,55%. Модель можно применять для расшифровки арабских записей и речи, однако точность зависит от данных и условий записи. Лицензия — Apache-2.0.
WAXAL-wal_asr-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0; в метаданных её архитектура указана как Wav2Vec2BertForCTC. Модель принимает аудио и преобразует речь в текст. В README приведены результаты оценки: loss 1.1595 и CER 0.2217. Модель содержит 402,7 млн параметров, использует библиотеку Transformers и сохранена в формате safetensors. Датасет обучения не назван, поэтому сведения о языках и области применения уточнить нельзя. Лицензия — MIT.
Xenova/whisper-base.en — версия модели OpenAI Whisper base.en, подготовленная сообществом Xenova в формате ONNX для работы с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибации аудио на английском языке, в том числе непосредственно из JavaScript-приложений и веб-среды. Ключевая особенность модели — ONNX-веса, обеспечивающие совместимость с Transformers.js и сценариями веб-инференса. README не содержит точных сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях помимо аудио или количественных показателях качества. Сильной стороной является удобная интеграция с JavaScript и возможность обработки аудио по URL; ограничением выступает специализация на английской речи и зависимость от поддержки ONNX и Transformers.js. Модель распространяется по лицензии Apache-2.0.
aiola/whisper-ner-tag-and-mask-v1 — модель на архитектуре Whisper для совместной транскрипции речи и распознавания именованных сущностей. Она предназначена для автоматического распознавания речи с разметкой сущностей открытого типа, включая категории, заданные при использовании модели. Модель также может маскировать распознанные сущности прямо в транскрипте. Модель содержит около 905,2 млн параметров и принимает аудио, выдавая текст. Карточка указывает английский язык. Модель опубликована под лицензией MIT и подходит как основа для последующего дообучения под конкретные наборы данных и сценарии ASR с распознаванием сущностей.
Whisper Small Indonesian — модель распознавания речи, дообученная разработчиком cahya на основе openai/whisper-small. Она преобразует аудио на индонезийском языке в текст и предназначена для сценариев автоматической транскрибации. Архитектура — WhisperForConditionalGeneration; размер модели составляет 153,1 млн параметров. Для обучения использовались наборы Mozilla Common Voice 11.0, Magic Data, TITML и Google FLEURS. В карточке указаны результаты оценки: loss 0,1022 и WER 6,0592. Модель распространяется по лицензии CC; конкретный вариант лицензии в предоставленных данных не уточнён.