/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
5 461–5 490 из 25 791
radlab
pii-pl-v1.0

radlab/pii-pl-v1.0 — модель распознавания именованных сущностей в польском тексте, разработанная Radlab на базе polish-roberta-8k и дообученная для выделения персональных данных. Она размечает токены по девяти категориям, включая контактные данные, и предназначена для конвейеров анонимизации и задач защиты данных. Модель использует архитектуру RoBERTa для классификации токенов, принимает текст и поддерживает контекст до 8194 токенов. В обучении использовалась обобщённая версия набора KPWr-NER; в README приведены метрики оценки, включая Macro F1 0,8430. Модель подходит для поиска персональных сущностей в польских документах перед их обезличиванием. Она также выделяет другие типы именованных сущностей, поэтому результаты требуют проверки на соответствие конкретной схеме анонимизации. Модель распространяется по лицензии Apache 2.0; для набора данных KPWr-NER указана лицензия CC-BY-3.0.

1412апр. 2026ctx8.2K
textapache-2.0hugging-face
seslami-pplx
pplx-embed-context-v1.5-4B

pplx-embed-context-v1.5-4B — контекстная модель эмбеддингов предложений размером 3,7 млрд параметров от seslami-pplx. Она предназначена для поиска по тексту и контекстного представления предложений; в README указано, что это замена версии v1.4-4B с той же архитектурой и кодом загрузки. Модель нацелена на улучшение разрешения парафраз, снижение влияния лексических отвлекающих совпадений и совместное извлечение терминов из глоссария. Модель использует плотную двунаправленную архитектуру PPLX Qwen3, работает через Transformers и принимает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

131сент. 2026ctx32.8K
textapache-2.0hugging-face
EdgeAIMed
privacy-filter-multilingual

Карточка модели EdgeAIMed/privacy-filter-multilingual на Hugging Face совпадает с карточкой OpenMed/privacy-filter-multilingual, поэтому описание составлено по ней. OpenMed разработала privacy-filter-multilingual — многоязычную модель для извлечения и разметки фрагментов с персональными данными в тексте. Это полноценно дообученная модель OpenAI Privacy Filter с архитектурой MoE и классификационной BIOES-разметкой токенов. Она распознаёт 54 категории PII, преобразованные в 217 меток BIOES, и предназначена для последующего маскирования или обезличивания текста. Модель рассчитана на арабский, бенгальский, китайский, нидерландский, английский, французский, немецкий, хинди, итальянский, японский, корейский, португальский, испанский, телугу, турецкий и вьетнамский языки. Она подходит для поиска персональных данных в документах и сообщениях, подготовки текста к передаче или хранению и интеграции в конвейеры защиты данных. Размер модели по метаданным — 145,4 млн параметров; нативный контекст — 131 072 токена. Качество распознавания неодинаково: авторы отмечают лучшие результаты для немецкого, испанского, французского, итальянского, хинди, телугу и английского; китайский, японский, корейский и некоторые языки с низким ресурсом остаются сложнее. Обучающие наборы синтетические, поэтому реальные медицинские, юридические и веб-тексты могут отличаться от обучающих примеров. Модель не предназначена специально для клинических медицинских данных и не заменяет проверку соответствия требованиям законодательства. Лицензия — Apache-2.0.

170июнь 2026ctx131.1K
textapache-2.0hugging-face
togethercomputer
Pythia-Chat-Base-7B

Pythia-Chat-Base-7B — диалоговая языковая модель, разработанная Together Computer в рамках OpenChatKit и дообученная на базе Pythia-7B от EleutherAI. Для настройки использовались более 40 млн инструкций, а затем небольшая выборка отзывов людей для адаптации ответов к предпочтениям пользователей. Модель имеет плотную архитектуру GPT-NeoX, около 8,8 млрд параметров и контекст до 2048 токенов; основной язык — английский. Модель предназначена для чат-ботов и диалоговых сценариев. Она подходит для ответов на вопросы по предоставленному контексту, суммаризации, извлечения информации и классификации; в задачах классификации и извлечения может помогать несколько примеров в запросе. По README, инференс в обычном режиме требует GPU с 24 ГБ памяти, а режим Int8 позволяет использовать GPU с 12 ГБ. Модель распространяется по лицензии Apache 2.0. Модель может галлюцинировать при ответах на фактические вопросы, повторять ответы и терять нить разговора при смене темы. Она слабо подходит для программирования, длинных творческих текстов и критически важных решений; результаты следует проверять.

33067март 2023ctx2K
textapache-2.0hugging-face
Qwen
Qwen2.5-0.5B-Instruct

Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

5.9M697сент. 2024ctx32.8K
textapache-2.0hugging-face
Davedav
Qwen2.5-1.5B-Instruct

Карточка модели Davedav/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

220авг. 2026ctx32.8K
textapache-2.0hugging-face
News666520
Qwen2.5-1.5B-Instruct

Карточка модели News666520/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

1090сент. 2026ctx32.8K
textapache-2.0hugging-face
nosynx
Qwen2.5-1.5B-Instruct

Карточка модели nosynx/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

1071сент. 2026ctx32.8K
textapache-2.0hugging-face
vy22215
Qwen2.5-1.5B-Instruct

Карточка модели vy22215/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

170июнь 2026ctx32.8K
textapache-2.0hugging-face
twolven
Qwen3.8-27B-abliterated-AWQ-MTP

Qwen3.8-27B-abliterated-AWQ-MTP — квантизированная модель, опубликованная пользователем twolven на базе JonathanColetti/Qwen3.8-27B-Uncensored и исходной Qwen3.8-27B от Qwen. Модель использует AWQ-квантизацию W4A16 с размером группы 128, сохраняя модуль MTP для speculative decoding. Лицензия — Apache-2.0. Модель предназначена для генерации и понимания текста, диалоговых приложений, tool calling и обработки изображений с текстовыми запросами. Это vision-language model с гибридной архитектурой: 64 слоя, включая 48 слоёв linear attention на базе Qwen3_5GatedDeltaNet и 16 полноценных attention-слоёв. Зрительная башня содержит 27 слоёв и оставлена в формате bfloat16. Заявленный контекст — 262 144 токена; модуль MTP содержит один скрытый слой и также не квантизирован. Ключевые преимущества — заметно меньшее потребление памяти по сравнению с FP8-версией, поддержка изображений без дополнительного ухудшения со стороны квантизации vision tower и ускорение генерации при корректно работающем MTP. На конфигурации с двумя RTX 3090 автор получил медианную скорость около 84 токенов в секунду и подтвердил работу извлечения данных из длинного контекста, tool calling и распознавания содержимого изображений. Точность относительно исходной bfloat16-модели отдельно не оценивалась, поэтому степень потери качества из-за W4A16 неизвестна. Модель имеет ограничения: MTP требует правильной настройки и при некорректной загрузке может снизить производительность; абсолютные показатели скорости зависят от характера запросов. Не рекомендуется использовать greedy decoding с temperature 0, поскольку возможны зацикливание и повторение предложений. Следует применять repetition_penalty около 1.05 и ненулевую temperature. Термин «abliterated» означает удаление исходных механизмов отказа, поэтому поведение модели в отношении безопасных ограничений может отличаться от оригинальной Qwen3.8-27B.

47K19авг. 2026ctx262.1K
textimageapache-2.0hugging-face
PeterAM4
Qwen3-Embedding-0.6B-GGUF

PeterAM4/Qwen3-Embedding-0.6B-GGUF — набор GGUF-квантизаций модели Qwen3-Embedding-0.6B, разработанной Qwen и квантизированной PeterAM4 с помощью llama.cpp. Модель предназначена для построения эмбеддингов и подходит для RAG-систем, семантического поиска, извлечения документов и задач финансового NLP. Доступны варианты квантизации от 8-битных до 1-битных, включая версии с калибровкой importance matrix, ориентированной на финансовые и технические тексты. Базовая модель содержит 595 776 512 параметров, поддерживает контекст до 32 768 токенов, использует pooling по последнему токену и формирует эмбеддинги размерности 1024. Заявлена мультиязычная поддержка английского, китайского, японского, корейского, французского, немецкого, испанского, португальского, русского и арабского языков. Компактный размер квантизированных файлов позволяет запускать модель на периферийных устройствах, ноутбуках и серверах с ограниченными ресурсами. К сильным сторонам относятся низкое потребление памяти, потенциально малая задержка и сохранение качества при умеренной квантизации; по приведённому тестированию рекомендован вариант Q3_K_M-imat размером 331 МБ. Качество существенно зависит от выбранного формата: при чрезмерно агрессивной квантизации показатели perplexity заметно ухудшаются, а результаты тестов получены на ограниченном корпусе финансовых, математических и общих текстов и не гарантируют качество для всех задач. Модель распространяется по лицензии Apache 2.0.

2.2K3февр. 2026
textapache-2.0hugging-face
prithivMLmods
QWQ-500M

QWQ-500M — дообученная модель prithivMLmods на базе Qwen2.5-0.5B-Instruct, предназначенная для генерации текста, диалогов и рассуждений при решении сложных задач. Она построена на плотной архитектуре Qwen2 и содержит 494 млн параметров; для работы используется библиотека Transformers, веса доступны в формате Safetensors, лицензия — Apache-2.0. Модель подходит для создания длинных ответов, пошаговых объяснений и структурированных данных, включая JSON и таблицы. В карточке заявлена поддержка более 29 языков; метаданные указывают английский. В README заявлено контекстное окно до 128 тысяч токенов и генерация до 8 тысяч токенов, тогда как метаданные указывают нативный контекст 32 768 токенов.

332янв. 2025ctx32.8K
textapache-2.0hugging-face
newdim001
sba-extract-v4

sba-extract-v4 — модель Koodo Technology LLC FZ, дообученная на базе Qwen2.5-3B для извлечения 16 финансовых полей из текстового представления налоговых деклараций США и формирования структурированного JSON для SBA Form 413. Она предназначена для автоматизации подготовки персональных финансовых отчётов в кредитных союзах и общественных банках, работающих с кредитованием малого бизнеса. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2, поддерживает контекст до 32 768 токенов и доступна в формате GGUF; в метаданных указана поддержка английского языка и лицензия MIT. В карточке заявлена точность 81% при точном совпадении всех полей и 100% после постобработки. Ошибки касаются полей с несколькими значениями: модель может извлечь только первое из них, поэтому для суммирования счетов или объектов недвижимости нужна постобработка. Модель работает с текстом или Markdown, а не с изображениями документов напрямую.

280авг. 2026
textmithugging-face
ricardo-filho
sbertimbau-large-quora-multitask

ricardo-filho/sbertimbau-large-quora-multitask — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем ricardo-filho. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. В обучении использовались MultipleNegativesRankingLoss с косинусным сходством и OnlineContrastiveLoss; модель доступна в формате PyTorch и поддерживается библиотекой Sentence-Transformers. Модель подходит для поиска похожих вопросов и документов, группировки текстов по смыслу и построения семантического поиска. Контекст ограничен 512 токенами. По названию и базовой модели Sbertimbau она ориентирована на португальский язык; в предоставленной карточке не перечислены конкретные оценки качества. Лицензия в доступных данных не указана.

1000март 2022ctx512
textembeddinghugging-face
LibreYOLO
SenseNovaVision7b

LibreYOLO/SenseNovaVision7b — зеркало весов SenseNova-Vision-7B-MoT от SenseTime для интеграции в уровень LibreVLM библиотеки LibreYOLO. Это единая мультимодальная модель компьютерного зрения на архитектуре Bagel-MoT: декодер Qwen2.5-7B MoT, визуальный модуль SigLIP и автоэнкодер FLUX. Один чекпойнт поддерживает обнаружение объектов, поиск точек и ключевых точек, OCR, оценку глубины, сегментацию и паноптическую сегментацию. Символьные результаты, например рамки, точки и распознанные слова, выдаются как структурированный текст; карты глубины и маски — как изображения, декодированные VAE. Модель можно использовать для анализа изображений через чат-интерфейс и генерацию. Веса и конфигурации в репозитории не изменены относительно исходной модели SenseTime; добавлены только карточка и уведомление. Лицензия весов CC BY-NC 4.0 разрешает некоммерческое использование. Для загрузки в LibreYOLO предусмотрено восстановление раскладки специальных токенов; другим средствам запуска может потребоваться такая же настройка или медленный токенизатор на основе vocab.json и merges.txt.

300июль 2026ctx131.1K
textcc-by-nc-4.0hugging-face
gubartz
st_scibert_pubmed_rct

gubartz/st_scibert_pubmed_rct — модель Sentence-Transformers на архитектуре BERT, обученная для представления предложений и абзацев в виде плотных векторов размерности 768. Её можно использовать для семантического поиска и кластеризации текстов; размер модели составляет 137,1 млн параметров, максимальная длина контекста — 512 токенов. Модель обучалась с функцией потерь BatchAllTripletLoss. Для получения эмбеддингов её можно запускать через Sentence-Transformers или Transformers с подходящей операцией pooling. Она предназначена для текстовых входов и выдаёт векторы; формат весов в репозитории — PyTorch. Метаданные и README не сообщают лицензию или конкретные языки обучения, поэтому их нельзя уточнить.

1000авг. 2023ctx512
textembeddinghugging-face
utter-project
TowerVision-9B

TowerVision-9B — мультимодальная языковая модель с открытыми весами от проекта TowerVision, предназначенная для работы с изображениями и текстом. Версия содержит 9 млрд параметров и основана на Unbabel/Tower-Plus-9B, соединённой с визуальным энкодером SigLIP2-patch14-384 через мультимодальный адаптер. Модель поддерживает контекст до 8192 токенов и обрабатывает изображения вместе с текстовыми запросами, выдавая текст. Модель подходит для описания изображений, визуальных вопросов и ответов, суммаризации, анализа графиков и документов, а также мультиязычного перевода с учётом визуального и культурного контекста. В README перечислены европейские и азиатские языки, включая русский; метаданные также указывают поддержку 17 языков. Рекомендуемая точность для запуска — bfloat16. Модель поставляется в формате safetensors и использует библиотеку Transformers. Лицензия CC-BY-NC-SA-4.0 требует указания авторства, распространения производных материалов на тех же условиях и не разрешает коммерческое использование.

1594авг. 2025ctx8.2K
textimagecc-by-nc-sa-4.0hugging-face
Hukyl
trocr-large-uk-handwritten-real

Hukyl разработала TrOCR-Large для распознавания рукописного украинского текста по изображениям отдельных строк. Модель построена на архитектуре VisionEncoderDecoderModel: энкодер ViT-L/16 принимает изображения с разрешением 384 пикселя, а декодер генерирует текст. Размер — около 558 млн параметров. Это дообучение Hukyl/trocr-large-uk-handwritten на реальных рукописях без синтетических данных; модель также подходит как начальная точка для дальнейшей настройки под конкретный почерк или область. Модель предназначена для распознавания заранее выделенных строк, например после обнаружения текста в скане или на странице. В проверке на данных, близких к обучающим, CER составил 0,0249, но на рукописных страницах набора Rukopys без дополнительной настройки CER вырос до 0,1838. Поэтому для архивных сканов и других отличающихся по распределению документов может потребоваться дообучение. Транскрипция может отличаться от оригинала регистром букв и пунктуацией. Лицензия модели — Apache-2.0; при распространении или использовании производных моделей необходимо сохранить атрибуцию набора UkrHandwritten по CC BY-SA 4.0.

401июнь 2026ctx512
textimageapache-2.0hugging-face
PaddlePaddle
UVDoc

UVDoc — модель PaddlePaddle для геометрической коррекции изображений документов. Она выправляет наклон, перспективные искажения и деформации страницы, чтобы улучшить качество последующего распознавания текста. Модель рассчитана на использование как этап предварительной обработки в системах OCR и конвейерах анализа документов, включая PP-StructureV3. В README приведён результат CER 0,179 на тестовом наборе DocUNet; это показатель из указанного бенчмарка, а не гарантия качества на других данных. Модель распространяется под лицензией Apache-2.0. Метаданные указывают языки en и zh; карточка описывает именно коррекцию изображений, а не самостоятельное распознавание текста.

458K14июнь 2025
textimageapache-2.0hugging-face
PaddlePaddle
UVDoc_safetensors

UVDoc — модель семейства UVDoc от PaddlePaddle, предназначенная для геометрической коррекции изображений документов. Она преобразует искажённые снимки, исправляя деформацию, наклон и перспективу, чтобы улучшить точность последующего распознавания текста. В карточке указана оценка CER 0,179 на тестовом наборе DocUNet; подробности методики измерения не приведены. Модель распространяется в формате safetensors и рассчитана на обработку изображений с текстом. Метаданные указывают английский и китайский языки, библиотеку PaddleOCR и лицензию Apache-2.0. Размер модели и длина контекста не относятся к указанному сценарию и в доступных данных не описаны.

3213март 2026
textimageapache-2.0hugging-face
microsoft
VibeVoice-ASR

VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.

688K1.3Kянв. 2026
textaudiomithugging-face
bezzam
VibeVoice-ASR-7B

VibeVoice-ASR-7B — мультимодальная модель распознавания речи семейства VibeVoice, представленная в карточке bezzam; код и исходный проект связаны с Microsoft. Она принимает аудио и создаёт структурированную транскрипцию с текстом, временными отметками и указанием говорящих, объединяя распознавание речи, диаризацию и таймкодирование. Модель рассчитана на длинные записи до 60 минут за один проход, поддерживает более 50 языков и переключение языков в речи. Можно передавать контекстные подсказки и пользовательские ключевые слова для имён и специализированных терминов. Модель реализована как плотная архитектура VibeVoice ASR для Transformers и распространяется в формате safetensors; в README заявлена обработка аудио с контекстом до 64K токенов. Для запуска карточка указывает на использование отдельного форка Transformers, поскольку поддержка ещё не объединена с основной библиотекой. Лицензия — MIT. В README приведены результаты оценки на нескольких наборах данных, однако они не гарантируют аналогичное качество на других языках, типах записи и акустических условиях.

874янв. 2026ctx131.1K
textaudiomithugging-face
WAINUT
walnoot-8b-instruct

Walnoot 8B Instruct — нидерландская языковая модель компании WAINUT, версия 1.0, построенная на базе Apertus-8B-2509. Модель дообучена на нидерландских текстах и инструкциях: карточка описывает продолженное предобучение, обучение следованию инструкциям и доработку с обратной связью. В метаданных указаны плотная архитектура ApertusForCausalLM, 10,3 млрд параметров, контекст до 65 536 токенов и поддержка чата. Модель предназначена для работы с нидерландскими деловыми и юридическими текстами: ответов на вопросы по переданному документу, извлечения сведений, классификации и подготовки стандартных текстов. Она также может составлять черновики кратких изложений, которые следует проверить. Это не поисковая система и не база фактов. Выпущена по лицензии Apache 2.0.

2.0K1июль 2026ctx65.5K
textapache-2.0hugging-face
OpenVINO
whisper-large-v3-turbo-int8-ov

Это мультиязычная модель распознавания речи Whisper large-v3-turbo, подготовленная OpenVINO и сжатая до INT8 с помощью NNCF. Она преобразует аудио в текст и подходит для транскрибирования речи на множестве языков, включая русский и английский. В основе — Whisper large-v3-turbo, дообученная и прореженная версия Whisper large-v3 с четырьмя слоями декодера вместо 32. Это ускоряет распознавание, при этом возможно небольшое снижение качества. Модель поставляется в формате OpenVINO IR; для запуска требуются OpenVINO 2026.1.0 или новее и Optimum Intel 1.27.0 или новее. Модель распространяется по лицензии MIT. В README ограничения отсылают к карточке исходной модели; конкретные ограничения здесь не перечислены.

3.4K5май 2026
textaudiomithugging-face
deepset
xlm-roberta-base-squad2

deepset/xlm-roberta-base-squad2 — мультиязычная модель для извлечения ответов на вопросы, разработанная deepset на базе xlm-roberta-base. Модель обучена на SQuAD 2.0 и предназначена для поиска точного фрагмента ответа в предоставленном тексте; она также может отказаться от ответа, если в тексте нет нужной информации. Модель использует архитектуру XLM-RoBERTa с 305,2 млн параметров и контекстом до 514 токенов. Подходит для систем вопросно-ответного поиска по документам, в том числе построенных на Haystack. В README приведены оценки на SQuAD 2.0, German MLQA и German XQuAD; на двух последних наборах проверялись вопросы и контексты на немецком языке. Модель принимает текст вопроса и контекста и возвращает текстовый ответ с его позицией во входном фрагменте. Лицензия — CC BY 4.0. Поскольку модель извлекает ответы из переданного текста, качество зависит от полноты и релевантности контекста; оценки на немецких наборах показывают ограниченное качество и не гарантируют результаты на других языках или доменах.

41K26март 2022ctx514
textcc-by-4.0hugging-face
NAMAA-Space
AraModernBert-Base-V1.0

AraModernBERT Base V1.0 — модель NAMAA-Space для понимания арабского языка на архитектуре ModernBERT. Она обучена предсказывать замаскированные токены на 100 ГБ арабского текста; для токенизации используется словарь из 50 280 единиц, подготовленный для арабского языка с применением transtokenization при инициализации эмбеддингов. Модель содержит 148,9 млн параметров, 22 слоя, 12 голов внимания и поддерживает контекст до 8 192 токенов с локальным и глобальным вниманием. Основная задача модели — заполнение пропусков в тексте. Её представления также можно применять в поиске информации, RAG, сравнении документов, классификации текстов, анализе тональности и распознавании именованных сущностей. В карточке приведены результаты отдельных экспериментов на классификации SANAD и арабском NER; отдельная STS-версия, согласно README, планировалась к выпуску отдельно. Модель ориентирована прежде всего на современный стандартный арабский язык; качество может отличаться на диалектах, классических текстах и узкоспециализированной лексике, а обучающие данные могут содержать смещения. Лицензия — Apache-2.0.

1.8K15февр. 2025ctx8.2K
textapache-2.0hugging-face
m-ric
Aria_hf_2

m-ric/Aria_hf_2 — опубликованный на Hugging Face чекпойнт модели Aria, разработанной командой Rhymes.AI; репозиторий содержит веса в формате safetensors и использует архитектуру AriaForConditionalGeneration. Это мультимодальная модель типа mixture-of-experts, принимающая текст и изображения и генерирующая текст. Она подходит для диалога по изображениям, визуальных вопросов и ответов, описания изображений, а также задач понимания документов и диаграмм. В документации Aria указаны 3,9 млрд активируемых параметров на визуальный токен и 3,5 млрд на текстовый токен; текст обрабатывается MoE-декодером, а изображения — лёгким визуальным энкодером. Репозиторий m-ric/Aria_hf_2 не уточняет размер контекстного окна, поддерживаемые языки или лицензию, поэтому эти характеристики здесь не заявляются. Для загрузки через Transformers указано использование trust_remote_code.

7.3K0окт. 2024
texthugging-face
mgrella
autonlp-bank-transaction-classification-5521155

mgrella/autonlp-bank-transaction-classification-5521155 — модель классификации банковских транзакций, обученная с помощью AutoNLP. Она решает задачу многоклассовой классификации текста и предназначена для присвоения транзакционным записям категорий по их текстовому описанию. Модель построена на архитектуре BERT для классификации последовательностей, содержит 137,1 млн параметров и принимает текст длиной до 512 токенов. В карточке указан итальянский язык. На валидации точность составила 0,822, а macro F1 — 0,571; разница между этими показателями указывает, что качество может заметно различаться между классами. Модель опубликована в формате PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

3726март 2022ctx512
texthugging-face
AbdoTarek
Baseer-OCR-V1.0

Baseer OCR V1.0 — модель Абдельрахмана Тарека для распознавания арабских юридических документов. Она основана на Qwen2-VL-2B-Instruct и дообучена методом LoRA для извлечения текста из изображений договоров, судебных документов и официальных бумаг со сложной версткой. Модель обрабатывает печатный и рукописный арабский текст, многостолбцовые страницы, таблицы, печати и пометки. Результат может включать извлеченный текст, ключевые слова и сведения о теме документа в структурированном JSON; поддерживаются инструкции для настройки извлечения. Для обучения использовался пользовательский набор арабских юридических документов, изображения предварительно масштабировались до 512×512 пикселей. Модель доступна под лицензией Apache-2.0. README заявляет высокую точность на печатном арабском тексте, но не приводит численных результатов оценки; рекомендуемые требования к GPU — от 16 ГБ видеопамяти, хотя сообщается, что модель проверялась примерно на 8 ГБ.

2910март 2026ctx32.8K
textimageapache-2.0hugging-face
catallama
CataLlama-v0.1-Instruct-DPO

CataLlama-v0.1-Instruct-DPO — авторегрессионная языковая модель на архитектуре Llama 3, разработанная Лаурентиу Петреа. Это финальный этап обучения CataLlama: модель дообучена методом DPO на наборе catallama/Catalan-DPO поверх CataLlama-v0.1-Instruct-SFT. Размер модели — 7,5 млрд параметров, контекст — 8192 токена; доступны веса в формате Safetensors. Модель предназначена для диалогового взаимодействия и выполнения инструкций на каталанском языке. Она поддерживает извлечение информации для RAG, распознавание именованных сущностей, перевод между английским и каталанским, краткое и развернутое суммирование, а также анализ тональности. Разработчик сообщает об улучшенной работе с каталанским после обучения примерно на 445 млн новых токенов в три этапа. Модель может быть полезна для приложений, которым требуется генерация и анализ текста на каталанском, однако README представляет её как демонстрацию методов адаптации LLM к новым языкам, а не как модель, ориентированную на рекорды бенчмарков. Лицензия — Llama 3 Community License; применяются её условия и Acceptable Use Policy.

243май 2024ctx8.2K
textllama3hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей