/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
5 611–5 640 из 25 791
Hukyl
trocr-rukopys

Hukyl разработала trocr-rukopys — модель распознавания текста на изображениях на базе TrOCR-base с архитектурой VisionEncoderDecoderModel, включающей энкодер ViT-B/16 и декодер TrOCR; в модели около 334 млн параметров. Она дообучена на наборе Rukopys для распознавания строк и областей с рукописным украинским текстом в архивных документах и рассчитана на работу после детектора макета страницы. В обучении также использовались печатный текст, аннотации и табличные области, но для этих классов приведено мало оценочных примеров. На 1000 примерах валидации для рукописного текста указаны CER 0,1126 и WER 0,3036; авторы предупреждают, что разбиение выполнено по фрагментам, а не по страницам, поэтому оценка может быть оптимистичной. Модель хуже подходит для других языков и письменностей, современного цифрового текста и точной транскрипции без нормализации. Датасет Rukopys распространяется по лицензии CC BY 4.0; базовая модель не указывает явную лицензию, поэтому условия её использования и распространения следует проверить отдельно.

431май 2026ctx512
textimagehugging-face
Jinstudio
VibeVoice-ASR-HF

Карточка модели Jinstudio/VibeVoice-ASR-HF на Hugging Face совпадает с карточкой microsoft/VibeVoice-ASR-HF, поэтому описание составлено по ней. VibeVoice-ASR — мультиязычная модель Microsoft для распознавания речи, доступная в версии, совместимой с Transformers. Она принимает аудио и формирует транскрипцию с текстом, временными метками и указанием говорящего; также можно передавать контекстные подсказки, например имена или специальные термины, чтобы помочь распознаванию.

270июль 2026ctx131.1K
textaudiomithugging-face
FacebookAI
xlm-roberta-large

XLM-RoBERTa large — мультиязычная языковая модель семейства RoBERTa, разработанная командой Facebook AI и впервые опубликованная в репозитории Hugging Face. Модель с архитектурой XLM-RoBERTa содержит 658,7 млн параметров и обучена на 2,5 ТБ очищенных данных CommonCrawl на 100 языках с целью masked language modeling: по контексту предсказывает скрытые токены. Длина контекста — 514 токенов. Модель предназначена для заполнения пропусков в тексте и как основа для дообучения под классификацию последовательностей и токенов, ответы на вопросы и другие задачи понимания текста. Она формирует двунаправленные представления предложений на многих языках, что позволяет использовать её для извлечения признаков и кросс-языковых сценариев. Для свободной генерации текста модель не предназначена. Распространяется по лицензии MIT.

2.5M547март 2022ctx514
textmithugging-face
Recognai
zeroshot_selectra_medium

Zero-shot SELECTRA Medium — испаноязычный классификатор с архитектурой ELECTRA, разработанный авторами, указанными в карточке модели: David Fidalgo, Daniel Vila, Francisco Aranda и Javier Lopez. Модель дообучена на испанской части набора XNLI и предназначена для классификации текста по заданным пользователем категориям без отдельного обучения на этих категориях. Модель содержит около 47,5 млн параметров, принимает текст и использует шаблон гипотезы на испанском языке. Контекст ограничен 512 токенами. В оценке авторов SELECTRA Medium показала точность 0,807 на тестовой части XNLI и 0,589 при классификации испанских резюме MLSUM по пяти выбранным меткам; эти результаты относятся к указанным наборам и настройкам оценки. Модель компактнее прежнего классификатора на BETO и в этих тестах превзошла его. Распространяется по лицензии Apache-2.0.

37714март 2022ctx512
textapache-2.0hugging-face
singtan
acord-qwen2-vl-7b-fine-tuned

singtan/acord-qwen2-vl-7b-fine-tuned — дообученная модель компьютерного зрения и языка на базе Qwen2-VL-7B-Instruct, разработанная для извлечения структурированных данных из страховых форм ACORD. Она принимает изображения документов и формирует семантический JSON, в том числе для многостолбцовых макетов, чекбоксов и мелкого текста. Модель использует архитектуру Qwen2-VL с визуальным энкодером ViT и языковой моделью Qwen2; адаптация выполнена методом QLoRA с 4-битной квантизацией при обучении, визуальный энкодер оставлен замороженным. Поддерживается динамическое разрешение изображений от 256 до 1280 пикселей. Модель предназначена для автоматизации разбора страховых документов без отдельного OCR-конвейера и предварительной разметки координат. Лицензия — Apache-2.0. Карточка описывает возможности на формах ACORD; качество на других типах документов и рукописном тексте может отличаться, а заявленное распознавание рукописных вариаций не сопровождается количественными оценками.

120авг. 2026ctx32.8K
textimageapache-2.0hugging-face
bakrianoo
arabic-legal-documents-ocr-1.0

Arabic Legal Documents OCR 1.0 — адаптер, дообученный автором карточки на базе мультимодальной Gemma 3 4B IT от Google для извлечения структурированных данных из сканированных арабских юридических документов, в том числе низкого качества. Модель принимает изображения документов и формирует текстовый ответ со структурированными данными; для повышения качества распознавания автор рекомендует предварительно изменить размер изображения и перевести его в оттенки серого. Модель построена на архитектуре Gemma 3 и распространяется как LoRA-адаптер для базовой модели google/gemma-3-4b-it. Карточка описывает использование через Transformers и vLLM. Поддерживаемые языки по метаданным — арабский и английский; язык документов, для которых она специально оптимизирована, — арабский. Лицензия указана как gemma. Модель ориентирована на OCR юридических документов и извлечение из них структурированных сведений. Карточка не приводит оценки качества, перечень поддерживаемых типов документов или схему выходных полей; результаты могут зависеть от качества скана и предварительной обработки.

30049янв. 2026
textimagegemmahugging-face
TencentARC
ARC-Qwen-Video-7B-Narrator

ARC-Qwen-Video-7B-Narrator — дообученная мультимодальная модель TencentARC на базе Qwen2.5-VL-7B-Instruct для анализа коротких видео. Она формирует описания с временными метками, различает говорящих и передаёт распознанную речь, помогая разбирать события и диалоги в роликах. Архитектура — плотная модель семейства Qwen2.5-VL с 7,1 млрд параметров; она обрабатывает видео и аудио и выдаёт текст. В метаданных указан контекст длиной до 128 000 токенов. Модель подходит для создания временной расшифровки ролика, краткого описания сцен и анализа последовательности событий. В README также показан сценарий, где результат модели передают внешней LLM для получения более подробного структурированного разбора. Для развёртывания описаны проверенные конфигурации с NVIDIA H20 и A100; установка зависит от соответствующих библиотек и окружения. Модель распространяется по лицензии Apache-2.0.

12312сент. 2025ctx128K
textvideoapache-2.0hugging-face
baichuan-inc
BaichuanMed-OCR-7B

BaichuanMed-OCR-7B — мультимодальная модель компании Baichuan, дообученная на медицинских отчётах на основе Qwen/Qwen2.5-VL-7B-Instruct. Она принимает изображения медицинских документов и текстовые вопросы, распознаёт содержание отчёта и отвечает на вопросы по извлечённым данным; распознанную информацию может выдавать в структурированном Markdown. Модель построена на архитектуре Qwen2.5-VL, содержит 7,1 млрд параметров и поддерживает контекст до 128 000 токенов. В опубликованном README приведён результат 83,5% на частном наборе медицинских отчётов; он не гарантирует такое же качество на других документах. Лицензия указана как other, поэтому условия использования следует уточнить в карточке модели и у разработчика.

11312апр. 2025ctx128K
textimageotherhugging-face
google-bert
bert-base-uncased

BERT base uncased — англоязычная предварительно обученная модель Google на базе архитектуры BERT для восстановления замаскированных слов. Она содержит 136,7 млн параметров и принимает текст в нижнем регистре; токенизатор WordPiece использует словарь из 30 000 токенов. Контекст ограничен 512 токенами. Предобучение на BookCorpus и англоязычной Википедии использовало задачи masked language modeling и предсказания следующего предложения. Модель предназначена прежде всего для дальнейшей настройки под задачи понимания текста, например классификацию, разметку токенов и ответы на вопросы. Её можно применять для заполнения пропусков в тексте; она также может служить источником признаков для downstream-моделей. Это базовый чекпойнт, а не модель для генерации длинных текстов. Предобучение без учительской разметки позволяет использовать корпусный контекст, однако предсказания могут отражать смещения данных. Модель распространяется по лицензии Apache-2.0.

30.5M3.4Kмарт 2022ctx512
textapache-2.0hugging-face
badokorach
bert-finetuned-squad-7

badokorach/bert-finetuned-squad-7 — модель BERT, дообученная разработчиком badokorach на основе badokorach/bert-finetuned-squad-5 для ответов на вопросы. Она предназначена для извлечения ответа из предоставленного контекста; карточка сообщает о дообучении на неизвестном наборе данных и приводит значение Train Loss 0,0011 на 29-й эпохе. Модель содержит 135,5 млн параметров, принимает текст с контекстом длиной до 512 токенов и выдаёт текстовый ответ. Доступна в формате TensorFlow по лицензии Apache-2.0. Карточка не описывает обучающие и оценочные данные, языки, качество на независимых тестах или ограничения применения. Поэтому пригодность для конкретного языка и предметной области следует проверять отдельно.

140авг. 2023ctx512
textapache-2.0hugging-face
carted-nlp
categorization-finetuned-20220721-164940-distilled-20220810-185342

Модель carted-nlp/categorization-finetuned-20220721-164940-distilled-20220810-185342 — дообученный классификатор текста на базе RoBERTa, разработанный carted-nlp. Модель содержит 36 млн параметров и принимает текст с контекстным окном до 514 токенов. Она предназначена для классификации текстов. В карточке приведены результаты оценки: accuracy 0,87 и F1 0,869. Данные о классах, обучающем наборе и целевой области применения не раскрыты. Модель распространяется в формате PyTorch; лицензия в предоставленных сведениях не указана.

110авг. 2022ctx514
texthugging-face
Chat2DB
Chat2DB-SQL-7B

Chat2DB-SQL-7B — языковая модель проекта Chat2DB для преобразования запросов на естественном языке в SQL. Она основана на CodeLlama и дообучена для генерации SQL; архитектура — плотная Llama, размер — около 6,6 млрд параметров. Модель работает с контекстом до 16 384 токенов и поддерживает несколько диалектов, включая MySQL, PostgreSQL и SQLite. Модель подходит для подготовки SQL по текстовому описанию запроса, в том числе с использованием функций и типовых конструкций SQL. В README приведены результаты оценки на Spider для обобщённого SQL, однако гарантии точности для производственного применения нет. Лучше всего модель настроена на MySQL, PostgreSQL и обобщённый SQL; в других диалектах возможны ошибки, особенно в специфичных функциях дат и строк. Лицензия — Apache-2.0.

3656апр. 2024ctx16.4K
textapache-2.0hugging-face
vidore
colpali-v1.3-hf

ColPali v1.3 HF — модель визуального поиска по документам, разработанная ViDoRe на основе PaliGemma-3B и стратегии ColBERT. Эта версия предназначена для загрузки через Transformers или Sentence Transformers; веса преобразованы из чекпойнта vidore/colpali-v1.3-merged. Модель формирует многовекторные представления страниц и текстовых запросов, чтобы находить релевантные страницы по их визуальному содержимому. Подходит для поиска по PDF и другим документам с визуально значимой структурой: например, когда важны таблицы, схемы или расположение элементов. Обучение проводилось на англоязычных парах «запрос — страница»; README сообщает о проверке переноса на другие языки, однако основное внимание уделено языкам с большими ресурсами. Для воспроизведения обученного формата запросов в Transformers нужно установить префикс «Query: » у процессора. Лицензия — Gemma; применяются условия лицензии Gemma.

13K27нояб. 2024
textgemmahugging-face
emilys
dateline-loc-resolver-v1

dateline-loc-resolver-v1 — многоязычный reranker на основе cross-encoder, разработанный автором репозитория emilys. Модель ранжирует предоставленные варианты мест GeoNames, чтобы определить, какое из них соответствует локации в датлайне новостной статьи. Это дообученная XLM-RoBERTa-base с архитектурой XLMRobertaForSequenceClassification, примерно 305,2 млн параметров и длиной контекста 514 токенов по метаданным; в карточке также указана максимальная длина последовательности 256 токенов. Модель принимает текстовый контекст статьи и описание кандидата, оценивая соответствие пары. Она предназначена для разрешения неоднозначности топонимов в новостях, а не для поиска координат или самостоятельного извлечения кандидатов из географического справочника: список кандидатов нужно сформировать отдельно. Для ожидаемого качества следует соблюдать обученный формат входа, включая тип географического объекта и население кандидата; по умолчанию модель не отказывается от ответа и оценивает любой непустой список кандидатов. Лицензия — CC BY 4.0.

140сент. 2026ctx514
textcc-by-4.0hugging-face
prithivMLmods
DeepCaption-VLA-V2.0-7B

DeepCaption-VLA-V2.0-7B — мультимодальная модель на архитектуре Qwen2.5-VL, созданная prithivMLmods объединением DeepCaption-VLA-7B и Qwen2.5-VL-7B-Instruct. Она предназначена для описания изображений и атрибуции визуальных свойств: формирует подробные подписи с характеристиками объектов, сцен и окружения, а по формулировке запроса может выдавать краткие или детальные описания. Модель рассчитана на изображения разных жанров и пропорций, включая художественные, технические, абстрактные и малоконтекстные примеры. Модель содержит 7,1 млрд параметров, принимает изображения и текстовые инструкции и генерирует текст. Заявлена поддержка английского, китайского и тайского языков; контекст составляет до 128 000 токенов. Лицензия — Apache-2.0. В неоднозначных или низкокачественных изображениях модель может приписывать объектам свойства, которые не видны явно; уровень детализации зависит от запроса. Качество может снижаться на синтетических и абстрактных изображениях, а в описаниях чувствительных изображений может появляться явный контент.

297окт. 2025ctx128K
textimageapache-2.0hugging-face
Intel
distilbert-base-uncased-distilled-squad-int8-static-inc

Это статически квантованная до INT8 модель DistilBERT для ответов на вопросы по заданному текстовому контексту. Её разработали Xin He, Zixuan Cheng и Yu Wenz; модель основана на distilbert-base-uncased-distilled-squad и предназначена для быстрого вывода при уменьшенном размере весов. Доступны варианты PyTorch и ONNX. Модель дообучена на Stanford Question Answering Dataset (SQuAD), её базовая архитектура — DistilBERT с головой для извлечения ответов. Контекст ограничен 512 токенами. В карточке приведены результаты F1 около 86 для INT8-вариантов; их размер меньше, чем у соответствующих версий FP32. Лицензия — Apache-2.0. Модель подходит для систем, которые находят ответ на вопрос в предоставленном отрывке, в том числе при ограниченных вычислительных ресурсах. Она рассчитана на английский язык и может терять точность на иных данных или при переносе за пределы сценария SQuAD; квантизация также может повлиять на точность. Для критичных применений рекомендуется проверять качество на целевых данных.

1375авг. 2022ctx512
textapache-2.0hugging-face
chenjz24
EdgeIn-v1

EdgeInstant-1.5b S5 — китайско-английская аудиотекстовая модель, дообученная авторами репозитория на базе финальной модели S4. Она принимает аудио и отвечает текстом, поддерживая распознавание речи, перевод речи, аудиовопросы и выполнение голосовых инструкций; предусмотрены режимы прямого ответа и рассуждения. Для обработки используются Transformers и аудио с частотой 16 кГц в моно; модель поставляется с весами, процессором и пользовательским кодом. Обучение включало китайские и английские данные, а также аудиовопросы, команды и задачи понимания звуков и музыки. На проверочном наборе извлечения полей из голосовых команд авторы сообщают 93,49% полностью корректных JSON-объектов и 96,79% точности по отдельным полям. Модель слабее справляется со сложными открытыми рассуждениями по аудио, устным вычислением чисел и переводом с китайского на английский; низкая громкость и недостаток информации могут приводить к неподтверждённой расшифровке. Режим рассуждения не гарантирует большей точности. Лицензия в README описана как зависящая от компонентов Qwen и обучающих данных; для кода декодера указана отдельная лицензия LICENSE.codec.

300сент. 2026ctx262.1K
textaudiohugging-face
IDEA-CCNL
Erlangshen-Roberta-330M-Similarity

IDEA-CCNL разработала Erlangshen-Roberta-330M-Similarity — китайскую модель семейства RoBERTa, дообученную для оценки сходства текстов. Она основана на chinese-roberta-wwm-ext-large и обучена на 2 773 880 примерах из 20 наборов данных с китайскими перефразированиями. В README размер модели указан как 330 млн параметров, а метаданные Hugging Face указывают 424,3 млн параметров; для запуска предлагаются BertTokenizer и BertForSequenceClassification из Transformers. Модель предназначена для сравнения китайских фраз и предложений, в том числе поиска перефразирований и определения смысловой близости. В карточке приведены результаты на наборах BQ, BUSTM и AFQMC; длина контекста составляет 512 токенов. Модель принимает текстовые пары и выдаёт классификационную оценку сходства. Репозиторий распространяется под лицензией Apache-2.0.

398апр. 2022ctx512
textapache-2.0hugging-face
mazafard
esco-gemma4

esco-gemma4 — дообученная модель на базе Google Gemma 4, созданная для сопоставления навыков, описаний вакансий и профессиональных квалификаций с таксономией ESCO v1.2.1 и кодами профессий ISCO-08. Модель обучена с помощью Unsloth и QLoRA; в этом репозитории опубликованы веса Safetensors для использования с vLLM, Transformers и облачными API. Модель принимает текстовое описание профессионального опыта и формирует текстовый ответ с подходящим названием профессии ESCO и кодом ISCO-08. Для запросов автор рекомендует шаблон Alpaca. Также доступны отдельные репозитории с вариантами GGUF и MLX. Модель ориентирована на классификацию профессий и навыков по заданным систематикам. Карточка не сообщает размер модели, длину контекста или результаты оценки качества, поэтому точность сопоставления не установлена. Лицензия — Apache-2.0.

670май 2026ctx131.1K
textapache-2.0hugging-face
avemio
German-RAG-PHI-3.5-MINI-4B-ORPO-HESSIAN-AI

German-RAG-PHI-3.5-MINI-4B-ORPO-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это дообученная версия немецко- и англоязычной модели German-RAG-PHI-3.5-MINI-4B-SFT-HESSIAN-AI, настроенная методом ORPO для сценариев генерации с дополнением найденной информацией. Модель предназначена для ответов на вопросы по контексту и документам, извлечения релевантной информации, суммаризации и рассуждений на немецком и английском языках. В карточке указаны 3,7 млрд параметров и контекст до 131 072 токенов. По приведённым в README оценкам, она справляется с отдельными задачами извлечения и рассуждений, однако результаты зависят от задачи и набора данных. Модель доступна в формате safetensors. Метаданные указывают лицензию MIT; README указывает Apache 2.0, поэтому лицензию следует сверить с условиями репозитория перед использованием. Ответы могут содержать фактические ошибки и предвзятость, а модель без фильтрации способна генерировать вредный или чувствительный контент.

380дек. 2024ctx131.1K
textmithugging-face
canada-quant
GLM-5.3-Flash-W4A16-MTP

canada-quant/GLM-5.3-Flash-W4A16-MTP — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной zai-org и подготовленной canada-quant. Модель предназначена для генерации текста и обработки изображений с текстом, включая сценарии с очень длинным контекстом и ускоренным инференсом на совместимом GPU-оборудовании. Заявлены английский и китайский языки, архитектура Transformers и контекст до 1 048 576 токенов. В модели применяется weight-only-квантизация INT4 (W4A16, GPTQ, group-128) для 36 288 routed-expert GEMM-операций. Веса занимают около 177,7 GiB вместо примерно 599 GiB в BF16. Компоненты внимания, маршрутизатор, shared experts, embeddings, vision tower и BF16 MTP draft head сохранены без квантизации; MTP используется для speculative decoding. Артефакт рассчитан на запуск, в частности, на 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark, при этом максимальный подтверждённый контекст зависит от конфигурации оборудования. Сильные стороны модели — существенно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и ускорение генерации за счёт MTP. README приводит высокие результаты на AIME 2026 и GSM8K, а также сравнительные показатели производительности на H100, H200 и DGX Spark. Ограничения включают зависимость доступного контекста и скорости от конкретного оборудования и serving stack; модель не является новой базовой разработкой, а сохраняет возможности исходной GLM-5.3-Flash с компромиссами квантизации. Лицензия — MIT.

12K21авг. 2026ctx1M
textimagemithugging-face
zai-org
glm-large-chinese

GLM Large Chinese — языковая модель семейства GLM, разработанная командой исследователей, указанных в статье GLM: General Language Model Pretraining with Autoregressive Blank Infilling. Модель предварительно обучена на корпусе WuDaoCorpora с авторегрессионной целью заполнения пропусков и рассчитана на задачи понимания и генерации естественного языка. Архитектура — плотный трансформер GLM с 24 слоями, размером скрытого представления 1024 и 16 головами внимания на слой; в метаданных указано 453,9 млн параметров. Модель поддерживает китайский язык. Репозиторий содержит веса PyTorch. В карточке не приведены сведения о лицензии и длине контекста.

19835март 2023
texthugging-face
OpenGVLab
InternVL3_5-241B-A28B-HF

InternVL3.5-241B-A28B-HF — мультимодальная модель семейства InternVL, разработанная OpenGVLab и представленная в формате Hugging Face Transformers. Она принимает изображения и текст и генерирует текстовые ответы; предназначена для диалога по изображениям, визуального и математического рассуждения, распознавания текста на изображениях, анализа видео, а также GUI- и агентных задач. В README описаны Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптивной обработки визуальных токенов. Метаданные указывают архитектуру InternVLForConditionalGeneration и формат safetensors. Модель дообучена на основе OpenGVLab/InternVL3_5-241B-A28B-MPO и распространяется по лицензии Apache-2.0. Для запуска требуются значительные вычислительные ресурсы: в README говорится, что модель семейства на 235B параметров требует восьми GPU A100; точные требования для этой версии отдельно не приведены. Длина контекста и конкретный набор поддерживаемых языков в предоставленных данных не указаны.

26012авг. 2025ctx41K
textimageapache-2.0hugging-face
OpenGVLab
InternVL3_5-8B-Instruct

InternVL3.5-8B-Instruct — мультимодальная модель OpenGVLab для диалога и выполнения инструкций по тексту и изображениям. Она дообучена на базе OpenGVLab/InternVL3_5-8B-Pretrained и использует архитектуру InternVLChat; веса опубликованы в формате safetensors и доступны через Transformers. Модель подходит для вопросов об изображениях, визуального рассуждения и решения задач, требующих совместного понимания текста и изображений. Семейство также заявляет поддержку взаимодействия с графическим интерфейсом и embodied-сценариев. Для эффективного вывода InternVL3.5 использует Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптации разрешения визуальных токенов. Модель многоязычная, но конкретные языки и размер контекстного окна для этого чекпойнта в предоставленных данных не приведены. Лицензия Apache-2.0. Для запуска требуется мультимодальная инфраструктура; скорость и качество зависят от доступных вычислительных ресурсов и размера изображений.

2.4K16авг. 2025ctx32.8K
textapache-2.0hugging-face
Nimsara2001
labse-sinhala-finetuned

Nimsara2001/labse-sinhala-finetuned — дообученная модель Sentence Transformer на основе sentence-transformers/LaBSE, предназначенная для поиска и сравнения предложений и абзацев на сингальском языке. Она кодирует текст в плотные векторы размерности 768 и использует косинусное сходство; заявленная максимальная длина входа — 64 токена, а контекстное окно базовой модели в метаданных указано как 512 токенов. Модель дообучена на 262 664 примерах с MultipleNegativesRankingLoss. Основной сценарий — извлечение представлений сингальского текста для семантического поиска и оценки тематической связности фрагментов. В описанной авторами оценке на парах предложений для нейросимвольного разбиения текста AUC выросла с 0,7269 у базовой LaBSE до 0,8832 у дообученной модели; этот результат относится к указанному тесту, а не гарантирует качество на других задачах. README не сообщает лицензию, поэтому условия использования следует сверить с карточкой модели и базовой LaBSE.

921авг. 2026ctx512
textembeddinghugging-face
yuyijiong
LFM2.5-Encoder-350M-corpus-cleaner

LFM2.5-Encoder-350M Corpus Cleaner — модель токеновой классификации, опубликованная Yijiong Yu и дообученная на двунаправленном энкодере LiquidAI/LFM2.5-Encoder-350M. Она помечает токены в шумных текстах как KEEP или DELETE, чтобы удалять рекламные вставки, навигацию, шаблонные блоки, искажённый текст и другой низкокачественный материал, сохраняя полезные фрагменты без переписывания документа. Модель рассчитана на очистку и фильтрацию больших текстовых корпусов, в том числе данных для предобучения; автор сообщает о скорости около 3 тыс. токенов в секунду на CPU и около 160 тыс. на одном GPU H20. В README заявлен контекст 8 тыс. токенов, тогда как метаданные указывают нативный контекст энкодера 128 тыс. токенов; фактический рабочий предел может зависеть от используемой конфигурации. Модель версии 0.0.2 обучена примерно на 3 млн пар сырых и очищенных примеров; очистку целевых текстов выполняли с помощью Qwen3.5-9B. Архитектура — плотный LFM2, около 444,6 млн параметров по метаданным. Указана поддержка английского и китайского языков. Для работы требуются Transformers с поддержкой LFM2 и trust_remote_code=True. Лицензия в предоставленных данных не указана.

365авг. 2026ctx128K
texthugging-face
Phyoe717
Llama-3-Groq-70B-Tool-Use

Карточка модели Phyoe717/Llama-3-Groq-70B-Tool-Use на Hugging Face совпадает с карточкой Groq/Llama-3-Groq-70B-Tool-Use, поэтому описание составлено по ней. Groq Llama-3-Groq-70B-Tool-Use — языковая модель Groq на архитектуре Llama 3, дообученная с помощью полного fine-tuning и Direct Preference Optimization на базе Meta Llama 3 70B. Модель содержит 69,5 млрд параметров, принимает и генерирует текст, поддерживает контекст до 8192 токенов и рассчитана прежде всего на английский язык. Модель предназначена для вызова функций и инструментов: взаимодействия с API, манипуляций со структурированными данными и выполнения сложных последовательностей действий через инструменты. В README указан результат 90,76% на Berkeley Function Calling Leaderboard. Для общих знаний и свободного диалога специализированная настройка может быть менее подходящей; ответы могут быть неточными или предвзятыми, а результат чувствителен к настройкам temperature и top_p. Модель распространяется по лицензии Meta Llama 3 Community License. README описывает её применение в исследованиях и разработке сценариев использования инструментов.

240авг. 2026ctx8.2K
textllama3hugging-face
AiLab-IMCS-UL
lvbert

LVBERT — регистрозависимая модель BERT-base для латышского языка, разработанная AiLab-IMCS и представленная в исследовательской работе; текущий репозиторий содержит улучшенную версию модели. Она предварительно обучена на корпусах современного латышского языка, латышской Википедии, новостных статьях и комментариях — суммарно примерно на 500 млн токенов. Обучение использовало masked language modeling и next sentence prediction. Модель имеет архитектуру BERT-base с 12 слоями, 768 скрытыми единицами, 12 головами внимания и контекстом до 512 токенов. Для токенизации используется словарь из 32 тысяч токенов в формате WordPiece, полученный из SentencePiece. Модель предназначена для дообучения на задачах понимания латышского текста, включая классификацию, распознавание именованных сущностей и ответы на вопросы; без дообучения её можно применять для получения контекстных представлений, поиска по смыслу, сравнения текстов и кластеризации. Доступна в форматах PyTorch и Safetensors. Модель выпущена под лицензией Apache-2.0. Она ориентирована на латышский язык и ограничена контекстом в 512 токенов; качество на задачах зависит от используемых данных и дообучения.

5855март 2022ctx512
textembeddingapache-2.0hugging-face
OpenMOSS-Team
MOSS-Transcribe-Diarize

MOSS-Transcribe-Diarize 0.9B — аудиомодель OpenMOSS-Team для транскрибирования длинных записей с несколькими говорящими. Она совместно распознаёт речь и выполняет диаризацию, формируя текст с временными метками и анонимными метками говорящих. Также может добавлять аннотации акустических событий. Модель рассчитана на встречи, звонки, подкасты, интервью, лекции и видео. Она обрабатывает аудио или видео за один проход, поддерживает записи длительностью до 90 минут, более 50 языков и подсказки с пользовательскими ключевыми словами для специальных терминов. В репозитории указана плотная архитектура conditional generation; для загрузки требуется Transformers с пользовательским кодом модели. Сильные стороны — совместная транскрипция и диаризация, временная разметка и обработка длинных записей. Метки говорящих анонимны и относятся только к конкретной записи; качество распознавания может зависеть от языка, шума и перекрывающейся речи. Модель распространяется по лицензии Apache-2.0.

199K476май 2026ctx131.1K
textapache-2.0hugging-face
handy-computer
moss-transcribe-diarize-gguf

MOSS-Transcribe-Diarize GGUF — квантизированная версия модели OpenMOSS-Team/MOSS-Transcribe-Diarize, подготовленная handy-computer для запуска через transcribe.cpp. Это офлайн-модель автоматического распознавания речи с диаризацией говорящих, предназначенная для обработки английской и китайской речи, расшифровки аудиозаписей, выделения сегментов и определения говорящих в каждом сегменте. Модель имеет общий размер около 0,9 млрд параметров и сочетает аудиоэнкодер Whisper Medium с 24 слоями и размерностью скрытого состояния 1024, temporal merge 4x, VQAdaptor и декодер Qwen3-0.6B с 28 слоями. Она работает с аудио и генерирует текст вместе с маркерами временных сегментов и идентификаторами говорящих; runtime преобразует их в структурированные результаты. Поддерживаются сегментные временные метки и опциональная диаризация. Сильными сторонами являются локальная работа без обращения к внешним сервисам, поддержка диаризации и несколько вариантов GGUF-квантизации. Для LibriSpeech test-clean заявленная WER составляет от 1,93% для Q8_0 до 2,59% для Q4_K_M; для сохранения качества рекомендуется Q5_K_M или более точная версия. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка. Для работы требуется transcribe.cpp; входные записи должны быть преобразованы в моно WAV с частотой 16 кГц. Модель распространяется по лицензии Apache-2.0.

11K1июль 2026
textaudioapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей