/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
7 081–7 110 из 25 791
voidful
albert_chinese_large

voidful/albert_chinese_large — китайская версия ALBERT Large, созданная Google и преобразованная в формат Hugging Face. Это плотная модель AlbertForMaskedLM на 424,3 млн параметров для предсказания скрытых токенов в тексте. Она поддерживает китайский язык и контекст до 512 токенов; для работы с токенизатором README рекомендует BertTokenizer вместо AlbertTokenizer из-за особенностей словаря без SentencePiece. Модель подходит для восстановления пропусков и анализа контекста китайского текста. Репозиторий содержит веса PyTorch и Safetensors; лицензия в предоставленных данных не указана.

2357март 2022ctx512
texthugging-face
ltuzova
amazon_domain_pretrained_model

ltuzova/amazon_domain_pretrained_model — модель RoBERTa, дообученная разработчиком на основе roberta-base для заполнения пропусков в тексте. Она предназначена для подстановки наиболее подходящих токенов вместо маскированных фрагментов; карточка сообщает значение loss 1,4165 на оценочном наборе. Модель содержит 151,8 млн параметров, использует архитектуру RobertaForMaskedLM и принимает последовательности длиной до 514 токенов. Модель может применяться для восстановления скрытых слов и анализа контекста в текстах об Amazon и товарах. В карточке не описаны обучающие данные, поэтому специализацию на конкретном домене нельзя подтвердить. Распространяется в формате PyTorch по лицензии MIT.

90апр. 2024ctx514
textmithugging-face
nightingal3
bert-finetuned-wsc

nightingal3/bert-finetuned-wsc — это модель на архитектуре BERT, дообученная для решения задач выбора одного из нескольких вариантов ответа. По названию она предназначена для задачи WSC (Winograd Schema Challenge): выбора, к кому или чему относится местоимение в предложении, с учётом контекста. В метаданных указаны класс BertForMultipleChoice, 136,7 млн параметров и максимальная длина контекста 512 токенов. Модель принимает текстовые варианты задачи и выдаёт оценку для выбора ответа. Карточка Hugging Face указывает тип задачи multiple-choice; поиск также подтвердил назначение модели и метку задачи. Данные не устанавливают поддерживаемые языки или лицензию, поэтому здесь они не уточняются.

7840март 2022ctx512
texthugging-face
bioformers
bioformer-16L

Bioformer-16L — компактная BERT-модель для анализа биомедицинских текстов, разработанная авторами Bioformer. Она предназначена для языкового моделирования с заполнением пропусков и может служить основой для последующего дообучения на задачах обработки биомедицинского текста. Модель содержит 16 трансформерных слоёв, 8 голов внимания и около 50,3 млн параметров; использует регистрозависимый WordPiece-словарь из 32 768 токенов, обученный на биомедицинских корпусах. Модель обучена с нуля на 33 млн аннотаций PubMed и 1 млн полнотекстовых статей PMC. Для предобучения применялись маскирование целых слов и задача предсказания следующего предложения. Авторы сообщают, что Bioformer-16L работает примерно вдвое быстрее BERT-base и сопоставима или превосходит BioBERT и PubMedBERT на ряде последующих NLP-задач. README указывает максимальную длину последовательности 512 токенов; метаданные каталога сообщают контекст 1024 токена. Форматы весов — PyTorch и Safetensors. Модель принимает текст и выдаёт текстовые токены для заполнения маски. Лицензия — Apache-2.0. Модель предназначена для биомедицинских текстов, поэтому её качество на общем тексте и вне биомедицинского домена может быть ниже; заявление о скорости и сравнительном качестве относится к экспериментам авторов.

2276февр. 2023ctx1K
textapache-2.0hugging-face
Mardiyyah
CeLLaTe-tapt-bioformer16l-tokenizer-adapted-spanmask

CeLLaTe-tapt-bioformer16l-tokenizer-adapted-spanmask — дообученная модель семейства BERT на базе bioformers/bioformer-16l, созданная Mardiyyah на датасете Mardiyyah/TAPT_CeLLaTe2.0. Она предназначена для предсказания замаскированных токенов в текстах: модель подставляет вероятные слова или фрагменты в пропуски с учётом окружающего контекста. Модель содержит 51,3 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 1024 токенов. В README приведены результаты на оценочном наборе: loss 2,7320, accuracy 0,5272 и perplexity 15,3632. Карточка не уточняет специализацию TAPT_CeLLaTe2.0 и назначение адаптации токенизатора, поэтому конкретные предметные преимущества установить нельзя. Распространяется по лицензии Apache-2.0.

270июль 2026ctx1K
textapache-2.0hugging-face
Mardiyyah
CeLLaTe-tapt-pubmedbert-tokenizer-original-wwmask

CeLLaTe-tapt-pubmedbert-tokenizer-original-wwmask — англоязычная модель семейства BERT, разработанная Mardiyyah как дообучение microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext на датасете Mardiyyah/TAPT_CeLLaTe2.0. Она предназначена для восстановления замаскированных слов в биомедицинских текстах и адаптирована к лексике обучающего корпуса. Модель имеет архитектуру BertForMaskedLM и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. По результатам оценки на тестовой выборке указаны loss 1,0329, accuracy 0,7709 и perplexity 2,8091. Модель распространяется по лицензии Apache-2.0.

280июль 2026ctx512
textapache-2.0hugging-face
DahonoLabs
Dahono-4B

Dahono-4B v0.8 — специализированная модель для юридического искусственного интеллекта, разработанная DahonoLabs. Она предназначена для анализа законодательства и юридических документов Республики Индонезия, правового рассуждения, проверки нормативных требований, регуляторного комплаенса и прикладных сценариев Legal AI и RegTech. Модель основана на Qwen/Qwen3.5-4B-Base и содержит около 4 млрд параметров. Заявлена поддержка мультимодального анализа изображений и документов, включая фотографии и сканы договоров, подписей и гербовых марок. Основной язык — индонезийский; модель обучалась на корпусах по индонезийскому праву, включая 5 000 образцов юридического рассуждения и 1 771 юридический термин. Для дообучения применялось Reasoning Reinforcement Learning с использованием Group Relative Policy Optimization (GRPO) и нескольких юридически ориентированных reward-функций. Размер контекстного окна в README не указан. К сильным сторонам относятся специализация на индонезийской правовой тематике, структурированное рассуждение, проверка юридических ссылок и работа с визуальными документами. В README приведены результаты тестирования на наборе Indonesian-Legal-Reasoning-QA, включая составную юридическую оценку 89,4%, точность цитирования 92,4% и показатель языковой чистоты 98,2%, однако их следует рассматривать как заявленные разработчиком результаты. Ограничениями являются узкая юрисдикционная специализация, небольшой по современным меркам размер и отсутствие в предоставленных данных подробностей о контекстном окне, архитектуре визуального модуля и независимой проверке качества. Модель распространяется под лицензией Apache 2.0. Доступны форматы Safetensors и GGUF, включая вариант квантования Q4_K_M.

5653сент. 2026ctx262.1K
textimageapache-2.0hugging-face
Dr-BERT
DrBERT-7GB

DrBERT-7GB — франкоязычная языковая модель для биомедицинской и клинической областей, разработанная авторами проекта DrBERT. Это модель архитектуры CamemBERT/RoBERTa с 137,8 млн параметров, обученная на открытом корпусе французских медицинских текстов NACHOS объёмом 7 ГБ. Она предназначена прежде всего для предсказания пропущенных слов и может служить основой для дообучения под другие задачи обработки медицинских текстов. Модель принимает текст и выдаёт вероятности токенов для заполнения маски; максимальная длина последовательности составляет около 512 токенов. Обучение на специализированных французских данных ориентирует её на медицинскую лексику, но не гарантирует клиническую точность и не заменяет экспертную проверку. Веса опубликованы под лицензией Apache-2.0.

1.1K17дек. 2022ctx514
textapache-2.0hugging-face
Berlm
hyb16-edm-s0

hyb16-edm-s0 — авторегрессионная языковая модель семейства GDN2, разработанная для сравнения вариантов смешивания токенов в длинном контексте. Это одна из пяти моделей, обученных по одинаковой схеме; в данной версии 18 слоёв GDN2-EDM сочетаются с шестью слоями полного gated attention. Архитектура плотная, класс GDN2ForCausalLM; в README указано 369,4 млн параметров, а метаданные каталога содержат оценку 290,7 млн. Контекст составляет 16 384 токена; модель использует токенизатор Llama 2 с размером словаря 32 000. Модель предназначена для продолжения текста и исследовательских экспериментов с линейным и полным вниманием на длинных последовательностях. Она обучена на 15 млрд токенов FineWeb-Edu и показывает высокое качество на тестах извлечения одиночного факта из контекста до 32K токенов, однако это небольшая базовая модель, не настроенная на инструкции или безопасность. Основной язык карточки и обучающих данных — английский. Для запуска нужны CUDA и пользовательский код модели из репозитория, загружаемый через trust_remote_code=True. Лицензия — MIT.

1010сент. 2026ctx16.4K
textmithugging-face
agbalu
Juba-27M

Juba-27M — символьная Conv-Transformer-модель с 26,9 млн параметров, обученная с нуля для преобразования кабильского текста из письма Neo-Tifinagh в стандартную латиницу. Модель разработана для языка кабильский (Taqbaylit, код kab); она восстанавливает пропущенную в Tifinagh гласную schwa «e» и предсказывает границы дефисных цепочек клитик. Архитектура включает 6 слоёв энкодера и 6 слоёв декодера, свёрточные ядра размером 3 и 5 символов и контекст длиной 512 токенов. Основные сценарии применения — преобразование архивных и учебных корпусов в латинскую запись и восстановление schwa в кабильских источниках Neo-Tifinagh. В README сообщается о точности полного совпадения предложений 94,22% на тестовом наборе из 49 795 предложений; пары для обучения получены автоматическим преобразованием латинского текста, поэтому результаты не сравнивались с независимо созданной Tifinagh-записью. Модель распространяется по лицензии Apache-2.0; загрузка через Transformers требует trust_remote_code=True. Модель не предназначена для перевода между кабильским и другими языками. Она не восстанавливает капитализацию, хуже справляется с цепочками клитик через дефис и не проверена на вариантах Tifinagh, OCR, вводе с клавиатуры или оцифровке архивов. Другие родственные берберские языки не входят в область применения.

110авг. 2026ctx512
textapache-2.0hugging-face
alfaneo
jurisbert-base-portuguese-uncased

alfaneo/jurisbert-base-portuguese-uncased — модель семейства BERT, дообученная для предсказания пропущенных токенов в португальском тексте. Карточка связывает её с работой JurisBERT, посвящённой преобразованию корпуса классификации юридических текстов в корпус для семантического сходства; однако сведения о базовой модели и обучающих данных не приведены. Модель содержит 136,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт распределение вероятностей для замаскированных позиций. Репозиторий включает веса PyTorch и Safetensors. Метаданные указывают задачу fill-mask; карточка сообщает значение loss 1,0495 на наборе оценки, но не раскрывает состав этого набора. Модель может быть полезна для восстановления пропущенных слов и изучения контекстных представлений португальского текста, в том числе юридического. Название и ссылка на публикацию указывают на юридический контекст, но карточка не подтверждает, что модель специально обучена на юридических данных. Лицензия в предоставленных сведениях не указана.

1240июль 2022ctx512
texthugging-face
xcjthu
Lawformer

xcjthu/Lawformer — исследовательская предобученная языковая модель для длинных юридических документов на китайском языке, описанная в статье «Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents». Модель построена на архитектуре Longformer и содержит 129,5 млн параметров; в метаданных указан контекст до 4098 токенов. В репозитории опубликован чекпойнт для использования через Transformers и PyTorch. Пример показывает обработку китайского юридического текста; задача в метаданных — заполнение маскированных токенов. Лицензия в предоставленных данных не указана.

257март 2022ctx4.1K
texthugging-face
banjl4487
MODEL

banjl4487/MODEL — модель для классификации текста, созданная на основе Taekyoon/gemma-ko-2b-dev. Она предназначена для задач text-classification, однако конкретные классы, целевые сценарии и дополнительные особенности обучения в доступных данных не указаны. Модель ориентирована на корейский язык (ko). В качестве базовой указана gemma-ko-2b-dev; другие характеристики, включая точную архитектуру, число параметров, размер контекста, поддерживаемые модальности и показатели качества, не приведены. Известное ограничение — отсутствие подробной документации о специализации и результатах оценки. Модель распространяется по лицензии gemma.

280янв. 2026
textgemmahugging-face
unicorn-s
nepal-border-sentiment-xlmr

Модель unicorn-s/nepal-border-sentiment-xlmr — классификатор тональности на базе XLM-RoBERTa-base, дообученный для отнесения комментариев к одному из трёх классов: положительному, нейтральному или отрицательному. Он предназначен для анализа комментариев на непальском и английском языках о пограничном споре между Непалом и Индией. Модель обучена на наборе примерно из 2100 комментариев YouTube с 17 непальских новостных и авторских каналов; около 1800 примеров имели автоматически размеченную тональность. На проверочной выборке указаны точность и взвешенный F1 около 0,50 при случайном базовом уровне точности 0,33. Архитектура — XLM-RoBERTa-base с головой классификации последовательностей; размер — 305,2 млн параметров, максимальный контекст — 514 токенов. Лицензия — MIT.

80июнь 2026ctx514
textmithugging-face
syssec-utd
py314-pylingual-v6-mlm

syssec-utd/py314-pylingual-v6-mlm — модель заполнения пропусков в тексте на базе RoBERTa, дообученная на наборе данных syssec-utd/segmentation-py314-pylingual-v6. Она предназначена для предсказания замаскированных токенов. Модель содержит 136,3 млн параметров, принимает текст и выдаёт текстовые варианты заполнения; максимальный контекст составляет 1026 токенов. Файлы опубликованы в формате safetensors для библиотеки Transformers. Карточка не описывает целевую предметную область, языковое покрытие, качество или результаты оценки. Лицензия в предоставленных сведениях не указана.

90авг. 2026ctx1K
texthugging-face
Nanthasit
sakthai-coder-browser

SakThai Coder Browser — модель генерации текста для управления браузером, созданная в рамках семейства SakThai путём дообучения Qwen/Qwen2.5-Coder-1.5B-Instruct. Она рассчитана на взаимодействие с веб-страницами через вызовы инструментов: переход по адресу, нажатие на элементы, ввод текста и извлечение содержимого. Модель использует декодерную архитектуру Qwen2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. При подключённых инструментах выдаёт вызовы в JSON-блоках по шаблону Qwen2.5; заявленный основной язык взаимодействия — английский. Веса этой версии повреждены при слиянии LoRA: проверки в карточке сообщают о ненулевых смещениях в проекциях внимания и о пробных запусках без полезного вывода. Поэтому модель не пригодна для развёртывания до исправления слияния и повторной проверки. Она принимает и выдаёт текст, не обрабатывает изображения или скриншоты. Лицензия — Apache-2.0.

340июль 2026ctx32.8K
textapache-2.0hugging-face
classla
xlm-r-parlasent

XLM-R-ParlaSent — модель регрессии тональности предложений парламентских выступлений, разработанная Peter Rupnik, Nikola Ljubešić и Michal Mochtak в рамках проекта ParlaMint. Она построена на xlm-r-parla — XLM-R-large, дополнительно обученной на стенограммах парламентских заседаний, и дообучена на вручную размеченном наборе ParlaSent. Модель возвращает числовую оценку тональности; при необходимости её можно преобразовать в исходные категории или свести к трём классам. Модель предназначена для анализа тональности предложений из парламентских дебатов на боснийском, хорватском, чешском, сербском, словацком, словенском и английском языках. Архитектура — XLM-RoBERTa для классификации последовательностей, используемая здесь как регрессор; размер — 658,7 млн параметров, контекст — до 514 токенов. В опубликованных результатах на тестовых данных R² составил 0,6146 для боснийского, хорватского и сербского языков и 0,6722 для английского. Модель распространяется по лицензии Apache-2.0.

1483сент. 2023ctx514
textapache-2.0hugging-face
deepcrayon
AniMUL-v1

AniMUL-v1 — модель Джеффа Мо, созданная дообучением мультимодальной Qwen3-Omni-30B-A3B-Instruct от Alibaba. Она предназначена для классификации видов животных по аудиозаписям и общего описания звуков; генерировать звуки животных модель не умеет. В качестве основы использована архитектура Qwen3 Omni MoE, веса опубликованы в формате Safetensors. Модель принимает аудио и выдаёт текстовые описания или классификацию звуков. Для дообучения использован датасет EarthSpeciesProject/NatureLM-audio-training, описанный в карточке как набор из 26 миллионов пар «аудио—текст». Лицензия модели — Apache 2.0. Проект неофициальный и не связан с авторами базовой модели или датасета.

276февр. 2026ctx131.1K
audioapache-2.0hugging-face
srmjfba
bert-base-uncased-issues-128

srmjfba/bert-base-uncased-issues-128 — дообученная версия BERT-base-uncased от Google, созданная для задачи fill-mask: модель предсказывает пропущенный токен в тексте. Она основана на архитектуре BERT и содержит 136,7 млн параметров; максимальная длина контекста — 512 токенов. Модель опубликована в формате safetensors и использует библиотеку Transformers. README сообщает о дообучении на датасете, название которого указано как None, и приводит значение loss 1,2246 на оценочной выборке. Специализированная область применения и дополнительные сценарии не описаны. Модель доступна по лицензии Apache-2.0.

50авг. 2026ctx512
textapache-2.0hugging-face
nasa-impact
bert-e-base-mlm

NASA IMPACT BERT-E — модель на архитектуре BERT, разработанная NASA IMPACT и дообученная на базе allenai/scibert_scivocab_uncased с помощью masked language modeling. Для обучения использовались аннотации к примерно 270 000 публикаций по наукам о Земле; токенизатор обучен на том же корпусе. Модель предназначена для подстановки пропущенных токенов и языкового анализа текстов по наукам о Земле. Она содержит 137,1 млн параметров и поддерживает контекст до 512 токенов. Модель подходит для заполнения пропусков в научных аннотациях и адаптации к последующим задачам обработки текстов о Земле. В README указано, что тестирование на downstream-задачах и расширение обучающих данных ещё планировались. Лицензия в предоставленных данных не указана.

617март 2022ctx512
texthugging-face
pucpr
biobertpt-bio

BioBERTpt-bio — разработанная авторами BioBERTpt португалоязычная модель BERT для биомедицинских текстов. Она основана на BERT-Multilingual-Cased и обучена на научных публикациях из PubMed и SciELO. В репозитории представлена архитектура BertForMaskedLM с 205,1 млн параметров и контекстом до 512 токенов. Модель предназначена для работы с португалоязычной биомедицинской литературой. Метка fill-mask указывает на задачу предсказания скрытых токенов; в статье также рассматривается применение семейства BioBERTpt для распознавания клинических и биомедицинских именованных сущностей. Модель можно загрузить через Transformers; доступны веса PyTorch, TensorFlow и Flax. Лицензия в предоставленных данных не указана. Обучение на научной литературе ориентирует модель на биомедицинский текст, поэтому её языковые и предметные возможности за пределами этой области могут быть ограничены.

3507март 2022ctx512
texthugging-face
nlpie
bio-mobilebert

BioMobileBERT — модель MobileBERT-uncased, дообученная командой nlpie в режиме continual learning на корпусе PubMed в течение 200 тысяч шагов с общим размером батча 192. Она предназначена для восстановления скрытых токенов в биомедицинских текстах: модель получает фрагмент текста с маской и предсказывает подходящее слово или токен. Архитектура — MobileBERT с 24 слоями; в карточке Hugging Face указано 59,7 млн параметров. Модель принимает текст с контекстом до 512 токенов и выдаёт оценки кандидатов для заполнения маски. Исходная модель MobileBERT использует компактные проекции для снижения вычислительных затрат; BioMobileBERT адаптирована к биомедицинской лексике PubMed. Репозиторий содержит веса PyTorch, лицензия — MIT. Модель подходит для анализа терминологии в биомедицинских публикациях и задач языкового моделирования с маскированными токенами. Карточка описывает обучение на PubMed, но не приводит оценок качества и не подтверждает поддержку конкретных языков, поэтому применимость за пределами биомедицинских текстов на английском следует проверять отдельно.

992авг. 2022ctx512
textmithugging-face
TypicaAI
DarijaPOSTagger

DarijaPOSTagger v0.1 — модель на основе BERT для разметки частей речи в тексте на марокканском арабском диалекте дарижа, разработанная Hicham Assoudi из Typica.ai. Она дообучена на SI2M-Lab/DarijaBERT для задачи классификации токенов и использует набор из 15 тегов, включающий категории частиц, характерные для дарижи. Корпус размечен с разделением морфем: например, артикль и частица отрицания рассматриваются как отдельные токены. Модель предназначена для исследований морфосинтаксиса дарижи, обучения методам классификации токенов и как базовый компонент экспериментальных NLP-конвейеров для этого диалекта. Она рассчитана на текст на арабском письме, имеет 174,7 млн параметров и контекст до 512 токенов. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях с соблюдением её требований.

170июль 2026ctx512
textcc-by-nc-4.0hugging-face
UGARIT
grc-alignment

UGARIT/grc-alignment — модель на архитектуре XLM-RoBERTa, разработанная для автоматического выравнивания слов в параллельных текстах на древнегреческом и других языках. Модель обучали на 12 млн токенов древнегреческого текста с задачей masked language modeling, затем дообучили на 45 тыс. параллельных предложений, преимущественно на древнегреческом и английском, латинском и грузинском языках. Модель предназначена для сопоставления слов между переводом и оригиналом в корпусах древних текстов. В описанных оценках показатель Alignment Error Rate составил 19,73% для пары древнегреческий—английский, 23,91% для древнегреческий—португальский и 10,60% для древнегреческий—латинский. Архитектура содержит около 305 млн параметров и поддерживает контекст до 514 токенов. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — CC BY 4.0.

1122май 2022ctx514
textcc-by-4.0hugging-face
LinkinShan
hanja-wsd-base

hanja-wsd-base — разработанная LinkinShan модель для преобразования корейского текста, записанного хангылем, в смешанную запись хангылем и ханча. Она оценивает варианты написания с учётом контекста предложения и выбирает подходящий вариант для сино-корейских слов; в репозитории также находятся словарь, частотные приоритеты и код конвертации. Это дообученная XLM-RoBERTa-base с плотной архитектурой и 305,2 млн параметров, принимающая текст и выдающая оценки кандидатов для классификации. Модель предназначена для корейских исторических текстов и имеет экспериментальный статус preview. В README приведены настройки для газетных текстов 1920–1960-х годов и для современного текста; на исторических данных указаны точность F1 0,813 в сквозном преобразовании и около 150 мс на предложение на CPU. Контекст составляет 514 токенов. Модель обучалась преимущественно на газетном корейском языке 1920–1962 годов: современные заимствования, новые слова и имена собственные представлены недостаточно, а покрытие словаря ограничивает полноту преобразования. Метрики основаны на автоматически полученной разметке, человеческая оценка не проводилась. Лицензия CC-BY-NC-SA-4.0 допускает использование на условиях атрибуции, распространения производных на тех же условиях и некоммерческого применения.

1091сент. 2026ctx514
textcc-by-nc-sa-4.0hugging-face
C4IR-RW
kiny-colbert-free

Kinya-COLBERT Free — модель поиска и получения эмбеддингов для RAG-систем на киньяруанда, разработанная C4IR Rwanda и KiNLP при поддержке GIZ и финансировании BMZ. Она обучена на парах сельскохозяйственных вопросов и ответов и предназначена для поиска релевантных материалов, чтобы предоставлять фермерам консультации через интерактивную голосовую телефонную линию. Модель основана на BERT и использует архитектуру HF_ColBERT. Она содержит 205,1 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors. Возможные сценарии включают поиск сведений о вредителях и болезнях растений, агроклиматических практиках и программах поддержки фермеров, например страховании урожая. Лицензия — CC BY 4.0. Модель специализируется на киньяруанда и сельскохозяйственных вопросах; её назначение — извлечение признаков для информационного поиска, а не самостоятельная генерация ответов. Для использования в описанном проекте её подключают к RAG-системе.

2480янв. 2026ctx512
textembeddingcc-by-4.0hugging-face
lexlms
legal-longformer-base

Legal Longformer (base) — англоязычная модель LexLM, созданная как производная от LexLM (base) на основе RoBERTa. Она предназначена для работы с длинными юридическими документами и предсказывает пропущенные токены в тексте. Модель имеет архитектуру LongformerForMaskedLM и около 151,6 млн параметров; позиционные эмбеддинги расширены копированием исходных эмбеддингов по подходу Beltagy et al. (2020), а контекст составляет до 4098 токенов. Базовые LexLM предварительно обучались на корпусе LeXFiles: авторы продолжили обучение исходных RoBERTa на юридических текстах, используя токенизатор из 50 тысяч BPE-токенов. Модель подходит для языкового моделирования и анализа длинных юридических текстов, но карточка не подтверждает специализированные прикладные метрики или обучение для конкретных юридических задач. Лицензия — CC BY-SA 4.0.

1255февр. 2023ctx4.1K
textcc-by-sa-4.0hugging-face
ajrayman
Liberalism_binary

Liberalism_binary — модель классификации последовательностей, разработанная ajrayman и дообученная на базе microsoft/deberta-v3-base. Она предназначена для бинарной классификации текста по теме либерализма; README не уточняет названия классов и состав обучающего набора. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa V2 для классификации последовательностей и принимает текст с контекстом до 512 токенов. На оценочном наборе в карточке указаны accuracy 0,6389, precision 0,7435, recall 0,4254, F1 0,5411 и AUC 0,7224. Модель распространяется по лицензии MIT. Карточка не описывает обучающие данные и ограничения применения, поэтому переносить результаты на другие тексты следует с осторожностью.

150окт. 2024ctx512
textmithugging-face
tomerRest
line_item_categories

tomerRest/line_item_categories — модель классификации текстовых последовательностей на базе DistilBERT, опубликованная на Hugging Face. По названию репозитория можно предположить, что она предназначена для присвоения категорий позициям в строках, однако карточка модели или другие первоисточники с описанием этой задачи не найдены. Метаданные указывают архитектуру DistilBertForSequenceClassification, библиотеку Transformers, формат safetensors и контекстное окно 512 токенов.

12K0апр. 2025ctx512
texthugging-face
DmitryPogrebnoy
MedRuRobertaLarge

Dmitry Pogrebnoy разработал MedRuRobertaLarge как дообученную версию ruRoberta-large для работы с русскоязычными медицинскими анамнезами. Модель создана в рамках магистерского проекта по коррекции опечаток в анамнезах с помощью ранжирования кандидатов на основе BERT-моделей и обучена на специально собранном наборе из более чем 30 тысяч анамнезов. Это плотная модель семейства RoBERTa с архитектурой RobertaForMaskedLM и примерно 454,1 млн параметров. Она принимает текст с маскированным фрагментом и предсказывает вероятные варианты заполнения; для использования подойдут задачи восстановления пропусков и подбора кандидатов для исправления опечаток в медицинской документации. Нативная длина контекста — 514 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Модель рассчитана на русский медицинский текст и не является самостоятельным корректором: для исправления опечаток требуется организовать генерацию и ранжирование кандидатов. Карточка не сообщает результатов оценки качества, поэтому пригодность для конкретного медицинского процесса следует проверять отдельно.

691май 2022ctx514
textapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей