/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
8 101–8 130 из 13 467
projecte-aina
DEBERTA_CIEL

DEBERTA_CIEL — модель распознавания именованных сущностей, разработанная подразделением Language Technologies Unit центра Barcelona Supercomputing Center в рамках проекта Aina. Это дообученная версия DeBERTa-v3-large с архитектурой DeBERTa v2 для классификации токенов; в репозитории указано 211,6 млн параметров и контекст длиной до 512 токенов. Модель обучена на каталонском наборе CEIL, содержащем почти 59 тысяч документов с девятью основными типами и 52 подтипами сущностей. Модель предназначена для обнаружения и классификации сущностей в коротких текстах на каталонском, испанском и английском языках. Её можно применять для извлечения людей, организаций, географических названий, культурных произведений и других сущностей из текстов. Формальная оценка качества для всех заявленных языков не проводилась; смещения модели отдельно не исследовались, а веб-источники обучающих данных могут вносить нежелательные искажения. Лицензия — Apache 2.0.

1243дек. 2023ctx512
textapache-2.0hugging-face
jphme
em_german_leo_mistral

jphme/em_german_leo_mistral — диалоговая языковая модель семейства EM German, разработанная для генерации и понимания немецкого текста. Это плотная модель Mistral с 7,1 млрд параметров, обученная следовать разнообразным инструкциям на немецком языке и основанная на LeoLM Mistral — модели Mistral с дополнительным предварительным обучением на немецких текстах. Модель рассчитана на ответы ассистента, диалог и другие сценарии генерации текста на немецком языке; в карточке также упоминается специальный формат промпта для RAG. Она использует формат запросов Vicuna, а размер контекста составляет 32 768 токенов. Для запуска нужны совместимые библиотеки: README отмечает, что новая на момент публикации архитектура Mistral поддерживалась не всеми библиотеками. Модель выпущена под лицензией Apache-2.0. Авторы рекомендуют её как сбалансированный по качеству и вычислительным требованиям вариант семейства, но предупреждают, что результаты могут различаться в зависимости от версии и сценария; при неудовлетворительном качестве предлагают попробовать другую или более крупную модель. В README также сказано, что модель предназначена только для исследовательского использования.

8973окт. 2023ctx32.8K
textapache-2.0hugging-face
s-nlp
enoki-openie-encoder

Enoki OpenIE Encoder — англоязычная модель извлечения фактов, разработанная командой s-nlp для конвейера обнаружения галлюцинаций Enoki. Она преобразует предложение в привязанные к исходным токенам тройки «субъект — отношение — объект», чтобы факты можно было проверять по отдельности и находить их исходные фрагменты текста. Модель основана на энкодере answerdotai/ModernBERT-large и использует архитектуру Iterative Grid Labeling. Это дистиллированный из результатов Enoki-LLM извлекатель фактов, обученный на dev-разделе набора EnokiQA. В составе конвейера Enoki извлечённые утверждения можно передавать отдельному NLI- или фактологическому верификатору для проверки по справочному контексту и локализации неподтверждённых фрагментов. Модель предназначена для английского текста; рекомендуется подавать по одному предложению на вход, а максимальная длина последовательности по умолчанию составляет 128 токенов. IGL может возвращать вложенные или инкрементальные тройки; порог min_confidence 0,7–0,8 помогает получить меньше результатов с более высокой точностью. Для загрузки требуется trust_remote_code=True, поскольку архитектура и декодер OpenIE реализованы пользовательским кодом Transformers в репозитории. Лицензия в предоставленных данных не указана.

1653сент. 2026ctx8.2K
textembeddinghugging-face
BAAI
EVA-CLIP-18B

EVA-CLIP-18B — модель контрастивного сопоставления изображений и текста, разработанная BAAI при участии авторов из THU. Она содержит около 18,1 млрд параметров и обучена на парах изображение–текст из наборов LAION-2B и COYO-700M, а также на дополнительных данных для финального этапа обучения. Модель предназначена для извлечения согласованных признаков изображений и текстов, классификации изображений без дополнительного обучения и поиска по тексту или изображению. В README сообщается о средней точности zero-shot классификации 80,7% на 27 наборах изображений; также приведены результаты классификации видео по одному кадру и поиска по изображениям и текстам. Репозиторий содержит веса PyTorch, а карточка указывает лицензию Apache-2.0. Для работы с моделью требуется значительная память: веса опубликованной версии занимают десятки гигабайт; авторы упоминают DeepSpeed ZeRO-3 как способ загрузки при ограниченной оперативной памяти. Английский язык явно представлен в названии обучающего набора LAION-2B-en, однако README не подтверждает поддержку других языков.

41517февр. 2024
textembeddingapache-2.0hugging-face
grammatek
icelandic-ner-bert

IcelandicNER BERT — модель на архитектуре BERT, дообученная на корпусе MIM-GOLD-NER для распознавания именованных сущностей в текстах на исландском языке. Она размечает токены и выделяет восемь типов сущностей: даты, места, прочие сущности, денежные суммы, организации, проценты, персон и время. Модель содержит 205,1 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены оценки precision, recall и F1 по категориям; для дат указана F1 0,974, для мест — 0,954, для прочих сущностей — 0,855. Модель можно применять через Transformers pipeline для NER. Лицензия — Apache-2.0.

700май 2023ctx512
textapache-2.0hugging-face
Mitsua
mitsua-japanese-clip-vit-b-16

Mitsua Japanese CLIP ViT-B-16 — двуязычная модель сопоставления изображений и текста, разработанная ELAN MITSUA Project / Abstract Engine. Она предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов и для вычисления соответствия между изображениями и японскими или английскими запросами. Модель основана на контрастивном подходе CLIP с визуальным энкодером ViT-B и обучена с нуля, без использования знаний предварительно обученных моделей. В карточке указаны японский и английский языки; веса опубликованы в формате safetensors. Авторы описывают обучающие данные как состоящие из материалов с явным согласием, открытых лицензий и общественного достояния, без AI-сгенерированных данных. Модель распространяется по лицензии CC BY-SA 4.0: требуется указать авторство, отметить изменения и распространять адаптированные материалы на тех же условиях. Качество может снижаться для изображений и понятий, слабо представленных в обучающих данных; описание не приводит количественных оценок качества.

1018дек. 2024ctx64
textimagecc-by-sa-4.0hugging-face
maayans
modernbert-embed-large__ratio-address

maayans/modernbert-embed-large__ratio-address — англоязычная модель эмбеддингов на базе ModernBERT-large, дообученная для операции ADDRESS в наборе RATIO. Она кодирует запросы и предложения-кандидаты, чтобы находить научный подход или идею, отвечающие на проблему из запроса. Модель предназначена для семантического поиска по научной литературе и тематического retrieval; для запросов и документов следует использовать префиксы `search_query: ` и `search_document: ` соответственно. Модель основана на плотной архитектуре ModernBERT, содержит 394,7 млн параметров и поддерживает контекст до 8192 токенов. Она обучена контрастивным методом на обучающей части RATIO address. Репозиторий использует библиотеку sentence-transformers и формат safetensors; лицензия — Apache-2.0. Карточка указывает на один из девяти чекпойнтов RATIO, различающихся энкодерами и операциями идеации.

271авг. 2026ctx8.2K
textembeddingapache-2.0hugging-face
kalusev
NER4Legal_SRB

NER4Legal_SRB — модель распознавания и классификации именованных сущностей в юридических текстах на сербском языке. Её разработали для автоматизации работы с документами, включая архивирование, поиск и извлечение сведений; модель обучена на публичных судебных решениях с ручной разметкой и предназначена для выделения заданных типов сущностей. Это дообученная модель classla/bcms-bertic на архитектуре ELECTRA с 137,8 млн параметров и контекстом до 512 токенов. Она принимает текст и возвращает метки для токенов. В перекрёстной проверке на размеченном наборе данных авторы сообщают средний F1 0,96; модель можно запускать на CPU и GPU. Показатели относятся к описанному набору данных и не гарантируют такую же точность на иных текстах. Лицензия — Apache-2.0.

411февр. 2025ctx512
textapache-2.0hugging-face
ErtasAI
qmsum-summarizer-segenc-406m-spans

Ertas AI выпустила дообученную модель SegEnc на базе Salesforce/socratic-pretraining-qmsum для суммирования найденных фрагментов стенограмм встреч с учётом вопроса пользователя. Она использует архитектуру Segment Encoder с Fusion-in-Decoder поверх BART-large: стенограмма делится на сегменты, кодируемые независимо, а декодер учитывает их совместно. Модель содержит 406,3 млн параметров; метаданные указывают 252,8 млн. Веса представлены в формате safetensors, размер контекста по метаданным — 1024 токена, а заявленная в README ёмкость обработки при разбиении на сегменты — до 4008 токенов. Модель предназначена для сценария locate-then-summarize на датасете QMSum: сначала извлекаются релевантные фрагменты, затем они суммируются в ответ на запрос. Поддерживаемый язык — английский. Авторы сообщают о сопоставимых метриках с их системой на 1,2 млрд параметров при меньшем числе параметров и меньшем пиковом потреблении памяти, однако статистическая эквивалентность не установлена. Лицензия — BSD 3-Clause.

501авг. 2026ctx1K
textbsd-3-clausehugging-face
sapienzanlp
relik-reader-deberta-v3-base-aida

Это веса компонента ReLiK Reader из системы Retrieve, Read and LinK, разработанной Sapienza NLP. Модель предназначена для извлечения информации: связывания упомянутых в тексте сущностей с элементами базы знаний и извлечения отношений между сущностями. Reader работает в составе ReLiK вместе с retriever-компонентом, который находит релевантные документы; в этом репозитории размещены именно веса reader для варианта AIDA. Архитектура указана как RelikReaderSpanModel семейства ReLiK Reader; файлы представлены в формате PyTorch. Карточка приводит оценку базовой версии ReLiK на наборе AIDA и других тестах entity linking, включая результаты InKB Micro F1 и скорость обработки. Модель ориентирована на англоязычные данные. Лицензия и размер весов в предоставленных источниках не описаны.

1830июнь 2024
textembeddinghugging-face
textattack
roberta-base-ag-news

Модель textattack/roberta-base-ag-news разработана TextAttack на основе RoBERTa-base и дообучена для классификации новостных текстов из набора AG News. Она относит текст к одной из четырёх категорий набора данных: мировые новости, спорт, бизнес или наука и технологии. По карточке, модель обучали пять эпох с максимальной длиной последовательности 128 токенов; лучшая точность на проверочной выборке составила около 94,7%. Это RoBERTa для классификации последовательностей с 151,8 млн параметров и контекстом до 514 токенов по метаданным; доступны веса PyTorch и Flax. Модель принимает текст и выдаёт метку класса. Лицензия в предоставленных данных не указана.

3612март 2022ctx514
texthugging-face
allenai
scibert_scivocab_cased

SciBERT — предварительно обученная языковая модель на архитектуре BERT, разработанная Allen Institute for AI для работы с научными текстами. Модель содержит 137,1 млн параметров и обучена на полном тексте 1,14 млн научных статей из Semantic Scholar, общим объёмом 3,1 млрд токенов. Для неё создан собственный словарь WordPiece scivocab, лучше соответствующий научному корпусу; эта версия сохраняет регистр символов. SciBERT служит основой для задач понимания научного текста, например классификации, извлечения сущностей и ответов на вопросы после соответствующего использования или дообучения. Это текстовая модель для английского языка с максимальной длиной контекста 512 токенов. Доступны веса PyTorch и Flax. В карточке не указана лицензия, поэтому условия использования следует проверить в репозитории модели.

45K18март 2022ctx512
texthugging-face
bartowski
soob3123_GrayLine-Qwen3-8B-GGUF

GrayLine-Qwen3-8B-GGUF — квантизированная версия модели GrayLine-Qwen3-8B, разработанной soob3123 и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, прямых ответов, информационного поиска и задач общего знания; в метаданных также указаны сценарии без фильтрации и ограничений по содержанию. Обучение связано с наборами данных GrayLine-QA и GrayLine-QA-Reasoning. Модель основана на Qwen3 и содержит 8 миллиардов параметров. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Указана поддержка английского языка; модальность — текстовая. Размер контекста в README не указан. Сильной стороной является широкий выбор квантизированных вариантов для локального запуска, включая рекомендуемые сборки Q4 и Q5, а также совместимость с llama.cpp, LM Studio и другими проектами на его основе. Более сильная квантизация обычно обеспечивает лучшее качество, но требует больше памяти. Ограничения включают отсутствие сведений о точных характеристиках архитектуры, контекстном окне, результатах тестирования и качестве на других языках. Модель распространяется по лицензии Apache-2.0.

2.1K0май 2025
textapache-2.0hugging-face
TIGER-Lab
StructLM-34B

StructLM-34B — языковая модель TIGER-Lab для задач grounding по структурированным знаниям. Это плотная авторегрессионная модель семейства Llama с 33,5 млрд параметров, дообученная на инструкционном наборе TIGER-Lab/SKGInstruct, который объединяет 19 задач со структурированными знаниями и SlimOrca. Модель принимает линеаризованные структурированные данные и инструкции, а ответ формирует в текстовом виде; для версии 34B в README приведён специальный формат промпта. Контекст — до 16 384 токенов. Модель предназначена для вопросов и рассуждений по таблицам, графам знаний и другим структурированным входам, включая генерацию SQL, ответы по графам знаний и проверку утверждений по таблицам. В приведённых авторами оценках StructLM-34B показала результаты на наборах ToTTo, GrailQA, CompWebQ, MMQA, Feverous, Spider, TabFact, DART, BIRD, InfoTabs, FinQA и SQA. README предупреждает, что качество в этой области остаётся сложной задачей и модель может быть недостаточно надёжной для непосредственного использования в чате и других приложениях. Лицензия — MIT.

3215февр. 2024ctx16.4K
textmithugging-face
IDEA-CCNL
Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese

Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese — китайская модель семейства Taiyi-CLIP, разработанная командой Fengshenbang. Это мультимодальная модель сопоставления изображений и текста с визуальным энкодером ViT-L-14 и текстовым энкодером на основе chinese-roberta-wwm; в репозитории указано около 129,5 млн параметров. Модель обучали на 123 млн пар изображение–текст из наборов Noah-Wukong и Zero, заморозив визуальный энкодер и дообучая текстовый. Текстовый контекст — до 512 токенов. Модель предназначена для получения совместимых признаковых представлений изображений и китайских текстов, в том числе для классификации без специального обучения и поиска изображений по текстовому запросу. В README приведены результаты zero-shot классификации ImageNet1k-CN и поиска текста по изображению на Flickr30k-CNA, COCO-CN и wukong50k. Метаданные указывают задачу feature-extraction; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

10119сент. 2022ctx512
textembeddingapache-2.0hugging-face
yazdipour
text-to-sparql-t5-small-qald9

yazdipour/text-to-sparql-t5-small-qald9 — модель T5ForConditionalGeneration с 38,5 млн параметров, дообученная для преобразования текстовых запросов в запросы SPARQL. Карточка указывает, что это вариант модели yazdipour/text-to-sparql-t5-small-2021-10-19_10-17_lastDS, дообученный на датасете QALD-9. Модель принимает текст и генерирует текст запроса SPARQL; её можно использовать для перевода вопросов на естественном языке в запросы к базам знаний и RDF-хранилищам. Максимальная длина контекста — 512 токенов. Данные о поддерживаемых естественных языках и оценках качества в карточке отсутствуют. Модель опубликована под лицензией Apache-2.0.

72март 2022ctx512
textapache-2.0hugging-face
google
tipsv1-l14

TIPSv1 L/14 — контрастивная модель «изображение–текст» семейства TIPS, представленная в README как конверсия официальных чекпойнтов. Она кодирует изображения и текст в согласованные векторы признаков и предназначена для классификации изображений по текстовым описаниям без отдельного обучения на новых классах. Модель разработана для пространственно насыщенных визуальных признаков; её зрительная часть — ViT-L/14 с 24 слоями и двумя CLS-токенами, а текстовая — 12-слойный трансформер. Всего указано 304 млн параметров в зрительной части и 184 млн в текстовой, размерность эмбеддинга — 1024. Нативное разрешение изображений — 448 пикселей; поддерживаются и другие разрешения, кратные размеру патча, с интерполяцией позиционных эмбеддингов. Изображения подаются в диапазоне [0, 1] без нормализации ImageNet. Текст обрабатывается токенизатором SentencePiece в нижнем регистре с ограничением в 64 токена. Первый CLS-токен согласован с текстовой частью, второй обучался на синтетических подписях. Модель принимает изображения и текст и выдаёт векторные представления для сопоставления и классификации. README не сообщает, какие естественные языки поддерживаются. Лицензия — Apache-2.0.

4076авг. 2026ctx64
textimageapache-2.0hugging-face
timm
ViT-B-16-SigLIP2-512

ViT-B-16-SigLIP2-512 — контрастивная модель «изображение–текст» семейства SigLIP 2, обученная на наборе WebLI. Разработчики карточки преобразовали исходные контрольные точки JAX из проекта Big Vision для использования в OpenCLIP; библиотека модели — open_clip, веса доступны в форматах PyTorch и safetensors. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: она сопоставляет изображение с предложенными текстовыми метками и оценивает их соответствие. Это подходит для поиска изображений по описанию и категоризации с собственным набором классов. В названии указаны архитектура ViT-B-16 и разрешение 512; карточка отмечает многоязычное направление семейства SigLIP 2, но не перечисляет конкретные поддерживаемые языки. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценки качества или подробных сведений об ограничениях, поэтому надёжность на конкретных доменах и языках следует проверять на целевых данных.

35K1февр. 2025
textimageapache-2.0hugging-face
tals
albert-xlarge-vitaminc

Карточка модели tals/albert-xlarge-vitaminc на Hugging Face совпадает с карточкой tals/albert-xlarge-vitaminc-mnli, поэтому описание составлено по ней. tals/albert-xlarge-vitaminc-mnli — модель классификации последовательностей на архитектуре ALBERT. Она использована в работе «Get Your Vitamin C! Robust Fact Verification with Contrastive Evidence» (Schuster и соавторы, NAACL 2021) и предназначена для проверки утверждений с опорой на контекст и контрастные свидетельства. Модель можно применять для классификации пар «утверждение — свидетельство», например при проверке фактов и оценке того, поддерживает ли текст утверждение или противоречит ему. Максимальная длина контекста — 512 токенов; доступны веса PyTorch, Safetensors и TensorFlow. В карточке указаны наборы данных GLUE, MultiNLI и tals/vitaminc. Карточка не раскрывает точную схему меток и метрики качества, поэтому перед использованием в прикладной системе стоит проверить формат входа и выхода и оценить качество на целевых данных. При использовании модели авторы просят цитировать научную работу; лицензия в доступных данных не приведена.

1310март 2022ctx512
texthugging-face
KBLab
bert-base-swedish-cased-ner

KBLab при Национальной библиотеке Швеции разработала bert-base-swedish-cased-ner — экспериментальную модель BERT, дообученную для распознавания именованных сущностей в шведском тексте на наборе SUC 3.0. Она размечает сущности по типам времени, персон, мест, событий и организаций; регистр букв сохраняется, а токенизатор может разбивать слова на части, которые при необходимости нужно объединять после предсказания. Модель относится к архитектуре BERT для классификации токенов, содержит около 151,9 млн параметров и рассчитана на контекст до 512 токенов. Исходная шведская языковая модель обучалась на книгах, новостях, государственных публикациях, шведской Википедии и интернет-форумах. Модель предназначена для извлечения сущностей из шведских текстов, например новостей или документов. В карточке она обозначена как экспериментальная, а типы меток могут меняться; указанное качество на задачах за пределами SUC 3.0 не приводится. Лицензия в предоставленных материалах не указана.

3.8K7март 2022ctx512
textmithugging-face
swardiantara
bert-tiny-amazon_reviews-k1-fixed-cosine

Это компактная модель Sentence Transformers, дообученная автором репозитория на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует текстовые предложения и абзацы в плотные векторы размерностью 128 и сравнивает их с помощью косинусного сходства. Модель предназначена для поиска и сравнения отзывов о товарах Amazon по смыслу, а также для построения текстовых представлений, которые можно использовать в задачах retrieval. Архитектура включает BERT с двумя слоями и среднее pooling-представление; модель содержит 4,4 млн параметров. README указывает максимальную длину последовательности 128 токенов, тогда как метаданные задают контекст в 512 токенов. Базовая модель англоязычная, а обучающие примеры состоят из англоязычных отзывов. Модель принимает текст и выдаёт эмбеддинги; репозиторий распространяет веса в формате safetensors. Лицензия в предоставленных данных не указана.

1070июнь 2026ctx512
textembeddinghugging-face
dariolopez
bge-m3-es-legal-tmp-5

dariolopez/bge-m3-es-legal-tmp-5 — модель Sentence Transformers, дообученная на базе BAAI/bge-m3 для работы с испанскими текстами юридической тематики. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, нормализует их и сравнивает с помощью косинусного сходства. Максимальная длина входа — 8192 токена; архитектура основана на XLM-RoBERTa. Модель подходит для семантического поиска и сравнения юридических текстов, поиска перефразирований, кластеризации и классификации. В README приведены результаты оценки поиска при разных размерностях векторов, от 64 до 1024; качество зависит от выбранной размерности и набора данных. Лицензия — Apache-2.0.

1080июль 2024ctx8.2K
textembeddingapache-2.0hugging-face
mghuibregtse
biolinkbert-large-simcse-rat

mghuibregtse/biolinkbert-large-simcse-rat — англоязычная Sentence Transformers модель, дообученная автором на базе michiyasunaga/BioLinkBERT-large для оценки семантической близости предложений и абзацев. Она кодирует текст в плотные векторы размерностью 1024; сходство векторов можно сравнивать косинусной мерой. Архитектура включает BERT-энкодер с усреднением токенных представлений, а длина последовательности по метаданным — до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов, особенно в биомедицинских сценариях: обучающие и проверочные примеры содержат идентификаторы генов и названия биологических сущностей. В README для набора val-eval приведена корреляция Спирмена 0,7408 по косинусному сходству. README указывает максимальную длину 128 токенов, что расходится с метаданными о контексте в 512 токенов; при практическом использовании следует учитывать ограничение фактической конфигурации модели. Модель содержит 432,2 млн параметров и опубликована в формате safetensors. Сведения о лицензии в предоставленных источниках отсутствуют.

1010апр. 2025ctx512
textembeddinghugging-face
almanach
camembertv2-base-ftb-ner

almanach/camembertv2-base-ftb-ner — модель Wissam Antoun из Almanach, Inria-Paris для распознавания именованных сущностей во французском тексте. Она основана на RoBERTa и дообучена на наборе FTB-NER; размер модели — 138,4 млн параметров, максимальная длина контекста — 1025 токенов. В README указан F1 0,93548 на FTB-NER. Модель предназначена для разметки токенов и извлечения именованных сущностей во французских текстах. Она доступна под лицензией MIT. Результаты могут зависеть от обучающих данных; модель может хуже работать на других наборах данных и не предназначена для задач за пределами распознавания сущностей без дополнительной проверки.

262нояб. 2024ctx1K
textmithugging-face
dicta-il
dictabert-large-ner

DictaBERT-Large NER — крупная модель семейства BERT, выпущенная Dicta, для распознавания именованных сущностей в современном иврите. Это дообученная для разметки последовательностей версия BERT-large с архитектурой BertForTokenClassification; размер составляет 533,7 млн параметров, а контекст — до 512 токенов. Модель принимает текст и присваивает метки его токенам, помогая находить в тексте сущности.

4120дек. 2023ctx512
textcc-by-4.0hugging-face
facebook
fasttext-zh-vectors

facebook/fasttext-zh-vectors — предварительно обученные китайские векторные представления слов на основе fastText, разработанные Facebook. Модель предназначена для получения векторов слов и использования их в задачах классификации текста и определения языка. Она построена на архитектуре CBOW с позиционными весами, размерность векторов — 300; для обработки слов используются символьные n-граммы длиной 5. Обучающие данные для китайской модели взяты из Common Crawl и Wikipedia, а для сегментации использовался Stanford word segmenter. Модель рассчитана на работу на обычном оборудовании и может применяться для экспериментов, прототипирования и прикладных сценариев с текстовыми векторами. Лицензия — CC BY-SA 3.0. Векторы могут отражать смещения обучающих данных, поэтому сходство и классификационные результаты требуют осторожной интерпретации.

88615март 2023
textembeddingcc-by-sa-3.0hugging-face
facebook
galactica-120b

GALACTICA 120B — авторегрессионная языковая модель на основе decoder-only Transformer из семейства OPT, разработанная командой Papers with Code в Meta AI и размещённая на Hugging Face Мануэлем Ромеро. Модель содержит 161,6 млрд параметров и обучена на 106 млрд токенов научных текстов и данных: статей, учебников, энциклопедий, научных сайтов и баз знаний. Контекст — 2048 токенов. Модель предназначена для научных задач: ответов на вопросы, математических рассуждений, суммаризации и генерации документов, предсказания цитирований, извлечения сущностей и оценки свойств молекул. Она также может применяться в научных инструментах для поиска и работы с литературой. Обучение на крупном научном корпусе помогает выполнять задачи, требующие научных знаний, но модель может галлюцинировать, в том числе при генерации цитат, и проявлять смещения. Для применения в производстве нужны меры предосторожности и проверка результатов. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

473159нояб. 2022ctx2K
textcc-by-nc-4.0hugging-face
facebook
galactica-1.3b

GALACTICA 1.3B — базовая авторегрессионная языковая модель семейства OPT, разработанная командой Papers with Code в Meta AI для автоматизации работы с научной информацией. Вариант содержит около 1,7 млрд параметров по метаданным, использует архитектуру decoder-only Transformer и контекст длиной до 2048 токенов. Модель обучена на корпусе из 106 млрд токенов открытых научных текстов и данных: статей, учебников, научных сайтов, энциклопедий и баз знаний. Она предназначена для генерации научных текстов, ответов на научные вопросы, математических рассуждений, суммаризации, предсказания цитирований и извлечения сущностей; также заявлена поддержка задач с научными данными, например предсказания свойств молекул. Карточка отмечает результаты на научных и общих NLP-задачах, но предупреждает о галлюцинациях, смещении в пользу популярных публикаций и предвзятости. Для использования требуется учитывать эти ограничения и проверять ответы. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

1.1K79нояб. 2022ctx2K
textcc-by-nc-4.0hugging-face
llm-semantic-router
halugate-sentinel

HaluGate Sentinel — классификатор запросов пользователя, разработанный проектом llm-semantic-router для маршрутизации в системах LLM. Он определяет, требует ли запрос проверки фактов и внешних источников знаний: например, отправляет factual-вопросы в RAG или инструменты, а творческие, кодовые и математические запросы позволяет направлять прямо к генеративной модели. Самостоятельно ответы и факты он не проверяет. Модель основана на encoder-архитектуре ModernBERT-base размером 149 млн параметров с классификационной головой и LoRA-дообучением; принимает текст и выдаёт одну из двух меток: FACT_CHECK_NEEDED или NO_FACT_CHECK_NEEDED. Контекст — до 8192 токенов. Обучение и заявленные сценарии ориентированы на английский язык. В README указаны точность 96,4% и F1 0,965 на валидации, однако пороговые и смешанные запросы могут быть неоднозначны, поэтому оценку уверенности следует считать сигналом для маршрутизации, а не гарантией. Лицензия — Apache-2.0.

74911дек. 2025ctx8.2K
textapache-2.0hugging-face
AndrewDry
iptc-taxonomy-classifier-swedish

AndrewDry/iptc-taxonomy-classifier-swedish — модель классификации текстов на основе SetFit, обученная для распределения шведских текстов по 73 категориям таксономии IPTC. В модели используется Sentence Transformer на базе BERT и классификационная голова LogisticRegression; SetFit сочетает контрастивное дообучение энкодера с обучением классификатора на полученных признаках. Репозиторий содержит веса в формате safetensors, модель рассчитана на последовательности до 512 токенов по метаданным Hugging Face; в карточке SetFit также указан предел 128 токенов. Модель подходит для автоматической тематической разметки шведских новостных и других текстов по категориям, включая политику, экономику, медицину, науку, культуру и спорт. Архитектура BERT и метод SetFit предназначены для классификации с эффективным использованием размеченных примеров. Лицензия в предоставленных данных не указана.

310сент. 2026ctx512
texthugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей