/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
8 041–8 070 из 13 467
savasy
bert-turkish-text-classification

savasy/bert-turkish-text-classification — модель классификации турецких текстов на семь тематических категорий: мировые события, экономика, культура, здоровье, политика, спорт и технологии. Это дообученная для классификации последовательностей модель семейства BERT; в README указана базовая модель dbmdz/bert-base-turkish-cased. Размер модели — 137,8 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и возвращает метку категории с оценкой уверенности. Она подходит для тематической сортировки турецких новостей и текстов по семи указанным рубрикам. Доступны веса в форматах PyTorch, Flax и safetensors. Лицензия в предоставленных данных не указана.

21031март 2022ctx512
texthugging-face
OFA-Sys
chinese-clip-vit-large-patch14

Chinese-CLIP ViT-L/14 — крупная версия модели OFA-Sys, построенная по принципу CLIP для сопоставления изображений и китайского текста. Она использует визуальный энкодер ViT-L/14 и текстовый энкодер RoBERTa-wwm-base; обучение проводилось на наборе примерно из 200 миллионов китайских пар «изображение — текст». Модель распространяется в формате PyTorch. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на новых классах, а также для вычисления эмбеддингов изображений и текста и оценки их сходства. Эти возможности подходят для поиска изображений по китайскому запросу и поиска текста по изображению. В карточке приведены результаты на наборах MUGE, Flickr30K-CN и COCO-CN, а также для zero-shot-классификации. Модель ориентирована на китайский язык и визуально-текстовые задачи. Лицензия в предоставленных данных не указана.

10K37нояб. 2022
texthugging-face
naver
cocom-v1-128-mistral-7b

naver/cocom-v1-128-mistral-7b — модель метода COCOM, разработанного авторами карточки для сжатия контекста в системах генерации с дополненной выборкой (RAG). Она преобразует длинные входные контексты в небольшое число контекстных эмбеддингов, чтобы ускорить генерацию ответов на вопросы; степень сжатия позволяет выбирать компромисс между скоростью и качеством ответа. В карточке заявлено ускорение до 5,69 раза по сравнению с рассмотренными эффективными методами сжатия контекста. Модель основана на дообученной Mistral-7B-Instruct-v0.2 и предназначена для извлечения признаковых представлений из текста. Метаданные указывают библиотеку Transformers, формат safetensors и английский язык карточки. Карточка не сообщает лицензию и не описывает конкретный формат входа для инференса, поэтому эти сведения не приводятся.

196окт. 2024
texthugging-face
dicta-il
dictabert-ner

DictaBERT NER — модель семейства BERT, разработанная Dicta, представляющая собой дообученную версию BERT-base для распознавания именованных сущностей в современном иврите. Она предназначена для разметки токенов и выявления сущностей в ивритских текстах. Модель содержит 211,6 млн параметров, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и Safetensors. Модель подходит для извлечения сущностей из документов и текстовых коллекций на иврите. Карточка указывает лицензию CC BY 4.0. Подробности о типах сущностей и качестве на отдельных наборах данных в предоставленных материалах не описаны.

10.0K6дек. 2023ctx512
textcc-by-4.0hugging-face
whr778
gliner2-large-v1-wikievents

whr778/gliner2-large-v1-wikievents — модель извлечения информации на базе GLiNER2, дообученная на fastino/gliner2-large-v1. Она предназначена для совместного извлечения именованных сущностей, типов и триггеров событий, а также связанной с событиями информации; карточка также указывает извлечение отношений и классификацию. Модель использует библиотеку gliner2 и опубликована в формате safetensors. Модель обучена на англоязычном наборе WikiEvents: 206 записей для обучения и по 20 для валидации и тестирования. Он включает онтологию из 49 типов событий и 57 ролей аргументов. В слепом тесте F1 для типов событий составил 0,962, для триггеров событий — 0,583 строго и 0,597 при relaxed-оценке; качество зависит от категории и способа сопоставления. Лицензия указана как other, поэтому условия использования следует уточнить в карточке модели и источнике набора данных.

100июль 2026
textotherhugging-face
l3cube-pune
hindi-sentence-similarity-sbert

HindSBERT-STS — модель L3Cube-Pune для оценки семантического сходства предложений на хинди. Она создана дообучением l3cube-pune/hindi-sentence-bert-nli на датасете STS и выпущена в рамках проекта MahaNLP. Модель на основе BERT преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения смысловой близости, кластеризации и семантического поиска. Модель принимает текст на хинди и формирует векторные представления; максимальная длина контекста составляет 512 токенов. Лицензия CC-BY-4.0. Она предназначена для семантического сопоставления текстов на хинди, а описание не подтверждает поддержку других языков этой версии.

63K7нояб. 2022ctx512
textembeddingcc-by-4.0hugging-face
Yukang
LongAlpaca-7B

Карточка модели Yukang/LongAlpaca-7B на Hugging Face совпадает с карточкой Yukang/LongAlpaca-13B, поэтому описание составлено по ней. LongAlpaca-13B — языковая модель на архитектуре Llama, выпущенная командой LongLoRA. Модель содержит 12,9 млрд параметров и дообучена с учителем на наборе LongAlpaca-12k, который включает длинные и короткие вопросы и ответы. Она предназначена для следования инструкциям и ответов на вопросы по длинным текстам, например разделам книг и научным статьям. В README для LongAlpaca-13B указано окно контекста 32 768 токенов; метаданные этой конкретной карточки указывают native context в 4 096 токенов. Поэтому заявленную возможность работы с длинным контекстом следует учитывать с оглядкой на конфигурацию и фактическую поддержку весов. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках не приведены. Для использования весов требуется принять лицензию и политику допустимого использования Meta.

6915окт. 2023ctx4.1K
texthugging-face
ewinregirgojr
minicpm5-1b-calibrated-anti-hallucination-sycophancy

MiniCPM-1B Calibrated — это дообученная и выровненная модель causal language model на базе openbmb/MiniCPM-1B-sft-bf16, разработанная ewinregirgojr. Модель содержит около 1,08 млрд параметров, использует decoder-only архитектуру Transformer и формат ChatML, поддерживает английский язык и контекст длиной до 2 048 токенов. Она предназначена для генерации текста и диалоговых сценариев, где важны следование инструкциям, фактическая точность и объективность. Основные сценарии применения включают ответы на вопросы с опорой на предоставленный контекст, честный отказ от ответа при отсутствии достаточных доказательств, исправление заблуждений и диалог без некритичного согласия с ошибочными утверждениями. Благодаря небольшому размеру модель ориентирована на низколатентный запуск, периферийные устройства и локальный inference. В обучении использовались UltraFeedback, SQuAD v2 и датасет rm_sycophancy_dpo; применялась Identity Preference Optimization с LoRA-адаптерами. Сильными сторонами модели заявлены устойчивость к галлюцинациям и sycophancy, а также низкая частота необоснованных отказов: в документации указаны anti-sycophancy resistance 93,4% и over-refusal rate менее 2,1% на внутренней валидации. Ограничения связаны с размером модели: сложное многошаговое символьное рассуждение может быть слабее, чем у моделей масштаба 7B и выше, а для специализированных технических областей рекомендуется использовать retrieval-augmented generation. Модель не предназначена для автономных медицинских, юридических или финансовых решений без проверки человеком. Лицензия — Apache-2.0.

9240авг. 2026
textapache-2.0hugging-face
reaperdoesntknow
MoA-400M

MoA-Metric-LM-400M — компактная авторская причинная языковая модель примерно на 400 млн параметров от reaperdoesntknow. Она предназначена для генерации текста и диалоговых сценариев, включая чтение длинных текстов с ответами на вопросы и пошаговые математические рассуждения. Модель использует архитектуру MoA с маршрутизацией между локальной свёрткой, метрическим вниманием, смешиванием каналов и MetricMQA. Вместо стандартного скалярного произведения внимание оценивает расстояния L2, косинусное сходство или диагональное расстояние Махаланобиса; позиционное кодирование BlackHoleRoPE разработано для устойчивой работы с последовательностями.

2.6K0сент. 2025ctx2K
texthugging-face
AI-Sweden-Models
ModernBERT-large

AI Sweden выпустила эту модель как продолжение предобучения answerdotai/ModernBERT-large на скандинавских текстах из The Nordic Pile и SWEb. Это плотный двунаправленный энкодер ModernBERT с архитектурой ModernBertForMaskedLM и примерно 395 млн параметров; он сохраняет контекстное окно 8192 токена. Токенизатор обучен с нуля на подмножестве скандинавских данных, а продолжение предобучения выполнено на дополнительных данных объёмом около 1,2 трлн токенов. Модель предназначена прежде всего для заполнения пропусков, извлечения эмбеддингов и дообучения для NLP-задач на шведском, норвежском, датском и исландском языках. Её можно использовать как энкодер в стиле BERT для классификации, распознавания именованных сущностей и ответов на вопросы; в Transformers доступен сценарий fill-mask. Модель выпущена как исследовательский артефакт по лицензии Apache-2.0. Веб-данные могут содержать шум, стереотипы и чувствительный контент. Экстраполяция RoPE за пределы контекста в 8192 токена не проверена и может ухудшить качество.

4297февр. 2025ctx8.2K
textapache-2.0hugging-face
newmindai
ModernBERT-tr-uncased-stsb-HD

ModernBERT-tr-uncased-stsb-HD — турецкоязычная модель на архитектуре ModernBERT для обнаружения галлюцинаций в системах генерации с дополнением из внешних источников (RAG). Она выполняет бинарную классификацию на уровне токенов: отмечает фрагменты ответа как подтверждённые или галлюцинированные. Модель содержит около 134,9 млн параметров и принимает последовательности длиной до 8192 токенов. Модель обучена NewMind AI на машинно переведённом наборе RAGTruth-TR и предназначена для проверки ответов на вопросы, генерации текста по структурированным данным и суммаризации. В README приведены оценки F1: 0,7821 на всём наборе, 0,7667 для ответов на вопросы, 0,7733 для генерации по данным и 0,6341 для суммаризации. Модель оптимизирована для турецкого языка; качество может снижаться на других языках и при суммаризации. Результаты также зависят от качества перевода обучающих данных и наличия достаточного контекста. Лицензия — MIT.

5321июль 2025ctx8.2K
textmithugging-face
classla
multilingual-IPTC-news-topic-classifier

Multilingual IPTC Media Topic Classifier — классификатор новостных текстов, разработанный авторами исследования Kuzman и Ljubešić. Модель основана на XLM-RoBERTa large и дообучена для отнесения новостей к 17 верхнеуровневым категориям схемы IPTC Media Topic NewsCodes. Модель предназначена для автоматической тематической разметки новостных корпусов. Её обучали на 15 000 новостных текстах на хорватском, словенском, каталанском и греческом языках; в README указано, что её можно применять к новостям на языках, поддерживаемых XLM-RoBERTa. В тестировании на четырёх языках модель показала macro-F1 0,746 и accuracy 0,734. Для надёжных результатов рекомендуется использовать документы длиной не менее 75 слов. Это плотная модель классификации последовательностей с 658,7 млн параметров и контекстом до 514 токенов. Репозиторий содержит веса safetensors. Лицензия — CC BY-SA 4.0.

16K21авг. 2024ctx514
textcc-by-sa-4.0hugging-face
nategro
nps-mpnet

nps-mpnet — модель на основе MPNet, разработанная для выявления предложений с описанием проблем и решений в патентах. Она дообучена на базе sentence-transformers/paraphrase-mpnet-base-v2 с использованием Sentence-Transformers и функции потерь CosineSimilarityLoss. Модель преобразует предложения и абзацы в плотные векторы размерности 768. Это позволяет сравнивать семантическую близость текстов, искать похожие фрагменты и группировать их; заявленное целевое применение — поиск предложений о проблемах и решениях в патентах. Модель принимает текст и выдаёт векторные представления. Она содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. Для работы подходят Sentence-Transformers либо Transformers с корректной операцией pooling. В карточке не указаны лицензия и конкретный список языков; качество для языков помимо обучающих данных не подтверждено.

1050окт. 2022ctx514
textembeddinghugging-face
surrey-nlp
roberta-large-finetuned-abbr-filtered-plod

Модель Surrey NLP — дообученная версия RoBERTa-large для обнаружения сокращений и соответствующих им полных форм в тексте. Она выполняет разметку токенов и предназначена для извлечения сокращений и их расшифровок из англоязычных документов. На тестовом наборе PLODv2 filtered модель получила F1 0,9208 для сокращений и 0,9108 для полных форм. Модель содержит 454,1 млн параметров, использует формат PyTorch и принимает контекст до 514 токенов. Опубликована вместе с работой для LREC-COLING 2024; лицензия — CC BY-SA 4.0.

171февр. 2023ctx514
textcc-by-sa-4.0hugging-face
resect-ai
veritas-0.6B-fact-checker-non-thinking-1.0

Veritas-0.6B-Fact-Checker-Non-Thinking-1.0 — компактная языковая модель Resect Research Labs, дообученная на базе Qwen/Qwen3-0.6B для проверки фактов и фактической согласованности. Это плотная авторегрессионная модель семейства Qwen3 с 507,9 млн параметров и контекстом до 40 960 токенов; она принимает текст и генерирует текстовый ответ в виде бинарной оценки по заданному шаблону. Модель предназначена для проверки утверждений и оценки фактической опоры ответов, в том числе в сценариях проверки ответов систем с поиском по документам. В тестировании на LLM-AggreFact, который объединяет 11 размеченных наборов данных, авторы сообщают средний результат 72,30%, выше базового Qwen3-0.6B в режиме non-thinking. Использовать модель следует только в предписанном режиме бинарной оценки и с указанным шаблоном: отклонение от него может приводить к неожиданным результатам. Распространяется по лицензии Apache-2.0.

1815май 2026ctx41K
textapache-2.0hugging-face
ricepaper
vi-gemma-2b-RAG

vi-gemma-2b-RAG — языковая модель семейства Gemma, разработанная hiieu, himmeow the coder и cuctrinh. Это плотная авторегрессионная модель с 2,5 млрд параметров, дообученная методом LoRA на базе unsloth/gemma-1.1-2b-it-bnb-4bit для работы с текстами на вьетнамском языке и сценариями генерации с дополнением контекстом из внешних источников (RAG). Она принимает текст и генерирует текст; поддерживает контекст до 8192 токенов. Модель предназначена для ответов на вопросы по предоставленному контексту, суммаризации, машинного перевода и других задач генерации текста на вьетнамском языке. В карточке указан датасет lamhieu/mabrycodes_dialogue_vi, а метаданные также отмечают английский язык. Модель распространяется по лицензии Apache-2.0. Модель может генерировать неверные или вводящие в заблуждение сведения, проявлять смещения, а качество ответов зависит от качества входных данных и предоставленного контекста.

3213июль 2024ctx8.2K
textapache-2.0hugging-face
cara-ai
ALM2Vec-FT

ALM2Vec-FT — дообученная модель эмбеддингов аудио, разработанная на базе MiDashengLM-7B-0804-fp32. Она преобразует аудио и текст в общее векторное пространство для поиска и сопоставления; запрос на естественном языке позволяет направлять представление аудио на нужный аспект звучания. Модель предназначена для двустороннего поиска аудио по тексту и текста по аудио, поиска по речи, а также сопоставления аудиозаписи и вопроса с вариантами ответа. В отличие от обычных моделей для сопоставления аудио с описаниями, ALM2Vec-FT ориентирована на разные аудиодомены, типы задач и намерения пользователя. Она принимает аудио и текст и выдаёт эмбеддинги для поиска и ранжирования. В метаданных указан английский язык; размер базовой модели — 7 млрд параметров. Для работы нужны Transformers версии 4.52 или выше, PyTorch и Safetensors; для аудио не в WAV также требуется Torchaudio. Карточка указывает на необходимость GPU и загрузку весов объёмом около 31 ГБ, а также использование trust_remote_code=True. Модель распространяется по лицензии Apache-2.0.

1551июнь 2026ctx32.8K
textembeddingapache-2.0hugging-face
lfcc
bert-portuguese-ner

Модель lfcc/bert-portuguese-ner — дообученная версия neuralmind/bert-base-portuguese-cased для распознавания именованных сущностей в португальских архивных документах. Она использует архитектуру BERT с классификационной головой для разметки токенов и обрабатывает контекст длиной до 512 токенов. Модель выделяет даты, профессии, имена людей, географические названия и организации. На наборе оценки указаны F1 0,9312, точность 0,9700, precision 0,9147 и recall 0,9483. Модель подходит для извлечения сущностей из архивных текстов на португальском языке. Вес модели составляет 136,1 млн параметров, формат — PyTorch. Лицензия — MIT.

106K9март 2022ctx512
textmithugging-face
CoRover
BharatGPT-Instruct

BharatGPT-Instruct E2B — мультиязычная языковая модель компании CoRover.ai для генерации текста и диалогов на основных языках Индии. Модель рассчитана на работу через библиотеку Transformers; репозиторий содержит веса в формате safetensors и поддерживает чат-взаимодействие. Модель обучалась на корпусе, включающем хинди, пенджаби, маратхи, малаялам, ория, каннада, гуджарати, бенгали, урду, тамильский и телугу, с акцентом на естественные разговорные данные Индии. В карточке приведены оценки на тестах понимания языка и RAG, включая вопросы по базе знаний и проверку релевантности; численные результаты относятся к заявленным разработчиком оценкам. Лицензия некоммерческая: модель предназначена для академического и исследовательского использования. Для коммерческого применения README предлагает обращаться к CoRover.ai. Карточка не приводит сведения о размере параметров или длине контекста.

160сент. 2026
textotherhugging-face
cvalenciaunivalle
bilstm-crf-fasttext-charcnn-conll-bs16

Это модель распознавания именованных сущностей на испанском языке, разработанная Лаурой Валеро и Кристианом Валенсией в рамках курса Taller PLN магистратуры Univalle. Она обучена на CoNLL-2002 для разметки токенов и использует архитектуру BiLSTM с выходным слоем CRF, символьную CharCNN и 300-мерные испанские эмбеддинги FastText. На тестовой части CoNLL-2002 модель показала F1 0,8059, точность 0,8057 и полноту 0,8061. Для использования требуется доверие к пользовательскому коду репозитория (`trust_remote_code=True`). Модель распространяется по лицензии CC BY-NC-SA 4.0.

60июнь 2026
textcc-by-nc-sa-4.0hugging-face
GestaltLabs
continuity-a4b-26b

continuity-a4b-26b — дообученная модель GestaltLabs на базе Google Gemma 4 26B A4B IT для извлечения структурированных данных из веб-страниц. На вход она получает очищенное представление DOM-страницы и JSON Schema, а на выходе формирует соответствующий схеме JSON. Модель семейства Gemma 4 использует архитектуру MoE: около 3,8 млрд параметров активны при генерации из 25,2 млрд языковых параметров; вместе с визуальной башней размер составляет 26,3 млрд параметров. Доступна сборка bf16 размером 49 ГБ, поддерживается запуск через vLLM. Модель предназначена для пакетного и интерактивного извлечения карточек товаров, объявлений, статей, документов и записей каталогов. В тесте на 103 реальных страницах авторы сообщают строгий успех 0,8932 на очищенном представлении DOM и 0,9515 на HTML для варианта с LoRA; JSON проверяется на соответствие схеме после генерации. Модель обучалась и оценивалась на английских страницах. Длинные страницы требуют усечения или разбиения, а извлечение нескольких связанных сущностей в массивы объектов даётся сложнее. Рекомендуется жадное декодирование и проверка результата, особенно при использовании недоверенной схемы. Это не универсальная чат-модель и не предназначенная для критически важных решений. Применяются условия лицензии Gemma 4; в метаданных указана Apache-2.0.

931сент. 2026
textapache-2.0hugging-face
alexandrainst
da-ner-base

alexandrainst/da-ner-base — модель на базе BERT, дообученная Институтом Александры на распознавание именованных сущностей в датских предложениях. Она присваивает токенам метки в формате BIO для персон, организаций, географических названий и прочих сущностей. Модель обучена на наборе данных DaNE и основана на датской предварительно обученной модели BERT от BotXO. Архитектура — BertForTokenClassification, размер — 137,8 млн параметров, длина контекста — до 512 токенов. Доступны веса PyTorch и TensorFlow. Модель подходит для извлечения сущностей из датских текстов, например для индексации документов и анализа новостей. Она рассчитана на датский язык и не предназначена для распознавания сущностей в других языках. Распространяется по лицензии Apache-2.0.

1850март 2022ctx512
textapache-2.0hugging-face
ai4data
devdata-search-multilingual-e5-small-cgist-guide-e5cgist

ai4data разработала эту bi-encoder модель эмбеддингов для поиска по структурированным статистическим метаданным. Модель дообучена на DevDataBench на основе intfloat/multilingual-e5-small с перестановкой порядка полей и их исключением в обучающих примерах, чтобы сопоставлять смысл с названиями полей независимо от порядка сериализации. Использована функция потерь CGIST и guide-модель ai4data/devdata-search-multilingual-e5-small-cgist. Модель предназначена для семантического поиска и подбора запросов к описаниям статистических показателей и наборов метаданных. Это компонент для построения поиска, а не готовый размещённый поисковый сервис. При кодировании README рекомендует добавлять к запросам префикс «query: », а к документам — «passage: ». Архитектура — плотный BERT на базе multilingual-e5-small, библиотека Sentence Transformers; размер — 124,3 млн параметров, максимальная длина входа — 512 токенов. Модель создаёт текстовые эмбеддинги; базовая модель многоязычная, но конкретный перечень языков в карточке не приведён. Репозиторий распространяется по лицензии Apache-2.0.

1130июнь 2026ctx512
textembeddingapache-2.0hugging-face
cmarkea
distilcamembert-base-ner

DistilCamemBERT-NER — модель распознавания именованных сущностей на французском языке, разработанная на базе cmarkea/distilcamembert-base и дообученная для классификации токенов. Она выделяет в тексте имена людей, географические названия, организации и сущности категории MISC, например названия книг и фильмов. Для обучения использован датасет wikiner_fr примерно из 170 тысяч размеченных предложений. Модель содержит 81,2 млн параметров и имеет контекст длиной до 514 токенов. В опубликованной оценке общий F1 составил 98,18%; авторы также сообщают об уменьшении времени инференса примерно вдвое по сравнению с CamemBERT при сопоставимом энергопотреблении. В тесте на процессоре AMD Ryzen 5 4500U указано среднее время 43,44 мс; результаты зависят от оборудования и способа запуска. Модель подходит для извлечения сущностей из французских текстов, например при индексации документов и подготовке данных для последующего анализа. Она рассчитана на французский язык и конкретные категории разметки, поэтому результаты на других языках и для иных типов сущностей не подтверждены. Лицензия — MIT.

8.9K24март 2022ctx514
textmithugging-face
nghuyong
ernie-gram-zh

ERNIE-Gram-zh — китайская языковая модель семейства ERNIE-Gram, представленная в виде PyTorch-чекпойнта для извлечения признаков и задач понимания естественного языка. Архитектура основана на BERT: 12 слоёв, размер скрытого состояния 768 и 12 голов внимания; всего 127,1 млн параметров, контекст — до 512 токенов. Модель предназначена для получения контекстных представлений китайского текста, которые можно использовать в прикладных системах понимания языка. Чекпойнт преобразован из официально выпущенной модели ERNIE на PaddlePaddle в PyTorch; автор README сообщает о проверках точности преобразования. Лицензия в предоставленных источниках не указана.

145апр. 2022ctx512
textembeddinghugging-face
facebook
fasttext-tr-vectors

facebook/fasttext-tr-vectors — предварительно обученная модель векторных представлений слов fastText для турецкого языка. fastText разработана Facebook как открытая лёгкая библиотека для обучения векторов слов и классификаторов текста; эта модель предназначена для получения векторов, которые можно использовать в классификации текста, определении языка и сравнении семантической близости слов. Векторы обучены методом CBOW с позиционными весами на корпусах Common Crawl и Википедии. Размерность векторов — 300, используются символьные n-граммы длиной 5, окно контекста 5 и 10 отрицательных примеров. Модель принимает текст и выдаёт векторные представления слов. Символьные n-граммы помогают получать векторы для словоформ, в том числе редких. Модель можно применять на обычном оборудовании, в том числе в прототипах и производственных системах. Векторы отражают статистику обучающих корпусов и могут содержать смещения; они не предназначены сами по себе для генерации текста. Лицензия — CC-BY-SA-3.0.

5117март 2023
textembeddingcc-by-sa-3.0hugging-face
recruit-jp
japanese-clip-vit-b-32-roberta-base

Japanese CLIP — контрастивная модель для сопоставления изображений и японского текста в общем пространстве эмбеддингов, разработанная Recruit Co., Ltd. Она использует визуальный энкодер CLIP-ViT-B-32 и текстовый энкодер Japanese RoBERTa-base и обучена на 128 млн пар изображений и текстов из японской части LAION2B-multi. Модель предназначена для поиска изображений по японскому запросу и текста по изображению, классификации изображений без дополнительного обучения по заданным текстовым меткам, а также извлечения признаков изображений и текста. Карточка описывает оценки на наборах для классификации и двунаправленного поиска изображение–текст; для ImageNet V2 и Food101 метки классов были переведены на японский. Модель ориентирована на японский язык и задачи сопоставления текста с изображениями. Лицензия — CC-BY-4.0; разработчик не гарантирует точность и полезность результатов и не несёт ответственности за ущерб, связанный с использованием модели.

2049дек. 2023
textembeddingcc-by-4.0hugging-face
yuriyvnv
legal-bge-m3

legal-bge-m3 — модель эмбеддингов на базе BGE-M3, разработанная Yuriy Perezhohin для поиска по юридическим текстам. Она преобразует документы, их фрагменты, предложения и запросы в плотные векторные представления для семантического поиска, сравнения предложений и извлечения релевантных фрагментов в системах RAG. Модель дообучена с помощью функции потерь multiple negative ranking на примерно 400 тысячах строк синтетических юридических данных, подготовленных на основе LEGALBENCH-RAG. В метаданных указаны архитектура XLM-RoBERTa, 658,7 млн параметров, контекст до 8194 токенов и английский язык. Базовая модель BGE-M3 рассчитана на многоязычный семантический, лексический и гибридный поиск, однако карточка этой версии заявляет английский язык. Модель подходит для поиска релевантных фрагментов юридических документов и вычисления сходства текстов. Ограничение — обучение на синтетических данных, поэтому возможны унаследованные от них смещения. Сведения о лицензии в предоставленных источниках отсутствуют.

1171март 2025ctx8.2K
texthugging-face
hugoomezz
modernbert-ragtruth-token-level-binary

hugoomezz/modernbert-ragtruth-token-level-binary — дообученная командой проекта на RAGTruth модель для поиска галлюцинаций в ответах RAG-систем. Она получает контекст и сгенерированный ответ и классифицирует каждый токен ответа как подтверждённый контекстом или галлюцинаторный, что позволяет выделять неподтверждённые фрагменты текста, а не только присваивать ответу общий вердикт. Модель построена на encoder-архитектуре ModernBERT-base, содержит 149 млн параметров и имеет нативную длину контекста 8192 токена; веса опубликованы в формате safetensors. На тестовой выборке RAGTruth модель показала F1 0,7631 для определения наличия галлюцинации в ответе и F1 0,5321 для выделения фрагментов. Она предназначена для исследовательских экспериментов и демонстрации проверки ответов, включая QA, суммаризацию и преобразование данных в текст. Основные ограничения — слабее выявляются ошибки в суммаризациях и тонкие галлюцинации; возможны пропуски и ложные срабатывания на близких перефразировках. Модель не проверена за пределами задач RAGTruth и не гарантирует обнаружение всех неподтверждённых утверждений. Лицензия — MIT.

510июль 2026ctx8.2K
textmithugging-face
lblod
multilingual-ner-abb-improved

Модель lblod/multilingual-ner-abb-improved — дообученная версия XLM-RoBERTa-base для распознавания именованных сущностей в юридических и административных решениях. Она обрабатывает английский, нидерландский и немецкий текст и размечает даты, места, правовые основания, административные органы и уполномоченных представителей по схеме BIO. Модель построена на архитектуре XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Обучение на немецких муниципальных решениях из Фрайбурга и Бамберга расширяет исходные данные на нидерландском и английском языках. На отложенной выборке общий F1 составил 0,794; показатели для языков различаются, а английская и нидерландская подвыборки были небольшими. Модель предназначена для извлечения сущностей из документов, а не для генерации текста. Лицензия в предоставленных данных не указана.

520июль 2026ctx514
texthugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей