/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
9 151–9 180 из 13 467
ai4bharat
IndicNER

IndicNER — модель команды AI4Bharat для распознавания именованных сущностей в предложениях на 11 языках Индии. Это дообученная для NER версия bert-base-multilingual-uncased, построенная на архитектуре BERT и доступная в формате PyTorch. Модель предназначена для извлечения именованных сущностей из текста. Для обучения использовали данные, собранные из корпуса Samanantar; качество оценивали на размеченном вручную тестовом наборе и других публичных наборах данных для NER на индийских языках. Модель поддерживает ассамский, бенгальский, гуджарати, хинди, каннада, малаялам, маратхи, ория, панджаби, тамильский и телугу. Карточка отмечает, что после публикации статьи о Naamapadam в декабре 2022 года разработчики планировали обновить репозиторий новой версией модели. Лицензия — MIT.

9.1K38май 2022
textmithugging-face
stabilityai
japanese-stable-clip-vit-l-16

Japanese Stable CLIP ViT-L/16 — модель Stability AI, которая сопоставляет японские тексты и изображения в общем пространстве эмбеддингов. Она подходит для классификации изображений без специального обучения и поиска изображений по текстовому запросу, а также может быть компонентом систем генерации изображений и описаний. В модели используется визуальный энкодер ViT-L/16 и 12-слойный текстовый энкодер BERT с японским токенизатором на основе rinna/japanese-roberta-base. Для обучения применялась функция потерь SigLIP; среди обучающих данных — CC12M с переводами описаний на японский и MS-COCO со STAIR Captions. Модель рассчитана на японский язык и задачи сопоставления текста с изображением. Модель распространяется по STABILITY AI COMMUNITY LICENSE; по вопросам коммерческого использования Stability AI предлагает обращаться отдельно. Обучающие данные могли содержать неприемлемые материалы, несмотря на фильтрацию, поэтому результаты требуют осторожной проверки при использовании в производственных системах.

15728нояб. 2023
textembeddingotherhugging-face
bloomberg
KBIR

KBIR — языковая модель Bloomberg на архитектуре RoBERTa, разработанная для получения контекстных представлений ключевых фраз. В предобучении к RoBERTa добавлены головы восстановления пропусков и классификации замен; при оценке на последующих задачах используются предобученные представления, а не эти головы. Модель содержит 454,1 млн параметров, распространяется в формате PyTorch и принимает текст с контекстом до 514 токенов. Представления KBIR можно дообучать для извлечения ключевых фраз, распознавания именованных сущностей, ответов на вопросы и других задач классификации текста, совместимых с RoBERTa. README приводит примеры оценки на наборах данных для извлечения ключевых фраз и предлагает адаптировать модель к другим наборам данных. Модель предназначена для работы с текстом; README не сообщает языковую специализацию. Лицензия — Apache-2.0. Результаты зависят от последующего дообучения и набора данных; сама модель не является готовым решением для перечисленных прикладных задач.

93212март 2022ctx514
textapache-2.0hugging-face
mkd-hika
keural-vision-encoder-mid

Keural Mid — визуальный энкодер MKD Co., Ltd., обученный с нуля для извлечения признаков изображений. Модель содержит 183,6 млн параметров, принимает RGB-изображения размером 384×384 и поддерживает размеры, кратные 16. Она выдаёт глобальный вектор изображения размерности 768 и последовательность из 512 адаптивно выделяемых токенов размерности 768 с уровнями «глобальный», «область» и «деталь». В основе — адаптивное распределение бюджета токенов, иерархическая токенизация понятий и непрерывное позиционное кодирование 2D-RoPE. Модель предназначена для поиска изображений и текста по сходству, кластеризации, извлечения признаков и использования в качестве замороженного визуального энкодера для downstream-моделей. Её также можно применять в исследованиях адаптивной токенизации и позиционного кодирования при переменном разрешении. Она обучена на парах изображение–текст из интернета и выровнена с англоязычным текстом; в README приведены результаты ImageNet и Flickr30K, а также оценка вклада энкодера в двуязычную визуально-языковую модель. На ImageNet её точность zero-shot ниже, чем у упомянутых в README CLIP ViT-B/16 и SigLIP ViT-B/16; авторы связывают это с ограниченным бюджетом обучения. Размещение дискретных токенов не полностью стабилизировалось к последнему чекпойнту. Модель не включает фильтрацию контента и наследует охват и смещения обучающих данных. Лицензия указана как other, поэтому перед использованием следует проверить условия в репозитории.

120июнь 2026
imageembeddingotherhugging-face
hbpkillerX
legal-clause-minilm-l6-v2

hbpkillerX/legal-clause-minilm-l6-v2 — дообученный Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2 для представления предложений и абзацев в виде плотных семантических векторов. Модель построена на архитектуре BERT и содержит 25,9 млн параметров. Она формирует векторы размерности 384, нормализует их и сравнивает тексты с помощью косинусного сходства; метаданные указывают контекст до 512 токенов, а конфигурация из README задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения юридических положений, поиска перефразировок, кластеризации и классификации текстов. README описывает дообучение на парах anchor-positive и оценку на clause-eval-triplets с cosine_accuracy 0,9761. Это англоязычный энкодер; сведения указывают на специализацию на юридических положениях, но подробности лицензии и юридических юрисдикций в предоставленных данных отсутствуют.

1230дек. 2025ctx512
textembeddinghugging-face
KRLabsOrg
lettucedect-210m-eurobert-it-v1

KRLabsOrg разработала LettuceDetect для выявления галлюцинаций в ответах итальянских RAG-систем. Модель находит в тексте ответа отдельные токены, которые не подтверждаются предоставленным контекстом; предсказания можно объединять в фрагменты для проверки источников и редактирования ответа. Это дообученная для классификации токенов модель EuroBERT-210M с архитектурой энкодера и 211,7 млн параметров. Она рассчитана на итальянский язык и обрабатывает контекст до 8192 токенов. В оценке на переведённом наборе RAGTruth-IT авторы сообщают F1 65,93%; модель показывает более высокую скорость по сравнению с вариантом на 610 млн параметров. Модель предназначена для вспомогательной проверки ответов и не гарантирует обнаружение всех неподтверждённых утверждений. Распространяется по лицензии MIT. Для загрузки README указывает на несовместимость использующегося удалённого кода EuroBERT с Transformers 5.x.

1920май 2025ctx8.2K
textmithugging-face
MuXodious
LFM2.5-2.6B-absolute-heresy

MuXodious/LFM2.5-2.6B-absolute-heresy — дообученная версия LFM2.5-2.6B от MuXodious. Автор README сообщает, что модель обработана abliteration-движком Heretic с применением Self-Organizing Maps и ортогональной абляции с сохранением величины весов; по приведённым результатам число отказов снизилось с 524 из 540 до 5 из 540 при KL-дивергенции 0,0326. Модель предназначена для генерации текста и диалогов, а также сценариев, где требуется меньше отказов на запросы. Основа — плотная текстовая архитектура LFM2 с 2,6 млрд параметров и контекстом до 131 072 токенов. Базовая LFM2.5-2.6B поддерживает 16 языков и рассчитана на локальное и периферийное развёртывание, работу с инструментами, извлечение данных, RAG и длинный контекст; эти характеристики наследуются данной производной моделью, хотя README не приводит отдельных проверок её качества в этих сценариях. Доступен формат safetensors для Transformers. README не сообщает условия лицензии; в метаданных указана лицензия other, поэтому конкретные права использования по этим данным установить нельзя. Сам автор отмечает, что индекс «Absolute Heresy» субъективен и что обработка может повредить модель; результаты тестов не гарантируют качество ответов во всех сценариях.

2262авг. 2026ctx131.1K
textotherhugging-face
MoritzLaurer
mDeBERTa-v3-base-xnli-multilingual-nli-2mil7

Moritz Laurer разработал эту многоязычную модель на базе mDeBERTa-v3-base от Microsoft для вывода на естественном языке (NLI) и классификации текстов без обучения на заданных пользователем категориях. Модель сопоставляет текст-предпосылку с гипотезой и оценивает их отношение; для классификации гипотезы формулируют как категории-кандидаты. Она относится к архитектуре DeBERTa-v2, содержит 306 млн параметров и принимает пары текстов с контекстом до 512 токенов. Модель обучена на XNLI и многоязычном наборе NLI из 2,73 млн пар; README также указывает общий обучающий набор размером 3 287 280 пар. Она предназначена для многоязычного zero-shot-классифицирования и NLI. Предобучение базовой модели охватывает 100 языков, а NLI-дообучение — 27 языков, включая русский; перенос на остальные языки возможен, но его качество может быть ниже. В карточке приведены результаты оценки на XNLI и нескольких англоязычных наборах. К ограничениям относятся возможные смещения наборов NLI и ошибки машинного перевода в обучающих данных, способные ухудшать вывод на сложных примерах. Модель распространяется по лицензии MIT; для запуска нужны совместимые версии Transformers, поскольку старые версии могут иметь проблемы с токенизатором.

849K401авг. 2022ctx512
textmithugging-face
kitjesen
MinerU

MinerU — модель для автоматического преобразования PDF-документов в Markdown. Она предназначена для извлечения текста с учётом структуры страницы, распознавания математических формул и восстановления таблиц, например при обработке академических статей, учебников и технической документации. В README описана составная архитектура: Detectron2 для анализа макета, сверточная сеть для обнаружения формул, BERT для их распознавания и T5 для восстановления таблиц. Метаданные Hugging Face относят репозиторий к feature-extraction; заявленный в README сценарий преобразования PDF в Markdown с этим тегом не совпадает. Заявлены поддержка китайского и английского языков и ограничения до 100 страниц и 50 МБ на PDF. README приводит точность распознавания текста 95%, формул 90% и восстановления таблиц 85%, но не описывает методику оценки. Использование рассчитано на среду с Python, PyTorch и Detectron2; указаны требования от 16 ГБ ОЗУ и 8 ГБ видеопамяти. Лицензия — Apache-2.0.

2517нояб. 2024
textembeddingapache-2.0hugging-face
CausalLM
miniG

miniG — языковая модель команды CausalLM на архитектуре ChatGLM. Основная текстовая версия содержит около 9 млрд параметров; метаданные репозитория указывают общий размер 11,4 млрд параметров. Модель дообучена на синтетическом наборе из более чем 120 млн примеров, подготовленном на основе корпуса объёмом 20 млрд токенов. В README также описана мультимодальная версия с ViT на 5 млрд параметров, однако эта карточка относится к текстовым весам. Модель предназначена для генерации текста и диалоговых сценариев с длинным контекстом до 1 млн токенов. Авторы отмечают обучение на данных для retrieval-поддержанных диалогов и интеграции знаний, но не заявляют отдельную специализацию по прикладной области. Лицензия репозитория — WTFPL. Авторы предупреждают о склонности к переобучению и галлюцинациям, отсутствии полноценного выравнивания по человеческим предпочтениям и возможном ухудшении качества при использовании ускоренных реализаций и квантизации; для вывода рекомендуются Transformers и низкая температура генерации. Данные обучения не были полностью отфильтрованы, поэтому возможны оскорбительный, порнографический и жестокий контент.

119186авг. 2024ctx1M
textwtfplhugging-face
dealignai
Mistral-Small-4-119B-JANG_2L-CRACK

dealignai публикует для Apple Silicon вариант Mistral Small 4 с поддержкой диалогов и изображений. Это производная от mistralai/Mistral-Small-4-119B-2603 модель с архитектурой Mistral 3 и классом Mistral3ForConditionalGeneration; базовая модель имеет 119 млрд параметров и MoE-архитектуру с примерно 8 млрд активных параметров, MLA и 128 экспертами. Вариант CRACK прошёл вмешательство в веса, удаляющее отказы по соображениям безопасности, а веса представлены в смешанно-точном формате JANG_2L: 8-, 6- и 2-битные компоненты, около 37 ГБ. Для запуска нужны MLX Studio или пакет jang-tools с MLX; формат несовместим с GGUF-приложениями. Модель предназначена для диалогов, рассуждений и анализа изображений, а также может использовать интерфейс вызова инструментов. В README приведены результаты тестов HarmBench и MMLU, однако они не гарантируют качество или безопасность ответов в реальных сценариях; автор также отмечает снижение точности из-за низкой точности квантования. Модель ориентирована на английский язык. Лицензия — Apache-2.0.

4593март 2026
textimageapache-2.0hugging-face
bartowski
perplexity-ai_r1-1776-GGUF

Это GGUF-квантизированная версия языковой модели r1-1776, разработанной Perplexity AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на его основе. README не содержит подробностей о базовой архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 174 до 713 ГБ; файлы могут быть разделены на несколько частей. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают требования к ресурсам за счёт качества. Для квантизации использовалась llama.cpp версии b4738 и метод imatrix. Указан формат промпта со специальными токенами r1-1776. Сильной стороной сборки является возможность запуска крупной модели локально в экосистеме llama.cpp при выборе подходящего компромисса между качеством и объёмом памяти. Ограничениями являются очень большие требования к дисковому пространству и оперативной или видеопамяти, а также снижение качества у низкобитных вариантов. Лицензия указана как MIT; сведения об условиях использования исходной модели в README не приведены.

7277февр. 2025
textmithugging-face
brilan
procedure-tool-matching_3_epochs

Модель brilan/procedure-tool-matching_3_epochs — дообученный Sentence Transformer на базе sentence-transformers/all-mpnet-base-v2, созданный для сопоставления описаний процедур с инструментами и командами. Архитектура включает MPNet, усреднение токенных представлений и нормализацию; она преобразует предложения и абзацы в плотные векторы размерности 768, сравниваемые по косинусному сходству. В метаданных указано 136,7 млн параметров и библиотека Sentence Transformers; ограничение контекста составляет 514 токенов по метаданным и 384 токена в карточке модели. Модель подходит для семантического поиска, ранжирования похожих описаний, поиска перефразировок и кластеризации текстов о процедурах и инструментах. Обучение проведено на примерах anchor-positive-negative с MultipleNegativesRankingLoss. Карточка приводит высокие значения cosine_accuracy на dev и test, но не раскрывает название датасета или подробности методики, поэтому эти результаты не гарантируют качество на других данных. Лицензия в предоставленных сведениях не указана.

971окт. 2024ctx514
textembeddinghugging-face
willamazon1
qwen3-8b-tmax-aenv-v39b-iter199

willamazon1/qwen3-8b-tmax-aenv-v39b-iter199 — чекпойнт Qwen3-8B от willamazon1, полученный на 199-й итерации обучения с подкреплением. Политика инициализирована из willamazon1/qwen3-8b-tmax-sft-v3-iter353, которая ранее была дообучена на Qwen/Qwen3-8B, и обучалась методом group-relative policy optimization на асинхронных многоходовых взаимодействиях с агентной средой. Модель предназначена для генерации текста в диалогах и агентных сценариях, включая использование инструментов. Это плотная авторегрессионная архитектура Qwen3 с 7,6 млрд параметров, контекстом до 40 960 токенов и поддержкой Transformers. Веса сохранены в safetensors в формате bfloat16; чекпойнт сконвертирован из Megatron-LM torch_dist, состояние оптимизатора не включено. Лицензия — Apache-2.0. Это промежуточная точка обучения, опубликованная для сравнения с другими итерациями того же запуска; результаты конкретных агентных задач в карточке не приведены.

270сент. 2026ctx41K
textapache-2.0hugging-face
tabiya
roberta-base-job-ner

Модель распознавания сущностей в текстах о вакансиях и профессиях, разработанная группой NLP Международного эллинского университета. Это дообученная FacebookAI/roberta-base модель RoBERTa с архитектурой RobertaForTokenClassification и примерно 151,8 млн параметров. Она размечает текст на уровне токенов и выделяет профессии, навыки, квалификации, опыт и предметные области. Модель рассчитана на английский язык и контекст до 514 токенов. Модель подходит для извлечения структурированных требований из описаний вакансий и резюме, например для поиска профессий и навыков. В README приведены строгие span-F1 оценки на тестовой части обучающего датасета: 0,83 для профессий, 0,56 для опыта и 0,30 для предметных областей; это указывает на неодинаковое качество распознавания разных категорий. Обучение проводилось на открытом датасете Green et al.; лицензия модели — MIT.

1340май 2024ctx514
textmithugging-face
AliFartout
Roberta-fa-en-ner

AliFartout/Roberta-fa-en-ner — модель для распознавания именованных сущностей в английском и персидском тексте. Она разработана на базе XLM-RoBERTa и дообучена для классификации токенов на объединённых данных CoNLL 2003 для английского и PEYMA-ARMAN-Mixed для персидского. Модель содержит 305,2 млн параметров, принимает текст и выдаёт метки для токенов; длина контекста составляет 514 токенов. Модель подходит для извлечения сущностей из документов и текста на английском и персидском языках. В README приведён результат F1 около 94% после третьей эпохи, но не уточнено, относится ли он к отдельному языку или к объединённой оценке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

70K0авг. 2023ctx514
textapache-2.0hugging-face
EMBO
sd-ner-v2

EMBO/sd-ner-v2 — дообученная модель на архитектуре BERT для распознавания именованных сущностей в тексте. Она создана на основе microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract и дообучена на наборе source_data_nlp. Модель содержит 136,7 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для выделения и классификации сущностей по токенам. На оценочном наборе указаны accuracy 0,9513, precision 0,8030, recall 0,8378 и F1 0,8200. Язык и конкретные типы сущностей в карточке не описаны. Лицензия — MIT.

1060авг. 2022ctx512
textmithugging-face
google
tapas-medium

TAPAS medium — разработанная Google модель семейства TAPAS на базе BERT, предназначенная для получения представлений таблиц и связанного с ними текста. Модель содержит 49,2 млн параметров, предобучена на англоязычных таблицах Википедии и тексте с помощью masked language modeling и дополнительного этапа для рассуждений о числах и табличном следовании. По умолчанию используются относительные позиции, сбрасываемые в каждой ячейке таблицы; доступна версия с абсолютными позиционными эмбеддингами через revision="no_reset". Модель принимает текстовый вопрос или предложение вместе с сериализованной таблицей и выдаёт скрытые представления для последующей обработки. Её можно дообучить для ответов на вопросы по таблицам, классификации и определения, подтверждается ли утверждение содержимым таблицы. Максимальная длина входа при предобучении составляла 512 токенов; для прикладных задач обычно требуется дообученная версия с подходящей классификационной головой. Доступна по лицензии Apache-2.0.

1000март 2022ctx512
textembeddingapache-2.0hugging-face
jonaskoenig
topic_classification_04

jonaskoenig/topic_classification_04 — дообученная модель Microsoft XtremeDistil на базе microsoft/xtremedistil-l6-h256-uncased для классификации текста по категориям. Это компактная BERT-модель с 14,1 млн параметров, принимающая текстовые последовательности длиной до 512 токенов. Карточка сообщает о дообучении на неизвестном наборе данных; в оценке указана разреженная категориальная точность 0,7237 на девятой эпохе. Базовая модель предназначена для английского текста, поэтому модель подходит для тематической классификации англоязычных текстов, но качество на других языках не подтверждено. Лицензия — MIT.

1727июль 2022ctx512
textmithugging-face
cardiffnlp
tweet-topic-large-multilingual

Многоязычная модель Cardiff NLP для многометочной классификации тем публикаций в соцсетях. Она основана на CardiffNLP/twitter-xlm-roberta-large-2022 и дообучена на наборах TweetTopic и X-Topic; архитектура — XLM-RoBERTa Large с классификационной головой, размер — 658,7 млн параметров. Модель принимает текст и может присваивать ему несколько тематических меток, включая искусство и культуру, бизнес, повседневную жизнь, здоровье, новости, науку, спорт и путешествия. Модель рассчитана на английский, испанский, японский и греческий языки. Её можно использовать для тематической разметки постов, анализа интересов аудитории и сортировки публикаций по темам. В README приведены результаты X-Topic: Macro-F1 от 50,3 до 60,2 и Micro-F1 от 61,4 до 73,0 в зависимости от языка. Контекст — до 514 токенов. Лицензия — MIT.

381окт. 2024ctx514
textmithugging-face
Trendyol
tybert

TyBert — предварительно обученная текстовая модель семейства BERT, выпущенная Trendyol для турецкого языка. Она предназначена для получения признаковых представлений текста и может служить основой для задач понимания языка, включая классификацию текстов и распознавание именованных сущностей. Модель содержит 137,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors для Transformers. В метаданных основной задачей указано извлечение признаков; также поддерживается заполнение маскированных токенов. Лицензия Apache-2.0.

1238июнь 2024ctx512
textapache-2.0hugging-face
RESMPDEV
Wukong-Yi-6B-200k

Wukong-Yi-6B-200k — разговорная дообученная модель RESMPDEV на базе Yi второго поколения размером 6B. Она использует плотную архитектуру семейства Llama и предназначена для генерации текста в диалоге. Модель обучалась три эпохи на отобранных данных из набора Cognitive Computations Dolphin 2.9 и поддерживает контекст до 200 000 токенов. Модель подходит для диалоговых ответов и работы с длинными текстовыми контекстами. README характеризует её как «dealigned» дообучение, но не приводит оценок качества или подробностей о поведении; пример выходных данных обозначен как TBD. Указана лицензия Apache 2.0.

191май 2024ctx200K
textapache-2.0hugging-face
NousResearch
Yarn-Llama-2-13b-64k

Nous-Yarn-Llama-2-13b-64k — языковая модель семейства Llama 2, разработанная NousResearch и дополнительно обученная на длинных текстах. Модель содержит 12,9 млрд параметров и рассчитана на контекст до 65 536 токенов. Модель продолжительно обучали на подмножестве набора PG19, чтобы улучшить работу с длинным контекстом. Она предназначена для генерации текста и сценариев, где нужно учитывать большие документы или последовательности текста. Это базовая языковая модель, а не специализированная инструкция-модель. Веса представлены в формате PyTorch; для корректной работы README указывает требование Flash Attention 2. Лицензия в предоставленных данных не указана.

33618авг. 2023ctx65.5K
texthugging-face
THemidli
applied-ner-stage3-bert-tiny

THemidli разработал Applied NER Stage 3 — компактную модель распознавания именованных сущностей на английском языке. Это двухслойная uncased BERT-модель с архитектурой BertForTokenClassification, дообученная на основе google/bert_uncased_L-2_H-128_A-2. Она содержит около 4,4 млн параметров, принимает текст и поддерживает контекст до 512 токенов; репозиторий использует формат safetensors и библиотеку Transformers. Модель размечает токены в восемь категорий с BIO-кодированием: PERSON, ORGANIZATION, LOCATION, TIMEDATE, PRODUCT, WORKOFART, JOB и AMOUNT. Её можно применять для извлечения людей, организаций, мест, дат и времени, продуктов, произведений, должностей и денежных сумм из английских текстов, в том числе как лёгкую базовую модель для экспериментов и обработки коротких фрагментов. На тестовой выборке точность по точным границам сущностей составила F1 0,4685, а на 40 вручную размеченных диагностических примерах — 0,4785. Модель обучена на небольшом разнородном наборе данных; слабее распознаёт редкие произведения и продукты, различает компании и продукты по контексту, а также ошибается в точных границах и именах с большим числом субслов. Автор характеризует её как компактную базовую модель, а не готовую систему для защиты персональных данных. Лицензия — Apache-2.0.

60авг. 2026ctx512
textapache-2.0hugging-face
grimulkan
aurelian-v0.5-70b-rope8-32K-fp16

Aurelian v0.5 — экспериментальная инструктивная языковая модель от grimulkan, дообученная на базе Llama 2 70B LongLoRA с FP16 и масштабированием RoPE для длинного контекста. Это промежуточная версия до v1.0, построенная на Llama 2 без базовой настройки на выполнение инструкций; для диалогов использует формат Llama 2 chat и предназначена для instruct-режима. Модель ориентирована на творческое письмо и ролевые диалоги, в том числе длинные сценарии, а также может выполнять задачи редактирования, суммаризации, извлечения информации и рассуждений. В README заявлена поддержка контекста до 32K токенов при Linear RoPE Scaling = 8. В метаданных указана архитектура LlamaForCausalLM, 68,7 млрд параметров и нативный контекст 4096 токенов. Обучающая смесь включает человеческие истории, синтетические инструкции и диалоги, задачи на чтение и рассуждение. Модель не цензурирована и может генерировать оскорбительный и сексуальный контент. Лицензия в метаданных указана как неизвестная, поэтому условия распространения и использования следует уточнить у автора.

4914янв. 2024ctx4.1K
textunknownhugging-face
CAMeL-Lab
bert-base-arabic-camelbert-da-ner

CAMeL-Lab разработала CAMeLBERT-DA NER — модель распознавания именованных сущностей на основе BERT, дообученную на диалектном варианте CAMeLBERT-DA с использованием датасета ANERcorp. Она размечает арабский текст по токенам и предназначена для извлечения сущностей в приложениях на базе CAMeL Tools или Transformers. Модель содержит 136,3 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Доступны веса PyTorch и TensorFlow. Карточка указывает лицензию Apache-2.0. Модель рассчитана на арабский язык; качество разметки за пределами описанного сценария и датасета может отличаться.

920март 2022ctx512
textapache-2.0hugging-face
mulinski
bert-finetuned-chunk

mulinski/bert-finetuned-chunk — модель семейства BERT, дообученная на bert-base-cased на наборе CoNLL-2003 для классификации токенов. Она предназначена для разметки последовательностей текста, в частности для распознавания именованных сущностей. В оценке на тестовой выборке указаны F1 0,9214, точность 0,9222, полнота 0,9207 и accuracy 0,9618. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — Apache-2.0. README не описывает ограничения и сценарии применения подробнее.

1800июль 2023ctx512
textapache-2.0hugging-face
carted-nlp
categorization-finetuned-20220721-164940-distilled-20220810-185342

Модель carted-nlp/categorization-finetuned-20220721-164940-distilled-20220810-185342 — дообученный классификатор текста на базе RoBERTa, разработанный carted-nlp. Модель содержит 36 млн параметров и принимает текст с контекстным окном до 514 токенов. Она предназначена для классификации текстов. В карточке приведены результаты оценки: accuracy 0,87 и F1 0,869. Данные о классах, обучающем наборе и целевой области применения не раскрыты. Модель распространяется в формате PyTorch; лицензия в предоставленных сведениях не указана.

110авг. 2022ctx514
texthugging-face
TahaDouaji
detr-doc-table-detection

Модель TahaDouaji/detr-doc-table-detection разработана Таха Дуаажи для обнаружения таблиц в документах. Она дообучена на основе facebook/detr-resnet-50 и предназначена для поиска таблиц с рамками и без рамок на изображениях документов. Модель решает задачу обнаружения объектов и обучена на наборе ICDAR2019 Table Dataset. В репозитории представлены форматы PyTorch, Safetensors и ONNX; число параметров — 6,3 млн. Лицензия Apache-2.0. Модель принимает изображения и выдаёт классы объектов с ограничивающими рамками. Качество зависит от сходства входных документов с обучающими данными. Карточка предупреждает о возможных предвзятых или вредных стереотипах в предсказаниях; прикладные ограничения для распознавания таблиц подробно не описаны.

197K64март 2022ctx1K
imageapache-2.0hugging-face
EvanD
dutch-ner-xlm-conll2003

EvanD/dutch-ner-xlm-conll2003 — переупакованная в формат PyTorch Hugging Face модель распознавания именованных сущностей на нидерландском языке. Автор сообщает, что это преобразованная копия flair/ner-dutch-large; архитектура XLM-RoBERTa с головой классификации токенов, около 658,7 млн параметров и контекстом до 514 токенов. Модель предназначена для разметки нидерландского текста именованными сущностями. Её можно применять для извлечения сущностей из документов, новостей и других текстовых материалов. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

7352нояб. 2023ctx514
texthugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей