/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
11 761–11 790 из 25 791
Jinstudio
whisper-base.en

Карточка модели Jinstudio/whisper-base.en на Hugging Face совпадает с карточкой openai/whisper-base.en, поэтому описание составлено по ней. Whisper base.en — англоязычная модель автоматического распознавания речи, разработанная OpenAI. Это плотная модель Transformer типа encoder-decoder с архитектурой WhisperForConditionalGeneration; в репозитории указано 51,7 млн параметров. Она преобразует английскую речь в текст и предназначена для расшифровки аудио, в том числе длинных записей: базовая обработка рассчитана на фрагменты до 30 секунд, а конвейер Transformers с разбиением на фрагменты позволяет работать с более длинными записями и получать временные метки. Модель обучена на больших массивах аудио с транскрипциями и рассчитана на распознавание английской речи. Она показывает устойчивость к акцентам, шуму и специализированной лексике, но может добавлять слова, которых нет в аудио, повторять фрагменты и ошибаться на отдельных голосах и условиях записи. Лицензия — Apache 2.0.

80сент. 2026ctx1K
textaudioapache-2.0hugging-face
binant
whisper-small

Карточка модели binant/whisper-small на Hugging Face совпадает с карточкой openai/whisper-small, поэтому описание составлено по ней. Whisper Small — модель распознавания речи семейства Whisper, разработанная OpenAI. Это мультиязычная модель Transformer типа encoder-decoder с 153,1 млн параметров, обученная на размеченных аудиоданных. Она преобразует речь в текст на языке исходного аудио и может переводить речь с разных языков на английский. Для обработки аудио в Transformers используется вместе с WhisperProcessor. Модель подходит для транскрибирования записей, в том числе длинных: базовая обработка рассчитана на фрагменты до 30 секунд, а разбиение на фрагменты позволяет обрабатывать аудио произвольной длины и получать временные метки. Whisper демонстрирует устойчивость к акцентам, фоновому шуму и технической лексике, но точность различается между языками, диалектами и группами говорящих. Возможны галлюцинации, повторы и ошибки распознавания. Модель распространяется по лицензии Apache-2.0.

1480июнь 2026ctx1K
textaudioapache-2.0hugging-face
marksverdhei
wordnet-sense-bge-small

WordSenseTransformer — англоязычная модель Sentence Transformers, созданная дообучением BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения значений слов в контексте, семантического поиска и других задач сопоставления текста. Архитектура включает BERT и слой WordPooling; сходство векторов измеряется косинусной близостью. Максимальная длина входной последовательности — 512 токенов. Модель обучалась на примерах WordNet с положительными и отрицательными парами контекстуализированных значений слов. В карточке приведены результаты проверки на wordnet-validation: точность cosine_accuracy@1 — 0,966, @5 — 0,999 и @10 — 1,0. Также её можно применять для поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Лицензия в предоставленных данных не указана.

750дек. 2025ctx512
textembeddinghugging-face
Yucluzzy
xir-1170-qwen3-embedding-0.6b

XIR 1170 — Qwen3 Embedding 0.6B — 2026-07-17 A1 — это текстовая модель эмбеддингов Yucluzzy, дообученная на базе Qwen/Qwen3-Embedding-0.6B для поиска релевантных фрагментов по запросу. Модель создаёт нормализованные векторы, используя представление последнего токена, и рассчитана на сценарий поиска passages, отвечающих на веб-поисковый запрос с заданной инструкцией. Модель содержит 507,6 млн параметров, построена на архитектуре Qwen3 и принимает текст; контекст — до 32 768 токенов. В README описано продолжение обучения официального чекпойнта LRAT на обучающих парах конкурса, с объединением дубликатов и отрицательных примеров и последующим смешиванием весов 50/50 с официальным чекпойнтом LRAT. Локальная проверка на 2 048 строках без пересечения запросов показала небольшое улучшение MRR и Recall@5 относительно официального LRAT, но это не официальный результат конкурса. Модель распространяется по лицензии Apache-2.0.

130июль 2026ctx32.8K
textembeddingapache-2.0hugging-face
dinalzein
xlm-roberta-base-finetuned-language-identification

Модель dinalzein/xlm-roberta-base-finetuned-language-identification — дообученная версия XLM-RoBERTa с классификационной головой для определения языка текста. Она принимает текст документа и относит его к одному из 20 языков: арабскому, болгарскому, немецкому, греческому, английскому, испанскому, французскому, хинди, итальянскому, японскому, нидерландскому, польскому, португальскому, русскому, суахили, тайскому, турецкому, урду, вьетнамскому или китайскому. Модель содержит 305,2 млн параметров, имеет контекст до 514 токенов и доступна в формате PyTorch. В README сообщается о точности 99,59% на оценочном наборе и 99,5% на тестовой выборке из 1000 предложений. Её можно использовать для автоматического определения языка коротких текстов и документов, например, перед маршрутизацией запросов или выбором языкового конвейера. Лицензия — MIT.

323май 2022ctx514
textmithugging-face
nisten
zelensky-78b

Zelensky — экспериментальная командная модель V1, созданная автором nisten на основе семейства Qwen2.5. По карточке, модель обучали один проход с низкой скоростью обучения и многократно объединяли с тремя другими моделями; метаданные также указывают связь merge с Qwen/Qwen2.5-72B-Instruct и другими вариантами Qwen2.5 и ChatWaifu. Это плотная причинно-языковая архитектура Qwen2 с 76,7 млрд параметров и контекстом до 98 304 токенов. Модель предназначена для диалогов и генерации текста; каталог также отмечает интерфейс вызова инструментов. В карточке упоминаются прогоны GPQA Diamond Zero-shot на LM Eval Harness, но результаты оценки не приведены. Указана лицензия MIT, а автор отдельно отмечает, что продолжает действовать лицензия Qwen.

2210янв. 2025ctx98.3K
textmithugging-face
avsolatorio
00-000-10-1-0-1-0-0-u_GIST_BAAI_bge-base-en-v1.5-20240127115244-best

Карточка модели avsolatorio/00-000-10-1-0-1-0-0-u_GIST_BAAI_bge-base-en-v1.5-20240127115244-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

1540янв. 2024ctx512
textembeddingmithugging-face
unslothai
8

unslothai/8 — модель семейства Llama от Unsloth AI, опубликованная как модель для извлечения признаков. Метаданные указывают на архитектуру LlamaModel, формат Safetensors, библиотеку Transformers и контекст 2048 токена. В карточке Hugging Face репозиторий также обозначен задачей feature extraction. Модель может использоваться для получения векторных представлений текста в задачах поиска и оценки сходства. Доступные сведения не позволяют надёжно определить размер модели, поддерживаемые естественные языки или конкретную базовую модель. Условия лицензии в проверенных источниках не установлены.

16K0июль 2024ctx2K
textembeddinghugging-face
libryo-ai
BAAI-bge-m3-int8

Это конвертированная и квантованная до INT8 версия BAAI/bge-m3 от libryo-ai. Модель основана на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и принимает текст для извлечения плотных векторных представлений. Она предназначена для использования в качестве векторного ретривера, в частности с Vespa Embedding; контекст составляет до 8194 токенов. Модель подходит для создания эмбеддингов и семантического поиска по текстам. Репозиторий содержит ONNX-файл, подготовленный для выполнения в INT8 с помощью toolkit optimum. Лицензия — MIT. README описывает только плотный ретривер и не подтверждает наличие других возможностей BAAI/bge-m3 в этой сборке.

2611июнь 2024ctx8.2K
textembeddingmithugging-face
mahedi420
Bangla-bert-improved-version

Mahedi420/Bangla-bert-improved-version — модель Sentence Transformers на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные векторные представления размерности 768. Её можно использовать для поиска семантически близких текстов и кластеризации; в метаданных также указаны извлечение признаков и оценка сходства предложений. Модель содержит 191,6 млн параметров и принимает последовательности длиной до 512 токенов. При обучении применялась функция потерь Multiple Negatives Ranking Loss с косинусным сходством. Название и карточка указывают на ориентацию на бенгальский язык. Для использования доступны веса safetensors и библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

750апр. 2024ctx512
textembeddinghugging-face
facebook
bart-large

facebook/bart-large — англоязычная модель BART, разработанная командой Facebook и впервые опубликованная вместе с работой о предобучении преобразователей методом восстановления зашумлённого текста. Это архитектура Transformer encoder-decoder: двунаправленный энкодер сочетается с авторегрессионным декодером. Модель содержит 252,8 млн параметров, принимает текст с контекстом до 1024 токенов и доступна в форматах PyTorch, TensorFlow и Flax. BART обучена восстанавливать исходный текст после различных преобразований, поэтому базовую модель можно применять для заполнения пропусков в тексте и извлечения признаков. После дообучения она подходит для генерации текста, в частности суммаризации и перевода, а также для классификации и ответов на вопросы. Карточка рекомендует дообучать модель на размеченных данных для конкретной задачи. Лицензия — Apache 2.0.

140K208март 2022ctx1K
textembeddingapache-2.0hugging-face
kwondw
bert-base-uncased-tsdae

kwondw/bert-base-uncased-tsdae — модель Sentence Transformers, дообученная на базе google-bert/bert-base-uncased на датасете wiki1m-for-simcse с использованием DenoisingAutoEncoderLoss. Она преобразует предложения и абзацы на входе в плотные векторы размерности 768 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура состоит из BERT для извлечения признаков и пулинга CLS; модель принимает текст, поддерживает контекст до 512 токенов по метаданным, а README указывает максимальную длину последовательности 75 токенов. Базовая модель англоязычная, обучающая выборка состоит из англоязычных текстов Википедии. Модель подходит для семантического поиска, извлечения текстовых эмбеддингов и оценки сходства предложений. В README приведены результаты на STS: Spearman для косинусного сходства составляет 0,6557 на sts-dev и 0,6199 на sts-test. Для практического применения следует учитывать указанную в README длину последовательности 75 токенов; качество на других языках и доменах в предоставленных данных не описано. Лицензия в метаданных и README не указана.

150авг. 2026ctx512
textembeddinghugging-face
wilsonmarciliojr
bertimbau-embed-nli

wilsonmarciliojr/bertimbau-embed-nli — дообученная модель Sentence Transformers на основе neuralmind/bert-base-portuguese-cased, разработанная автором репозитория. Она преобразует предложения и абзацы на португальском языке в плотные векторы размерности 768 для сравнения по косинусному сходству. Модель подходит для семантического поиска, оценки сходства и поиска перефразировок, а также может применяться для кластеризации и классификации текста. В основе лежит BERT-архитектура BertModel с усреднением токенных представлений; максимальная длина входа — 512 токенов. В README приведены результаты оценки сходства на STS: Spearman 0,8034 на sts-dev и 0,7498 на sts-test. Модель рассчитана на текст на бразильском португальском; других языков карточка не подтверждает. Лицензия в предоставленных данных не указана.

1280апр. 2025ctx512
textembeddinghugging-face
BEE-spoke-data
bert-plus-L8-v1.0-allNLI_matryoshka

BEE-spoke-data/bert-plus-L8-v1.0-allNLI_matryoshka — модель семейства BERT, разработанная BEE-spoke-data для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства, кластеризации и связанных задач с текстовыми эмбеддингами. Модель дообучена на датасете allNLI с функцией потерь MatryoshkaLoss и поддерживает вложенные размерности эмбеддингов 768, 512, 256, 128 и 64. Базовая модель поддерживает контекст до 4096 токенов, однако это дообучение проводилось на коротких примерах с контекстом 512 токенов. Модель рассчитана на английский язык и использует библиотеку Sentence-Transformers. Лицензия — Apache-2.0.

610март 2024ctx4.1K
textembeddingapache-2.0hugging-face
swardiantara
bert-tiny-amazon_reviews-k3-fixed-euclidean

Компактная модель Sentence Transformer, разработанная swardiantara и дообученная на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерности 128 для поиска и сравнения текстов; близость векторов можно оценивать косинусным сходством. Модель состоит из BERT и среднего pooling, содержит 4,4 млн параметров и принимает только текст. Модель обучалась на наборе из примерно 2,6 млн пар текстов с оценками сходства. В примерах набора — отзывы Amazon, поэтому модель подходит, в частности, для семантического поиска и сопоставления отзывов. Метаданные указывают контекст до 512 токенов, однако карточка модели задаёт максимальную длину последовательности 128 токенов. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

620июнь 2026ctx512
textembeddinghugging-face
swardiantara
bert-tiny-sst5-k1-fixed-euclidean

Компактная модель Sentence Transformers, созданная дообучением google/bert_uncased_L-2_H-128_A-2. Она преобразует предложения и абзацы на английском языке в плотные векторы размерностью 128, пригодные для поиска и сравнения текстов по косинусному сходству. Модель использует архитектуру BERT с усреднением токенных представлений; в метаданных указано 4,4 млн параметров и контекст до 512 токенов, тогда как карточка модели задаёт максимальную длину последовательности 128 токенов. Модель обучена на 42 730 примерах пар текстов с оценками сходства и подходит для семантического поиска, подбора похожих предложений и извлечения текстовых эмбеддингов. Примеры обучающих данных относятся к англоязычным рецензиям на фильмы. Для работы требуется библиотека Sentence Transformers. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

590июнь 2026ctx512
textembeddinghugging-face
seongil-dn
bge-m3-kor-retrieval-bs1024-checkpoint-295

Модель seongil-dn/bge-m3-kor-retrieval-bs1024-checkpoint-295 — дообученная версия BAAI/bge-m3 на базе Sentence Transformers, созданная для получения плотных векторных представлений предложений и абзацев. Архитектура XLM-RoBERTa с пулингом CLS-токена и нормализацией; размерность эмбеддингов — 1024. В метаданных указан размер модели 658,7 млн параметров, библиотека Sentence Transformers и нативный контекст до 8194 токенов; карточка модели заявляет максимальную длину последовательности 1024 токена. Эмбеддинги можно использовать для семантического поиска и сравнения текстов по косинусному сходству, поиска перефразировок, кластеризации и классификации текстов. Модель дообучена с CachedMultipleNegativesRankingLoss; название и описание репозитория указывают на корейский retrieval-сценарий, однако конкретные данные обучения и оценки качества не приведены. Лицензия в предоставленных данных не указана.

940дек. 2024ctx8.2K
textembeddinghugging-face
BidirLM
BidirLM-Omni-2.5B-Embedding

BidirLM-Omni-2.5B — мультимодальная модель семейства BidirLM, представленная разработчиком BidirLM. Это двунаправленный энкодер на 2,5 млрд параметров, который кодирует текст, изображения и аудио в общее пространство эмбеддингов размерностью 2048. Модель предназначена для поиска между разными модальностями, оценки семантического сходства, кластеризации и классификации. Для текстовых задач её также можно дообучать для классификации последовательностей, разметки токенов и регрессии. Модель поддерживает более 119 языков; контекст для текста — до 32 тысяч токенов. Для работы с аудио принимаются массивы отсчётов с разной частотой дискретизации, которые приводятся к 16 кГц. В README отмечены среднее пулингование и необходимость загружать пользовательский код репозитория. Для ускорения обучения и инференса требуется cuDNN версии выше 9.20.0: более ранние версии могут существенно замедлять работу из-за ошибки NVIDIA Conv3D. Распространяется по лицензии Apache-2.0.

57449апр. 2026ctx262.1K
textembeddingapache-2.0hugging-face
Lajavaness
bilingual-embedding-large

Lajavaness/bilingual-embedding-large — двуязычная модель эмбеддингов предложений от Lajavaness, основанная на XLM-RoBERTa и реализованная с помощью Sentence Transformers. Она кодирует французские и английские предложения в нормализованные векторы размерности 1024; максимальная длина последовательности — 512 токенов, а нативное контекстное окно — 514 токенов. Размер модели — 658,7 млн параметров. Модель обучалась на SNLI и XNLI для английского и французского языков, затем дообучалась на STS-Benchmark и расширенных парах предложений. Её используют для семантического поиска, оценки сходства предложений, ранжирования текстов и кластеризации. Веса доступны в формате safetensors по лицензии Apache-2.0. Модель специализируется на французском и английском языках; качество на других языках не заявлено. README не содержит результатов оценки, поэтому точность для конкретных наборов данных и сценариев по карточке определить нельзя.

8.5K28июнь 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
colpali-v1.3-hf-st

ColPali v1.3 HF — модель визуального поиска по документам, основанная на PaliGemma-3B и разработанная проектом ViDoRe. Она формирует многовекторные представления страниц документов и текстовых запросов, а затем сопоставляет их методом MaxSim в стиле ColBERT. Модель дообучена на парах «запрос — страница», преимущественно из академических наборов данных и веб-страниц PDF; обучающие запросы на английском языке. Модель предназначена для поиска релевантных страниц в визуально насыщенных документах, например PDF, когда важны не только извлечённый текст, но и визуальные особенности страницы. Она принимает текстовый запрос и изображение страницы документа, выдаёт векторы для поиска и оценки релевантности. Для загрузки используется библиотека Transformers; лицензия — Gemma. Для воспроизведения обученного формата следует установить префикс запроса «Query: »: поставляемый процессор по умолчанию использует «Question: ».

90июль 2026
textimageembeddinggemmahugging-face
teven
cross_all_bs320_vanilla_finetuned_WebNLG2020_metric_average

teven/cross_all_bs320_vanilla_finetuned_WebNLG2020_metric_average — модель эмбеддингов предложений на архитектуре MPNet, опубликованная на Hugging Face в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768; модель содержит 136,7 млн параметров и рассчитана на входную последовательность до 514 токенов. Модель подходит для семантического поиска и кластеризации текстов. Её можно использовать через библиотеку Sentence Transformers или через Transformers с подходящей операцией pooling. По названию репозитория модель дообучена на WebNLG 2020, однако README не уточняет точную схему обучения. Карточка не сообщает поддерживаемые естественные языки и лицензию, поэтому их нельзя надёжно указать.

800сент. 2022ctx514
textembeddinghugging-face
nnudee
Curtain_Recommendation

Curtain_Recommendation — модель эмбеддингов на базе XLM-RoBERTa, опубликованная пользователем nnudee. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на получение представлений, подходящих для поиска и ранжирования похожих текстов. Модель предназначена для семантического поиска, группировки текстов и рекомендаций по сходству между предложениями или абзацами. Репозиторий содержит веса в формате safetensors; размер модели — около 305,2 млн параметров, максимальный контекст — 514 токенов. Для использования подходит Sentence-Transformers либо Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.

790нояб. 2024ctx514
textembeddinghugging-face
netto87
dcubelanguage

DCUBE Language Identifier — компактная модель для определения языка по тексту, разработанная DCUBE Ai. Она дообучена методом LoRA SFT на базе Qwen2.5-0.5B-Instruct с использованием дистилляции знаний от Qwen3-14B и примеров из набора papluca/language-identification с дополнительными данными на малаялам. Модель принимает текст и отвечает названием распознанного языка; поддерживает 21 язык, включая русский, английский, китайский, арабский и хинди. Модель семейства Qwen2 имеет плотную архитектуру, около 494 млн параметров и контекстное окно 32 768 токенов. В репозитории доступны веса Safetensors и GGUF; шаблон чата может автоматически добавлять инструкцию для определения языка. Лицензия — Apache-2.0. README рекомендует устанавливать температуру 0 при использовании через LM Studio.

310июль 2026ctx32.8K
textapache-2.0hugging-face
textattack
distilbert-base-uncased-MRPC

Это модель DistilBERT, дообученная TextAttack для классификации пар предложений на наборе данных MRPC из бенчмарка GLUE. Она предназначена для определения того, выражают ли два предложения одно и то же значение. Модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые пары с максимальной длиной последовательности 512 токенов; при дообучении использовалось ограничение 256 токенов. Модель обучалась пять эпох с размером батча 32 и скоростью обучения 2e-05; лучшая точность на оценочной выборке составила около 85,8%. Это специализированный классификатор для задачи распознавания перефразирования, а не универсальная языковая модель. В карточке указана точность на eval-наборе, поэтому качество на других данных может отличаться. Лицензия в предоставленных материалах не указана.

6621март 2022ctx512
texthugging-face
vectoriseai
ember-v1

ember-v1 — англоязычная модель эмбеддингов текста от vectoriseai, построенная на архитектуре BERT. Она обучена на корпусе пар текстов из разных областей, включая финансы, науку, медицину и право; при обучении использовались приёмы из работ RetroMAE и SetFit. Модель предназначена для получения векторных представлений предложений и сравнения их семантической близости, например в поиске и ранжировании текстов. Модель содержит около 433,9 млн параметров и обрабатывает до 512 токенов; более длинные входы обрезаются. В README приведён результат 63,54 в среднем по 56 задачам MTEB при размерности эмбеддингов 1024. Доступны форматы PyTorch, safetensors и ONNX. Лицензия — MIT; разработчик также предлагает доступ к модели через API LLMRails.

1180окт. 2023ctx512
textembeddingmithugging-face
unsloth
ERNIE-4.5-21B-A3B-PT-GGUF

ERNIE-4.5-21B-A3B-PT-GGUF — GGUF-версия текстовой MoE-модели ERNIE-4.5-21B-A3B, разработанной Baidu; репозиторий подготовлен Unsloth. Модель предназначена для генерации текста, общего понимания языка и диалоговых сценариев. В README указана поддержка английского и китайского языков, а тип задачи обозначен как text-generation. Модель имеет 21 млрд параметров, из которых для каждого токена активируются 3 млрд. Архитектура включает 28 слоёв, 20 Q- и 4 KV-головы, 64 текстовых эксперта с активацией 6 экспертов на токен, а также 2 общих эксперта. Максимальная длина контекста составляет 131 072 токена. Хотя семейство ERNIE 4.5 обучается с учётом текстовых и визуальных модальностей, данная версия в описании обозначена как текстовая и не заявлена для обработки изображений. К сильным сторонам относятся MoE-архитектура с меньшим числом активных параметров при большом общем размере и длинный контекст. Ограничения включают необходимость совместимого программного обеспечения и аппаратных ресурсов, а также отсутствие в README подробных результатов тестирования и сравнений качества. Модель распространяется по лицензии Apache 2.0.

8.0K20июль 2025
textapache-2.0hugging-face
capemox
ettin-encoder-68m-contrastive-2.5m

capemox/ettin-encoder-68m-contrastive-2.5m — англоязычный ModernBERT-энкодер, дообученный контрастивным обучением на примерно 2,5 млн пар «запрос — фрагмент текста» из открытых наборов данных. Модель содержит 68,1 млн параметров и формирует 512-мерные эмбеддинги предложений методом mean pooling; длина контекста — до 7 999 токенов. Это первая стадия двухэтапного конвейера, рассчитанная на поиск по тексту и как отправная точка для последующего дообучения под конкретную задачу извлечения информации. В README приведена оценка NanoBEIR NDCG@10 0,3572 после первой стадии; результат 0,5145 относится к дополнительному дообучению на MS MARCO и другой модели конвейера. Модель принимает текст и выдаёт векторы для поиска и сравнения сходства предложений. Она ориентирована на английский язык. Распространяется по лицензии Apache-2.0.

782май 2026ctx8K
textembeddingapache-2.0hugging-face
codefuse-ai
F2LLM-v2-8B-Preview

F2LLM-v2-8B-Preview — мультиязычная модель эмбеддингов от CodeFuse AI, дообученная на базе Qwen3-8B на корпусе из 27 миллионов примеров. Версия Preview обучена без инструкций и предназначена как основа для задач получения эмбеддингов и дальнейшей тонкой настройки. Модель имеет плотную архитектуру Qwen3, около 7,6 млрд параметров и принимает текст; метаданные указывают контекст до 40 960 токенов. Модель подходит для кодирования текстов в векторные представления в многоязычных сценариях. README заявляет поддержку более 100 естественных и программных языков, а метаданные карточки перечисляют языки, включая английский, русский, китайский, арабский, японский и другие. Репозиторий содержит веса Safetensors и использует библиотеку Transformers; лицензия — Apache-2.0. Это предварительная версия без инструкционного обучения, поэтому её поведение в диалоговых задачах и качество на конкретных наборах данных могут требовать проверки.

1403янв. 2026ctx41K
textembeddingapache-2.0hugging-face
cstr
fasttext-lid176-GGUF

Это сборка классификатора fastText LID-176 в формате GGUF от автора репозитория cstr. Она определяет язык короткого текста и предназначена, в частности, для распознавания языка транскрипции после ASR и использования в runtime crispasr. Модель охватывает 176 языков и возвращает ISO 639-1 код языка; для одного текста можно получить несколько наиболее вероятных вариантов. В основе — оригинальный fastText `lid.176.bin` от Facebook с классификацией через hierarchical softmax. Репозиторий содержит веса F16 размером около 63 МБ; конверсия в GGUF сохраняет пути и коды дерева Huffman. Сборка распространяется по лицензии CC-BY-SA-3.0. README сообщает, что на коротких входах из двух слов для маратхи и хинди возможна перестановка предсказаний; это ограничение исходной модели.

1.2K0май 2026
textcc-by-sa-3.0hugging-face
LamaDiab
FinetuningMiniLM-V23Data-256ConstantBATCH-SemanticEngine

LamaDiab/FinetuningMiniLM-V23Data-256ConstantBATCH-SemanticEngine — модель Sentence Transformers на базе BERT, дообученная авторами репозитория от LamaDiab/MiniLM-V23Data-256ConstantBATCH-SemanticEngine. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для сравнения текстов по смыслу, семантического поиска, поиска перефразировок, классификации и кластеризации. Для сравнения векторов используется косинусное сходство. В архитектуре применяются Transformer с усреднением токенных представлений и нормализацией выходного вектора. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекстное окно 512 токенов. Модель обучалась на примерах текстовых запросов и соответствующих категорий товаров; в README также приведён результат cosine accuracy 0,9648 на оценке TripletEvaluator. Модель принимает текст и выдаёт векторы, пригодные для ранжирования и поиска по близости. README не сообщает поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. Репозиторий содержит веса в формате safetensors; условия лицензии в предоставленных данных не указаны.

850нояб. 2025ctx512
textembeddinghugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей