/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
17 401–17 430 из 25 791
IIC
RigoChat-7b-v2

RigoChat-7b-v2 — диалоговая языковая модель, разработанная Instituto de Ingeniería del Conocimiento (IIC) на базе Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 без изменений и дообучена методом Direct Preference Optimization (DPO) для более точных ответов на запросы на испанском языке. Максимальная длина контекста — 32 768 токенов. Модель предназначена для широкого круга задач на испанском: диалогов, суммаризации, математических и кодовых запросов, ответов на вопросы по контексту и работы с инструментами. В карточке отдельно отмечено применение в RAG-системах с испанскими документами, где обучение было направлено на ответы с учетом контекста и снижение галлюцинаций. Модель распространяется в формате Safetensors и поддерживает интерфейс вызова инструментов. Лицензия RIGOCHAT NON-COMMERCIAL ограничивает коммерческое использование загруженной модели; для коммерческого применения разработчик указывает отдельный вариант через AWS Marketplace. Модель может воспроизводить предвзятости, ошибаться, особенно в технических, научных и юридических темах, и не знать событий после даты отсечения обучения.

11820нояб. 2024ctx32.8K
textotherhugging-face
nbeerbower
Rombos-EVAGutenberg-TIES-Qwen2.5-32B

Rombos-EVAGutenberg-TIES-Qwen2.5-32B — языковая модель на архитектуре Qwen2.5, созданная nbeerbower слиянием методом TIES через mergekit. В объединение вошли nbeerbower/EVA-Gutenberg3-Qwen2.5-32B и nbeerbower/Rombos-Qwen2.5-32B-lorablated; базовая модель — Qwen/Qwen2.5-32B. Модель содержит 32 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. Она предназначена для диалогов и генерации текста. В метаданных указаны интерфейс вызова инструментов и языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка не приводит результатов оценивания или конкретных ограничений качества; применимость к отдельным задачам следует проверять на собственных данных.

371янв. 2025ctx131.1K
textapache-2.0hugging-face
khanhpd2
sbert-vinai-phobert-large-mnr

khanhpd2/sbert-vinai-phobert-large-mnr — модель семейства Sentence-Transformers на архитектуре RoBERTa, основанная на PhoBERT от VinAI. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 468,2 млн параметров и принимает последовательности длиной до 258 токенов. Модель подходит для построения векторного поиска по текстовым коллекциям, поиска похожих предложений и группировки текстов по смыслу. В README приведён способ использования с Sentence-Transformers и Transformers; при работе через Transformers нужно применять подходящую операцию pooling к контекстным представлениям токенов. Карточка не сообщает лицензию и отдельные ограничения качества. Судя по базовой модели PhoBERT и назначению, модель ориентирована на вьетнамский язык; качество на других языках не подтверждено. Формат весов — PyTorch.

990нояб. 2022ctx258
textembeddinghugging-face
dangvantuan
sentence-camembert-large

Sentence-CamemBERT-Large — модель эмбеддингов французских предложений, разработанная La Javaness. Она преобразует текст предложений в векторы, отражающие их смысл, и предназначена для семантического поиска и сравнения предложений. Модель построена на архитектуре CamemBERT Large с 435,4 млн параметров; карточка указывает контекст до 514 токенов. Это дообучение facebook/camembert-large с помощью Siamese BERT-сетей на датасете STS-B. В README приведены высокие результаты корреляции Пирсона и Спирмена на французской оценке STS-B. Модель рассчитана на французский язык и выдаёт векторные представления текста. Лицензия — Apache-2.0. Она предназначена для получения эмбеддингов и оценки сходства предложений; README не описывает её как генеративную модель.

69K84март 2022ctx514
textembeddingapache-2.0hugging-face
Muennighoff
SGPT-1.3B-weightedmean-nli-bitfit

Muennighoff/SGPT-1.3B-weightedmean-nli-bitfit — модель для получения векторных представлений предложений и оценки их семантической близости. Она основана на GPT-Neo и использует взвешенное усреднение токенных представлений; модель дообучена методом BitFit на данных NLI с функцией MultipleNegativesRankingLoss и косинусным сходством. Число параметров — около 1,5 млрд, максимальный контекст — 2048 токенов. Модель подходит для поиска предложений по смыслу, сопоставления текстов и построения семантического поиска. Она выдаёт эмбеддинги, пригодные для сравнения по косинусному сходству. README ссылается за примерами использования и результатами оценки на код проекта и публикацию, поэтому конкретные показатели качества здесь не приведены. Лицензия в предоставленных данных не указана.

1200март 2022ctx2K
textembeddinghugging-face
Snowflake
snowflake-arctic-embed-xs

Snowflake/snowflake-arctic-embed-xs — компактная модель эмбеддингов текста из семейства Arctic Embed, разработанного Snowflake. Она предназначена для поиска по смыслу и извлечения релевантных документов, включая семантический поиск и retrieval-компонент систем RAG. Модель основана на all-MiniLM-L6-v2 и использует архитектуру BERT. В метаданных указано 25,9 млн параметров и контекст до 512 токенов; README приводит 22 млн параметров и размерность эмбеддинга 384. Компактный размер рассчитан на сценарии с жёсткими ограничениями по задержке и стоимости. В README сообщается результат 50,15 NDCG@10 на MTEB Retrieval. Карточка описывает обучение и оценку для задач поиска, но не подтверждает поддержку конкретных языков, поэтому модель следует выбирать с учётом языка и данных своего корпуса. README указывает на более новые многоязычные версии Arctic Embed, которые авторы рекомендуют для многоязычных сценариев. Репозиторий содержит форматы ONNX и safetensors. Лицензия в предоставленных данных не указана.

356K43апр. 2024ctx512
textembeddinghugging-face
upstage
solar-mini4

Solar Mini 4 — компактная языковая модель компании Upstage на 35 млрд параметров с архитектурой mixture-of-experts и примерно 3 млрд активных параметров. В карточке указано контекстное окно до 524 тысяч токенов. Модель предназначена для агентных сценариев и генерации текста. Её можно использовать для построения диалоговых помощников и систем, которым требуется обрабатывать длинный контекст. В предоставленном фрагменте README подробности о возможностях, поддерживаемых языках и лицензии отсутствуют.

00сент. 2026ctx524.3Kprice$0.00 / $0.00/ 1M
textopenrouter
Lucyfer1718
Spartan_v1.0

Spartan_v1.0 — языковая модель, созданная слиянием моделей Meta Llama 3.1 с помощью mergekit и метода SLERP. В слияние вошли Meta-Llama-3.1-8B и Meta-Llama-3.1-8B-Instruct; модель содержит 7,5 млрд параметров и использует плотную архитектуру Llama для авторегрессионной генерации текста. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на запросы, написания и продолжения текста, а также сценариев с интерфейсом вызова инструментов. Заявленная длина контекста — 131 072 токена. Для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В карточке не описаны отдельные языковые специализации или результаты оценки качества, поэтому их нельзя уверенно определить. Лицензия в предоставленных данных не указана. Производные модели Llama 3.1 распространяются на условиях лицензии Meta Llama 3.1; перед использованием следует сверить применимые условия с карточкой и лицензией базовых моделей.

220сент. 2024ctx131.1K
texthugging-face
Tamil-ai
tamil-embed-base

Tamil-Embed-Base — модель эмбеддингов предложений, разработанная для работы с тамильским языком и дообученная на базе intfloat/multilingual-e5-base. Она использует архитектуру XLM-RoBERTa и содержит 305,2 млн параметров по метаданным; README указывает 278 млн. Модель преобразует текст в векторы для семантического поиска, сравнения предложений и межъязыкового поиска между тамильским и английским языками. Её обучали в два этапа: на парах для NLI, затем на параллельном корпусе Samanantar с трудными негативными примерами. Размер эмбеддинга — 768 измерений; Matryoshka-представления позволяют использовать усечённые векторы размером 512, 256, 128 или 64 измерения, чтобы ускорить поиск. Максимальная длина контекста — 514 токенов. Модель распространяется под лицензией Apache-2.0. README приводит результаты на межъязыковом бенчмарке, но таблица показана не полностью; поэтому по ней нельзя оценить качество на всех заявленных сценариях.

6670март 2026ctx514
textembeddingapache-2.0hugging-face
Blackfrost-AI
TERNARY-BONSAI-2-27B-DERISKED-GGUF

TERNARY-BONSAI-2-27B-DERISKED-GGUF — мультимодальная производная модель семейства TERNARY BONSAI, выпущенная Blackfrost AI на основе prism-ml/Ternary-Bonsai-2-27B-gguf и в конечном счёте Qwen/Qwen3.8-27B. Модель предназначена для диалоговых сценариев и работы с текстом, а при загрузке соответствующего мультимодального проектора также поддерживает входные изображения. Доступна через llama.cpp и совместимый с OpenAI API интерфейс. В релиз входят две языковые версии: высокоточная BF16 и компактная нативная тернарная PQ2_0 с групповой FP16-масштабизацией. Архитектура описана как гибридная causal language model на базе Qwen3.8, примерно на 27,36 млрд параметров и с 64 трансформерными блоками. Заявленное upstream-окно контекста составляет 262 144 токена, однако для данного релиза валидировано только 32 768 токенов; также проверена работа с одним параллельным потоком генерации. Для изображений используются отдельные проекторы BF16 или Q8_0, соответствующие языковой версии. BF16-вариант ориентирован на качество и точность, тогда как PQ2_0 существенно компактнее и демонстрирует более высокую наблюдаемую скорость декодирования в заявленной конфигурации. Обе версии прошли проверку связности оператором и HITL, а PQ2_0 указан как принятый компактный кандидат без зацикливания. При этом комплексные тесты программирования, безопасности, длинного контекста и мультимодальности ещё не опубликованы, оценка отказов находится в ожидании, а приведённые скорости не являются гарантией производительности. Процесс поведенческой модификации является проприетарным и не распространяется. Лицензия Apache-2.0 унаследована от непосредственной родительской модели.

3.7K10сент. 2026
textimageapache-2.0hugging-face
princeton-nlp
unsup-simcse-roberta-large

princeton-nlp/unsup-simcse-roberta-large — модель Princeton NLP для получения векторных представлений предложений. Она основана на архитектуре RoBERTa-large и обучена в рамках метода SimCSE без разметки: к одному и тому же предложению применяются разные маскирования dropout, чтобы обучать устойчивые семантические embedding-представления. Разработчики — исследователи Princeton NLP, включая Tianyu Gao, Xingcheng Yao и Danqi Chen. Модель предназначена для сравнения семантической близости текстов, поиска похожих предложений, sentence retrieval, кластеризации и построения признаков для последующих NLP-задач. Она работает как encoder и feature-extraction модель, а не как генеративная система. Для получения embedding обычно используется представление токена CLS; для unsupervised SimCSE разработчики рекомендуют вариант без дополнительного pooler-преобразования. Максимальная длина входа в конфигурации токенизатора — 512 токенов. Обучение выполнялось на предложениях из English Wikipedia, поэтому модель ориентирована прежде всего на английский язык и не является мультиязычной. В опубликованном авторами списке модель получила средний результат 78.90 на задачах semantic textual similarity (STS), что характеризует её пригодность для оценки семантического сходства. Ограничения включают зависимость качества от языка, домена и способа pooling, ограничение длины входа и отсутствие возможностей генерации текста. На странице репозитория отдельная лицензия для этого чекпойнта не указана, поэтому условия использования следует проверять по исходному репозиторию и базовой модели RoBERTa.

3573март 2022ctx514
textembeddinghugging-face
Akshat-exe
whisper-base

Карточка модели Akshat-exe/whisper-base на Hugging Face совпадает с карточкой openai/whisper-base, поэтому описание составлено по ней. Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

100июль 2026ctx1K
textaudioapache-2.0hugging-face
Hagwell
whisper-base

Карточка модели Hagwell/whisper-base на Hugging Face совпадает с карточкой openai/whisper-base, поэтому описание составлено по ней. Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

130авг. 2026ctx1K
textaudioapache-2.0hugging-face
openai
whisper-base

Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

1.7M306сент. 2022ctx1K
textaudioapache-2.0hugging-face
diprooo
whisper-large-v3-turbo

Карточка модели diprooo/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

130июнь 2026
textaudiomithugging-face
legraphista
xLAM-7b-r-IMat-GGUF

xLAM-7b-r-IMat-GGUF — это GGUF-квантизированная версия языковой модели Salesforce/xLAM-7b-r, подготовленная пользователем legraphista с использованием llama.cpp и IMatrix-калибровки. Исходная модель имеет формат BF16, а набор поставляется в вариантах от BF16 и FP16 до Q2–Q8 и IQ-квантизаций, включая версии с применением IMatrix. Модель предназначена для генерации текста, function calling, tool use и построения LLM Agent-сценариев. Она ориентирована на английский язык и поддерживает работу с инструментами и функциями; исходный датасет обучения — Salesforce/xlam-function-calling-60k. Формат GGUF и набор квантизаций позволяют выбирать баланс между размером файла, требованиями к памяти и сохранением качества, что удобно для локального запуска через llama.cpp. Для некоторых вариантов указаны размеры от 2,53 до 14,48 ГБ. Ключевые архитектурные характеристики базовой модели, включая точное устройство, размер контекста и перечень поддерживаемых модальностей, в README не указаны; по представленным данным это текстовая модель без заявленной мультимодальности. К ограничениям относятся ориентация на английский язык и возможное снижение качества при использовании низкобитных квантизаций. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

1.2K0авг. 2024
textcc-by-nc-4.0hugging-face
IronPooh
xlm-roberta-qa-cross-encoder

IronPooh/xlm-roberta-qa-cross-encoder — текстовый Cross-Encoder, созданный дообучением FacebookAI/xlm-roberta-base с помощью библиотеки Sentence Transformers. Модель оценивает пары текстов одним числовым баллом, пригодным для ранжирования результатов поиска и семантического поиска. Архитектура — XLM-RoBERTa для классификации последовательностей; размер — 305,2 млн параметров, максимальная длина входа — 512 токенов. В карточке приведены примеры обучения на парах вопросов и ответов и результаты бинарной классификации на наборе xlm-roberta-val. Это указывает на применение для оценки соответствия вопроса и ответа, а также переранжирования найденных фрагментов. Базовая XLM-RoBERTa многоязычная, а примеры в обучающих данных включают украинский и русский языки. Доступны веса в формате safetensors; лицензия в предоставленных сведениях не указана.

90июнь 2026ctx514
texthugging-face
Omartificial-Intelligence-Space
Arabert-all-nli-triplet-Matryoshka

Arabert All NLI Triplet Matryoshka — арабская модель Sentence Transformers, разработанная Omartificial Intelligence Space и дообученная на aubmindlab/bert-base-arabertv02 с использованием набора Arabic NLI Triplet. Она преобразует предложения и абзацы на арабском языке в плотные векторные представления для сравнения семантической близости. Модель основана на BERT с усреднением токенных представлений, имеет 162,4 млн параметров и принимает последовательности длиной до 512 токенов. Вектор размерности 768 можно использовать для семантического поиска, поиска перефразировок, кластеризации и классификации текстов; обучение Matryoshka также рассчитано на представления меньшей размерности — 512, 256, 128 и 64. Для сравнения предусмотрена косинусная близость. В README приведены результаты оценки на STS-наборах, но они не гарантируют аналогичного качества на других данных. Лицензия — Apache-2.0.

90011июнь 2024ctx512
textembeddingapache-2.0hugging-face
Pratima29
autotrain24

Pratima29/autotrain24 — дообученный с помощью AutoTrain энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Модель предназначена для преобразования текста в семантические векторы и вычисления сходства между предложениями; её можно применять для семантического поиска, сравнения и группировки текстов. Использует архитектуру BERT и библиотеку Sentence Transformers, содержит 25,9 млн параметров и принимает контекст до 512 токенов. README сообщает значение loss на валидации 0,2786. Модель принимает текст и выдаёт векторы, пригодные для задач сходства предложений. Базовая модель описана каталогом как англоязычный энкодер; данных о дополнительной языковой специализации этой версии нет. Лицензия в предоставленных данных не указана.

1320янв. 2026ctx512
textembeddinghugging-face
duyntnet
aya-expanse-32b-imatrix-GGUF

Aya Expanse 32B — большая языковая модель с открытыми весами, разработанная Cohere For AI. Эта версия представлена в формате GGUF с квантизациями imatrix и предназначена для локального запуска через llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и другие совместимые инструменты. Модель ориентирована на генерацию текста и обладает мультиязычными возможностями для 23 языков, включая русский, английский, арабский, китайский, французский, немецкий, японский, корейский, испанский, турецкий, украинский и другие. Она основана на предобученной модели семейства Command и включает результаты исследований Cohere For AI в области отбора данных, мультиязычного обучения предпочтениям, настройки безопасности и объединения моделей. Размер исходной модели составляет 32 миллиарда параметров; сведения о длине контекста и точной архитектуре в карточке не указаны. Модель подходит для диалогов, написания и преобразования текстов, а также других задач генерации на поддерживаемых языках. Ключевое преимущество — широкий мультиязычный охват и возможность локального использования в оптимизированных GGUF-квантизациях. Ограничения связаны с требованиями к вычислительным ресурсам, зависящими от выбранной квантизации, а также с тем, что это исследовательский релиз; конкретные показатели качества и параметры контекста не приведены. Использование регулируется лицензией CC-BY-NC и требует соблюдения Acceptable Use Policy компании Cohere.

3210окт. 2024
textotherhugging-face
abhijitt
bert_st_qa_multi-qa-MiniLM-L6-dot-v1-epochs-10

abhijitt/bert_st_qa_multi-qa-MiniLM-L6-dot-v1-epochs-10 — модель Sentence-Transformers на базе BERT, разработчик в доступных данных не указан. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства; её размер — 25,9 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторные представления. В README не перечислены языки и наборы данных, поэтому языковую поддержку нельзя определить. Репозиторий содержит веса PyTorch. Условия лицензии в предоставленных данных отсутствуют.

770март 2023ctx512
textembeddinghugging-face
swardiantara
bert-tiny-sst5-k3-fixed-cosine

swardiantara/bert-tiny-sst5-k3-fixed-cosine — компактная модель Sentence Transformers, дообученная на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерности 128 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура включает BERT и усредняющий pooling; модель содержит 4,4 млн параметров. Модель принимает текст и поддерживает последовательности длиной до 512 токенов по метаданным Hugging Face. В README указан предел 128 токенов, поэтому при использовании следует учитывать возможное расхождение конфигурации и карточки. Данные обучения содержат англоязычные текстовые пары; основное применение модели — поиск по смысловой близости и извлечение признаков. Лицензия в предоставленных данных не указана.

640июнь 2026ctx512
textembeddinghugging-face
RishuD7
bge-base-en-v1.5-82-keys-phase-7-exp_v1

RishuD7/bge-base-en-v1.5-82-keys-phase-7-exp_v1 — англоязычная модель Sentence Transformers, дообученная разработчиком на базе BAAI/bge-base-en-v1.5. Архитектура основана на BERT и включает пулинг по CLS-токену и нормализацию; модель содержит 136,7 млн параметров и создаёт плотные текстовые эмбеддинги размерностью 768. Максимальная длина последовательности — 512 токенов, сходство в README рассчитывается по косинусной мере. Модель предназначена для семантического сравнения предложений и абзацев, поиска по смыслу, поиска перефразировок, кластеризации и классификации текстов. В README приведены обучающая выборка из 8 031 примера с парами anchor/positive и оценки на информационном поиске; значения cosine_accuracy@1, @3 и @5 составляют 0,0063, 0,0235 и 0,0353. Модель рассчитана на английский язык. Распространяется по лицензии Apache-2.0.

1240февр. 2025ctx512
textembeddingapache-2.0hugging-face
aapot
bge-m3-onnx

aapot/bge-m3-onnx — это ONNX-конверсия модели BGE-M3, первоначально разработанной BAAI, подготовленная с использованием HF Optimum для запуска через ONNX Runtime. Модель основана на архитектуре XLM-RoBERTa, содержит около 658,7 млн параметров и поддерживает контекст до 8194 токенов. Модель предназначена для построения векторных представлений текста в задачах семантического поиска и сопоставления текстов. Она одновременно формирует плотные embedding-векторы, разреженные лексические представления и ColBERT-представления для много-векторного взаимодействия. Плотные и ColBERT-представления нормализованы аналогично стандартному поведению библиотеки FlagEmbedding. Граф модели оптимизирован на уровне O2, что рассчитано на эффективное выполнение в ONNX Runtime. Модель подходит для семантического поиска, гибридного поиска, ранжирования документов и поиска похожих текстов. Для токенизации можно использовать Transformers, а для инференса — ONNX Runtime. Модель распространяется по лицензии MIT. Она генерирует embedding-представления, а не готовый текст, поэтому не предназначена для диалоговой генерации или прямого ответа на вопросы.

85134февр. 2024ctx8.2K
textembeddingmithugging-face
mlx-community
bge-small-en-v1.5-bf16

bge-small-en-v1.5-bf16 — англоязычная модель для создания векторных представлений предложений и текстов. Модель представлена сообществом mlx-community в формате BF16 и основана на bge-small-en-v1.5; исходная модель предназначена для задач feature extraction и sentence similarity. Модель подходит для семантического поиска, сопоставления похожих текстов, классификации, кластеризации, retrieval и reranking, а также для построения систем поиска дубликатов и оценки семантической близости. В README приведены результаты тестирования на наборах MTEB для классификации, поиска, кластеризации, переранжирования и оценки текстовой близости, включая Amazon, ArguAna, AskUbuntu, Banking77 и BIOSSES. Поддерживаемый язык — английский. Сведения о точном размере модели, архитектуре, размерности эмбеддингов и максимальной длине контекста в предоставленных данных отсутствуют. Модель ориентирована на эффективное получение эмбеддингов, однако её качество и применимость следует оценивать на данных конкретного проекта; переносимость на другие языки не подтверждена. Лицензия — MIT.

6852апр. 2025ctx512
textembeddingmithugging-face
teven
bi_all_bs192_hardneg_finetuned_WebNLG2017

teven/bi_all_bs192_hardneg_finetuned_WebNLG2017 — модель на основе MPNet, разработанная teven и опубликованная в формате PyTorch для получения плотных векторных представлений предложений и абзацев. Она содержит 136,7 млн параметров, выдаёт эмбеддинги размерности 768 и рассчитана на контекст до 514 токенов. Модель обучена с использованием CosineSimilarityLoss на данных WebNLG2017. Её можно применять для семантического поиска, сравнения сходства предложений и кластеризации текстов. README предлагает использовать библиотеку Sentence Transformers. Лицензия и перечень поддерживаемых естественных языков в предоставленных данных не указаны.

920сент. 2022ctx514
textembeddinghugging-face
lightonai
colbertv2.0

Это версия ColBERTv2, подготовленная для совместимости с библиотекой PyLate; исходную модель разработали авторы ColBERTv2, а право на публикацию этой версии предоставил Омар Хаттаб. Модель использует архитектуру BERT и представляет запросы и документы как последовательности плотных 128-мерных векторов. Сходство оценивается оператором MaxSim; модель подходит для многовекторного поиска и ранжирования текстовых фрагментов, а также семантического сравнения предложений. Модель принимает текст, работает с последовательностями длиной до 512 токенов и ориентирована на английский язык. Её можно применять как retriever с поздним взаимодействием в Sentence Transformers или PyLate. Чекпойнт содержит 136,7 млн параметров и распространяется в формате safetensors. Лицензия — MIT.

7.6K5авг. 2024ctx512
textembeddingmithugging-face
lightonai
ColBERT-Zero-unsupervised

ColBERT-Zero-unsupervised — модель LightOnAI для поиска релевантных документов по текстовому запросу. Это ColBERT-модель на архитектуре ModernBERT с 149 млн параметров, реализованная через PyLate. Она кодирует запросы и документы в наборы векторов и сопоставляет их методом позднего взаимодействия MaxSim; выходная размерность — 128. В README указаны длины до 39 токенов для запросов и до 187 токенов для документов, а контекст модели по метаданным — 8192 токена. Модель обучена на открытых данных и предназначена для много-векторного поиска и ранжирования документов. В тестах авторов ColBERT-Zero достигла 55,43 nDCG@10 на BEIR. Для сохранения качества необходимо кодировать запросы и документы с соответствующими промптами `search_query:` и `search_document:`; неверное выравнивание промптов может заметно ухудшить результаты. Карточка сообщает об ограничениях обобщения результатов на другие обучающие данные и настройки. Лицензия — Apache-2.0.

1834февр. 2026ctx8.2K
textapache-2.0hugging-face
Citaman
command-r-20-layer

Citaman/command-r-20-layer — объединённая языковая модель семейства Cohere, созданная методом SLERP с помощью mergekit на основе Citaman/command-r-21-layer. В метаданных указаны 18,5 млрд параметров, архитектура CohereForCausalLM и формат safetensors; конфигурация объединения использует срезы слоёв исходной модели и тип bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Контекст составляет 8192 токена. Карточка не указывает отдельные поддерживаемые языки или условия лицензии, поэтому их нельзя надёжно определить по имеющимся данным.

150апр. 2024ctx8.2K
texthugging-face
Citaman
command-r-24-layer

Citaman/command-r-24-layer — текстовая генеративная модель на архитектуре Cohere, созданная сообществом Citaman с помощью mergekit. Веса получены слиянием SLERP двух диапазонов слоёв модели Citaman/command-r-25-layer; в метаданных указано 21,8 млрд параметров и формат safetensors. Модель поддерживает контекст до 8192 токенов и интерфейсы диалога и вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая взаимодействие с инструментами. Метаданные не указывают поддерживаемые естественные языки или специализированную предметную область. Лицензия в предоставленных данных не указана.

110апр. 2024ctx8.2K
texthugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей