/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
11 851–11 880 из 25 791
farhana1996
unsupervised-simcse-bangla-sbert

farhana1996/unsupervised-simcse-bangla-sbert — Sentence Transformer, дообученный на базе shihab17/bangla-sentence-transformer. Модель использует XLM-RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768; сходство между ними рассчитывается косинусной мерой. Максимальная длина последовательности — 512 токенов (в метаданных указано 514 токенов). Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Карточка описывает обучение на датасете из 1 млн пар предложений с функцией потерь MultipleNegativesRankingLoss. Базовая модель рассчитана на бенгальский и английский языки; специализация этой версии — бенгальские предложения. Размер модели — 305,2 млн параметров. Для использования нужны текстовые входы; результатом являются векторы, подходящие для поиска и сравнения по сходству. Лицензия в предоставленных источниках не указана.

1520февр. 2025ctx514
textembeddinghugging-face
rubenroy
Zurich-14B-GCv2-500k

Zurich 14B GammaCorpus v2-500k — диалоговая языковая модель, разработанная Ruben Roy и полученная дообучением Qwen/Qwen2.5-14B-Instruct на наборе структурированных и отфильтрованных многоходовых диалогов GammaCorpus v2-500k. Она предназначена для генерации текста и ответов в диалоге, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Модель построена на архитектуре Qwen2, имеет около 14,7 млрд параметров и контекст длиной 32 768 токенов. В карточке указаны 48 слоёв и групповое внимание с 40 головами Q и 8 головами KV. Модель принимает текст и генерирует текст; в метаданных основным языком карточки указан английский.

305янв. 2025ctx32.8K
textapache-2.0hugging-face
avsolatorio
00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130184711-best

Карточка модели avsolatorio/00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130184711-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

1470янв. 2024ctx512
textembeddingmithugging-face
avsolatorio
00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130211808-latest

Карточка модели avsolatorio/00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130211808-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

1460янв. 2024ctx512
textembeddingmithugging-face
bartowski
allenai_Olmo-3.1-32B-Instruct-GGUF

Olmo-3.1-32B-Instruct-GGUF — это квантизированная версия языковой модели Olmo-3.1-32B-Instruct, разработанной AllenAI. Публикацией и квантизацией в формате GGUF занимался bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Модель имеет размер 32 млрд параметров, относится к текстовым моделям и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ; размеры файлов составляют примерно от 14 до 64 ГБ. Для работы необходимо использовать соответствующий шаблон чата с ролями system, user и assistant. Размер контекста и другие архитектурные характеристики в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий вариант для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная; поддержка других языков, кроме английского, в карточке не описана. Лицензия — Apache 2.0.

2.7K5дек. 2025
textapache-2.0hugging-face
amadeusai
Amadeus-Verbo-MI-Qwen-2.5-72B-PT-BR-Instruct-Experimental

Amadeus-Verbo-MI-Qwen-2.5-72B-PT-BR-Instruct-Experimental — объединённая модель на основе Qwen2.5-72B-Instruct и AV-BI-Qwen2.5-72B-PT-BR-Instruct от AmadeusAI. Она предназначена для диалогов и генерации ответов по инструкциям на португальском языке, в том числе для создания структурированного текста. Модель использует плотную архитектуру Qwen2ForCausalLM с 71,5 млрд параметров и контекстом до 32 768 токенов; доступна в формате safetensors и рассчитана на запуск через Transformers. Веса объединены методом SLERP с помощью mergekit в формате bfloat16. Модель может быть полезна для чат-ботов, генерации текстов и ответов на вопросы на бразильском португальском. В карточке также заявлен интерфейс вызова инструментов, однако подробности его поддержки не приведены. Лицензия в предоставленных данных не указана.

890март 2025ctx32.8K
texthugging-face
avsolatorio
AVES_BAAI_bge-base-en-v1.5-20240125233651-latest

Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240125233651-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

1520янв. 2024ctx512
textembeddingmithugging-face
cortexso
aya-expanse

Aya Expanse — открытая исследовательская мультиязычная языковая модель, разработанная Cohere For AI на основе предварительно обученных моделей семейства Command. В README указаны варианты с 8 и 32 млрд параметров. Модель предназначена для генерации текста и работы с широким кругом языковых задач в многоязычных сценариях. Модель поддерживает 23 языка и создавалась с использованием исследований в области data arbitrage, мультиязычного обучения на предпочтениях, настройки безопасности и объединения моделей. Она может применяться в локальных приложениях и инструментах, поддерживающих Cortex или Jan. Модальность — текстовая; сведения о точной архитектуре, максимальной длине контекста и перечне поддерживаемых языков в README не приведены. К сильным сторонам относятся широкий мультиязычный охват, наличие двух вариантов размера и открытые веса, что делает модель пригодной для исследовательского и локального использования. Ограничения включают отсутствие в предоставленных данных подробных характеристик качества, архитектуры, контекстного окна и требований к ресурсам. В метаданных указана лицензия CC BY-SA 4.0, а для оригинальной модели в разделе Credits приведена ссылка на C4AI CC-BY-NC License; условия следует уточнить для конкретного варианта и сценария использования.

771окт. 2024
textcc-by-sa-4.0hugging-face
emrecan
bert-base-turkish-cased-mean-nli-stsb-tr

emrecan/bert-base-turkish-cased-mean-nli-stsb-tr — модель для получения векторных представлений предложений и абзацев, опубликованная автором emrecan. Она основана на BERT с 137,8 млн параметров и формирует плотные эмбеддинги размерности 768; модель обучалась на машинно переведённых на турецкий язык данных NLI и STS-B с использованием Sentence-Transformers. Контекст ограничен 512 токенами. Модель подходит для семантического поиска, сравнения сходства текстов и кластеризации турецкоязычных предложений. В README приведены результаты оценки на тестовой выборке: корреляция Пирсона 0,834 и Спирмена 0,830 для косинусного сходства. Доступна по лицензии Apache-2.0. Результаты зависят от домена и качества текстов; обучение на машинных переводах может влиять на качество.

442K53март 2022ctx512
textembeddingapache-2.0hugging-face
selmanbaysan
bert-base-turkish-uncased-cachedmnrl-contrastive-loss

Это модель Sentence Transformers на базе BERT, дообученная Selman Baysan на наборе cleaned_turkish_embedding_model_training_data_colab для получения эмбеддингов предложений и абзацев на турецком языке. Модель преобразует текст в плотные векторы размерности 768; для сравнения векторов используется косинусное сходство. Архитектура включает BERT и усреднение токенных представлений. Максимальная длина входной последовательности — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. Базовая модель — dbmdz/bert-base-turkish-uncased, число параметров — 137,8 млн. Модель распространяется в формате safetensors. Сведения о лицензии в предоставленных источниках отсутствуют.

1061май 2025ctx512
textembeddinghugging-face
deepvk
bert-base-uncased

deepvk/bert-base-uncased — предобученный двунаправленный энкодер BERT, разработанный deepvk для обработки текстов, преимущественно на русском языке. Модель обучалась стандартной задачей masked language modeling на корпусе из 250 ГБ отфильтрованных текстов, включая Википедию, книги и данные из социальных сетей. По метаданным, она содержит 140,9 млн параметров, использует архитектуру BERT с 12 слоями и 12 головами внимания и поддерживает контекст до 512 токенов. Модель предназначена для извлечения признаков из текста и может служить основой для дообучения под классификацию, анализ сходства и другие задачи понимания языка. В репозитории находятся только веса энкодера без предварительно обученной выходной головы, поэтому для конкретной задачи может потребоваться подходящая голова и дообучение. Карточка сообщает о преимущественно русском обучающем корпусе с небольшой долей других языков; метаданные указывают русский и английский. Лицензия — Apache 2.0.

925февр. 2023ctx512
textembeddingapache-2.0hugging-face
swardiantara
bert-tiny-yelp-k3-fixed-cosine

swardiantara/bert-tiny-yelp-k3-fixed-cosine — компактная модель Sentence Transformers, дообученная автором на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерностью 128 и предназначена для поиска по смыслу, извлечения текстовых признаков и сравнения текстов по косинусному сходству. Архитектура состоит из BERT с усреднением токенных представлений; модель содержит 4,4 млн параметров и работает с текстом. В README указана максимальная длина последовательности 128 токенов, тогда как метаданные сообщают контекст до 512 токенов; для практического использования следует учитывать ограничение конфигурации модели и проверять фактическую длину входа. Карточка описывает обучающий набор из 585 120 примеров с парами текстов и оценками. Модель подходит для поиска похожих отзывов и ранжирования текстов по семантической близости. Лицензия в предоставленных данных не указана.

640июнь 2026ctx512
textembeddinghugging-face
cstr
bge-reranker-base-GGUF

Это GGUF-конверсия модели BAAI/bge-reranker-base, первоначально разработанной BAAI и подготовленной для запуска через движок CrispEmbed. Модель представляет собой cross-encoder reranker для английского и китайского языков: она оценивает соответствие запроса и текстового кандидата и предназначена для переранжирования результатов поиска, семантического поиска и других задач сопоставления текстов. Формат GGUF позволяет использовать её через ggml-совместимую инфраструктуру без Python и ONNX. Модель построена на архитектуре BERT и содержит 278 млн параметров, 12 слоёв, размерность представлений 768, CLS-pooling и токенизатор WordPiece. Доступны варианты F32 размером около 1066 МБ, Q8_0 размером около 287 МБ и Q4_K размером около 247 МБ; квантованные версии требуют меньше памяти, но используют приближённое числовое представление. Указанный контекстный размер в README отсутствует. Конверсия и квантование не изменяли архитектуру, словарь или заявленные возможности исходной модели; заявлена побитная эквивалентность с реализацией Hugging Face с косинусным сходством не менее 0,999 на тестовых текстах. Для инференса модель рассчитана на CrispEmbed, включая локальный и серверный режимы. Распространяется по лицензии MIT, при этом условия исходной модели BAAI/bge-reranker-base остаются определяющими.

4410апр. 2026
textembeddingmithugging-face
arcee-ai
Calme-Instruct-Extended

Calme-Instruct-Extended — объединённая разговорная языковая модель семейства Mistral, созданная с помощью mergekit на основе MaziyarPanahi/Calme-7B-Instruct-v0.1.1. Она предназначена для генерации текста и диалогового взаимодействия; может использоваться для ответов на вопросы, составления текстов и ведения чата. Модель имеет плотную архитектуру MistralForCausalLM, содержит 8,9 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

860март 2024ctx32.8K
textapache-2.0hugging-face
Omerhan
checkpoint-3124-v5

Omerhan выпустил Sentence Transformers-модель для получения плотных текстовых эмбеддингов; она дообучена на базе intfloat/multilingual-e5-large-instruct. Модель использует XLM-RoBERTa с усреднением токенных представлений и нормализацией векторов, выдаёт эмбеддинги размерности 1024 и сравнивает их по косинусному сходству. Максимальная длина входа — 512 токенов; обучение проводилось на наборе json с парами и тройками текстов. Модель предназначена для семантического поиска, сравнения сходства предложений и абзацев, поиска перефразировок, кластеризации и подготовки признаков для классификации текста. В карточке указан турецкий язык. Лицензия — Apache-2.0.

720янв. 2025ctx514
textembeddingapache-2.0hugging-face
tomaarsen
csr-mxbai-embed-large-v1-nq-no-reconstruction

Это англоязычный разреженный CSR-кодировщик текста tomaarsen/csr-mxbai-embed-large-v1-nq-no-reconstruction, разработанный на базе mixedbread-ai/mxbai-embed-large-v1 с помощью Sentence Transformers и дообученный на наборе Natural Questions. Модель предназначена для семантического поиска и разреженного извлечения документов: она преобразует предложения и абзацы в векторы, которые можно сравнивать скалярным произведением. Архитектура основана на BERT и содержит 433,9 млн параметров. Размер выходного пространства — 4096 измерений, при этом в векторе активно не более 256 измерений. Максимальная длина последовательности — 512 токенов. В README приведены результаты оценки извлечения на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR. Модель подходит для поиска по текстовым коллекциям и ранжирования кандидатов по релевантности. Она рассчитана на английский язык; результаты для других языков не заявлены. Распространяется по лицензии Apache-2.0.

1670июнь 2025ctx512
textembeddingapache-2.0hugging-face
MoritzLaurer
DeBERTa-v3-base-mnli

Moritz Laurer дообучил DeBERTa-v3-base от Microsoft на 392 702 парах MultiNLI для классификации текстов по заданным категориям без отдельного обучения на этих категориях. Модель сопоставляет посылку и гипотезу и оценивает, следует ли гипотеза из текста; это позволяет использовать её для классификации с нулевым обучением и задач вывода по естественному языку. Модель основана на архитектуре DeBERTa-v2, содержит 211,6 млн параметров и принимает текст с контекстом до 512 токенов. В README указана точность 0,90 на тестовой части MultiNLI. Веса доступны в форматах PyTorch и safetensors; лицензия в предоставленных данных не указана.

2.2K8март 2022ctx512
texthugging-face
MaxNoichl
discipline-tuned_specter_2_024

MaxNoichl/discipline-tuned_specter_2_024 — Sentence Transformers-модель, дообученная на базе научного энкодера allenai/specter2_aug2023refresh_base. Она кодирует предложения и абзацы в плотные векторы размерности 768; архитектура включает BERT, усредняющий пулинг токенов и нормализацию. Максимальная длина входа — 512 токенов, сходство векторов можно оценивать косинусной мерой. Модель предназначена для поиска и сравнения текстов, в том числе семантического поиска, сопоставления научных материалов, кластеризации и поиска перефразировок. README указывает на дообучение с TripletLoss на наборе из 43 494 примеров и сообщает cosine accuracy 0,971 на оценке TripletEvaluator для указанного теста. Это не гарантирует аналогичного качества на других данных. Веса опубликованы в формате safetensors; модель рассчитана на использование с библиотекой Sentence Transformers. Поддерживаемая лицензия в предоставленных данных не указана.

970янв. 2025ctx512
textembeddinghugging-face
m3hrdadfi
distilbert-zwnj-wnli-mean-tokens

m3hrdadfi/distilbert-zwnj-wnli-mean-tokens — модель на базе DistilBERT для получения векторных представлений предложений и оценки их сходства. Карточка рекомендует использовать её с библиотекой Sentence-Transformers либо применять pooling к контекстным представлениям токенов при работе через Transformers. Модель подходит для сравнения предложений и поиска текстов, близких по смыслу. Она принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch. Лицензия и языки модели в предоставленных данных не указаны.

171март 2022ctx512
textembeddinghugging-face
second-state
embeddinggemma-300m-GGUF

embeddinggemma-300m-GGUF — это модель для создания векторных представлений текста, основанная на google/embeddinggemma-300m. Исходную модель разработала Google, а GGUF-версии подготовила Second State Inc. Модель предназначена для задач семантического сходства и других сценариев, где требуется сравнивать тексты по смыслу, включая поиск и работу с векторными индексами. Модель поддерживает запуск через sentence-transformers и LlamaEdge, использует специальный режим embedding и имеет контекстное окно 2048 токенов. Доступны варианты размерности эмбеддингов 128, 256, 512 и 768. Репозиторий содержит квантованные GGUF-файлы размером примерно от 212 до 329 МБ, а также версию f16 размером 616 МБ. Квантование уменьшает требования к ресурсам, но может снижать качество: Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые варианты, тогда как наиболее компактные версии имеют существенные потери качества. README не содержит сведений о поддерживаемых языках, точной архитектуре, составе модальностей или конкретных наборах данных обучения. Модель распространяется по лицензии Gemma; условия лицензии следует учитывать при использовании.

6040сент. 2025ctx2K
textembeddinggemmahugging-face
scampion
eubert_embedding_v1

EUBERT Embedding v1 — модель scampion для получения векторных представлений предложений и документов. Это дообученная на AllNLI версия EUBERT с архитектурой RoBERTa, содержащая 107 млн параметров и формирующая эмбеддинги размерности 768. Модель принимает текст и предназначена для работы с документами ЕС на 24 языках. Эмбеддинги можно использовать для поиска похожих документов и фрагментов, кластеризации и классификации текстов, а также как векторное представление в системах семантического поиска и RAG. Заявленная длина контекста — 514 токенов. В карточке приведены результаты оценок на наборах MTEB, включая классификацию и кластеризацию; авторы приглашают к дальнейшей оценке и сравнению модели. Модель распространяется под лицензией EUPL-1.1. Ограничения: README помечен как находящийся в разработке; приведённые оценки не подтверждают качество на всех 24 языках, а контекст в 514 токенов ограничивает обработку длинных документов без разбиения на фрагменты.

1152нояб. 2023ctx514
textembeddingeupl-1.1hugging-face
sparse-encoder
example-splade-cocondenser-ensembledistil-sts

Это разреженный SPLADE-энкодер, дообученный на датасете STS-B от базовой модели naver/splade-cocondenser-ensembledistil с использованием библиотеки Sentence Transformers. Он преобразует предложения и абзацы на английском языке в разреженные векторы размерности 30 522 для семантического поиска, извлечения документов и оценки сходства по косинусной мере. Архитектура включает BERT-модель BertForMaskedLM и max-пулинг SPLADE; длина последовательности в метаданных составляет до 512 токенов, а карточка модели указывает максимум 256 токенов. Модель содержит 136,7 млн параметров. На наборах STS-dev и STS-test указаны значения Spearman cosine 0,8704 и 0,8292 соответственно. Модель рассчитана на английский язык и не является генеративной. Лицензия — Apache-2.0.

1100май 2025ctx512
textembeddingapache-2.0hugging-face
Parallia
Fairly-Multilingual-ModernBERT-Embed-BE-DE

Parallia разработала FMMB-BE-DE — немецкую версию модели эмбеддингов предложений на архитектуре ModernBERT, реализованную как Sentence Transformer. Она преобразует немецкие тексты длиной до 8192 токенов в плотные векторы размерности 768 и предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Для сравнения векторов рекомендуется косинусное сходство; входные тексты можно подавать без специальных префиксов. Модель содержит 148,7 млн параметров и использует немецкий токенизатор и соответствующую таблицу эмбеддингов. Она дообучена на параллельном корпусе предложений с парами английский—немецкий, английский—французский и английский—нидерландский; README характеризует этот вариант как монолингвальный немецкий. Лицензия — Apache-2.0. Модель подходит для построения семантического поиска и сопоставления немецких текстов. Карточка не приводит оценок качества, поэтому пригодность для конкретного сценария следует проверять на собственных данных; для работы с ModernBERT README указывает на необходимость актуальной версии библиотеки Transformers.

905янв. 2025ctx8.2K
textembeddingapache-2.0hugging-face
Parallia
Fairly-Multilingual-ModernBERT-Embed-BE-NL

Parallia разработала FMMB-BE-NL — одноязычную нидерландскую версию модели Sentence Transformers для получения эмбеддингов текста. Она основана на ModernBERT и содержит 148,7 млн параметров. Модель преобразует предложения и абзацы длиной до 8192 токенов в плотные векторы размерности 768; для сравнения векторов подходит косинусная близость. В README указано, что веса совпадают с исходной многоязычной моделью FMMB-BE, а эта версия использует нидерландский токенизатор и соответствующую таблицу эмбеддингов. Модель обучена на параллельных предложениях на английском, французском, нидерландском и немецком языках. Её можно применять для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и классификации текста. Лицензия — Apache-2.0. Карточка рекомендует использовать актуальную версию библиотеки Transformers с поддержкой ModernBERT.

957янв. 2025ctx8.2K
textembeddingapache-2.0hugging-face
kimquynh
finetuned_sbert_4

kimquynh/finetuned_sbert_4 — дообученная модель Sentence Transformers на базе intfloat/e5-base-v2, созданная автором репозитория kimquynh. Она кодирует предложения и абзацы на английском языке в плотные векторы размерностью 768 для семантического поиска, извлечения документов и сравнения сходства. Архитектура состоит из BERT, усредняющего pooling и нормализации; используется косинусная мера сходства. Модель содержит 136,7 млн параметров, поддерживает контекст до 512 токенов и принимает текст. В README приведены результаты оценки на данных о соответствии резюме и вакансий: корреляция Спирмена для косинусного сходства 0,5381 и F1 бинарной классификации 0,7932. Эти показатели относятся к указанным наборам данных и не гарантируют аналогичное качество на других задачах. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

680июль 2026ctx512
textembeddinghugging-face
knowledgator
gliclass-small-v1.0

GLiClass-small-v1.0 — компактная модель классификации последовательностей от разработчиков семейства GLiClass, вдохновлённого GLiNER. Она выполняет классификацию текста без предварительного обучения на конкретных целевых наборах данных: пользователь задаёт категории, а модель оценивает, к каким из них относится текст. Модель содержит 144 млн параметров и использует архитектуру GLiClassModel; доступны форматы Safetensors и ONNX. Модель предназначена для тематической классификации, анализа тональности и переоценки релевантности текстов в RAG-сценариях. По описанию авторов, классификация выполняется за один прямой проход, что делает модель вычислительно эффективнее cross-encoder. В карточке приведены результаты zero-shot-тестирования на нескольких наборах данных, но они не гарантируют аналогичного качества для любых категорий и языков. Указан английский язык; сведения о длине контекста не приводятся. Модель обучена на синтетических данных и распространяется под лицензией Apache-2.0; авторы отмечают возможность коммерческого применения. Для специализированных задач качество может потребовать проверки на собственных данных.

1.6K3июль 2024
textapache-2.0hugging-face
bartowski
granite-embedding-125m-english-GGUF

bartowski/granite-embedding-125m-english-GGUF — квантованная версия модели эмбеддингов ibm-granite/granite-embedding-125m-english, разработанной IBM Granite и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для преобразования англоязычных текстов в векторные представления и задач семантического поиска и извлечения информации, включая retrieval-сценарии и поиск похожих документов. Из доступных данных известно, что модель ориентирована на английский язык и имеет размер 125 млн параметров в базовой версии. Формат GGUF подходит для локального запуска в совместимых инструментах, а квантование может снизить требования к памяти и ускорить инференс, хотя конкретный тип квантования в карточке не указан. Архитектура, размерность эмбеддингов, максимальная длина контекста и поддерживаемые модальности не описаны. В карточке приведены результаты оценки на ряде наборов MTEB для retrieval, включая ArguAna, ClimateFEVER и CQADupstack. Они показывают применимость модели к ранжированию и поиску релевантных текстов, однако качество зависит от предметной области и конфигурации индекса. Модель не следует рассматривать как универсальную генеративную языковую модель: данных о генерации текста, многоязычности или мультимодальности нет. Лицензия — Apache-2.0.

2.4K0дек. 2024
textapache-2.0hugging-face
OpenGVLab
InternVL2_5-26B

InternVL2_5-26B — мультимодальная модель OpenGVLab для диалога по тексту и визуальным данным. Она объединяет зрительный энкодер InternViT-6B-448px-V2_5 и языковую модель internlm/internlm2_5-20b-chat; каталог указывает связь с обеими базовыми моделями как merge. Модель построена по схеме ViT-MLP-LLM и использует динамическое разбиение изображений на фрагменты 448×448 пикселей для обработки в высоком разрешении. Модель предназначена для ответов на вопросы об изображениях, анализа нескольких изображений в одном запросе и понимания видео по кадрам; она также поддерживает обычный текстовый диалог. В README отмечены улучшения обучения и качества данных, а также внимание к сохранению языковых способностей. Карточка семейства указывает поддержку многоязычных данных, OCR и математических диаграмм; конкретный список языков и размер контекста для этой версии не приведены. Репозиторий содержит веса safetensors и рассчитан на Transformers. Лицензия — MIT. Обработка высокого разрешения, нескольких изображений и видео увеличивает расход визуальных токенов; при работе с несколькими изображениями может потребоваться увеличить контекст.

68233нояб. 2024ctx16.4K
textmithugging-face
unsloth
InternVL3-38B-GGUF

InternVL3-38B-GGUF — мультимодальная большая языковая модель семейства InternVL3, разработанная OpenGVLab и представленная в формате GGUF командой Unsloth. Модель предназначена для работы с текстом и изображениями, включая мультимодальное восприятие и рассуждение, анализ промышленных изображений, 3D-восприятие, использование инструментов и сценарии GUI-агентов. Заявлена поддержка multilingual-задач. Архитектура построена по схеме ViT-MLP-LLM: визуальная часть использует InternViT-6B-448px-V2_5, языковая — Qwen2.5-32B, соединённые MLP-проектором. Обозначение 38B относится к размеру модели; точные параметры GGUF-квантизации и размер контекста в представленных данных не указаны. Модель основана на OpenGVLab/InternVL3-38B и обучалась с использованием набора данных OpenGVLab/MMPR-v1.2. К сильным сторонам относятся сочетание визуального и языкового анализа, расширенные мультимодальные возможности и применение в специализированных агентных сценариях. Ограничения, такие как фактическая точность на конкретных задачах, требования к памяти и производительности, зависят от варианта GGUF и в README не уточняются. Указана лицензия Apache-2.0; также приведена ссылка на лицензию Qwen, поэтому условия использования следует сверять с лицензиями исходных компонентов.

6554май 2025
textapache-2.0hugging-face
mradermacher
IoGPT-A1-Instruct-i1-GGUF

IoGPT-A1-Instruct-i1-GGUF — GGUF-квантизированная версия инструкционной модели IoGPT-A1-Instruct, разработанной galaxyMindAiLabs и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, ответов на вопросы и агентских сценариев; в метаданных она также классифицируется как vision-модель, однако подробности о поддерживаемом формате изображений не указаны. Доступны файлы mmproj в статическом репозитории модели. Заявлены языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгали. В тегах указана архитектурная принадлежность к Mistral, но размер модели, длина контекста и точная архитектура не раскрыты. Представлены квантизации от i1-IQ1_S до i1-Q6_K размером примерно от 5,4 до 19,4 ГБ: более лёгкие варианты экономичнее по памяти, но могут заметно терять в качестве; Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q6_K — как вариант, близкий по качеству к статической Q6_K. Модель распространяется по лицензии Apache-2.0.

1.7K0февр. 2026
textapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей