/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
16 351–16 380 из 25 791
michaelfeil
ct2fast-e5-small-v2

michaelfeil/ct2fast-e5-small-v2 — компактная англоязычная модель текстовых эмбеддингов E5-small-v2, подготовленная Михаэлем Файлем для ускоренного инференса через CTranslate2. Это BERT-модель с 12 слоями, размерностью эмбеддинга 384 и примерно 40 млн параметров; заявлены варианты инференса int8 и float16. Она преобразует тексты в векторы для семантического поиска, извлечения релевантных фрагментов и сравнения предложений. Для запросов и документов следует использовать префиксы «query: » и «passage: » по назначению; без них качество может снижаться. В задачах сравнения и поиска важен относительный порядок оценок сходства, а не их абсолютные значения. Модель рассчитана только на английский язык, а вход ограничен контекстом 512 токенов: более длинные тексты будут усечены. Она может ускорить инференс и снизить расход памяти на CPU или GPU при использовании CTranslate2. Лицензия — MIT.

3093июнь 2023ctx512
textembeddingmithugging-face
Lauther
d4-embeddings-v3.0

Lauther/d4-embeddings-v3.0 — модель Sentence Transformer, разработанная Lauther и дообученная на базе intfloat/multilingual-e5-large-instruct на наборе d4-embeddings-triplet_loss из 4 151 обучающего примера. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерностью 1024; сходство между ними можно оценивать косинусным сходством. Архитектура включает XLM-RoBERTa, усредняющий пулинг токенов и нормализацию векторов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Она поддерживает последовательности длиной до 512 токенов (514 токенов по метаданным) и может применяться в многоязычных сценариях, унаследованных от базовой модели E5. Доступны форматы safetensors и ONNX; для использования подходит библиотека Sentence Transformers. Лицензия в предоставленных данных не указана. Дообучение на 4 151 примере может ограничивать обобщение за пределами распределения данных; сведения о конкретных языках и результатах оценки качества отсутствуют.

1070июль 2025ctx514
textembeddinghugging-face
j0h4nnes
decoy-ify_llama3.1_8B_v2

Карточка модели j0h4nnes/decoy-ify_llama3.1_8B_v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

1030авг. 2025ctx512
textembeddingapache-2.0hugging-face
RedHatAI
DeepSeek-R1-Distill-Qwen-32B-FP8-dynamic

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-FP8-dynamic — это квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM, принимает текстовые входные данные и генерирует текст, поэтому предназначена для задач диалога, рассуждений, ответов на вопросы и других сценариев применения каузальных языковых моделей. Поддерживаемые языки и размер контекстного окна в README не указаны. Модель содержит около 32 млрд параметров и использует FP8-квантизацию весов и активаций, что примерно вдвое снижает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. Квантизации подвергаются линейные операторы внутри трансформерных блоков: веса квантизуются симметрично по каналам, а активации — симметрично по токенам. Для подготовки использован LLM Compressor, а эффективное развертывание рекомендуется через vLLM. По приведённым результатам FP8-версия сохраняет около 99% средних показателей исходной модели на тестах рассуждений и OpenLLM Leaderboard, хотя на отдельных наборах качество немного снижается. Ограничения включают возможные потери точности из-за квантизации, необходимость совместимого программного и аппаратного окружения для эффективной работы с FP8, а также отсутствие в README сведений о контекстном окне и языковом охвате. Модель распространяется по лицензии MIT.

2.8K10февр. 2025ctx131.1K
textmithugging-face
tencent
DeepSeek-V3.1-Terminus-W4AFP8

DeepSeek-V3.1-Terminus-W4AFP8 — смешанно-точная квантованная версия DeepSeek-V3.1-Terminus. Репозиторий модели связан с deepseek-ai/DeepSeek-V3.1-Terminus; по метаданным это производная модели с архитектурой DeepSeek V3 и классом DeepseekV3ForCausalLM. Модель содержит 37,6 млрд параметров и рассчитана на генерацию текста, включая диалог и вызов инструментов через соответствующий интерфейс. Контекст составляет до 163 840 токенов. Веса плотных слоёв сохраняют формат FP8 исходной модели, а веса MoE-слоёв представлены в INT4 с активациями FP8 (W4AFP8). В README приведены результаты тестирования в режиме без рассуждений; для инференса описан запуск через SGLang версии 0.5.2 или новее с tensor parallel. Модель распространяется по лицензии MIT. Карточка не уточняет языки и специфические ограничения качества.

57115окт. 2025ctx163.8K
textmithugging-face
True2456
DeepSeek-V4-Flash-0731-REAP37-native-MLX

DeepSeek-V4-Flash-0731-REAP37-native-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и вызова инструментов через формат DSML. Она работает только с текстом и не содержит компонентов для обработки изображений. Модель использует архитектуру deepseek_v4 с механизмом внимания HISA, hyper-connections и маршрутизацией экспертов: в 40 слоях применяется обучаемая маршрутизация, а в первых трёх — hash-routing. Из исходных 256 экспертов в каждом слое сохранено 163, что соответствует сокращению примерно на 36,7%. Размер модели на диске составляет около 96 ГБ против примерно 155 ГБ у исходного варианта с 304 млрд параметров. Сохранённая точность является штатной для исходных весов — дополнительное квантование не применялось; выжившие эксперты побитово совпадают с исходным checkpoint. Главное преимущество модели — уменьшенный размер при сохранении исходной 4-битной точности оставшихся весов, а также поддержка нативного вызова инструментов DSML. Модель рассчитана на запуск в экосистеме MLX и тестировалась с oMLX; также доступна через mlx_vlm. Ограничения включают отсутствие независимого сравнения с полной моделью на стандартных бенчмарках, поэтому качество следует проверять на собственных задачах. Лицензия — MIT, унаследованная от базовой модели.

73215авг. 2026ctx1M
textmithugging-face
yoshinori-sano
distilroberta-base-nli-matryoshka-v2

yoshinori-sano представляет модель эмбеддингов предложений на базе DistilRoBERTa, предназначенную для сравнения смысловой близости текстов. Она преобразует предложения и абзацы в плотные векторы размерностью 768, которые подходят для семантического поиска и кластеризации. Модель содержит 95,2 млн параметров, работает с текстом и имеет контекст до 514 токенов. При обучении использована Matryoshka Loss с задачей Multiple Negatives Ranking Loss; модель обучалась представлять тексты в нескольких размерностях: 768, 512, 256, 128 и 64. Для работы доступны Sentence-Transformers и Transformers; веса хранятся в формате safetensors. В метаданных не указаны лицензия и поддерживаемые естественные языки.

981февр. 2024ctx514
textembeddinghugging-face
ahessamb
distilroberta-base-sentence-transformer-sbert-10epoch-v1

ahessamb разработал модель Sentence Transformers на архитектуре RoBERTa для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения смысловой близости текстов. Модель содержит 95,2 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста составляет 514 токенов. При обучении использовалась функция потерь TripletLoss с евклидовой метрикой расстояния и отступом 5. В репозитории веса представлены в формате safetensors, библиотека для работы — sentence-transformers. Карточка не сообщает, на каких языках обучалась модель, поэтому языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.

1230янв. 2024ctx514
textembeddinghugging-face
jeonseonjin
embedding_BAAI-bge-m3

jeonseonjin/embedding_BAAI-bge-m3 — дообученная модель Sentence Transformers на базе BAAI/bge-m3, разработанная автором репозитория jeonseonjin. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 для вычисления семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура основана на XLM-RoBERTa с усреднением токенных представлений; длина входной последовательности достигает 8192 токенов, сходство рассчитывается по косинусной мере. Обучение выполнялось на 10 501 парах предложений с оценками сходства и функцией потерь CosineSimilarityLoss. В примерах датасета представлены корейские предложения; метаданные также указывают базовую многоязычную модель BGE-M3, однако конкретный перечень поддерживаемых языков для этого дообученного чекпойнта не приведён. Результаты оценки включают корреляцию Спирмена 0,9216 на указанном наборе оценки. Модель принимает текст и выдаёт векторные представления; для использования требуется библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

1680сент. 2024ctx8.2K
textembeddinghugging-face
b00l26
embeddinggemma-300m-finetune-news-finalize

b00l26 дообучила модель Sentence Transformer на основе google/embeddinggemma-300m для получения векторных представлений предложений и абзацев. Она кодирует текст в плотные эмбеддинги размерности 768 и предназначена для семантического поиска, сравнения текстов, поиска перефразирований, классификации и кластеризации. Для сравнения используется косинусное сходство; обучение проводилось на 26 696 парах текстов с функцией потерь MultipleNegativesRankingLoss. Модель построена на текстовой архитектуре Gemma 3, содержит около 302,8 млн параметров и принимает последовательности длиной до 256 токенов по README; в метаданных указано контекстное окно 2048 токенов. Метаданные характеризуют базовую модель как многоязычную, а примеры обучающих данных в README — как вьетнамские. Лицензия в предоставленных данных не указана.

1560дек. 2025ctx2K
textembeddinghugging-face
zenml
finetuned-all-MiniLM-L6-v2

zenml/finetuned-all-MiniLM-L6-v2 — англоязычная модель Sentence Transformer, дообученная ZenML на базе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные семантические векторы размерностью 384 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Модель построена на BERT-энкодере с усреднением токенных представлений и нормализацией выходного вектора. В README указана максимальная длина последовательности 256 токенов; метаданные каталога задают контекст в 512 токенов. Репозиторий содержит веса Safetensors, модель использует библиотеку Sentence Transformers и имеет 25,9 млн параметров. В карточке приведены метрики поиска на наборах с размерностью вектора 384, 256, 128 и 64. Модель рассчитана на английские тексты. Для длинных входов учитывайте ограничение длины последовательности, а качество поиска проверяйте на собственных данных. Лицензия — Apache-2.0.

1191авг. 2024ctx512
textembeddingapache-2.0hugging-face
kimquynh
finetuned_sbert_3

Это модель Sentence Transformer на базе BAAI/bge-base-en-v1.5, дообученная автором репозитория kimquynh для сравнения предложений и поиска по тексту. Архитектура состоит из BERT, CLS-пулинга и нормализации эмбеддингов; модель содержит 136,7 млн параметров и выдаёт плотные векторы размерности 768. Сходство между векторами оценивается косинусной мерой. Модель принимает текст и предназначена для семантического поиска, извлечения релевантных фрагментов и оценки сходства предложений или абзацев. Максимальная длина последовательности — 512 токенов. Карточка приводит результаты оценки на задачах сходства и бинарной классификации, в том числе на наборе resume-job-sim. Базовая модель англоязычная; поддержка других языков в карточке не описана. Репозиторий распространяет веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

630июль 2026ctx512
textembeddinghugging-face
google
gemma-3-4b-it-qat-int4-unquantized

google/gemma-3-4b-it-qat-int4-unquantized — мультимодальная диалоговая модель Google из семейства Gemma 3, основанная на Gemma 3 4B IT. Она принимает текст и изображения и генерирует текст; поддерживает чат, ответы на вопросы по изображениям, суммаризацию и другие задачи генерации текста. Семейство Gemma 3 рассчитано на контекст до 128 тыс. токенов и поддерживает более 140 языков. В репозитории указаны веса safetensors и лицензия Gemma. Модель подходит для чат-ботов, виртуальных помощников, создания и редактирования текстов, извлечения сведений из изображений и изучения больших текстовых материалов. Компактный размер семейства позволяет развёртывание на локальных компьютерах и собственной облачной инфраструктуре. Ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться с неоднозначными формулировками и сложными открытыми задачами; для приложений с пользовательским контентом необходимы подходящие меры безопасности.

5110апр. 2025
textimagegemmahugging-face
unsloth
gemma-3-4b-it-unsloth-bnb-4bit

unsloth/gemma-3-4b-it-unsloth-bnb-4bit — 4B-параметричная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind и представленная в 4-битном формате BNB благодаря Unsloth. Модель основана на google/gemma-3-4b-it и предназначена для запуска и дообучения с использованием библиотеки Transformers, в том числе на устройствах с ограниченными ресурсами. Модель поддерживает мультимодальный ввод: текст и изображения, при этом генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Заявлены контекст до 128K токенов для версии 4B и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, однако в метаданных этой конкретной карточки явно указан английский язык. Ключевое преимущество — уменьшенный размер и 4-битное квантование, упрощающие локальное развертывание и снижающие требования к памяти; Unsloth также заявляет о selectively quantized Dynamic Quants с улучшенной точностью по сравнению со стандартным 4-битным квантованием. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в представленном README подробных данных о точной архитектуре, показателях качества и поддерживаемом наборе языков именно для этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

18K26март 2025ctx131.1K
textimagegemmahugging-face
DuoNeural
Gemma-4-26B-A4B-Abliterated

DuoNeural разработала Gemma-4-26B-A4B-Abliterated — изменённую версию диалоговой Gemma 4 от Google DeepMind. Это модель генерации текста на архитектуре MoE с 26 млрд параметров, из которых около 3,8 млрд активны при обработке токена; в README указано 128 маршрутизируемых экспертов и один общий, из которых одновременно задействуются восемь. Модель принимает текстовые запросы и предназначена для диалога, следования инструкциям, рассуждений, генерации кода, работы с инструментами и структурированного вывода. От базовой Gemma-4-26B-A4B-it она отличается удалением отказов с помощью изменения весов методом representation engineering. README заявляет сохранение общих возможностей и многоязычной генерации, но не приводит конкретного перечня поддерживаемых языков; метаданные отмечают английский и многоязычность. В карточке также приведён пример запуска GGUF через llama.cpp с контекстом 16 384 токена, однако метаданные этого репозитория указывают формат safetensors и библиотеку Transformers. Модель рассчитана на пользователей, которым нужна инструкция-следующая языковая модель с менее ограничительным поведением. Удаление отказов означает, что она может отвечать на запросы, которые базовая модель отклонила бы; качество и безопасность таких ответов требуют проверки. README указывает исследовательское и образовательное применение и отсылает к условиям Google Gemma Terms of Use; метаданные обозначают лицензию как gemma.

2803апр. 2026
textgemmahugging-face
RedHatAI
gemma-4-31B-it-FP8-block

RedHatAI/gemma-4-31B-it-FP8-block — квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанная RedHatAI на базе модели Google. Архитектура — Gemma4ForConditionalGeneration; модель принимает текст и изображения и генерирует текст. Поддерживаются генерация текста, выполнение инструкций и tool calling, включая function calling через vLLM. Режим рассуждений включён по умолчанию в настройках шаблона чата. Модель использует FP8-квантизацию весов и активаций: веса масштабируются поблочно блоками 128×128, активации — динамически группами размера 128. Квантизация применяется к линейным операторам трансформерных блоков, тогда как vision tower, embedding и output head сохраняют исходную точность. Это примерно вдвое сокращает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением, что делает её подходящей для эффективного инференса. Модель предназначена прежде всего для развёртывания с vLLM; заявлена проверка совместимости с vLLM 0.24.0, RHOAI 3.5 и RHAIIS 3.5. В примере развёртывания используется контекст до 32768 токенов и поддержка изображений. Среди ограничений — необходимость совместимой инфраструктуры и специальных параметров vLLM для рассуждений и вызова инструментов; влияние FP8-квантизации на качество зависит от задачи, хотя в README приведены оценки на наборах GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4. Модель распространяется по лицензии Apache-2.0.

406K51апр. 2026
textimageapache-2.0hugging-face
unsloth
GLM-5.3-Flash-GGUF

GLM-5.3-Flash-GGUF — квантизованное GGUF-представление модели GLM-5.3-Flash, разработанной командой GLM-5 и распространяемой в данном формате Unsloth. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с мультимодальными данными. Заявлена поддержка английского и китайского языков. Модель имеет гибридную архитектуру, сочетающую разреженное и линейное внимание, а также использует Manifold-Constrained Hyper-Connections для повышения эффективности масштабирования. Общий размер составляет 320 млрд параметров, из них 18 млрд активны при обработке запроса. Это первая нативно мультимодальная модель серии GLM-5; обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Архитектура ориентирована на снижение стоимости обработки длинного контекста при сохранении возможностей работы с большими объёмами данных, однако точный размер контекстного окна в README не указан. К сильным сторонам относятся мультимодальность, высокая заявленная эффективность, поддержка длинного контекста, задачи программирования и автономной работы с инструментами. Ограничения включают отсутствие подробных сведений о конкретных модальностях, точных характеристиках GGUF-квантизации и требованиях к оборудованию. Модель распространяется по лицензии MIT; для запуска рекомендуется совместимый стек llama.cpp или Unsloth Desktop.

950K488авг. 2026
textmithugging-face
manjunathshiva
gpt-oss-20b-tq3

manjunathshiva/gpt-oss-20b-tq3 — это 3-битная MLX-квантизация модели openai/gpt-oss-20b, созданная с помощью TurboQuant-MLX. Базовая модель представляет собой Mixture-of-Experts с 21 млрд параметров, 32 экспертами и примерно 3,6 млрд активных параметров на токен. Квантизация использует вращение Hadamard и кодовую книгу Lloyd-Max с group_size=64 и не требует калибровочных данных. Модель предназначена для генерации текста, диалогов, ответов на вопросы, творческого письма, программирования, математических задач и многошагового рассуждения. Она поддерживает контекст до 131 000 токенов. Размер файлов составляет около 9,5 ГБ, пиковое потребление связанной оперативной памяти при декодировании — около 11 ГБ. Модель рассчитана на Apple Silicon M1–M4 с unified memory объёмом от 16 ГБ; заявленная скорость генерации на чипах серии M составляет примерно 60–80 токенов в секунду. Сильные стороны модели — компактное размещение, возможность полностью держать веса в памяти Mac с 16 ГБ, высокая скорость и поддержка длинного контекста. Дополнительное сжатие KV-кэша в смешанной точности K8/V3 может уменьшить его размер примерно в четыре раза. Ограничения связаны с 3-битной квантизацией и зависимостью от платформы MLX: при более высокой температуре генерации модель может нестабильно решать математические и программные задачи, поэтому для них рекомендуется температура 0,3. Веса распространяются по лицензии Apache-2.0.

1.3K47апр. 2026ctx131.1K
textapache-2.0hugging-face
unsloth
gte-modernbert-base

Карточка модели unsloth/gte-modernbert-base на Hugging Face совпадает с карточкой Alibaba-NLP/gte-modernbert-base, поэтому описание составлено по ней. gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.

9552янв. 2026ctx8.2K
textapache-2.0hugging-face
IoannisKat1
gte-multilingual-base-matryoshka1

Это модель Sentence Transformers, дообученная IoannisKat1 на базе Alibaba-NLP/gte-multilingual-base для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Вектор размерности 768 нормализуется; для сравнения используется косинусное сходство. Максимальная длина последовательности — 8192 токена. Модель предназначена для поиска и извлечения релевантных текстов, включая сценарии семантического поиска по документам и вопросам. В карточке приведены результаты оценки поиска при усечении эмбеддингов до 768, 512, 256, 128 и 64 измерений; качество снижается при уменьшении размерности. Обучение описано на 4 268 парах текстов с функциями потерь MatryoshkaLoss и MultipleNegativesRankingLoss. README указывает английский язык, но примеры обучающих данных содержат греческий текст, поэтому языковой охват по карточке определить однозначно нельзя. Лицензия — Apache-2.0.

250июль 2026ctx8.2K
textembeddingapache-2.0hugging-face
RedHatAI
gte-Qwen2-7B-instruct

Карточка модели RedHatAI/gte-Qwen2-7B-instruct на Hugging Face совпадает с карточкой Alibaba-NLP/gte-Qwen2-7B-instruct, поэтому описание составлено по ней. gte-Qwen2-7B-instruct — мультиязычная модель текстовых эмбеддингов из семейства GTE, разработанная Alibaba-NLP с использованием базовой Qwen2-7B от команды Qwen. Это дообученная плотная модель архитектуры Qwen2 с двунаправленным механизмом внимания и инструкционной настройкой запросов. Она преобразует текст в векторы размерностью 3584 и предназначена для поиска по смыслу, сравнения предложений и других задач семантического сопоставления. Модель обучена на большом мультиязычном корпусе из разных областей с использованием слабой и контролируемой разметки. README сообщает о высоких результатах на английском и китайском наборах MTEB на июнь 2024 года. Карточка указывает максимум 32 тыс. входных токенов, тогда как метаданные каталога дают нативный контекст 131072 токена. Лицензия — Apache-2.0. Для работы требуются Transformers версии 4.39.2 или новее и flash_attn версии 2.5.6 или новее. Модель ориентирована на получение эмбеддингов, хотя метаданные также отмечают генерацию текста и классификацию как поддерживаемые задачи. Заявления о лидерстве в бенчмарках относятся к указанным оценкам и дате; коммерческие облачные API GTE, согласно README, не полностью идентичны открытой модели.

1520май 2026ctx131.1K
textembeddingapache-2.0hugging-face
bachngo
intf-e5-small-5t

bachngo/intf-e5-small-5t — модель Sentence Transformers на архитектуре BERT, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска, сравнения текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусным сходством; она подходит для поиска близких по смыслу фрагментов и группировки текстовых данных. Контекст ограничен 512 токенами, размер модели составляет 124,3 млн параметров. Лицензия в предоставленных данных не указана.

950авг. 2024ctx512
textembeddinghugging-face
jinaai
jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small — мультимодальная embedding-модель Jina AI на архитектуре Jina Embeddings V5 Omni. Она принимает текст, изображения, видео и аудио и отображает их в общее векторное пространство, согласованное с jinaai/jina-embeddings-v5-text-small. Модель содержит около 1,74 млрд параметров, формирует эмбеддинги размерности 1024 и поддерживает задачи поиска, классификации, кластеризации и сопоставления текстов. Базовый репозиторий включает адаптеры для этих четырёх задач. Модель подходит для мультимодального семантического поиска и RAG, классификации по сходству эмбеддингов, группировки похожих материалов, поиска дубликатов и сравнения текстов. Видео представляется кадрами; звуковая дорожка видео автоматически не обрабатывается, поэтому аудио нужно передавать отдельно. Можно загружать только нужные модальные компоненты и сокращать размерность эмбеддингов с нормализацией. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Для работы требуются совместимые версии Transformers и PyTorch; README также описывает использование через Sentence Transformers и vLLM.

1.0M170апр. 2026ctx131.1K
textembeddingcc-by-nc-4.0hugging-face
jinaai
jina-embeddings-v5-text-nano-mlx

jinaai/jina-embeddings-v5-text-nano-mlx — MLX-сборка модели Jina AI для Apple Silicon: базовые веса jina-embeddings-v5-text-nano с четырьмя LoRA-адаптерами для переключения между задачами. Модель на архитектуре EuroBERT содержит 211,7 млн параметров; веса представлены в формате safetensors с точностью float16. README указывает размерность эмбеддингов 768 и максимальную длину последовательности 32 768 токенов, тогда как метаданные каталога задают нативный контекст 8 192 токена. Модель создаёт текстовые эмбеддинги для семантического поиска, сравнения текстов и кластеризации. README описывает динамическое переключение адаптеров и Matryoshka-размерности 32, 64, 128, 256, 512 и 768. По данным автора, сходство косинусных оценок с предварительно объединёнными чекпойнтами превышает 0,996. Заявленная оптимизация рассчитана на запуск через MLX на Apple Silicon. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование. README перечисляет retrieval, text-matching и clustering; карточка также описывает модель как мультиязычную, но конкретные поддерживаемые языки в предоставленных данных не названы.

1922февр. 2026ctx8.2K
textembeddingcc-by-nc-4.0hugging-face
bagger3025
klue-roberta-base-klue-sts

Карточка модели bagger3025/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.

1090нояб. 2024ctx514
textembeddinghugging-face
dyryu
klue_roberta-base-klue-sts

dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.

1410окт. 2024ctx514
textembeddinghugging-face
ammumadhu
kunato-indic-bert

ammumadhu/kunato-indic-bert — модель Sentence Transformers на архитектуре XLM-RoBERTa, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Модель содержит 305,2 млн параметров, принимает текст и имеет контекстное окно 514 токенов. Метаданные указывают поддержку множества языков, включая английский, русский, хинди, гуджарати и маратхи; набор языков в карточке также помечен как multilingual. Лицензия — Apache-2.0. Модель подходит для построения семантического поиска и группировки текстов на разных языках. Векторные представления можно использовать для сравнения предложений по смыслу и организации поиска по коллекциям документов. README описывает преобразование текста в эмбеддинги, а метаданные также указывают задачу sentence-similarity.

1150июнь 2024ctx514
textembeddingapache-2.0hugging-face
pouxie
LaBSE-en-ru-bviolet

pouxie/LaBSE-en-ru-bviolet — модель на базе BERT, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 155,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. Обучение с MultipleNegativesRankingLoss и косинусным сходством нацелено на формирование представлений, пригодных для ранжирования по смысловой близости. По названию модель ориентирована на английский и русский языки. Её можно использовать для семантического поиска и группировки текстов на этих языках. В README не приведены результаты оценки, поэтому качество для конкретного набора данных следует проверять отдельно. Лицензия в предоставленных сведениях не указана.

930окт. 2022ctx512
textembeddinghugging-face
gemasphi
laprador_mmarco

gemasphi/laprador_mmarco — модель Sentence-Transformers на базе BERT для преобразования предложений и абзацев в плотные векторные представления размерности 768. Её обучили с помощью MultipleNegativesRankingLoss на основе косинусного сходства; в метаданных указаны 79,5 млн параметров и контекст до 512 токенов. Модель подходит для семантического поиска, сравнения текстов и кластеризации. Она принимает текст и выдаёт эмбеддинги, которые можно использовать для поиска похожих фрагментов или группировки текстов. Для работы доступны Sentence-Transformers и Transformers с подходящей операцией pooling. В репозитории указан формат PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

330июль 2022ctx512
textembeddinghugging-face
Saxo
Linkbricks-Horizon-AI-Japanese-Advanced-V4-70B

Linkbricks-Horizon-AI-Japanese-Advanced-V4-70B — языковая модель компании Linkbricks, дообученная дата-сайентистом Джи Юнсоном (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Japanese-Base-70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 128 тыс. токенов; в репозитории представлены веса Safetensors для Transformers. Модель прошла продолженное предобучение на японском корпусе новостей и Википедии, а также SFT, DPO и слияние. Обучение включало японские, корейские, китайские и английские данные, задачи перевода и суммаризации, математику и логические рассуждения. Она предназначена для генерации текста, написания и редактирования, анализа отзывов и публикаций в соцсетях, программирования, решения математических и логических задач и вызова функций. Карточка сообщает о лицензии Apache-2.0. Заявленные возможности основаны на описании разработчика; конкретные результаты на независимых тестах и ограничения качества для отдельных языков или задач в карточке не приведены.

440дек. 2024ctx131.1K
textapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей