/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
16 501–16 530 из 25 791
AlucardV
finetuned_model_ver2

AlucardV дообучил модель SentenceTransformer на базе sentence-transformers/all-MiniLM-L6-v2 для поиска и сравнения предложений и абзацев. Она преобразует текст в плотные семантические векторы размерностью 384 и сравнивает их с помощью косинусного сходства. Архитектура включает энкодер BERT, усредняющий pooling и нормализацию; модель содержит 25,9 млн параметров. В обучении использовались 20 000 примеров с TripletLoss, в том числе русскоязычные тексты. Максимальная длина последовательности в README — 256 токенов, тогда как метаданные указывают контекст 512 токенов; для практического применения следует учитывать ограничение README. Модель принимает текст и выдаёт векторы для семантического поиска и извлечения признаков. Лицензия в предоставленных данных не указана.

130июль 2026ctx512
textembeddinghugging-face
dalietng
fine-tune_simcse

dalietng/fine-tune_simcse — модель на базе RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для вычисления семантического сходства, кластеризации и семантического поиска. Веса содержат около 162,4 млн параметров; максимальная длина контекста — 258 токенов. Модель подходит для получения эмбеддингов текстов и сравнения их по смыслу. В README указано обучение с SoftmaxLoss, но набор данных и целевая предметная область не описаны. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

730окт. 2023ctx258
textembeddinghugging-face
Gflorent
fossil_flex

Gflorent/fossil_flex — модель sentence-transformers на архитектуре MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель обучена с функцией потерь CosineSimilarityLoss. Её можно использовать в сценариях семантического поиска и группировки похожих текстов; репозиторий содержит веса PyTorch. Лицензия в доступных сведениях не приведена.

650окт. 2022ctx514
textembeddinghugging-face
bunnycore
FuseCyberMix-Qwen-2.5-7B-Instruct

FuseCyberMix-Qwen-2.5-7B-Instruct — объединённая инструктивная языковая модель, созданная с помощью mergekit линейным слиянием FuseAI/FuseChat-Qwen-2.5-7B-Instruct, Qwen/Qwen2.5-7B-Instruct и fblgit/cybertron-v4-qw7B-UNAMGS. Модель разработана автором репозитория bunnycore и построена на архитектуре Qwen2 с 7,1 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, код и структурированные ответы. В метаданных также отмечен интерфейс вызова инструментов. Поддерживаемые языки отдельно не указаны. Это слияние моделей, а не отдельное дообучение; README сообщает о линейном методе слияния, нормализация отключена, использована маска int8, выходной тип задан как bfloat16. Лицензия в предоставленных данных отсутствует. Качество и ограничения конкретного слияния не описаны; практическое качество ответов и корректность вызовов инструментов требуют проверки в целевом приложении.

402дек. 2024ctx131.1K
texthugging-face
Jaume
gemma-2b-embeddings

Jaume/gemma-2b-embeddings — модель Sentence Transformer на архитектуре Gemma, предназначенная для преобразования предложений и абзацев в плотные векторные представления размерностью 2048. В репозитории указано 2,5 млрд параметров; модель использует усреднение токенных представлений и поддерживает последовательности длиной до 8192 токенов. Векторы можно сравнивать по косинусному сходству. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Она принимает текст и возвращает эмбеддинги; в метаданных также указана задача sentence similarity. Сведения о лицензии в предоставленных материалах отсутствуют.

8484июнь 2024ctx8.2K
textembeddinghugging-face
second-state
gemma-3-4b-it-GGUF

Gemma-3-4b-it-GGUF — квантизированная GGUF-версия модели Gemma 3 4B Instruct, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалогового взаимодействия и задач обработки текста, а также поддерживает работу с изображениями через мультимодальный компонент. Модель имеет размер 4 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версии f16; наиболее сбалансированными README называет варианты Q4_K_M, Q5_K_M и Q5_K_S. Для обработки изображений требуется отдельный компонент mmproj, изображения должны быть нормализованы до разрешения 896 × 896 и представлены как 256 токенов каждое. Ключевые преимущества модели — компактный размер, возможность локального запуска и широкий выбор вариантов квантизации с разным соотношением качества, скорости и требований к памяти. Ограничением является потеря качества при агрессивной квантизации, особенно в вариантах Q2 и Q3. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Лицензия — Gemma.

8740март 2025
textimagegemmahugging-face
Mungert
gemma-3n-E4B-it-GGUF

Mungert/gemma-3n-E4B-it-GGUF — квантованный формат GGUF инструкционной мультимодальной модели Gemma 3n E4B, разработанной Google DeepMind и преобразованной с использованием llama.cpp. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и генерации текстовых ответов на основе текста, изображений, видео и аудио. Возможные сценарии включают ответы на вопросы, анализ визуального содержимого, суммирование документов, распознавание речи и автоматический перевод речи. Модель имеет 8 млрд фактических параметров, но благодаря выборочной активации параметров и выгрузке редко используемых матриц рассчитана на потребление памяти, сопоставимое с традиционной моделью на 4 млрд параметров. Она использует архитектуру MatFormer, поддерживает вложенную подмодель E2B и допускает создание моделей промежуточного размера. Контекст составляет до 32K токенов; изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768, аудио — с частотой 6,25 токена в секунду для одноканального сигнала. Максимальная длина вывода — до 32K токенов за вычетом входа. Модель обучалась на данных более чем 140 разговорных языков. К сильным сторонам относятся мультимодальность, компактное эффективное выполнение и поддержка сценариев на устройствах с ограниченными ресурсами. Ограничения связаны с использованием GGUF и необходимостью совместимого программного обеспечения для запуска; конкретные характеристики квантования в представленном README не указаны. Для использования требуется принять лицензию Google Gemma; лицензия обозначена как gemma, а авторами исходной модели являются Google DeepMind.

3803июнь 2025
textimagegemmahugging-face
MoonRide
gemma-4-31B-it-heretic-ara-GGUF

MoonRide/gemma-4-31B-it-heretic-ara-GGUF — GGUF-версия инструкционной модели MoonRide/gemma-4-31B-it-heretic-ara, созданной на базе Google Gemma 4 31B IT. Модель модифицирована с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm; заявленная цель модификации — уменьшить склонность исходной модели к отказам. Семейство Gemma разработано Google DeepMind. Модель относится к плотной архитектуре с примерно 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения и генерирует текст; для семейства Gemma 4 заявлена поддержка более 140 языков. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также оптимизации для длинного контекста. Файлы представлены в различных вариантах GGUF-квантизации; рекомендуемые README варианты занимают около 12,1 и 12,6 ГБ. Основная сильная сторона модели — сочетание крупного контекста, мультимодального понимания, возможностей генерации текста, рассуждений и программирования с существенно меньшим числом отказов по сравнению с исходной Gemma 4 31B IT: в приведённом сравнении отказов было 11 из 100 против 99 из 100. При этом декенсоринг может изменить поведение и защитные свойства исходной модели; указанная оценка основана на ограниченном внутреннем тесте, а KL divergence относительно оригинала составляет 0,0508. Для загрузки README рекомендует llama.cpp версии b8751 или новее. Модель распространяется по лицензии Apache 2.0. Перед использованием необходимо учитывать, что снижение числа отказов не означает гарантии корректности, безопасности или точности ответов, а качество и потребление памяти зависят от выбранной GGUF-квантизации и аппаратной конфигурации.

6501апр. 2026
textimageapache-2.0hugging-face
LilaRest
gemma-4-31B-it-NVFP4-turbo

LilaRest/gemma-4-31B-it-NVFP4-turbo — репакованная и оптимизированная версия Gemma 4 31B IT, основанная на моделях Google gemma-4-31B-it и NVIDIA Gemma-4-31B-IT-NVFP4. Модель предназначена для генерации текста, диалоговых приложений, ответов на вопросы и других задач, поддерживаемых text-generation. Это текстовая версия: веса и энкодеры для обработки видео и аудио удалены. Модель использует квантизацию NVFP4 и рассчитана на GPU NVIDIA с архитектурой Blackwell, включая RTX 5090, RTX PRO 6000 и B200, с объёмом видеопамяти не менее 20 ГБ. По заявленным данным, она занимает около 18,5 GiB памяти, примерно в 2,5 раза быстрее базовой модели и обеспечивает более высокую производительность при параллельной обработке запросов. Заявлен контекст до 16K токенов. В бенчмарках модель получила 72,73% на GPQA Diamond и 83,93% на MMLU Pro, сохранив близкое к исходной модели качество, но с потерей примерно 1–3%. Основные ограничения — зависимость от совместимого оборудования NVIDIA Blackwell, необходимость соответствующих версий Transformers, vLLM и CUDA, а также отсутствие мультимодальной поддержки аудио и видео. По README, модель распространяется по лицензии Apache 2.0.

147K307апр. 2026
textapache-2.0hugging-face
AtomicChat
gemma-4-E2B-it-assistant-GGUF

AtomicChat/gemma-4-E2B-it-assistant-GGUF — это квантизированная в формат GGUF версия модели google/gemma-4-E2B-it-assistant, подготовленная командой Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью автономного запуска, прежде всего для текстовой генерации, диалоговых ассистентов, рассуждений, программирования и обработки длинного контекста. Для работы в llama.cpp необходимо применять шаблон чата Gemma 4 через параметр --jinja. Модель имеет плотную decoder-архитектуру Gemma4AssistantForCausalLM с 35 слоями, гибридным вниманием — скользящее окно 512 токенов и глобальное внимание — четырьмя attention heads на одну KV head, словарём из 262 тысяч токенов и заявленным контекстом до 128K токенов. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом embedding-параметров. Базовая модель поддерживает текст, изображения и аудио, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что помогает сохранять качество исходной модели при меньшем размере. Сильными сторонами являются компактность, возможность офлайн-развёртывания, поддержка длинного контекста и несколько уровней компромисса между качеством, скоростью и требованиями к памяти. Ограничения этой версии — отсутствие мультимодальных возможностей базовой модели и потенциальная потеря качества при низкобитной квантизации; приведённые в README результаты относятся к исходной модели Google, а не к самостоятельным измерениям этой сборки. Модель распространяется по лицензии Apache-2.0.

1.3K8май 2026
textapache-2.0hugging-face
ciocan
gemma-4-E4B-it-W4A16

ciocan/gemma-4-E4B-it-W4A16 — GPTQ-квантизированная 4-битная версия модели google/gemma-4-E4B-it, подготовленная с использованием auto-round в режиме RTN. Модель имеет 8 млрд параметров, из которых 4 млрд являются эффективными благодаря архитектуре PLE. Она предназначена для запуска и обслуживания через vLLM, включая использование OpenAI-совместимого API и вызов инструментов. Модель поддерживает текст, изображения, аудио и видео. Нативная длина контекста составляет 128K токенов, однако для видеокарт с 12 ГБ VRAM рекомендуется ограничивать её 8K токенами, а при нехватке памяти — 4K. Квантованию подвергнут только языковой модуль; vision- и audio-компоненты сохранены в полной точности BF16. Размер памяти при загрузке составляет около 9,65 GiB, что позволяет использовать модель на видеокартах уровня RTX 3080 Ti или RTX 4070 с 12 ГБ VRAM. К сильным сторонам относятся поддержка нескольких модальностей, совместимость с vLLM и OpenAI-совместимым интерфейсом, а также сниженные требования к видеопамяти. Ограничения связаны с необходимостью использовать vLLM и специфический GPTQ-совместимый формат: AutoAWQ и llm-compressor для этой архитектуры не поддерживаются. Модель распространяется по лицензии Apache 2.0.

2.1K3апр. 2026
textimageapache-2.0hugging-face
ghost-x
ghost-8b-beta-1608

Ghost 8B Beta 1608 — языковая модель Ghost X, разработанная Hieu Lam на основе Meta-Llama-3-8B. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, обученная продолжением предобучения и последующей настройкой, включая этап с обратной связью от людей. Версия в этом репозитории рассчитана на контекст до 8192 токенов. Модель предназначена для многоязычного диалога, генерации текста, ответов на вопросы, следования инструкциям и вызова инструментов через встроенный шаблон чата. README заявляет поддержку 16 языков, включая английский, вьетнамский, корейский, китайский, японский, русский и другие; также упоминаются улучшения рассуждений и математических задач. Репозиторий содержит веса safetensors. README приводит лицензию Ghost Open LLMs LICENSE вместе с Llama 3 LICENSE, а метаданные классифицируют лицензию как other; перед использованием следует проверить условия обеих лицензий. Заявления о превосходстве в сравнительных оценках приведены авторами модели и не являются независимой оценкой. Как языковая модель, она может допускать ошибки и выдавать недостоверные ответы; качество зависит от языка и задачи.

10K34авг. 2024ctx8.2K
textotherhugging-face
MoralHazard
GISTsmall

MoralHazard/GISTsmall — компактная модель Sentence Transformer на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 384. Она была обучена на 1 244 примерах с anchor, positive и negative текстами; метаданные указывают на использование GISTEmbedLoss. Архитектура включает BERT, пулинг CLS-токена и нормализацию векторов, а сходство текстов оценивается косинусной мерой. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и получения признаков для классификации текста. Максимальная длина последовательности — 512 токенов; доступны файлы ONNX. Язык обучающих примеров в карточке не установлен, поэтому языковую поддержку определить нельзя. Лицензия в предоставленных данных не указана.

7910янв. 2025ctx512
textembeddinghugging-face
knowledgator
gliclass-multilang-mini

GLiClass Multilang Mini — мультиязычная модель классификации текста из семейства GLiClass, опубликованная Knowledgator. Она предназначена для классификации с пользовательскими метками без дообучения, а также для few-shot сценариев с примерами и описаниями меток. Модель содержит около 288 млн параметров и использует архитектуру GLiClass с механизмом CrossAttn Scorer. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и безопасности ответов LLM, обнаружения галлюцинаций, NLI и оценки релевантности пары запрос–текст. Она обучена для 20 языков и поддерживает межъязыковые сочетания текста и меток. В README приведены результаты zero-shot оценок и высокая пропускная способность на GPU, но фактическое качество зависит от языка, набора меток и задачи; для NLI рекомендуется подавать одну гипотезу за раз. Веса представлены в формате safetensors, для использования предлагается библиотека gliclass. Лицензия — Apache-2.0.

6.1K17апр. 2026
textapache-2.0hugging-face
ibm-granite
granite-embedding-107m-multilingual

Granite-Embedding-107M-Multilingual — мультиязычная плотная модель эмбеддингов от команды Granite Embedding в IBM. Она кодирует текст в векторы размерности 384 для поиска, извлечения информации и оценки сходства между предложениями. Модель построена на encoder-only архитектуре на основе XLM-RoBERTa, содержит около 110,2 млн параметров и рассчитана на контекст до 514 токенов. Модель обучена контрастивной тонкой настройкой, дистилляцией знаний и слиянием моделей. Она поддерживает английский, арабский, чешский, немецкий, испанский, французский, итальянский, японский, корейский, нидерландский, португальский и китайский языки. По данным карточки, модель примерно вдвое быстрее других моделей со схожей размерностью эмбеддингов; оценки приведены для задач поиска на нескольких языках. Модель подходит для семантического поиска, извлечения релевантных документов и сравнения текстов. Тексты длиннее контекста обрезаются; обучение на 12 языках может ограничивать качество на других языках. Лицензия Apache 2.0.

35K53дек. 2024ctx514
textapache-2.0hugging-face
seerware
granite-embedding-30m-sparse

Карточка модели seerware/granite-embedding-30m-sparse на Hugging Face совпадает с карточкой ibm-granite/granite-embedding-30m-sparse, поэтому описание составлено по ней. Granite-Embedding-30m-Sparse — разреженная модель для построения текстовых представлений, разработанная командой Granite Embedding в IBM. Она основана на энкодерной архитектуре на базе RoBERTa, содержит 33,5 млн параметров и рассчитана на английский язык. Модель кодирует текст в словарь токенов и их весов переменной длины, включая расширения исходных токенов. Представления подходят для семантического поиска, извлечения релевантных документов и сравнения текстов. Модель обучалась с использованием предварительного обучения для задач поиска, контрастивной настройки и дистилляции; в карточке сообщается о конкурентных результатах на тестах BEIR, включая сравнение с более крупной SPLADE-моделью. Её можно применять, например, с Sentence Transformers и Milvus. Контекст ограничен 512 токенами: более длинный текст обрезается. Модель обучена только на английских текстах. Лицензия — Apache 2.0.

1200март 2026ctx514
textembeddingapache-2.0hugging-face
anhtuansh
gte-multilingual-base-Matryoshka-2e-9k

Это дообученная модель Sentence Transformer на базе Alibaba-NLP/gte-multilingual-base, созданная для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации текстов; сходство векторов можно оценивать косинусной мерой. Энкодер использует пуллинг CLS-токена и нормализацию, поддерживает последовательности до 8192 токенов. Модель обучена на 8 259 парах текстов из набора json с использованием MatryoshkaLoss и MultipleNegativesRankingLoss. В примерах обучающих данных есть вьетнамские тексты, однако карточка не подтверждает полный перечень поддерживаемых языков. Модель выдаёт векторы, а не готовые ответы на естественном языке. Лицензия в предоставленных данных не указана.

180дек. 2024ctx8.2K
textembeddinghugging-face
genevaquant
Inkling-Small

Карточка модели genevaquant/Inkling-Small на Hugging Face совпадает с карточкой thinkingmachines/Inkling-Small, поэтому описание составлено по ней. Inkling-Small — мультимодальная модель общего назначения от Thinking Machines, построенная на авторегрессионном трансформере с 42 слоями и разреженным MoE-блоком: из 256 экспертов для каждого токена выбираются 6, а 2 общих эксперта активны всегда. Всего модель содержит 276 млрд параметров, из которых активно 12 млрд. Она принимает текст, изображения и аудио, обрабатывая их в общем пространстве представлений, и генерирует текст. Поддерживаются форматы BF16 и NVFP4; для работы предусмотрена библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, мультимодальных запросов, программирования, чат-ботов, агентных систем с использованием инструментов и приложений с поиском по документам. Основной язык — английский; заявлены общие многоязычные возможности, но языки отдельно не перечислены. Для изображений рекомендован размер сторон 40–4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее двух минут. Модель может выдавать фактически неверные ответы, неточно следовать инструкциям и хуже работать в длинных диалогах; качество также может различаться по языкам и предметным областям. Для важных решений необходимы проверка человеком и дополнительные меры безопасности. Весы доступны по лицензии Apache-2.0.

130авг. 2026
textimageapache-2.0hugging-face
FareedKhan
intfloat_multilingual-e5-large-instruct_FareedKhan_prime_synthetic_data_2k_2_4

Это модель Sentence Transformer на базе intfloat/multilingual-e5-large-instruct, дообученная FareedKhan на парах текстов. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024 для семантического поиска и сравнения текстов; сходство оценивается косинусной мерой. Модель построена на XLM-RoBERTa с усреднением токенных представлений и поддерживает последовательности до 512 токенов. Модель подходит для поиска релевантных документов по запросу, оценки семантического сходства, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Это дообученный чекпойнт с указанным в карточке набором из 1 814 обучающих примеров; в README приведены результаты оценки для одного набора данных. Лицензия в предоставленных данных не указана.

1150сент. 2024ctx514
textembeddinghugging-face
CISCai
jina-embeddings-v3-separation-distilled

CISCai — модель Model2Vec, дистиллированная из jinaai/jina-embeddings-v3 с применением LoRA-адаптера для задачи separation. Она создаёт статические текстовые эмбеддинги: при выводе усредняет векторы токенов, что позволяет выполнять кодирование значительно быстрее на CPU и GPU, чем у исходного Sentence Transformer. Модель предназначена для поиска по смыслу, сопоставления предложений и других сценариев, где важны низкие задержки или ограниченные вычислительные ресурсы. Модель использует подход Model2Vec: векторы словаря получают из Sentence Transformer, уменьшают их размерность с помощью PCA и взвешивают с помощью Zipf weighting. В метаданных заявлена поддержка контекста до 1 000 000 токенов, мультиязычность и формат safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

4792нояб. 2024ctx1M
textembeddingcc-by-nc-4.0hugging-face
jinaai
jina-embeddings-v5-omni-nano

jina-embeddings-v5-omni-nano — мультимодальная модель эмбеддингов от Jina AI. Она принимает текст, изображения, видео и аудио и преобразует их в векторы общего пространства, согласованного с текстовой моделью jinaai/jina-embeddings-v5-text-nano. Веса доступны в формате Safetensors; модель содержит около 1,04 млрд параметров, а размерность эмбеддингов составляет 768. Базовый репозиторий включает адаптеры для поиска по сходству, классификации, кластеризации и сопоставления текстов. Модель подходит для мультимодального семантического поиска и RAG, классификации с помощью сходства эмбеддингов, группировки похожего контента и обнаружения перефразировок или дубликатов. Векторная совместимость с jinaai/jina-embeddings-v5-text-nano позволяет индексировать текст одной моделью и искать по нему изображениями, видео или аудио без повторной индексации. Видео представлено кадрами; звуковая дорожка из видео автоматически не обрабатывается и должна передаваться отдельно. Для работы доступны Transformers, sentence-transformers и vLLM; неиспользуемые модальные компоненты можно не загружать. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование. Модель новая и мультимодальная, поэтому для конкретного сценария следует отдельно проверять качество и требуемую производительность.

8.4K45апр. 2026
textembeddingcc-by-nc-4.0hugging-face
jinaai
jina-embeddings-v5-text-small-text-matching

jina-embeddings-v5-text-small-text-matching — компактная модель векторных представлений текста от Jina AI, предназначенная для сопоставления текстов и оценки их семантической близости. Модель является квантизированной версией jinaai/jina-embeddings-v5-text-small и обучалась с использованием дистилляции и специализированных контрастивных функций потерь. Модель содержит 677 млн параметров, поддерживает многоязычные тексты и обрабатывает последовательности длиной до 32 768 токенов. Она формирует эмбеддинги размерностью 1024 с использованием pooling по последнему токену. Поддерживаются уменьшенные Matryoshka-размерности: 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Модель подходит для семантического поиска, дедупликации, кластеризации, ранжирования и других задач сопоставления текстов. К сильным сторонам относятся компактность, высокая производительность для своего размера, многоязычность, длинный контекст и возможность гибко сокращать размер эмбеддинга. Ограничение модели — специализация на text-matching: README не заявляет её оптимизацию для генерации текста или иных задач. Для использования требуется совместимое программное окружение, включая transformers, PyTorch и, в зависимости от способа запуска, vLLM, sentence-transformers или Text Embeddings Inference. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.

67K13февр. 2026ctx32.8K
textcc-by-nc-4.0hugging-face
donkizm
klue-roberta-base-klue-sts

Карточка модели donkizm/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.

1190нояб. 2024ctx514
textembeddinghugging-face
Morgan9803
klue-roberta-base-klue-sts

Карточка модели Morgan9803/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.

220янв. 2025ctx514
textembeddinghugging-face
redis
langcache-embed-v2

redis/langcache-embed-v2 — модель Sentence Transformer, разработанная Redis и дообученная на основе redis/langcache-embed-v1 на наборе триплетов. Она использует ModernBERT и преобразует предложения и абзацы в плотные векторы размерности 768, сравниваемые с помощью косинусного сходства. Максимальная длина входной последовательности — 8192 токена. Модель предназначена для семантического поиска и сравнения текстов; также подходит для поиска перефразировок, кластеризации и классификации текста. Доступны веса в форматах Safetensors, ONNX и OpenVINO. Лицензия в предоставленных данных не указана.

1.5K6май 2025ctx8.2K
textembeddinghugging-face
gemasphi
laprador-query-encoder

gemasphi/laprador-query-encoder — модель на архитектуре BERT, опубликованная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,1 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Для использования можно применять Sentence-Transformers либо Transformers с подходящей операцией pooling поверх контекстных представлений токенов. В метаданных основная задача указана как sentence-similarity; каталог также отмечает извлечение признаков. README не называет разработчика, языковую специализацию или лицензию, поэтому они здесь не уточняются.

650апр. 2022ctx512
textembeddinghugging-face
sahilchachra
LFM2.5-Embedding-350M-int8

LFM2.5-Embedding-350M-int8 — 8-битная квантованная версия мультиязычного двунаправленного би-энкодера Liquid AI LFM2.5-Embedding-350M, опубликованная sahilchachra для запуска на Apple Silicon через MLX. Модель кодирует запросы и документы в векторы размерности 1024 с CLS-пулингом; для входов требуются префиксы «query: » и «document: », а близость оценивается косинусным сходством. Контекст составляет до 128 000 токенов. Модель предназначена для семантического и кросс-языкового поиска и извлечения релевантных документов. В README приведено сравнение на английском подмножестве NanoBEIR: средний NDCG@10 после квантования практически совпал с fp16. Указана лицензия other; перед использованием следует проверить условия лицензии базовой модели и репозитория. Для корректного получения эмбеддингов нужен двунаправленный энкодер с CLS-пулингом: обычные причинные загрузчики LFM2 дают неверные результаты.

150июнь 2026ctx128K
textotherhugging-face
Saxo
Linkbricks-Horizon-AI-Japanese-Avengers-V2-70B

Linkbricks-Horizon-AI-Japanese-Avengers-V2-70B — плотная языковая модель семейства Llama на 69,5 млрд параметров, созданная Саксо (Джи Юнсоном), специалистом по данным компании Linkbricks. Это дообучение версии V1-70B: модель прошла японское CPT, SFT и DPO и использует исходный токенизатор базовой модели. Для обучения применялись японские новостные и вики-корпуса, а также данные для задач на японском, корейском, китайском и английском языках. Модель предназначена для генерации текста и диалогов, включая анализ отзывов и публикаций в соцсетях, написание текстов и кода, перевод, суммаризацию, математические и логические задачи. Поддерживает вызов инструментов и контекст до 131 072 токенов. Доступна в формате Safetensors через Transformers; лицензия — Apache-2.0. Качество ответов и вызова инструментов может зависеть от формулировки запроса. Карточка не приводит результатов стандартизированных оценок качества.

440дек. 2024ctx131.1K
textapache-2.0hugging-face
Saxo
Linkbricks-Horizon-AI-Japanese-Superb-V2-70B

Saxo (Чи Юнсон), дата-сайентист компании Linkbricks, дообучил эту языковую модель на базе Saxo/Linkbricks-Horizon-AI-Llama-3.3-Japanese-70B-Advanced с помощью японского SFT и DPO. Это плотная Llama 3.3 с 69,5 млрд параметров и контекстом до 128 тысяч токенов; веса доступны в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации и анализа текста на японском, корейском, китайском и английском языках. В карточке отмечены усиленные способности к переводу, анализу отзывов и публикаций в соцсетях, написанию текстов и кода, математическим и логическим задачам. Также заявлена поддержка вызова функций и инструментов. Модель обучалась на японских новостях и корпусе Википедии, многоязычных данных для разных задач, а также математических и логических примерах. Карточка не приводит результатов независимой оценки качества; заявленные возможности могут различаться в зависимости от языка и задачи.

500дек. 2024ctx131.1K
textapache-2.0hugging-face
Saxo
Linkbricks-Horizon-AI-Japanese-Superb-V3-70B

Saxo, специалист по данным компании Linkbricks, дообучил эту плотную 70-миллиардную языковую модель семейства Llama на базе Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V2-70B с помощью SFT и DPO. Модель ориентирована прежде всего на японский язык и обучалась на японских новостях и корпусе Википедии, а также на многоязычных данных для японского, корейского, китайского и английского языков. Модель предназначена для генерации текста, письма, программирования, математических и логических задач, анализа отзывов клиентов и публикаций в социальных сетях, а также вызова функций и инструментов. Она поддерживает контекст до 128 тысяч токенов. В метаданных указаны Transformers, формат safetensors и лицензия Apache-2.0. README сообщает об усилении японских возможностей и о поддержке function calling, однако результат зависит от задачи и качества запроса. Обучающие данные и заявленные возможности не гарантируют точность ответов; для критически важных решений результаты следует проверять.

470дек. 2024ctx131.1K
textapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей