/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
11 881–11 910 из 25 791
ParkMyungkyu
KLUE-STS-roberta-base

ParkMyungkyu/KLUE-STS-roberta-base — модель эмбеддингов предложений на архитектуре RoBERTa, представленная автором ParkMyungkyu. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и сравнения предложений. Модель содержит 137,8 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers требуется применить pooling к контекстным представлениям токенов. Модель обучалась с CosineSimilarityLoss и ориентирована на семантическое сходство в корейском бенчмарке KLUE-STS. Лицензия в предоставленных данных не указана.

1070март 2022ctx512
textembeddinghugging-face
Wei-Jie
labor-roberta-chinese

Wei-Jie/labor-roberta-chinese — модель Sentence-Transformers на базе архитектуры BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 1024. Её можно применять для поиска семантически близких текстов, кластеризации и сравнения предложений по смыслу. Модель обучалась с ContrastiveLoss и косинусной метрикой расстояния. Она принимает текст и выдаёт эмбеддинги; максимальная длина контекста составляет 512 токенов. В метаданных указано 424,3 млн параметров и формат PyTorch. Название модели указывает на китайский язык, однако README не уточняет языковое покрытие и результаты оценки.

1090авг. 2024ctx512
textembeddinghugging-face
LCO-Embedding
LCO-Embedding-Omni-7B

LCO-Embedding-Omni-7B — мультимодальная модель эмбеддингов семейства LCO-Embedding, разработанная авторами работы «Scaling Language-Centric Omnimodal Representation Learning». Она использует компонент thinker архитектуры Qwen2.5 Omni без talker и предназначена для представления текста, изображений, аудио и видео в виде векторов для поиска и сравнения. Модель работает через Sentence Transformers или Transformers; README отмечает высокие результаты на бенчмарках мультимодального поиска, включая MIEB, и поддержку аудио и видео. Модель подходит для поиска по текстам, изображениям, аудиозаписям, видео и смешанным мультимодальным документам. В README заявлена оценка на задаче поиска визуальных документов на языках Юго-Восточной Азии, однако полный список поддерживаемых языков не приведён. Репозиторий использует формат safetensors и распространяется по лицензии Apache-2.0. Метаданные указывают библиотеку Sentence Transformers и задачи извлечения признаков и сравнения предложений.

2.1K29окт. 2025ctx32.8K
textembeddingapache-2.0hugging-face
inclusionAI
Ling-3.0-flash-GGUF

Ling-3.0-flash-GGUF — текстовая генеративная модель, разработанная командой inclusionAI. Это следующее поколение нативной гибридной reasoning-модели, предназначенной для генерации текста и решения задач, требующих рассуждений. Модель доступна в формате GGUF и может использоваться в совместимых локальных средах инференса. Модель содержит 124 млрд общих параметров, при этом активными во время обработки являются около 5,1 млрд параметров. По заявлению разработчиков, такая архитектура позволяет ей соответствовать или превосходить предыдущую флагманскую модель на ключевых бенчмарках при значительно меньшем числе активных параметров. Поддерживаемые языки, максимальная длина контекста, конкретные модальности и детальные результаты тестирования в предоставленной карточке не указаны. Сильными сторонами модели заявлены гибридное reasoning и высокая эффективность за счёт активации только части параметров. Ограничения и требования к аппаратному обеспечению, особенности квантования GGUF, языковые возможности и применимые сценарии следует уточнять в полной карточке модели. Модель распространяется по лицензии MIT.

7.6K5авг. 2026
textmithugging-face
Yukang
Llama-2-7b-longlora-100k-ft

Карточка модели Yukang/Llama-2-7b-longlora-100k-ft на Hugging Face совпадает с карточкой Yukang/Llama-2-7b-longlora-32k-ft, поэтому описание составлено по ней. Yukang/Llama-2-7b-longlora-32k-ft — дообученная полная версия LLaMA 2 на 7 млрд параметров, созданная авторами проекта LongLoRA для работы с длинным контекстом. Модель предназначена для генерации текста и обработки запросов, в которых важно учитывать большой объём предшествующего текста, например длинные документы. Контекст этой версии расширен до 32 768 токенов. В README описан подход LongLoRA: для эффективного расширения контекста при дообучении используется разреженное локальное внимание, при этом во время инференса сохраняется плотное глобальное внимание. Метаданные указывают нативную длину контекста 4 096 токенов, поэтому заявленное в README расширение до 32 768 токенов следует отличать от этого значения. Модель использует архитектуру LlamaForCausalLM и распространяется в формате PyTorch. Модель подходит для суммаризации и вопросов по длинным текстам, но README не приводит отдельные оценки качества именно этого чекпойнта. Условия лицензии в предоставленных данных не указаны.

22752сент. 2023ctx4.1K
texthugging-face
Yukang
Llama-2-7b-longlora-32k-ft

Yukang/Llama-2-7b-longlora-32k-ft — дообученная полная версия LLaMA 2 на 7 млрд параметров, созданная авторами проекта LongLoRA для работы с длинным контекстом. Модель предназначена для генерации текста и обработки запросов, в которых важно учитывать большой объём предшествующего текста, например длинные документы. Контекст этой версии расширен до 32 768 токенов. В README описан подход LongLoRA: для эффективного расширения контекста при дообучении используется разреженное локальное внимание, при этом во время инференса сохраняется плотное глобальное внимание. Метаданные указывают нативную длину контекста 4 096 токенов, поэтому заявленное в README расширение до 32 768 токенов следует отличать от этого значения. Модель использует архитектуру LlamaForCausalLM и распространяется в формате PyTorch. Модель подходит для суммаризации и вопросов по длинным текстам, но README не приводит отдельные оценки качества именно этого чекпойнта. Условия лицензии в предоставленных данных не указаны.

2845сент. 2023ctx4.1K
texthugging-face
bartowski
Llama-3.1-8B-Ultra-Instruct-GGUF

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

2.7K2сент. 2024
textllama3hugging-face
allenai
Llama-3.1-Tulu-3-70B

Llama-3.1-Tulu-3-70B — англоязычная диалоговая модель Allen Institute for AI (AI2), основанная на архитектуре Llama 3.1 и дообученная на модели allenai/Llama-3.1-Tulu-3-70B-DPO. Это плотная causal language model с 69,5 млрд параметров; карточка указывает контекст до 131 072 токенов и загрузку через Transformers. Модель входит в семейство Tülu 3, для которого AI2 публикует данные, код и рецепты постобучения. Модель предназначена для диалогов и следования инструкциям, генерации текста, математических задач и проверки выполнения сложных инструкций. В карточке упомянуты MATH, GSM8K и IFEval. Основной язык — английский. Лицензия — Llama 3.1 Community License Agreement. У модели ограничено обучение безопасности; она может выдавать проблемные ответы, особенно при соответствующих запросах. Для надёжного применения в пользовательских сценариях следует учитывать необходимость фильтрации ответов. README рекомендует для запуска через vLLM ограничивать длину модели до 8192 токенов из-за длинного шаблона диалога, хотя метаданные указывают нативный контекст 131 072 токена.

69161нояб. 2024ctx131.1K
textllama3.1hugging-face
unsloth
Llama-3.2-1B-Instruct-unsloth-bnb-4bit

unsloth/Llama-3.2-1B-Instruct-unsloth-bnb-4bit — это 4-битная динамически квантованная версия инструкционной модели Meta Llama 3.2 1B Instruct, подготовленная Unsloth и совместимая с Transformers. Базовая модель разработана Meta; вариант предназначен для генерации текста и диалоговых сценариев, включая мультиязычные чаты, извлечение данных агентами и суммаризацию. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA). Она относится к семейству моделей размером 1B параметров, работает в режиме текст на входе — текст на выходе и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционная версия дополнительно обучалась с помощью SFT и RLHF для повышения полезности и безопасности. Размер контекста в README не указан. Ключевое преимущество варианта — динамическое 4-битное квантование Unsloth, при котором отдельные параметры сохраняются без квантования для улучшения точности по сравнению со стандартным 4-битным форматом и снижения требований к памяти. Ограничения включают меньший размер и, соответственно, более ограниченные возможности по сравнению с крупными моделями, а также отсутствие данных о контекстном окне и подробных результатах оценки именно этой квантованной версии. Использование регулируется Llama 3.2 Community License и Acceptable Use Policy; точные условия следует проверять в лицензии Meta.

29K4янв. 2025ctx131.1K
textllama3.2hugging-face
TheBloke
lzlv_70B-AWQ

Lzlv 70B AWQ — 4-битная AWQ-квантизованная версия языковой модели Lzlv 70B, созданной A Guy на базе Llama 2. Квантизацию выполнил TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного инференса, включая диалоговые приложения, ответы на запросы и другие задачи обработки текста. Модель имеет архитектуру Llama, около 70 миллиардов параметров и поддерживает текстовую модальность. В опубликованной конфигурации используются 4-битные веса AWQ с групповым размером 128, последовательностью длиной до 4096 токенов и размером файлов около 36,61 ГБ. AWQ ориентирована на эффективный инференс с низким потреблением памяти; заявлена совместимость с Text Generation WebUI через AutoAWQ, vLLM, Hugging Face Text Generation Inference и AutoAWQ. Для взаимодействия предусмотрен шаблон запросов в формате Alpaca. К сильным сторонам относятся существенно уменьшенный размер по сравнению с исходной FP16-моделью и возможность быстрого инференса на совместимом GPU при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают максимальную длину последовательности 4096 токенов, необходимость совместимого программного обеспечения и оборудования, а также возможные потери качества из-за квантизации. Модель заявлена под лицензией CC BY-NC 2.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Эти условия следует рассматривать как двойное лицензирование, а коммерческое использование требует отдельной проверки ограничений.

1.4K2окт. 2023ctx4.1K
textcc-by-nc-2.0hugging-face
MongoDB
mdbr-leaf-mt

mdbr-leaf-mt — компактная модель эмбеддингов текста, разработанная командой MongoDB Research. Она предназначена для классификации, кластеризации, оценки семантического сходства предложений и суммаризации; для поиска и информационного извлечения разработчики рекомендуют отдельную модель mdbr-leaf-ir. Модель основана на архитектуре BERT и насчитывает 25,9 млн параметров, максимальная длина контекста — 512 токенов. В README отмечены поддержка асимметричного кодирования запросов и документов, усечение векторов методом MRL и их квантование, включая int8 и binary. По заявлению разработчиков, модель занимает первое место в англоязычном бенчмарке MTEB v2 среди моделей размером до 30 млн параметров. Модель рассчитана прежде всего на английский язык. Её можно применять для получения векторных представлений и вычисления сходства текстов в задачах классификации, кластеризации и сравнения предложений. Лицензия — Apache-2.0. Разработчики указывают, что на момент публикации модель не использовалась в коммерческих продуктах или сервисах MongoDB.

94K26авг. 2025ctx512
textembeddingapache-2.0hugging-face
yale-nlp
MDCure-Qwen2-7B-Instruct

MDCure-Qwen2-7B-Instruct — языковая модель Yale NLP, дообученная на Qwen/Qwen2-7B-Instruct с использованием набора MDCure-72k. Она предназначена для генерации ответов на инструкции и вопросы по нескольким документам, а также для задач с длинным контекстом. MDCure — процедура создания и фильтрации обучающих данных для улучшения способностей LLM работать с несколькими документами; авторы сообщают об улучшении результатов на ряде много-документных и длинноконтекстных тестов относительно базовых моделей. Модель имеет плотную архитектуру Qwen2, около 7,1 млрд параметров и контекст до 32 768 токенов. Она принимает текст и генерирует текст; в метаданных указан английский язык. Для использования рекомендуется Transformers версии 4.45.0 или новее. Модель распространяется по лицензии Apache-2.0.

551нояб. 2024ctx32.8K
textapache-2.0hugging-face
unsloth
mistral-7b-v0.3-bnb-4bit

unsloth/mistral-7b-v0.3-bnb-4bit — 4-битная версия модели Mistral-7B-v0.3, подготовленная Unsloth на базе модели mistralai/Mistral-7B-v0.3. Это текстовая языковая модель примерно с 7 млрд параметров, предназначенная для использования и дообучения через библиотеку Transformers. В карточке указано, что модель ориентирована на английский язык. Модель подходит для генерации и продолжения текста, диалоговых сценариев при использовании соответствующего шаблона данных, а также для последующего fine-tuning на собственных наборах данных. Ключевая особенность данной версии — 4-битное представление в формате bitsandbytes, снижающее требования к памяти и удобное для запуска и дообучения на ограниченных GPU-ресурсах. В README также заявлена поддержка сценариев экспорта в GGUF и vLLM после дообучения, но подробные характеристики контекстного окна и архитектуры не приведены. Преимуществами являются компактное 4-битное представление, совместимость с экосистемой Transformers и возможность эффективного дообучения с помощью инструментов Unsloth. Ограничения включают отсутствие заявленной мультимодальности, отсутствие сведений о специализированной instruction-настройке именно этой версии, а также неполные данные о производительности и контекстном окне. Лицензия модели указана как Apache-2.0.

373K23май 2024ctx32.8K
textapache-2.0hugging-face
MaziyarPanahi
Mixtral-8x22B-v0.1-GGUF

MaziyarPanahi/Mixtral-8x22B-v0.1-GGUF — это квантованная версия базовой языковой модели Mixtral-8x22B-v0.1, разработанной Mistral AI и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных сценариях инференса, включая работу через llama.cpp. Базовая модель допускает дообучение. Модель использует разреженную архитектуру Mixture of Experts (MoE): заявлено 176 млрд параметров, из которых около 35 млрд активны при обработке токена; в другом описании также указано 141 млрд параметров MoE. Заявленная длина контекста составляет до 65 тысяч токенов. Доступны варианты квантования от 2 до 8 бит, а также 16-битный вариант, что позволяет выбирать между требованиями к памяти и качеством. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Сильной стороной модели являются большой контекст, высокая емкость MoE-архитектуры и возможность локального запуска в квантованных вариантах: для FP16 требуется около 260 ГБ видеопамяти, для INT4 — около 73 ГБ. Ограничения включают значительные аппаратные требования даже при квантовании, а также отсутствие в README подробных результатов оценки качества и гарантии одинаковых характеристик для всех вариантов квантования. Модель распространяется по лицензии Apache 2.0.

102K78апр. 2024ctx65.5K
textapache-2.0hugging-face
karsar
ModernBERT-base-hu

karsar/ModernBERT-base-hu — модель Sentence Transformers, дообученная автором на базе tasksource/ModernBERT-base-nli для получения векторных представлений венгерских предложений и абзацев. Она использует энкодер ModernBERT с усреднением токенных представлений и создаёт плотные эмбеддинги размерности 768; максимальная длина входа — 2048 токенов. Векторы предназначены для сравнения косинусного сходства. Модель подходит для семантического поиска на венгерском языке, поиска перефразирований, кластеризации текстов и классификации на основе эмбеддингов. В README приведена оценка cosine accuracy 0,7102 на all-nli-dev и 0,67 на all-nli-test; эти значения относятся к указанным наборам и не гарантируют такое же качество в других сценариях. Модель выпущена под лицензией Apache-2.0.

690дек. 2024ctx2K
textembeddingapache-2.0hugging-face
Xenova
multilingual-e5-base

Xenova/multilingual-e5-base — версия модели intfloat/multilingual-e5-base с весами в формате ONNX, подготовленная для использования в Transformers.js. Репозиторий Xenova предназначен для запуска модели в JavaScript-средах, включая веб-приложения, через библиотеку @huggingface/transformers. Модель предназначена для извлечения признаков из текста и может использоваться как основа для задач семантического поиска, сравнения текстов, кластеризации и построения других NLP-систем. В README подтверждён сценарий feature extraction. Модель заявлена как multilingual, однако конкретный перечень поддерживаемых языков, размер, архитектура, длина контекста и точные характеристики качества в предоставленных данных не указаны. Ключевое преимущество этой версии — совместимость с Transformers.js и ONNX, что облегчает запуск модели в JavaScript- и веб-средах. Ограничение описания заключается в отсутствии подробных сведений о производительности, поддерживаемых языках, требованиях к ресурсам и лицензии. Информация о лицензии в README не приведена.

32K3июнь 2023ctx514
textembeddinghugging-face
isy-thl
multilingual-e5-base-learning-outcome-skill-tuned

Модель isy-thl/multilingual-e5-base-learning-outcome-skill-tuned — Sentence Transformer, дообученный на базе intfloat/multilingual-e5-base для сопоставления результатов обучения, описаний курсов и описаний навыков ESCO. Она кодирует текст в плотные векторы размерностью 768 и подходит для семантического поиска, ранжирования совпадений, кластеризации и классификации текстов. Для сравнения векторов используется косинусное сходство. Модель построена на XLM-RoBERTa с усреднением токенных представлений и нормализацией векторов. В метаданных указано 305,2 млн параметров и контекст до 514 токенов; README указывает максимальную длину последовательности 512 токенов. Оценка на наборе learning_outcome_esco_pairs показывает cosine_accuracy@1 0,8582 и @5 0,9716. Модель принимает текст и выдаёт эмбеддинги; обучение описано для корпуса course-esco-skill-retrieval из 9 562 примеров. Лицензия в предоставленных данных не указана.

1010окт. 2025ctx514
textembeddinghugging-face
hwefa
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория пользователя hwefa, опубликованная для использования через библиотеку Transformers и отмеченная тегами PyTorch, BERT и feature-extraction. Метаданные Hugging Face классифицируют её как модель извлечения признаков, а README описывает обновлённую версию с улучшенными рассуждениями, логическим выводом, математикой, программированием, диалогами, суммаризацией, классификацией, переводом и поддержкой function calling. README также заявляет о снижении частоты галлюцинаций и рекомендует использовать системный промпт и температуру 0.6.

3780сент. 2026
textembeddingmithugging-face
NbAiLab
nb-whisper-tiny

NB-Whisper Tiny — компактная модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper Tiny. Она предназначена для транскрибации аудио и перевода речи; README описывает серию моделей, обученную на 66 000 часах речи, а метаданные указывают для этой версии 29,4 млн параметров и архитектуру WhisperForConditionalGeneration. Модель поддерживает норвежский букмол, нюнорск и английский языки. Для обработки длинных записей можно использовать разбиение на фрагменты; для большей точности README рекомендует beam size 5, что увеличивает время работы и расход памяти. Tiny оптимизирована для запуска на CPU. Лицензия — Apache 2.0.

2671февр. 2024ctx1K
textaudioapache-2.0hugging-face
sankalpakc
nepali-sbert-175k-mpnet

sankalpakc/nepali-sbert-175k-mpnet — модель Sentence Transformers на архитектуре XLM-RoBERTa, разработанная Sankalpa KC. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения предложений и кластеризации. Модель содержит 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель ориентирована на непальский язык, что отражено в названии репозитория; README описывает её как инструмент для работы с эмбеддингами предложений и абзацев. Для использования доступны Sentence Transformers и Transformers с подходящей операцией pooling. В метаданных указана лицензия? Сведений о лицензии нет, поэтому условия распространения по предоставленным данным определить нельзя.

860февр. 2024ctx514
textembeddinghugging-face
NoemaAI-labs
Noema-1.5-2B

Noema 1.5 2B — открытая языковая модель NoemaAI-labs на 1,7 млрд параметров, дообученная от NoemaAI-labs/Noema-2B методом on-policy-дистилляции. Это плотная текстовая модель семейства Qwen3.5 с архитектурой Gated DeltaNet и gated attention; она предназначена для локальных диалоговых помощников, точного следования инструкциям и ограничениям в нескольких ходах, короткой генерации кода и эффективных рассуждений. Модель поддерживает контекст до 262 144 токенов, однако сама Noema 1.5 оценивалась только на контекстах до 24 576 токенов. В опубликованных тестах модель улучшила следование инструкциям и многошаговым ограничениям относительно базовой Qwen3.5-2B, а также показала преимущество в HumanEval+, сохранив результаты MMLU-Pro в пределах заданного критерия не меньшей эффективности. Она ориентирована преимущественно на английский язык и текстовые сценарии; мультимодальные возможности в этой версии не обучались и не оценивались. Модель может галлюцинировать, ответы в режиме рассуждений могут быть длинными или повторяющимися; для фактоёмких и важных задач рекомендуется проверять утверждения и использовать поиск по источникам. Для работы требуется версия Transformers с поддержкой qwen3_5_text; веса распространяются как safetensors. Лицензия в предоставленных данных не указана.

701авг. 2026ctx262.1K
texthugging-face
orangetin
OpenHermes-Mixtral-8x7B

OpenHermes-Mixtral-8x7B — инструктивная языковая модель на архитектуре Mixtral MoE, созданная дообучением Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель разработана автором репозитория orangetin и обучена в течение трёх эпох на датасете OpenHermes, опубликованном Teknium. Модель предназначена для диалогов, следования инструкциям и генерации текста по запросу. Она поддерживает многоходовые беседы и системные инструкции через шаблон запросов LLaMA 2; заявленная длина контекста — 32 768 токенов. В карточке приведены результаты оценивания на бенчмарках рассуждений и понимания текста. Репозиторий содержит веса в формате safetensors. Модель имеет 7,1 млрд параметров по метаданным и распространяется по лицензии Apache 2.0. Карточка указывает английский язык; качество на других языках отдельно не описано.

339дек. 2023ctx32.8K
textapache-2.0hugging-face
facebook
opt-iml-30b

facebook/opt-iml-30b — модель генерации текста семейства OPT, разработанная Meta и дообученная следовать инструкциям с помощью instruction meta-learning. Она обучалась на наборе OPT-IML Bench, объединяющем около 2000 задач обработки естественного языка из восьми бенчмарков; вариант OPT-IML обучался на 1500 задачах, а OPT-IML-Max — на полном наборе. В карточке указано 39,8 млрд параметров, архитектура OPTForCausalLM и контекст до 2048 токенов. Модель предназначена для генерации текста по инструкциям и выполнения широкого круга языковых задач, представленных в обучающих бенчмарках. Репозиторий содержит веса PyTorch; для ускорения генерации и экономии памяти авторы рекомендуют загружать крупную модель в половинной точности и вызывать generate напрямую. Лицензия отмечена как other. Модель может допускать фактические ошибки, генерировать токсичные формулировки и воспроизводить стереотипы. Результаты требуют проверки человеком; конкретный набор языков в карточке не заявлен.

15673янв. 2023ctx2K
textotherhugging-face
legalvn
paraphrase-multilingual-MiniLM-L12-v2-vn-172500

Это многоязычная модель Sentence Transformers, дообученная legalvn на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она преобразует предложения и абзацы в плотные векторы размерностью 384, а сходство между текстами оценивается косинусной мерой. Архитектура состоит из BERT-трансформера и слоя усреднения токенов; README указывает максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Примеры обучающих данных на вьетнамском языке посвящены нормативным документам и образовательным программам, что делает её полезной для сопоставления вьетнамских запросов с фрагментами документов. Веса доступны в формате safetensors; лицензия в предоставленных данных не указана.

930дек. 2024ctx512
textembeddinghugging-face
meandyou200175
phobert-finetune

Это модель Sentence Transformer, дообученная на базе vinai/phobert-base-v2 — вьетнамского RoBERTa-энкодера. Она преобразует предложения и абзацы в плотные векторы размерностью 768, которые сравниваются с помощью косинусного сходства. Модель содержит 162,4 млн параметров и принимает последовательности длиной до 258 токенов по метаданным; в README указан максимум 256 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Её можно применять для поиска вьетнамских документов по смыслу и группировки похожих высказываний. README приводит результаты оценки поиска информации, включая точность cosine_accuracy@1 0,7045 и cosine_accuracy@5 0,8767. Модель принимает текст и выдаёт векторы признаков; архитектура включает RoBERTa-энкодер и усреднение токенных представлений. Основной язык — вьетнамский, поскольку базовая PhoBERT рассчитана на обработку вьетнамского языка. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

1210окт. 2024ctx258
textembeddinghugging-face
tanbinh2210
phobert-st

tanbinh2210/phobert-st — модель Sentence Transformers, дообученная на базе vinai/phobert-base-v2. Она кодирует предложения и абзацы в плотные векторы размерности 768; архитектура состоит из RoBERTa-энкодера с усреднением токенных представлений. Модель предназначена для вычисления семантического сходства текстов, семантического поиска, поиска перефразирований, кластеризации и классификации текста. Для сравнения векторов рекомендуется косинусное сходство. Модель ориентирована на вьетнамский язык и имеет ограничение длины последовательности около 256 токенов; метаданные указывают контекст в 258 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Информация о лицензии в предоставленных данных отсутствует, поэтому условия использования определить нельзя.

240нояб. 2024ctx258
textembeddinghugging-face
ChaoticNeutrals
Prima-LelantaclesV5-7b

ChaoticNeutrals/Prima-LelantaclesV5-7b — слитая методом DARE TIES текстовая модель на архитектуре Mistral, опубликованная ChaoticNeutrals. В объединение вошли Test157t/Pasta-Lake-7b и Test157t/Prima-LelantaclesV4-7b-16k; README указывает, что обе модели использованы с весом 1. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и рассчитана на генерацию текста с контекстом до 32 768 токенов по метаданным.

686февр. 2024ctx32.8K
textotherhugging-face
infgrad
Prism-Qwen3.5-Reranker-0.8B

Карточка модели infgrad/Prism-Qwen3.5-Reranker-0.8B на Hugging Face совпадает с карточкой infgrad/Prism-Qwen3.5-Reranker-4B, поэтому описание составлено по ней. Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

37214апр. 2026ctx262.1K
textmithugging-face
infgrad
Prism-Qwen3-Reranker-4B-exp

Карточка модели infgrad/Prism-Qwen3-Reranker-4B-exp на Hugging Face совпадает с карточкой infgrad/Prism-Qwen3.5-Reranker-4B, поэтому описание составлено по ней. Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

2772апр. 2026ctx41K
textmithugging-face
AISE-TUDelft
python-summary-classifier

Карточка модели AISE-TUDelft/python-summary-classifier на Hugging Face совпадает с карточкой AISE-TUDelft/python-expand-classifier, поэтому описание составлено по ней. AISE-TUDelft/python-expand-classifier — модель на базе MPNet, разработанная AISE при TU Delft. Она кодирует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения семантической близости. Модель можно применять для семантического поиска, кластеризации и задач sentence similarity. Модель содержит 136,7 млн параметров, работает с текстом и имеет контекстное окно до 514 токенов. Она обучалась с функцией потерь CosineSimilarityLoss и распространяется в формате PyTorch. Лицензия в предоставленных данных не указана.

1060янв. 2023ctx514
textembeddinghugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей