/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
14 491–14 520 из 25 791
MaziyarPanahi
Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.2

Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.2-slerp — диалоговая модель генерации текста, созданная MaziyarPanahi методом слияния Mistral-7B-Instruct-v0.2 и Tess-XS-v1-3-yarn-128K. В конфигурации указано слияние SLERP для слоёв 0–32 с сохранением весов в формате bfloat16; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для диалогов и ответов на инструкции в текстовом формате. Метаданные указывают контекст до 32 768 токенов, а название README отсылает к варианту Tess с контекстом 128K; фактическая длина контекста этого слияния в метаданных каталога указана как 32 768 токенов. Поддерживаемые языки явно не перечислены. Репозиторий распространяется по лицензии Apache-2.0. Данных о специальных ограничениях качества или безопасности в карточке нет; как и другие генеративные языковые модели, она может выдавать неточные или неподходящие ответы.

221янв. 2024ctx32.8K
textapache-2.0hugging-face
Gflorent
test_false_positive

Карточка модели Gflorent/test_false_positive на Hugging Face совпадает с карточкой Gflorent/fossil_flex, поэтому описание составлено по ней. Gflorent/fossil_flex — модель sentence-transformers на архитектуре MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель обучена с функцией потерь CosineSimilarityLoss. Её можно использовать в сценариях семантического поиска и группировки похожих текстов; репозиторий содержит веса PyTorch. Лицензия в доступных сведениях не приведена.

630окт. 2022ctx514
textembeddinghugging-face
GanymedeNil
text2vec-large-chinese

text2vec-large-chinese — модель представления предложений на основе BERT, созданная GanymedeNil. Согласно карточке, в производной версии MacBERT заменён на LERT, а остальные условия обучения сохранены. Модель предназначена для оценки сходства между предложениями и получения векторных представлений текста, которые можно использовать для поиска и сопоставления фраз. Модель содержит 424,3 млн параметров, принимает текст с контекстом до 512 токенов и поддерживает китайский язык. Репозиторий включает веса PyTorch и Safetensors; в README также упомянута версия для ONNX Runtime. Лицензия — Apache-2.0. Карточка не приводит сведения о качестве на конкретных тестах.

2.0K761март 2023ctx512
textapache-2.0hugging-face
PartAI
Tooka-SBERT

PartAI/Tooka-SBERT — модель Sentence Transformer, разработанная PartAI на базе TookaBERT-Large и дообученная для получения плотных векторных представлений предложений и абзацев. Она кодирует персидский текст в векторы размерностью 1024 и предназначена для сравнения смысловой близости по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель основана на архитектуре BERT, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. Она подходит для поиска и группировки персидских текстов по смыслу. Выпущена по лицензии Apache-2.0; автор README указывает, что доступны более новые версии Tooka-SBERT-V2-Small и Tooka-SBERT-V2-Large.

1.1K15дек. 2024ctx512
textembeddingapache-2.0hugging-face
vllm-sr
Vela-1.0-Encoder-307M-Reranker

Vela Reranker — дообученный мультиязычный энкодер семейства ModernBERT от vLLM Semantic Router. Модель оценивает релевантность пассажей для поиска, RAG и отбора контекста. Она насчитывает 306,9 млн параметров, принимает пары запросов и текстовых фрагментов и поддерживает контекст до 32 768 токенов. В опубликованных сравнениях Vela превосходит исходный mmBERT Reranker на MIRACL, Natural Questions и SciFact, а также на двух из трёх приведённых инструкционных задач MTEB. Результаты относятся только к указанным задачам и наборам разработки; авторы не заявляют полный балл или рейтинг MTEB. Модель доступна в форматах Safetensors и ONNX под лицензией Apache-2.0.

1.2K2сент. 2026ctx32.8K
textapache-2.0hugging-face
tintnguyen
vietnamese-bi-encoder-ft

Это модель Sentence Transformers, дообученная автором tintnguyen на вьетнамской bi-encoder-модели bkai-foundation-models/vietnamese-bi-encoder. Она использует архитектуру RoBERTa с mean pooling, содержит 162,4 млн параметров и преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Максимальная длина последовательности составляет около 256 токенов. Модель предназначена для поиска семантически близких текстов на вьетнамском языке: семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В обучении использовались пары запросов и релевантных текстов с MultipleNegativesRankingLoss; обучающая выборка содержала около 1,58 млн примеров. Для применения нужны тексты, а результатом служат векторные представления. Лицензия в предоставленных данных не указана.

260нояб. 2024ctx258
textembeddinghugging-face
vultr
VultronRetrieverFlash-Qwen3.5-0.8B

VultronRetrieverFlash-Qwen3.5-0.8B — мультимодальный ретривер документов от Vultr Cloud, созданный на базе Qwen/Qwen3.5-0.8B и обученный для поиска по изображениям страниц. Модель использует архитектуру ColQwen3_5 с поздним взаимодействием: строит многовекторные представления размерностью 320 и оценивает совпадение запросов и страниц методом MaxSim. Размер модели — 0,8 млрд параметров; генеративная голова удалена. Модель предназначена для поиска по PDF, сканам, презентациям и отчётам, в том числе по страницам со сложной вёрсткой, таблицами, диаграммами и иллюстрациями. Принимает изображения страниц и/или текстовые запросы, формирует векторы для последующего ранжирования и может использоваться в мультимодальных RAG-системах. Поддерживает английский, французский, немецкий, испанский, итальянский и португальский языки; страницы обрабатываются до 1792 визуальных токенов. По заявлению карточки, модель лидирует среди моделей менее 2 млрд параметров на ViDoRe V3. Многовекторный индекс и вычисление MaxSim требуют больше памяти и вычислений, чем поиск по одиночным векторам; для обычного текстового семантического поиска модель не предназначена и сама по себе не генерирует ответы. Другие языки находятся вне обучающего распределения. Для работы с гибридной архитектурой требуются causal-conv1d и flash-linear-attention; рекомендуется SDPA. Лицензия — Apache-2.0.

2.8K6июнь 2026ctx262.1K
textimageembeddingapache-2.0hugging-face
jonatasgrosman
wav2vec2-large-english

jonatasgrosman/wav2vec2-large-english — модель распознавания английской речи, дообученная Jonatas Grosman на основе facebook/wav2vec2-large. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров. Модель преобразует аудиозаписи в текст и рассчитана на английскую речь; входной звук должен быть дискретизирован с частотой 16 кГц. Модель подходит для транскрибирования английской речи, в том числе записей, похожих на примеры из Common Voice 6.1. В оценке на тестовых данных Common Voice автор сообщает WER 21,53% и CER 9,66%; результаты зависят от данных и способа оценки. Для использования опубликована лицензия Apache-2.0.

415март 2022
textaudioapache-2.0hugging-face
facebook
wav2vec2-large-xlsr-53-german

facebook/wav2vec2-large-xlsr-53-german — модель распознавания речи на немецком языке от Facebook. Она основана на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в карточке приведена оценка 18,5% на тестовой части немецкого Common Voice. Доступны веса PyTorch и Flax. Модель предназначена для автоматической транскрипции немецкой речи, в том числе записей, похожих на аудиоматериалы Common Voice. Распространяется по лицензии Apache-2.0.

1.7K6март 2022
textaudioapache-2.0hugging-face
RASMUS
wav2vec2-xlsr-1b-ru

RASMUS разработал wav2vec2-xlsr-1b-ru — модель распознавания речи на архитектуре Wav2Vec2ForCTC, дообученную на базе facebook/wav2vec2-xls-r-1b на датасете Common Voice. Она преобразует русскую речь в текст и подходит для автоматической расшифровки аудиозаписей. На оценочной выборке указаны Loss 0,1352 и WER 0,0971. Модель содержит 1,3 млрд параметров и распространяется в формате PyTorch. Лицензия в доступных данных не указана.

122март 2022
textaudiohugging-face
navai-uz
whisper-small-uzbek

NavAI Whisper Small Uzbek — это модель автоматического распознавания речи, созданная NavAI на основе дообучения openai/whisper-small. Она принимает аудио и генерирует текстовую транскрипцию на узбекском языке. По карточке модели, обучение проведено на 753 часах речи с человеческими расшифровками из открытых корпусов; размер в метаданных — 153,1 млн параметров. Модель реализована на архитектуре Whisper и распространяется в формате safetensors через библиотеку Transformers. Модель предназначена для транскрибирования узбекской речи, в том числе пакетной обработки записей. Для лучших результатов рекомендуется явно указывать язык uz; длинные записи обрабатываются окнами по 30 секунд. В тестировании на четырёх отложенных наборах whisper-small показала макро-WER 11,57% и микро-WER 10,69%; результаты зависят от набора и условий записи. Выход рассчитан на узбекский язык в латинской графике. Слабее распознаются редкие иностранные имена и речь с дальнего расстояния, шумом или выраженным диалектом. Модель унаследует возможные смещения обучающих данных. В метаданных указана лицензия Apache-2.0; карточка также приводит требования атрибуции для одного из использованных обучающих корпусов.

5120июль 2026ctx1K
textaudioapache-2.0hugging-face
Zyphra
Zamba2-7B-Instruct-v2

Zamba2-7B-Instruct-v2 — диалоговая языковая модель Zyphra, полученная дообучением Zamba2-7B на наборах инструкций и чатов. Она предназначена для генерации ответов, следования инструкциям и решения общих задач, включая рассуждения и математику. Модель использует гибридную архитектуру: слои Mamba2 чередуются с разделяемыми слоями внимания Transformer. В README указан размер 7,36 млрд параметров, а метаданные каталога — 16,8 млрд; источники расходятся, поэтому точный размер не приводится. Базовый контекст — 4096 токенов; в README описано расширение до 16 тысяч токенов через настройку частоты RoPE. Модель принимает текст и генерирует текст. README заявляет высокую скорость генерации и меньшие требования к памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 нужны для снижения задержки и расхода памяти. Поддерживаемые естественные языки в источниках не перечислены. Для запуска рекомендуется Transformers с зависимостями mamba-ssm и causal-conv1d; без оптимизированных ядер ожидаются более высокая задержка и расход памяти. Лицензия — Apache-2.0.

2215февр. 2025ctx4.1K
textapache-2.0hugging-face
amadeusai
Amadeus-Verbo-MI-Qwen-2.5-14B-PT-BR-Instruct-Experimental

Amadeus-Verbo-MI-Qwen-2.5-14B-PT-BR-Instruct-Experimental — объединённая SLERP-модель семейства Qwen2.5, созданная Amadeus AI на основе Qwen/Qwen2.5-14B-Instruct и AmadeusAI/AV-BI-Qwen2.5-14B-PT-BR-Instruct. Это плотная авторегрессионная языковая модель с 14 млрд параметров для диалогов и генерации текста; поддерживает интерфейс вызова инструментов. Модель принимает текстовые запросы и выдаёт текстовые ответы, рассчитана прежде всего на португальский язык Бразилии. Контекст составляет 32 768 токенов, для запуска README рекомендует актуальную версию Transformers. Модель подходит для чат-ботов, ответов на вопросы, написания и преобразования текста на португальском языке. Заявленные данные не описывают специальные предметные области или результаты сравнительных оценок качества. Распространяется по лицензии Apache-2.0.

531март 2025ctx32.8K
textapache-2.0hugging-face
andreasmartin
apertus-v1.1-swiss-embed-0.4b-bidir

Apertus v1.1 Swiss multilingual retrieval embeddings — самостоятельная модель Sentence Transformers для построения эмбеддингов и поиска семантически близких текстов. Она создана на основе swiss-ai/Apertus-v1.1-0.5B и дообучена для многоязычного поиска на немецком, английском, французском, итальянском, ретороманском и алеманнском (швейцарском немецком) языках. Параметры LoRA после обучения объединены с базовыми весами, поэтому отдельный адаптер не требуется. Модель содержит около 439 млн параметров, использует плотную архитектуру Apertus и поддерживает контекст до 4096 токенов. Обучение на парах текстов с MultipleNegativesRankingLoss и MatryoshkaLoss ориентировано на монолингвальный и межъязыковой поиск; модель подходит для извлечения документов по запросу и сопоставления текстов между поддерживаемыми языками. В репозитории указана лицензия Apache-2.0. Оценки в карточке являются внутренними диагностическими результатами на небольших наборах, а не внешними бенчмарками. Обучающие пары из Википедии служат приближённой поисковой разметкой, а выравнивание параллельных отрывков не полностью отражает реальные поисковые запросы; для алеманнского нет явного параллельного обучения.

1921авг. 2026ctx4.1K
textembeddingapache-2.0hugging-face
Kowshik24
bangla-sentence-transformer-ft-matryoshka

Kowshik24/bangla-sentence-transformer-ft-matryoshka — дообученная модель Sentence Transformers на базе shihab17/bangla-sentence-transformer для преобразования предложений и абзацев в плотные векторные представления. Она построена на XLM-RoBERTa с усреднением токенных эмбеддингов и выдаёт векторы размерностью 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности в README составляет 128 токенов, а метаданные указывают контекст до 514 токенов. Модель предназначена для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и классификации текста. Matryoshka-обучение позволяет усекать эмбеддинги до меньших размерностей: README приводит результаты поиска для векторов размером 768, 512, 256, 128 и 64. В карточке указан бенгальский язык; описание базовой модели в каталоге также отмечает английский. Лицензия — Apache-2.0.

1070сент. 2025ctx514
textembeddingapache-2.0hugging-face
jegormeister
bert-base-dutch-cased-snli

jegormeister разработал sentence-transformers-модель на базе BERT для нидерландского языка. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства; архитектура содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска и группировки нидерландских текстов. Для использования доступны Sentence-Transformers и Transformers; при использовании Transformers требуется применить pooling к контекстным представлениям токенов. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

1574март 2022ctx512
textembeddinghugging-face
sgugger
bert-finetuned-mrpc

sgugger/bert-finetuned-mrpc — модель BERT, дообученная на наборе GLUE MRPC для классификации пар предложений. Она определяет, выражают ли два предложения одно и то же значение; на оценочной части MRPC в карточке указаны accuracy 0,8603 и F1 0,9032. Модель содержит 135,5 млн параметров, принимает текстовые пары и поддерживает контекст до 512 токенов. Модель основана на bert-base-cased и предназначена для английского языка. Подходит для обнаружения перефразирований и проверки семантического сходства коротких текстов. Распространяется по лицензии Apache-2.0. Показатели относятся к оценке на MRPC; качество на других данных может отличаться.

230март 2022ctx512
textapache-2.0hugging-face
RedHatAI
bge-small-en-v1.5-quant

RedHatAI/bge-small-en-v1.5-quant — квантованная версия модели эмбеддингов BGE-small-en-v1.5 от Red Hat AI. Это плотный BERT-чекпойнт примерно на 40 млн параметров, представленный в формате ONNX с квантованием INT8; для ускоренного инференса README указывает на DeepSparse и DeepSparseSentenceTransformers. Модель предназначена для преобразования английских текстов в векторные представления, например для семантического поиска и поиска по сходству. Указанный размер контекста — 512 токенов. Лицензия — MIT.

1079сент. 2023ctx512
textembeddingmithugging-face
AkshitaS
bhasha-embed-v0

Bhasha embed v0 — модель эмбеддингов Akshita Sukhlecha на базе google/muril-base-cased. Она преобразует предложения и тексты на хинди письмом деванагари, английском и хинди в латинской транслитерации в векторы размерности 768, предназначенные для сравнения по косинусному сходству. Модель рассчитана на межъязыковое сопоставление и поиск по смешанным корпусам, где встречаются тексты на хинди, английском и транслитерированном хинди. Она использует архитектуру BERT, обучалась дистилляцией англоязычной модели эмбеддингов и дообучением на триплетных данных. Максимальная длина последовательности — 512 токенов. Модель опубликована под лицензией Apache-2.0. Карточка заявляет поддержку романизированного хинди и межъязыкового выравнивания; результаты приведены для нескольких задач поиска и сходства. Качество может зависеть от языка, письма и состава корпуса; сведения карточки не задают отдельные ограничения по применению.

61013июнь 2024ctx512
textembeddingapache-2.0hugging-face
BhinekaIntiLabs
bhineka-gpt

Bhineka-GPT-500M — двуязычная авторегрессионная языковая модель BhinekaIntiLabs для генерации индонезийского и английского текста. Она использует плотную decoder-only архитектуру Transformer в стиле Llama; в метаданных указано 482,5 млн параметров, тогда как README приводит 556,3 млн для проверенного тренировочного чекпойнта. Контекст модели — 2048 токенов, токенизатор BPE обучен для этого проекта. Репозиторий содержит веса в форматах Safetensors и GGUF; модель поддерживает диалоговый сценарий. Модель предназначена для ответов на вопросы, суммаризации и перефразирования, перевода между индонезийским и английским, технических текстов, помощи с кодом и генерации структурированных ответов в Markdown или JSON. README описывает обучение с предварительным обучением, дообучением на инструкциях и оптимизацией предпочтений; проект позиционирует модель для исследований, экспериментов и прототипирования, хотя по критериям каталога это применимая модель, а не промежуточный исследовательский чекпойнт. Лицензия — Apache-2.0. Модель может выдумывать факты, цитаты, поведение кода и численные данные; качество может различаться для диалектов и неформальной индонезийской речи. Небольшой размер ограничивает сложные рассуждения, работу с инструментами и фактическую точность, а оценка языкового моделирования сама по себе не подтверждает качество прикладных задач. Не следует полагаться на неё как на единственный источник в медицинских, юридических, финансовых и других критически важных вопросах.

843июнь 2026ctx2K
textapache-2.0hugging-face
ALJIACHI
bte-base-ar

BTE-Base-Ar — модель эмбеддингов на базе Sentence Transformers и архитектуры ModernBERT, представленная ALJIACHI. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель содержит около 148,9 млн параметров и обрабатывает последовательности длиной до 8192 токенов; для длинных текстов применяется скользящее окно. Модель предназначена прежде всего для арабского языка, также обучалась на арабских и английских текстах. Её можно использовать для семантического поиска и сравнения фраз, поиска перефразировок, кластеризации и классификации текстов. В README приведён результат Spearman 0,8538 на оценке сходства предложений, а также заявлены высокая скорость и сниженное потребление памяти; условия и наборы для этих сравнений не раскрыты. Модель распространяется по лицензии MIT. Она выдаёт эмбеддинги, а не готовые текстовые ответы; качество на других языках и в задачах за пределами приведённой оценки в карточке не описано.

3980май 2025ctx8.2K
textembeddingmithugging-face
nvidia
canary-1b-v2

Canary-1b-v2 — мультиязычная модель NVIDIA для распознавания речи и перевода устной речи. Это модель примерно с 1 млрд параметров на архитектуре encoder-decoder: FastConformer извлекает признаки из аудио, а Transformer Decoder генерирует текст. Модель работает с 25 европейскими языками: болгарским, хорватским, чешским, датским, нидерландским, английским, эстонским, финским, французским, немецким, греческим, венгерским, итальянским, латышским, литовским, мальтийским, польским, португальским, румынским, словацким, словенским, испанским, шведским, русским и украинским. Модель предназначена для транскрибации речи на этих языках, а также перевода речи между английским и каждым из остальных 24 языков. Она автоматически расставляет знаки препинания и заглавные буквы, поддерживает временные метки на уровне слов и сегментов, в том числе для переведённого текста, и обрабатывает длинные записи с динамическим разбиением на фрагменты. NVIDIA заявляет о высокой скорости и качестве относительно моделей сопоставимого размера; результаты зависят от языка и условий записи. Модель можно использовать для голосовых помощников, субтитров, транскрибации разговоров и голосовой аналитики. Для работы предусмотрен NVIDIA NeMo; карточка также описывает использование через Transformers. Лицензия — CC BY 4.0, допускающая коммерческое и некоммерческое использование с соблюдением её условий.

167K438авг. 2025
textaudiocc-by-4.0hugging-face
Baekpica
DeepSeek-V4-Flash-0731-120B-REAM-104E-NVFP4

Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-NVFP4 — текстовая генеративная модель, разработанная Baekpica на основе Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-BF16. Модель предназначена для генерации текста и инференса с использованием vLLM, включая сценарии локального и серверного развертывания на совместимом оборудовании NVIDIA. Архитектура представляет собой Mixture-of-Experts: 43 декодерных слоя, 104 маршрутизируемых эксперта на слой, top-6 маршрутизация и около 13,802 млрд активных параметров на токен при примерно 119,822 млрд логических параметров основной модели. Это преимущественно весово-квантизированная версия NVFP4A16: основные подходящие веса представлены в NVIDIA FP4 E2M1 с размером группы 16, тогда как активации остаются 16-битными. Отдельные компоненты сохраняются в BF16, а некоторые attention-проекции используют динамический W8A8 FP8. В README указана поддержка контекста до 196 608 токенов в проверенной конфигурации запуска. Информация о языках и мультимодальных возможностях не приведена. Ключевое преимущество модели — существенное сокращение требований к памяти при сохранении архитектуры крупной MoE-модели и оптимизация для инференса на NVIDIA Blackwell или более новых GPU. Ограничения включают зависимость от аппаратуры с поддержкой compressed-tensors NVFP4 и от специализированного стека, включая совместимую ветку vLLM и FlashInfer; универсальная совместимость с обычным Transformers или более старым оборудованием не заявлена. Модель распространяется по лицензии MIT.

3424авг. 2026ctx1M
textmithugging-face
mixedbread-ai
deepset-mxbai-embed-de-large-v1

deepset-mxbai-embed-de-large-v1 — открытая модель эмбеддингов предложений, разработанная Mixedbread совместно с deepset. Она основана на intfloat/multilingual-e5-large и дообучена с функцией потерь AnglE на более чем 30 млн пар немецких данных. Модель использует архитектуру XLM-RoBERTa, содержит около 585,8 млн параметров и принимает текстовый контекст длиной до 514 токенов. Модель предназначена для поиска по смыслу и извлечения релевантных документов на немецком и английском языках. Для запросов требуется префикс «query: », для документов — «passage: ». Она поддерживает Matryoshka Representation Learning и бинарную квантизацию, что позволяет уменьшать размер эмбеддингов и затраты на хранение при сохранении значительной части качества. По данным авторов, средний результат на NDCG@10 составляет 51,7. Модель распространяется по лицензии Apache-2.0. Она рассчитана на получение векторных представлений текста; качество и применимость за пределами немецкого и английского языков в предоставленных материалах не описаны.

317K61июль 2024ctx514
textembeddingapache-2.0hugging-face
kwondw
distilbert-base-uncased-msmarco-margin-mse

Это англоязычная модель Sentence Transformers, созданная дообучением DistilBERT разработчиком репозитория kwondw на данных MS MARCO с функцией потерь MarginMSELoss и учителем BERT-CAT ensemble. Архитектура состоит из DistilBertModel и слоя усреднённого pooling; она преобразует текст в плотные векторы размерности 768 для поиска и сравнения предложений и абзацев по скалярному произведению. В README указан предел последовательности 300 токенов, а метаданные указывают контекстное окно 512 токенов. Модель подходит для семантического поиска, извлечения релевантных фрагментов и ранжирования текстовых кандидатов по близости к запросу. Обучение описано на выборке из 100 примеров MS MARCO; приведённые результаты на NanoMSMARCO низкие (dot_accuracy@1 — 0,02, @3 — 0,04, @5 — 0,08), поэтому качество следует проверять на целевых данных. Поддерживается английский язык. Лицензия — Apache-2.0.

150авг. 2026ctx512
textembeddingapache-2.0hugging-face
dphn
dolphin-llama2-7b

Dolphin-Llama2-7b — языковая модель команды Dolphin, обучение которой спонсировала preemo. Это дообученная плотная модель семейства Llama 2 с 6,6 млрд параметров и контекстом до 4096 токенов. Она принимает текстовые инструкции и генерирует текст; для диалога используется формат промпта, похожий на Vicuna, с полями SYSTEM, USER и ASSISTANT. Модель предназначена для ответов на инструкции, диалога и выполнения широкого круга текстовых задач. При дообучении использовался открытый вариант данных Orca: инструкции FLANv2 с ответами GPT-3.5 и GPT-4; авторы сообщают о фильтрации отказов и ограничений, поэтому модель может отвечать на запросы, от которых другие модели откажутся. Это повышает риск нежелательных или вредоносных ответов; автор рекомендует добавить собственный слой выравнивания перед предоставлением модели пользователям. В карточке указана лицензия Llama 2, допускающая коммерческое и некоммерческое применение с соблюдением её условий.

7977авг. 2023ctx4.1K
textllama2hugging-face
nixiesearch
e5-small-v2-onnx

nixiesearch/e5-small-v2-onnx — это ONNX-версия модели intfloat/e5-small-v2, преобразованная с помощью инструмента onnx-convert. Модель разработана для преобразования предложений и абзацев в плотные векторы фиксированной размерности, пригодные для семантического поиска, кластеризации и задач определения сходства текстов. Модель относится к семейству sentence-transformers и предназначена прежде всего для англоязычных текстов. В составе доступны вариант Float32 с оптимизацией уровня 2 и вариант model_opt2_QInt8.onnx с 8-битным квантованием QInt8 и той же оптимизацией. Размерность эмбеддингов в README не указана; сведения об архитектуре, максимальной длине контекста и точной поддерживаемой мультимодальности отсутствуют. Модель работает только с текстовыми входами. К сильным сторонам относятся формат ONNX, наличие оптимизированной и квантованной версии, а также возможность использовать модель в системах семантического поиска и кластеризации. Ограничения включают отсутствие заявленной поддержки других языков и нехватку данных о производительности, размере векторов и контекстном окне. Модель распространяется по лицензии Apache 2.0.

5.7K1авг. 2023ctx512
textembeddingapache-2.0hugging-face
MaLA-LM
emma-500-llama3-8b-bi

EMMA-500 Llama 3 8B bi — многоязычная языковая модель MaLA-LM, полученная продолжительным предварительным обучением архитектуры Llama 3 8B. Модель насчитывает 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Вариант bi обучен на многоязычных монолингвальных данных и двуязычном переводном корпусе для более чем 2 500 языковых пар; серия охватывает 546 языков. Модель предназначена для генерации многоязычного текста, машинного перевода, рассуждений на основе здравого смысла и классификации текстов, в том числе для языков с ограниченными ресурсами. В обучающие данные входят тексты из книг, кода, инструкций и научных статей. Лицензия — Llama 3 Community License (llama3).

2430май 2025ctx131.1K
textllama3hugging-face
MaziyarPanahi
Experiment28M7_YamT3qm7xp

Experiment28M7_YamT3qm7xp — объединённая модель генерации текста на архитектуре Mistral, созданная путём слияния automerger/Experiment28M7-7B и automerger/YamT3qm7xp-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по запросу и работы с длинными текстовыми контекстами. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

130апр. 2024ctx32.8K
textapache-2.0hugging-face
xsvmyx
extremist-text-detector

Карточка модели xsvmyx/extremist-text-detector на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1110нояб. 2025ctx512
textembeddingapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей