/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
14 161–14 190 из 25 791
nerkyor
Qwen3.8-27B-Uncensored-Heretic-T10-BF16

Qwen3.8-27B Uncensored Heretic T10 BF16 — экспериментальная производная модели Qwen3.8-27B, размещённая пользователем nerkyor. Модель создана на основе официальной Qwen3.8-27B с применением метода C0/T10, направленного на снижение склонности к отказам. В репозитории доступны полные веса BF16, а также варианты Q8_0 для llama.cpp, черновая MTP-модель и vision projector. Модель предназначена для локального запуска в текстовых и мультимодальных сценариях, включая ответы на вопросы, рассуждения, программирование и обработку изображений. Указана поддержка мультимодальности и vision projector; конкретные языки не перечислены. Архитектура основана на Qwen3.8-27B, однако точные параметры контекста в README не указаны. Для работы рекомендуется использовать официальный chat template Qwen3.8 и актуальную сборку llama.cpp; thinking включён по умолчанию. Для ускорения вывода доступен MTP-вариант. В опубликованных тестах версия Q8_0 получила 87,0% на MMLU500, 85,35% на GPQA198 и 76/100 на LCB100. Главная особенность модели — крайне низкая частота жёстких отказов, но это одновременно означает сниженные защитные ограничения. Известное ограничение мультимодальной версии — неполное качество OCR: строгий синтетический тест не воспроизвёл заданную строку точно. Релиз носит исследовательский характер, требует самостоятельной проверки результатов и ответственного использования. Лицензия — Apache License 2.0; дополнительно необходимо соблюдать условия официальной Qwen3.8-27B и применимое законодательство.

6512авг. 2026ctx262.1K
textimageapache-2.0hugging-face
Ma7ee7
Qwen3.8_4B_Distilled_GGUF

Ma7ee7/Qwen3.8_4B_Distilled_GGUF — набор квантованных версий модели Ma7ee7/Qwen3.8_4B_Distilled, созданной независимым разработчиком на основе Qwen3-4B-Thinking-2507. Модель обучена методом sequence-level knowledge distillation на ответах и рассуждениях, сгенерированных моделью qwen3.8-max-preview, и не является официальным релизом Qwen или Alibaba. Распространяется в формате GGUF для запуска через llama.cpp, LM Studio, Ollama, Jan и другие совместимые приложения. Это decoder-only causal language model архитектуры Qwen3 примерно с 4 миллиардами параметров. Она предназначена для генерации текста, диалогов и задач, требующих рассуждений; режим thinking включён. Основным языком указан английский. В README приведены параметры контекста до 32 768 токенов, однако заявленные возможности могут зависеть от используемого приложения и квантования. Доступны варианты Q4_K_M, Q5_K_M и Q8_0: Q4_K_M рекомендуется как баланс качества, скорости и потребления памяти, Q5_K_M обеспечивает более высокую точность, а Q8_0 — наибольшую точность при максимальных требованиях к памяти. Модель компактнее исходной учительской системы и удобна для локального запуска, но не должна рассматриваться как эквивалент qwen3.8-max-preview: её возможности ограничены размером студенческой модели и потерями от квантования. В карточке указана лицензия Apache-2.0.

14K37июль 2026ctx262.1K
textapache-2.0hugging-face
minjaechoi
qwen3next-80b-a3b-2p12bit-r26

Это вариант модели Qwen3-Next-80B-A3B-Thinking, подготовленный командой minjaechoi как экспериментальный чекпойнт r26 с разреженными экспертами MoE. Средняя точность весов маршрутизируемых экспертов составляет 2,125 бита, остальные веса — BF16; в репозитории веса сохранены в тензорах BF16 после деквантизации. Модель предназначена для генерации текста и диалога, включая сложные рассуждения, а интерфейс поддерживает вызов инструментов. Она использует архитектуру Qwen3-Next и рассчитана на контекст до 262 144 токенов. Метаданные указывают 2,3 млрд параметров, а для загрузки доступны safetensors и библиотека Transformers. Сверхнизкая точность маршрутизируемых экспертов может ограничивать качество по сравнению с исходной моделью; README характеризует этот вариант как внутренний исследовательский чекпойнт. Лицензия наследуется от Qwen3-Next-80B-A3B-Thinking.

3710сент. 2026ctx262.1K
texthugging-face
prithivMLmods
QwQ-LCoT1-Merged

QwQ-LCoT1-Merged — объединённая текстовая языковая модель, созданная prithivMLmods методом Model Stock с помощью mergekit. В объединение вошли QwQ-LCoT-7B-Instruct и QwQ-LCoT2-7B-Instruct, а базовой моделью служит Qwen/Qwen2.5-7B-Instruct. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, генерации текста и решения задач, требующих логических рассуждений и пошагового анализа. Она работает с текстом и может использоваться для составления подробных объяснений и структурированных ответов. Ограничения по качеству и языковому охвату в карточке не описаны; возможности рассуждения не гарантируют правильность ответов. Файлы опубликованы в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

372янв. 2025ctx32.8K
texthugging-face
WpythonW
rubert-tiny2-vllm

WpythonW выпустил версию cointegrated/rubert-tiny2, адаптированную для высокопроизводительного инференса эмбеддингов через vLLM. Это компактный BERT-энкодер на 29 млн параметров с контекстом до 2048 токенов. Модель формирует эмбеддинги предложений и подходит для сравнения их семантического сходства; заявлена численная эквивалентность эмбеддингов оригинальной модели при использовании float32. При преобразовании веса не менялись: удалены ненужные головы предобучения, а архитектура приведена к BertModel для совместимости с vLLM. Оптимизированный инференс с пакетной обработкой подходит для сервисов семантического поиска и сопоставления текстов. Для точного совпадения с оригиналом автор рекомендует использовать float32. Модель поддерживает русский и английский языки и распространяется по лицензии MIT. Для стандартного использования через PyTorch или Transformers автор рекомендует исходную модель cointegrated/rubert-tiny2.

1860нояб. 2025ctx2K
textembeddingmithugging-face
pushpdeep
sbertmsmarco-en_to_indic_ur-murilv1

pushpdeep/sbertmsmarco-en_to_indic_ur-murilv1 — модель на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторные представления размерности 768. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. В репозитории указано обучение с MSELoss; модель доступна в формате PyTorch и опубликована под именем Sentence-Transformers. Модель принимает текст и выдаёт эмбеддинги. Контекст ограничен 512 токенами. По названию репозитория она связана с MS MARCO и индийскими языками, включая урду; точный перечень поддерживаемых языков и базовая модель в предоставленных данных не подтверждены. Лицензия в источниках не указана.

1160март 2023ctx512
textembeddinghugging-face
TurkuNLP
sbert-uncased-finnish-paraphrase

TurkuNLP/sbert-uncased-finnish-paraphrase — модель Sentence-BERT для вычисления семантической близости предложений на финском языке, разработанная TurkuNLP. Она основана на uncased FinBERT TurkuNLP/bert-base-finnish-uncased-v1 и дообучена на финском корпусе парафраз и автоматически собранных примерах: примерно 500 тысяч положительных и 5 миллионов отрицательных пар. Для получения векторных представлений используется mean pooling. Модель подходит для поиска предложений, близких по смыслу, сравнения текстов и определения, являются ли две фразы парафразами. Архитектура — плотная BERT-модель с 151,7 млн параметров; максимальная длина входа составляет 512 токенов. Модель принимает текст и выдаёт эмбеддинги, которые можно использовать для оценки сходства. В README указано бинарное обучение на парах предложений; опубликованные результаты оценки ещё готовятся. Модель распространяется в форматах PyTorch и Safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

6642март 2022ctx512
textembeddinghugging-face
Griffin88
sentence-embedding-LaBSE

Griffin88/sentence-embedding-LaBSE — PyTorch-порт модели LaBSE, предназначенный для представления предложений на 109 языках в общем векторном пространстве. Модель основана на архитектуре BERT и содержит 498,1 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий предоставляет веса PyTorch и safetensors, а для работы через Sentence-Transformers README рекомендует библиотеку sentence-transformers. Модель подходит для получения эмбеддингов предложений и оценки их семантического сходства, в том числе для сопоставления текстов на разных языках. Лицензия — Apache-2.0. README отсылает к публикации LaBSE, но не уточняет автора этого порта или детали обучения именно этой версии.

1101февр. 2024ctx512
textembeddingapache-2.0hugging-face
adit94
sentenceTest_kbert

adit94/sentenceTest_kbert — модель на базе BERT, опубликованная в формате PyTorch как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с TripletLoss; контекст ограничен 512 токенами. Модель подходит для построения векторного поиска по текстам и группировки семантически близких предложений. Карточка не уточняет поддерживаемые естественные языки и лицензию, поэтому эти характеристики нельзя достоверно указать.

940нояб. 2022ctx512
textembeddinghugging-face
HuggingFaceTB
SmolLM2-1.7B-Instruct-16k

SmolLM2-1.7B-Instruct-16k — компактная языковая модель HuggingFaceTB на 1,7 млрд параметров с архитектурой Llama и плотной трансформерной структурой. Это версия SmolLM2-1.7B-Instruct с контекстом до 16 384 токенов, опубликованная в формате safetensors и рассчитанная на работу через Transformers. Модель дообучили на 15 тысячах примеров из подмножеств SmolTalk, LongAlign и SeaLong, увеличив параметр RoPE с 100k до 500k. Модель предназначена для генерации текста и диалогов, следования инструкциям, переписывания и суммаризации текстов, а также вызова функций. Увеличенное окно контекста улучшает результаты на задачах с длинными входами, включая RAG, обучение на контекстных примерах, ранжирование и ответы на длинные вопросы; при этом в README отмечено небольшое снижение качества на коротком контексте. Модель ориентирована прежде всего на английский язык и может работать на устройствах с ограниченными ресурсами благодаря компактному размеру. По оценке авторов, возможны фактические ошибки, непоследовательные рассуждения и смещения из обучающих данных, поэтому важные ответы следует проверять. Лицензия — Apache-2.0.

61110февр. 2025ctx16.4K
textapache-2.0hugging-face
mradermacher
snowflake-arctic-embed-l-i1-GGUF

Это GGUF-квантизированная версия модели Snowflake/snowflake-arctic-embed-l, разработанной компанией Snowflake. Квантизацию выполнил mradermacher; доступны варианты с разными типами и уровнями квантизации, преимущественно размером около 0,2–0,4 ГБ. Модель предназначена для получения векторных представлений текстов, извлечения признаков и оценки семантического сходства предложений. Она может использоваться в задачах семантического поиска, кластеризации, сопоставления текстов и других сценариях, где требуется сравнивать смысловые представления документов или запросов. В метаданных указана поддержка английского языка и совместимость с экосистемой Transformers, а также с задачами sentence-transformers и MTEB. Ключевые архитектурные характеристики исходной модели, включая точное число параметров, размерность эмбеддингов и длину контекста, в README не указаны. Основное преимущество набора — компактные GGUF-файлы и возможность выбрать баланс между размером, скоростью и качеством. Ограничение связано с потерями качества при низких уровнях квантизации: README отмечает, что некоторые варианты имеют низкое качество, поэтому для практического использования рекомендуются более качественные варианты вроде i1-Q4_K_M или i1-Q6_K. Модель распространяется по лицензии Apache-2.0.

5030апр. 2025
textembeddingapache-2.0hugging-face
vmarcelo
Swift-Qwen3.8-27B-MIX_GGUF

Swift-Qwen3.8-27B-MIX_GGUF — набор смешанных GGUF-квантизаций модели ukisai/Swift-Qwen3.8-27b, подготовленный пользователем vmarcelo. Исходная модель является дообученной версией Qwen/Qwen3.8-27B — плотной мультимодальной модели на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также встроенной головой Multi-Token Prediction (MTP). Модель предназначена для работы с текстом и изображениями, включая мультимодальные сценарии, при наличии отдельного файла vision encoder mmproj-F16.gguf. Заявлена поддержка multilingual-задач; точный перечень языков не указан. В набор входят варианты IQ4-MIX размером 14,16 ГБ, IQ3-MIX размером 12,87 ГБ и IQ2-MIX размером 10,12 ГБ. Они рассчитаны на потребительские видеокарты с 16 ГБ VRAM, например AMD Radeon RX 9070 XT. IQ4 ориентирован на лучшее качество при умеренном контексте, IQ3 обеспечивает больший запас памяти и более длинный контекст, а IQ2 предназначен для максимального контекста примерно 131–262 тыс. токенов, но имеет экспериментальное качество и слабее подходит для программирования. Встроенная MTP-голова позволяет использовать speculative decoding без загрузки второго файла. Квантизация выполнена с помощью llama.cpp и importance matrix, при этом наиболее чувствительные компоненты сохраняются в более высокоточных форматах. Основные ограничения связаны с потерей качества из-за квантизации, особенно у IQ2; README прямо предупреждает о заметном ухудшении по сравнению с IQ3. Для обработки изображений требуется загрузка mmproj-файла, а фактическая поддерживаемая длина контекста зависит от выбранного варианта, настроек KV-кэша и доступной памяти. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано общее обозначение лицензии other.

4.5K2сент. 2026
textimageotherhugging-face
Bhuvana
test-setfit-model

Карточка модели Bhuvana/test-setfit-model на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.

880нояб. 2022ctx514
textembeddinghugging-face
victormuryn
use-combined-no-pt

victormuryn/use-combined-no-pt — модель Sentence Transformers, дообученная на базе paraphrase-multilingual-mpnet-base-v2 для создания эмбеддингов украинских предложений. Она использует архитектуру XLM-RoBERTa с плотным представлением, содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель обучена на корпусе украинских текстов UberText 2.0 с контрастивной целью и комбинированными стратегиями аугментации без pool targets. Она предназначена для сравнения смысла предложений и абзацев, семантического поиска и кластеризации; полученные векторы можно использовать в приложениях на Sentence Transformers. Поддерживает многоязычные входные данные, при этом обучение ориентировано на украинский язык. Модель распространяется по лицензии Apache-2.0. Показатели качества и ограничения по областям применения в карточке не приведены; качество на языках, отличных от украинского, отдельно не охарактеризовано.

1170авг. 2026ctx514
textembeddingapache-2.0hugging-face
tuandung2812
vietnamese-embedder-2611

Модель tuandung2812/vietnamese-embedder-2611 — дообученный Sentence Transformer на базе bkai-foundation-models/vietnamese-bi-encoder, разработанный автором репозитория tuandung2812. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для оценки семантического сходства с косинусной метрикой, поиска, кластеризации и других задач сравнения текста. Архитектура основана на RoBERTa с усреднением токенных представлений; максимальная длина последовательности составляет 258 токенов по метаданным. Модель предназначена для вьетнамского языка. Доступны файлы ONNX и safetensors. Условия лицензии в предоставленных данных не приведены.

1000нояб. 2025ctx258
textembeddinghugging-face
larryvrh
Yi-34B-200K-Llamafied

Larryvrh опубликовал версию Yi-34B-200K от 01.AI, адаптированную для работы с архитектурой Llama и удобства использования. Это плотная языковая модель на 33,9 млрд параметров для генерации текста; репозиторий содержит веса Safetensors. Заявленная длина контекста — до 200 000 токенов. Модель подходит для диалога и генерации текста на китайском и английском языках, ответов на вопросы по длинным документам, чтения с пониманием, рассуждений, математики и задач по программированию. В README приведены результаты бенчмарков для разных моделей, но отдельные результаты Yi-34B-200K здесь не выделены. Модель может выдавать ошибочные или проблематичные ответы. Лицензия — Apache-2.0.

5014нояб. 2023ctx200K
textapache-2.0hugging-face
LazarusNLP
all-indobert-base-p2

LazarusNLP/all-indobert-base-p2 — модель Sentence Transformers на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Её можно применять для семантического поиска, кластеризации и сравнения смысловой близости текстов на индонезийском языке. Модель содержит 151,6 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. Она обучалась с MultipleNegativesRankingLoss и косинусной функцией сходства на наборах данных для индонезийского языка, включая IndoNLI, MIRACL и TyDiQA. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

1140янв. 2024ctx512
textembeddinghugging-face
yjoonjang
all-MiniLM-L6-v2-multi-qa-ties-merge

all-MiniLM-L6-v2-multi-qa-ties-merge — демонстрационная объединённая модель на основе энкодера BERT, созданная средствами Sentence Transformers. Она объединяет all-MiniLM-L6-v2 и multi-qa-MiniLM-L6-cos-v1 методом TIES с плотностью 70% для каждого набора изменений относительно all-MiniLM-L6-v2. Модель содержит 25,9 млн параметров и рассчитана на входной контекст до 512 токенов. Модель преобразует текст в векторные представления предложений для вычисления семантического сходства, поиска релевантных текстов и кластеризации. Базовые модели описаны как англоязычные энкодеры; основное применение — семантический поиск и сопоставление англоязычных запросов с текстами. Доступны форматы Safetensors, TensorFlow и OpenVINO. Лицензия в предоставленных данных не указана.

190авг. 2026ctx512
textembeddinghugging-face
LazarusNLP
all-nusabert-base-v4

LazarusNLP/all-nusabert-base-v4 — модель семейства BERT, опубликованная LazarusNLP и предназначенная для получения векторных представлений предложений и абзацев на индонезийском языке. Она преобразует текст в плотные эмбеддинги размерности 768, которые подходят для семантического поиска, сравнения сходства и кластеризации. Модель содержит 137,8 млн параметров, использует библиотеку sentence-transformers и принимает последовательности длиной до 512 токенов. Модель обучалась с функцией потерь CachedMultipleNegativesRankingLoss на косинусном сходстве; в метаданных также перечислены датасеты для индонезийского NLI, поиска, вопросов и ответов и парафразов. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

1250май 2024ctx512
textembeddinghugging-face
Lucifer2006
Arcle-V1

Arcle V1 — мультимодальная базовая модель на 5,84 млрд параметров, разработанная Абхинавом Анандом в ArcleIntelligence. Она объединяет языковое и математическое рассуждение, обработку изображений и документов, распознавание и синтез речи, понимание видео и генерацию изображений в одной модели с единым проходом. В основе — гибридная архитектура Mamba-2 и причинного self-attention; заявленное окно контекста составляет 2 097 152 токена, из которых проверено 131 072. Метаданные указывают языки английский, хинди, испанский и французский. Модель рассчитана на локальный офлайн-запуск; README приводит требования около 24 ГБ видеопамяти или 24 ГБ системной памяти при запуске на CPU. Модель предназначена для диалогов, математических и общеобразовательных вопросов, работы с изображениями и документами, транскрипции и синтеза речи, понимания видео, а также генерации изображений. В README приведены результаты по распознаванию английской речи и извлечению текста из документов; при этом качество на сканах и многостраничных макетах заметно ограничено, а генератор изображений создаёт абстрактные композиции вместо точного изображения заданных объектов. Репозиторий распространяется по лицензии Apache-2.0.

445сент. 2026ctx2.1M
textapache-2.0hugging-face
Lambent
arsenic-v1.5-dpo-qwen2.5-14B

Lambent/arsenic-v1.5-dpo-qwen2.5-14B — диалоговая модель на архитектуре Qwen2.5 с 14 млрд параметров, дообученная командой Lambent на основе Lambent/arsenic-v1-qwen2.5-14B. Карточка описывает её стиль ответов как более точный по сравнению с предыдущей версией при сохранении большей части её возможностей; обучение проводилось с использованием Axolotl 0.4.1. Модель принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых приложений и генерации текстовых ответов, в том числе структурированных. Карточка отмечает, что модель всё ещё достаточно ограничена в генерируемом содержимом; тег «not-for-all-audiences» относится к набору данных. Данные о конкретном наборе обучения и результаты оценки не приведены. Условия лицензии в предоставленных материалах не указаны.

110окт. 2024ctx32.8K
texthugging-face
AutomatosX
AX-Qwen3.8-27B-MLX-AXQ-6bit-MTP

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-6bit-MTP — это смешанно-точный квантованный MLX-чекпойнт на базе Qwen/Qwen3.8-27B, преобразованный компанией AutomatosX непосредственно из исходной модели BF16. Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через MLX-LM, а также для нативного выполнения в AX Engine и интеграции с oMLX Lightning MTP. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и 27,36 млрд логических параметров. Основной языковой тракт квантован с использованием AXQuant 1.6.2; заявленный класс хранения — 6 bit, измеренный общий показатель с учётом MTP составляет 6,0001 BPW. Голова multi-token prediction и vision tower сохранены в BF16. Поддерживаются текст и vision-сценарии, аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory. Размер весов составляет около 20,84 ГБ, полный загрузочный объём — около 20,86 ГБ. Сильными сторонами являются сохранение повышенной точности для отдельных компонентов, наличие MTP и vision tower, а также оптимизация под Apple Silicon. При этом стандартный запуск через MLX-LM гарантирует только текстовый inference и может не использовать MTP, vision-компоненты и метаданные AXQuant. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, поэтому фактическую производительность следует проверять в целевой конфигурации. Репозиторий содержит MLX Safetensors и не содержит весов PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0.

3.4K10авг. 2026ctx262.1K
textapache-2.0hugging-face
facebook
bart-base

facebook/bart-base — базовая англоязычная модель семейства BART, разработанная командой Facebook AI и впервые опубликованная в этом репозитории. Это трансформерная encoder-decoder модель типа seq2seq: двунаправленный энкодер сочетается с авторегрессионным декодером. Модель содержит 95,2 млн параметров, обучена восстанавливать исходный текст после его искажения и поддерживает контекст до 1024 токенов. Модель предназначена прежде всего для извлечения признаков и дообучения на текстовых задачах. После дообучения BART применяют для суммаризации, перевода, классификации текста и ответов на вопросы; исходная модель также подходит для заполнения пропусков в тексте. Репозиторий содержит веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия — Apache 2.0.

252K213март 2022ctx1K
textembeddingapache-2.0hugging-face
headlesstech
bengali_dpr

headlesstech/bengali_dpr — модель на основе XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит около 305,2 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт векторные представления. Модель ориентирована на бенгальский язык, что следует из её названия; карточка не приводит отдельного перечня поддерживаемых языков. Для использования подходят Sentence Transformers или Transformers с соответствующей операцией pooling. В метаданных указана лицензия Apache 2.0.

1040май 2023ctx514
textembeddinghugging-face
Shobhank-iiitdwd
BERT-BU-nli-sts-sent

Shobhank-iiitdwd/BERT-BU-nli-sts-sent — англоязычная модель эмбеддингов на основе BERT, дообученная на задачах распознавания логических отношений между предложениями (NLI) и оценки семантического сходства (STS). Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Для использования доступны веса PyTorch; README приводит результат 84,61% на STS (en). Модель основана на bert-base-uncased и предназначена для англоязычных задач поиска и анализа сходства предложений. Для получения эмбеддингов без Sentence-Transformers нужно самостоятельно применить подходящую операцию pooling к контекстным представлениям токенов. Лицензия в предоставленных данных не указана.

1200янв. 2023ctx512
textembeddinghugging-face
iara-project
BERTimbau-large-matryoshka-sts-pt

Это Sentence Transformer на базе BERT-Large для бразильского португальского языка, дообученный автором iara-project на наборах данных для вывода и семантического сходства текстов. Модель кодирует предложения и абзацы в плотные векторы размерности 1024; сходство между ними можно оценивать по косинусной мере. Архитектура включает BERT и усреднение токенных представлений, максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, сопоставления похожих текстов и парафразов, кластеризации и получения признаков для классификации. В README приведены оценки сходства на португалоязычных тестовых наборах, включая STS-B, ASSIN2, IRIS STS и SICK-BR. Она поддерживает португальский язык и распространяется по лицензии MIT.

1760март 2026ctx512
textembeddingmithugging-face
rufimelo
bert-large-portuguese-cased-sts

rufimelo/bert-large-portuguese-cased-sts — модель эмбеддингов на архитектуре BERT, разработанная rufimelo и дообученная на базе BERTimbau large. Она преобразует предложения и абзацы на португальском языке в плотные векторы размерностью 1024 для сравнения семантической близости. Модель предназначена для оценки семантического сходства текстов, семантического поиска и кластеризации. При обучении использовались датасеты ASSIN, ASSIN2 и STS-B Multi-MT для португальского языка. Максимальная длина контекста — 512 токенов; доступны веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана. Результаты модели ограничены португальским языком и максимальной длиной контекста; применимость к другим языкам не подтверждена.

1.3K16окт. 2022ctx512
textembeddinghugging-face
mlx-community
bge-m3-mlx-8bit

mlx-community представила неофициальную версию BAAI/bge-m3, преобразованную для MLX и квантованную до 8 бит для работы на Apple Silicon. Это плотная модель на архитектуре XLM-RoBERTa с 658,7 млн параметров; размер эмбеддинга — 1024, контекст — до 8194 токенов. Квантование affine с группами по 64 веса уменьшает размер примерно до 592 МБ. Модель предназначена для создания текстовых представлений и семантического поиска. Исходная BGE-M3 поддерживает плотный, разреженный и многовекторный поиск, включая подход ColBERT; приведённый пример использования этой версии извлекает векторные представления текста через mean pooling. Многоязычная поддержка включает английский, китайский, немецкий, испанский, французский, итальянский, японский, корейский, португальский и русский языки. Квантованная версия рассчитана на сценарии, где важны качество и работа в пределах памяти около 600 МБ. Это неофициальная конверсия, поэтому совместимость ориентирована на MLX и Apple Silicon. Лицензия — MIT.

2.6K2март 2026ctx8.2K
textembeddingmithugging-face
mostafamhmdi
bge-persian

mostafamhmdi/bge-persian — модель Sentence Transformer, дообученная автором на базе BAAI/bge-m3 для сравнения семантической близости персидских предложений и абзацев. Она построена на XLM-RoBERTa с пулингом CLS-токена и нормализацией, выдаёт плотные векторы размерностью 1024 и сравнивает их косинусным сходством. Максимальная длина последовательности составляет 8192 токена, число параметров — около 658,7 млн. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Обучение описано на наборе из 10 963 пар предложений с оценками сходства и функцией CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

750авг. 2026ctx8.2K
textembeddinghugging-face
bigscience
bloom-1b7

BLOOM-1b7 — плотная авторегрессионная языковая модель на базе Transformer, разработанная проектом BigScience. Она предназначена для генерации текста, исследования поведения языковых моделей и использования в качестве предварительно обученной основы для дальнейшей настройки. В карточке указаны сценарии извлечения информации, ответов на вопросы и суммаризации; модель также обучалась на данных с кодом. Модель относится к семейству BLOOM и принимает текст, выдавая продолжение текста. Контекст — до 4096 токенов. Метаданные содержат языковые теги для широкого набора естественных языков, а также код; точный размер этой версии в предоставленных данных не указан. Модель выпущена BigScience под лицензией BigScience BLOOM RAIL v1.0. BLOOM может выдавать ошибочную информацию как достоверную, повторяться и воспроизводить стереотипы или оскорбительный контент. Карточка не рекомендует применять её для высокорисковых решений, а также в медицинской, политической, юридической и финансовой сферах.

5.4K123май 2022ctx4.1K
textbigscience-bloom-r…hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей