/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
8 731–8 760 из 25 791
Skeiceee
roberta-base-bne-platzi-project-nlp-con-transformers

Модель Skeiceee/roberta-base-bne-platzi-project-nlp-con-transformers — дообученная для классификации текста версия PlanTL-GOB-ES/roberta-base-bne. Она использует архитектуру RoBERTa для классификации последовательностей; размер модели — 151,8 млн параметров, контекст — до 514 токенов. В карточке приведены результаты оценки: accuracy 0,858 и loss 0,4597. Модель предназначена для задач классификации текста, однако карточка не описывает метки классов, обучающий набор данных или конкретные сценарии применения. Распространяется в формате safetensors по лицензии Apache-2.0.

430май 2025ctx514
textapache-2.0hugging-face
Stern5497
sBert-swiss-legal-base

Stern5497/sBert-swiss-legal-base — модель на базе RoBERTa, упакованная в формат Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Веса содержат около 211,6 млн параметров, модель принимает текст и выдаёт векторы; указанная длина контекста — 514 токенов. При обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. Название модели указывает на юридические тексты Швейцарии, однако README не уточняет языки и состав обучающих данных. Репозиторий содержит веса PyTorch; для удобного использования предлагается библиотека Sentence-Transformers. Лицензия в предоставленных данных не указана.

1391апр. 2023ctx514
textembeddinghugging-face
asapp
sew-tiny-100k-ft-ls100h

SEW-tiny-100k-ft-ls100h — модель распознавания речи от ASAPP Research, основанная на архитектуре Squeezed and Efficient Wav2vec (SEW) и дообученная для автоматической транскрипции на LibriSpeech. Это акустическая модель SEWForCTC с 50,3 млн параметров; она принимает речь в виде аудио с частотой дискретизации 16 кГц и выдаёт текст. В карточке также описаны возможные направления дообучения базовой архитектуры для идентификации говорящего, классификации намерений и распознавания эмоций, но этот чекпойнт предназначен для ASR. Модель рассчитана на распознавание англоязычной речи. Для SEW в исследовательской работе заявлены улучшения скорости вывода и качества распознавания относительно wav2vec 2.0; конкретные показатели в README относятся к экспериментам статьи, а не гарантируют результат для каждого сценария. Для использования применяется библиотека Transformers. Лицензия — Apache-2.0.

3370март 2022
textaudioapache-2.0hugging-face
bartowski
Skywork_Skywork-R1V3-38B-GGUF

Skywork_Skywork-R1V3-38B-GGUF — это квантизированная GGUF-версия модели Skywork-R1V3-38B, разработанной командой Skywork и подготовленной пользователем bartowski. Модель предназначена для задач преобразования изображений и текста в текст, а также для запуска локальных мультимодальных сценариев через llama.cpp, LM Studio и другие совместимые проекты. В репозитории представлены варианты с точностью от BF16 до низкоразрядных форматов Q2–Q8 и IQ. Базовая модель содержит 38 млрд параметров; размер файлов варьируется примерно от 13 до 66 ГБ в зависимости от формата. Для квантования использовался llama.cpp с методом imatrix. Указан английский язык, однако сведения о размере контекста, конкретной архитектуре и полном наборе поддерживаемых языков отсутствуют. Сильной стороной модели является широкий выбор квантовок: варианты Q6 и Q5 ориентированы на высокое качество, а Q4 и Q3 позволяют снизить требования к оперативной памяти. Более компактные варианты экономичнее по ресурсам, но могут заметно уступать по качеству. Для корректной работы требуется указанный шаблон промпта с тегами system, user, assistant и маркером <think>. Модель распространяется по лицензии MIT.

1.4K7июль 2025
textimagemithugging-face
HuggingFaceTB
SmolVLM2-256M-Video-Instruct

SmolVLM2-256M-Video-Instruct — компактная мультимодальная модель Hugging Face для анализа видео, изображений и текста. Она основана на архитектуре Idefics3 и использует семейство SmolVLM; метаданные связывают её с базовой моделью HuggingFaceTB/SmolVLM-256M-Instruct. Модель принимает текстовые запросы вместе с видео или одним либо несколькими изображениями и формирует текстовые ответы. Поддерживаются английский язык, описание визуального содержимого, ответы на вопросы по видео и изображениям, сравнение материалов и распознавание текста на изображениях. Модель рассчитана на компактное развертывание: для инференса по видео README приводит потребление около 1,38 ГБ видеопамяти. Она подходит для локальных и встраиваемых сценариев с ограниченными ресурсами и дообучения под конкретную задачу. По приведённым бенчмаркам версия на 256 млн параметров уступает более крупным вариантам семейства; генерация изображений и видео не поддерживается, а ответы могут быть неточными. README предостерегает от использования модели для критически важных решений, оценки людей и других высокорисковых сценариев. Лицензия — Apache 2.0.

36K117февр. 2025ctx8.2K
textimageapache-2.0hugging-face
jimmydzj2006
snowflake-arctic-embed-xs_finetuned_aipolicy

Это компактная модель Sentence Transformer, дообученная автором репозитория jimmydzj2006 на базе Snowflake/snowflake-arctic-embed-xs. Она использует архитектуру BERT и преобразует предложения и абзацы в плотные текстовые эмбеддинги размерностью 384 для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; модель рассчитана на поиск семантически близких текстов и другие задачи сравнения и группировки предложений. Модель обучена на 2730 парах текстов с использованием MatryoshkaLoss и MultipleNegativesRankingLoss. В примерах датасета вопросы сопоставляются с ответами о действиях по снижению рисков генеративного ИИ и экологических последствиях, поэтому модель подходит для поиска по материалам этой тематики. Она также может применяться для поиска документов, выявления перефразировок, кластеризации и получения признаков для классификации. В карточке приведены результаты оценки retrieval, однако они не гарантируют качество на других данных. Лицензия в предоставленных сведениях не указана.

1250окт. 2024ctx512
textembeddinghugging-face
mahiyama
splade-ja-310m-v2

mahiyama/splade-ja-310m-v2 — японская модель разреженного поиска SPLADE, разработанная на основе sbintuitions/modernbert-ja-310m. Это дообученный ModernBERT с MLM-головой и max-пулингом SPLADE: он преобразует запросы и документы в разреженные векторы по словарным токенам, которые сравниваются скалярным произведением. Модель предназначена для семантического поиска и извлечения документов; один и тот же энкодер используется для запросов и документов. Обучение включает дистилляцию оценок реранкера и последующую краткую адаптацию на данных административных FAQ, викторин, академических текстов и длинных документов. Модель содержит около 314,6 млн параметров и поддерживает контекст до 8192 токенов. Разреженные представления подходят для инвертированных индексов и позволяют анализировать, какие токены влияют на поиск. В карточке приведена оценка на 11 задачах retrieval JMTEB v2; длина входа при оценке ограничивалась ресурсами GPU и различалась по задачам. Лицензия — MIT.

1620май 2026ctx8.2K
textembeddingmithugging-face
AdarshSingh7647
TabRankNaive

TabRankNaive — модель AdarshSingh7647 на базе Qwen3-8B, дообученная для спискового переранжирования таблиц по релевантности вопросу. Она принимает вопрос и список таблиц в одном сообщении и за одну генерацию возвращает полный порядок кандидатов в JSON; вариант Answer-Only выдаёт ранжирование без цепочки рассуждений. Модель имеет плотную архитектуру Qwen3ForCausalLM с 7,6 млрд параметров, рассчитана на контекст до 40 960 токенов и распространяется в формате safetensors. Модель предназначена для поиска нужных таблиц среди кандидатов, например при подготовке контекста для вопросно-ответных систем по табличным данным. Обучение выполнено с LoRA rank 16 с последующим слиянием адаптера с базовыми весами; использованы NQ Tables и MultiTabQA. Карточка не приводит проверенных результатов оценки именно для варианта Answer-Only, поэтому качество на целевых наборах данных по ней оценить нельзя. Лицензия — Apache-2.0.

1080июль 2026ctx41K
textapache-2.0hugging-face
BEE-spoke-data
tFINE-900m-e16-d32-flan

BEE-spoke-data/tFINE-900m-e16-d32-flan — англоязычная инструктивная модель преобразования текста в текст на архитектуре T5, разработанная BEE-spoke-data и дообученная на подмножестве flan-v2 датасета pszemraj/flan-subsets-deduped в течение одной эпохи. Модель предназначена для выполнения инструкций и генерации ответа на основе текстового запроса; её можно применять для вопросов и ответов, кратких преобразований и других текстовых задач в формате text-to-text. Модель дообучалась с входным контекстом до 1024 токенов и использует токенизатор с резервным разбиением на байты, чтобы обрабатывать текст за пределами словаря исходного токенизатора T5. В карточке приведены результаты оценки, включая ROUGE и показатели на BoolQ и OpenBookQA. Число параметров по метаданным — 284,3 млн. Модель распространяется под лицензией Apache-2.0.

450сент. 2024ctx1000M
textapache-2.0hugging-face
namdp-ptit
ViDense

ViDense — модель эмбеддингов предложений для вьетнамского языка, созданная автором namdp-ptit путём дообучения FacebookAI/xlm-roberta-large. Она предназначена для поиска семантически близких текстов и ранжирования документов по запросу. Модель содержит 658,7 млн параметров, использует mean pooling, Rotary Position Encoding и блочный параллельный трансформер; обучение включало Momentum Contrast и отдельный Rank Encoder для учёта транзитивных связей релевантности. Для оптимизации применялись cross-entropy по оценкам сходства и MSE по оценкам Spearman. В README приведены результаты Recall@3 на вьетнамских наборах ZAC, WebFAQ, OwiFAQ, ViQuAD2.0 и ViLegal. Репозиторий использует PyTorch и Transformers, веса представлены в формате PyTorch; лицензия — Apache-2.0. Модель ориентирована на вьетнамский текст, а заявленная длина контекста составляет 8194 токена.

16K5июнь 2025ctx8.2K
textapache-2.0hugging-face
timm
vit_huge_patch14_clip_224.metaclip2_worldwide

Это модель семейства CLIP с архитектурой ViT-H/14, опубликованная в репозитории timm и доступная для использования через open_clip и timm. Вариант worldwide обучен с весами MetaCLIP 2; модель сопоставляет изображения с текстовыми описаниями и подходит для классификации изображений по текстовым меткам без отдельного обучения на целевых классах. Модель принимает изображения и текстовые названия или описания классов, после чего оценивает их соответствие. Она предназначена для мультиязычных и международных сценариев, однако конкретные языки и длина контекста в доступной карточке не перечислены. Репозиторий содержит веса в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка не приводит оценок качества и подробностей обучения, поэтому результаты на конкретных наборах классов следует проверять отдельно.

6531июль 2025
textimagecc-by-nc-4.0hugging-face
gijs
voiceclap-commercial

VoiceCLAP-Commercial (small) — модель для сопоставления речи и текстовых описаний по эмоциям и манере говорения. Её разработчик в README не назван; модель дообучена на базе laion/voiceclap-small и сохраняет её двухбашенную CLAP-архитектуру размером 110 млн параметров: аудиокодировщик на основе BUD-E-Whisper-Small обрабатывает 80-мерные mel-признаки при 16 кГц, текстовый кодировщик использует all-MiniLM-L6-v2, а совместное пространство содержит нормализованные эмбеддинги размерности 768. Для выделения эмоциональных признаков добавлены 39 обучаемых прототипов эмоций и вспомогательная функция потерь. Модель обучена на данных, которые, согласно карточке, допускают коммерческое лицензирование: Emilia-YODAS, LAION's Got Talent и Majestrino; из обучающей смеси исключены источники с некоммерческими лицензиями. Она предназначена для извлечения аудио- и текстовых признаков и поиска сходства между речевыми фрагментами и описаниями эмоций или стиля речи. В сравнительном эксперименте модель показала лучшие результаты на четырёх из пяти указанных метрик относительно варианта, обученного также на некоммерческих данных, но уступила по ранжированию интенсивности эмоций на синтетическом аудио. Лицензия репозитория — CC BY 4.0.

120июнь 2026ctx512
textembeddingcc-by-4.0hugging-face
NbAiLab
wav2vec2-large-voxrex-npsc-bokmaal

NbAiLab/wav2vec2-large-voxrex-npsc-bokmaal — модель автоматического распознавания речи на базе архитектуры Wav2Vec2 с декодированием CTC. Репозиторий содержит веса PyTorch примерно на 402,7 млн параметров; модель обучена с нуля, а в метаданных указан датасет NbAiLab/NPSC. Для оценки приведены значения loss 0,1311 и WER 0,1038, однако условия оценки не описаны. Модель предназначена для преобразования аудиоречи в текст. Название указывает на норвежский букмол, но README и метаданные не подтверждают язык обучения явно. Репозиторий распространяется по лицензии Apache-2.0. Карточка не содержит подробностей о рекомендуемых сценариях, ограничениях или процедуре обучения.

240март 2022
textaudioapache-2.0hugging-face
wietsedv
wav2vec2-large-xlsr-53-frisian

Wav2Vec2-Large-XLSR-53-Frisian — модель распознавания фризской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на фризском языке в текст. Для распознавания входная речь должна быть записана с частотой дискретизации 16 кГц. В оценке на тестовой части Common Voice указано значение 16,25%; метрика в карточке не уточнена. Модель распространяется по лицензии Apache-2.0. Карточка описывает обучение и оценку на Common Voice; результаты могут отличаться на других данных и условиях записи.

310март 2022
textaudioapache-2.0hugging-face
dianavdavidson
wav2vec2-large-xlsr-53-indic_voices-61925-normalized-30_70-1e-4-steps-12000-FT

Это модель автоматического распознавания речи на базе wav2vec 2.0, дообученная Diana V. Davidson на неизвестном наборе данных. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель создана на основе facebook/wav2vec2-large-xlsr-53 и распространяется в формате Safetensors по лицензии Apache-2.0. В карточке приведён результат оценки: Global WER 53,1980 и loss 0,7691. Описание не раскрывает языки, состав обучающих данных и предполагаемые условия использования, поэтому качество для конкретного языка или типа записи оценить нельзя.

60авг. 2026
textaudioapache-2.0hugging-face
facebook
webssl-dino3b-full2b-224

Web-SSL DINO ViT-3B — визуальный трансформер, разработанный авторами работы «Scaling Language-Free Visual Representation Learning» (Fan et al., 2025). Модель обучена методом самообучения DINOv2 на 2 млрд веб-изображений из данных MetaCLIP без языковой супервизии. Модель содержит около 3,9 млрд параметров и обрабатывает изображения с разрешением 224×224 пикселя. Её основное назначение — извлечение визуальных признаков для задач компьютерного зрения; в README также сообщается о результатах на традиционных тестах зрения, визуальных вопросах, OCR и понимании диаграмм. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка описывает визуальные возможности, однако не приводит ограничений или оценок качества для отдельных сценариев.

8722апр. 2025
imageembeddingcc-by-nc-4.0hugging-face
facebook
webssl-dino7b-full8b-224

Web-SSL DINO ViT-7B — визуальная модель семейства DINOv2, представленная в работе «Scaling Language-Free Visual Representation Learning» (Fan et al., 2025). Она обучена методом самообучения на 8 млрд веб-изображений из данных MetaCLIP без языковой супервизии. Архитектура — Vision Transformer с шириной 4096, глубиной 32 и 32 головами внимания; разрешение входных изображений — 224×224 пикселя. В метаданных указано 8,6 млрд параметров, тогда как README округляет размер до 7 млрд. Модель предназначена для извлечения визуальных признаков и получения представлений изображений для задач компьютерного зрения. Авторы также сообщают о результатах на традиционных бенчмарках зрения и мультимодальных задачах, включая визуальные вопросы, OCR и понимание диаграмм; это описание не означает, что репозиторий предоставляет отдельную языковую модель для генерации ответов. Доступна в формате safetensors для Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

2033апр. 2025
imageembeddingcc-by-nc-4.0hugging-face
bartowski
zai-org_GLM-4.6V-GGUF

GLM-4.6V-GGUF — набор GGUF-квантизаций модели GLM-4.6V, разработанной zai-org и подготовленной пользователем bartowski. Модель предназначена для задач image-text-to-text, то есть обработки изображений и текста с генерацией текстовых ответов. Указаны китайский и английский языки. Данные о точной архитектуре, количестве параметров, поддерживаемой длине контекста и конкретных возможностях работы с изображениями в README не приведены. Набор включает варианты квантизации от Q8_0 до Q2_K и IQ2_M, поэтому позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; файлы имеют размер примерно от 43 до 113 ГБ. Квантизации подготовлены с использованием imatrix и llama.cpp, доступны для запуска в LM Studio, llama.cpp и других совместимых проектах. Для работы требуется использовать указанный формат prompt. Ограничения зависят от выбранной квантизации: варианты с меньшим размером могут заметно уступать по качеству, а для запуска большинства сборок требуется значительный объём оперативной или видеопамяти. Модель распространяется по лицензии MIT. README не содержит подробностей об исходных данных обучения, бенчмарках и аппаратных требованиях.

7586дек. 2025
textimagemithugging-face
shekar-ai
albert-base-v2-persian-zwnj-naab-mlm

Shekar AI разработала персидскую версию ALBERT, дообученную на корпусе Naab с задачей masked language modeling. Модель предназначена для предсказания пропущенных токенов в персидском тексте, а также может служить энкодером для получения векторных представлений предложений и дальнейшего дообучения для классификации, разметки и синтаксического анализа. В метаданных указаны архитектура ALBERT, 137,8 млн параметров и контекст до 512 токенов; README приводит другие сведения о размере модели — 11,5 млн параметров, 12 слоёв, размер скрытого состояния 768 и размер эмбеддинга 128. Особенность словаря SentencePiece — явная обработка символа ZWNJ, важного для написания персидских составных слов. README сообщает о точности top-1 49,1% на задаче предсказания замаскированных токенов. Модель компактна по замыслу, но не является источником фактических знаний: она слаба в фактическом дополнении предложений. Обучающие данные отражают возможные смещения персидских веб-текстов и новостей. Лицензия — MIT.

3993июль 2025ctx512
textmithugging-face
albert
albert-large-v1

ALBERT Large v1 — англоязычная предварительно обученная модель семейства ALBERT, выпущенная командой ALBERT и представленная в исследовательской работе. Она обучена предсказывать замаскированные токены и определять порядок соседних текстовых сегментов; основной сценарий прямого использования — заполнение пропусков в тексте, а также получение признаков для последующего дообучения под задачи классификации последовательностей, классификации токенов и ответов на вопросы. Архитектура — Transformer с 24 повторяющимися слоями и общими весами между ними, 128-мерными эмбеддингами, скрытым размером 1024 и 16 головами внимания. В README указано 17 млн параметров, тогда как метаданные Hugging Face сообщают 433,4 млн; эти сведения расходятся. Максимальная длина контекста — 512 токенов. Модель использует uncased-токенизацию SentencePiece с англоязычным словарём размером 30 000 токенов и обучалась на BookCorpus и английской Википедии. Разделение весов между слоями уменьшает требования к памяти, но вычислительная стоимость остаётся сопоставимой с BERT-подобной моделью той же глубины. Модель не предназначена для генерации длинного текста; версия v2, согласно README, показывает лучшие результаты в большинстве downstream-задач. Возможны смещения в предсказаниях, унаследованные от обучающих данных. Лицензия — Apache-2.0.

5367март 2022ctx512
textapache-2.0hugging-face
jwg0830
AX-3.1-Light-sft_v3_1b_0.5

AX-3.1-Light-sft_v3_1b_0.5 — созданная автором модели производная на основе SKT A.X-3.1-Light. Она получена усреднением весов двух дообученных моделей: sft_v0_21 и sft_v3_1b_safe, взятых с равными коэффициентами 0,5; повторного обучения на данных и изменений архитектуры не проводилось. Модель использует плотную архитектуру LlamaForCausalLM, содержит 6,8 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов на корейском языке. В README описана проверка объединения сильных сторон исходных вариантов на тестах по корейскому языку, медицине, финансам и праву; приведённые результаты — локальные ориентиры, а не официальные оценки K-AI. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия обозначена как other, поэтому конкретные условия использования следует уточнить в карточке базовой модели и связанных материалов.

150авг. 2026ctx32.8K
textotherhugging-face
BELLE-2
Belle-whisper-large-v3-turbo-zh

Belle-whisper-large-v3-turbo-zh — модель распознавания речи на основе Whisper, разработанная командой BELLE-2. Она прошла полное дообучение модели openai/whisper-large-v3-turbo для повышения точности распознавания китайской речи. В карточке заявлено относительное улучшение на 24–64% на китайских тестах AISHELL-1, AISHELL-2, WenetSpeech и HKUST по сравнению с исходной моделью. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт текст с распознанной речью. Она предназначена для транскрибирования китайской речи; в обучающие данные добавлялись знаки препинания, сформированные отдельной моделью punc_ct-transformer_cn-en-common-vocab471067-large. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в форматах PyTorch и Safetensors для библиотеки Transformers. Ограничение заявленного улучшения состоит в том, что оно относится к указанным китайским тестовым наборам; карточка не приводит оценок на других языках или в иных условиях записи. Лицензия — Apache-2.0.

12K79окт. 2024
textaudioapache-2.0hugging-face
aajrami
bert-fc-medium

bert-fc-medium — языковая модель среднего размера на архитектуре RoBERTa, разработанная aajrami. Она предварительно обучена с задачей предсказания первого символа; подробности цели и гиперпараметров обучения приведены в упомянутой в карточке научной работе. Модель предназначена для извлечения признаков из текста и получения текстовых представлений. В модели 59,3 млн параметров, максимальная длина контекста — 514 токенов. Доступны веса в форматах PyTorch и safetensors. Карточка не уточняет поддерживаемые естественные языки и прикладные области. Лицензия — CC BY 4.0.

1060нояб. 2022ctx514
textembeddingcc-by-4.0hugging-face
stjiris
bert-large-portuguese-cased-legal-mlm

Legal BERTimbau — модель на архитектуре BERT, разработанная в рамках Project IRIS для семантического поиска по материалам Верховного суда Бразилии. Она дообучена методом masked language modeling на юридических предложениях из примерно 30 000 документов и основана на BERTimbau large. Модель преобразует предложения и абзацы в плотные векторы размерностью 1024. Её можно применять для семантического поиска и кластеризации юридических текстов; также доступны заполнение пропусков в тексте и получение эмбеддингов. Контекст ограничен 512 токенами, основной язык — португальский. Репозиторий содержит веса PyTorch и Safetensors, объём модели — 433,2 млн параметров. Лицензия — MIT. Описание указывает на обучение и проверку в системе семантического поиска, но не приводит количественных результатов или подробных оценок качества.

1735янв. 2023ctx512
textembeddingmithugging-face
stjiris
bert-large-portuguese-cased-legal-mlm-mkd-nli-sts-v0

Legal BERTimbau — модель Sentence Transformers на базе BERT large, разработанная в рамках Project IRIS для семантического поиска по материалам Верховного суда Бразилии. Она преобразует предложения и абзацы на португальском языке в плотные векторы размерностью 1024, пригодные для поиска похожих текстов, кластеризации и оценки семантического сходства. Модель основана на юридической версии BERTimbau large и обучалась на португальских юридических текстах, а затем проходила многоязычную дистилляцию и дообучение на наборах ASSIN, ASSIN2 и STS-B Multi-MT для португальского. Архитектура BERT имеет 433,2 млн параметров; максимальная длина контекста — 512 токенов. Лицензия — MIT. Модель предназначена прежде всего для семантического поиска по юридическим документам на португальском языке. Она также подходит для кластеризации и сравнения предложений. Контекст ограничен 512 токенами, поэтому длинные документы потребуется разбивать на фрагменты.

1141янв. 2023ctx512
textembeddingmithugging-face
stjiris
bert-large-portuguese-cased-legal-mlm-sts-v0

Legal BERTimbau — модель sentence-transformers, разработанная в рамках Project IRIS для семантического поиска по решениям Верховного суда Португалии. Она преобразует предложения и абзацы в плотные векторы размерности 1024, пригодные для поиска по смыслу и кластеризации. Модель основана на крупной португалоязычной версии BERTimbau, адаптированной для юридических текстов, и дообучена для оценки семантического сходства на корпусах ASSIN, ASSIN2 и STS-B Multi MT. В ходе обучения также использовались юридические предложения из примерно 30 тысяч документов. Архитектура — BERT; размер составляет 433,2 млн параметров, контекст — до 512 токенов. Модель принимает текст и выдаёт векторы; карточка указывает поддержку португальского языка. Модель подходит для поиска семантически близких предложений и документов, а также для кластеризации юридических текстов. Репозиторий распространяется по лицензии MIT.

981янв. 2023ctx512
textembeddingmithugging-face
stjiris
bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-v1

Модель Legal BERTimbau разработана в рамках Project IRIS для семантического поиска по документам Верховного суда Бразилии. Это модель Sentence-Transformers на базе крупной версии BERTimbau, которая преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска по смыслу и кластеризации. Модель обучалась на португальских юридических текстах примерно из 30 тысяч документов с использованием TSDAE, а затем проходила обучение с псевдометками, на данных NLI и для оценки семантического сходства. Среди использованных наборов данных — ASSIN, ASSIN2, STS-B Multi MT и IRIS STS. Контекст составляет 512 токенов; модель содержит 433,2 млн параметров и поддерживает португальский язык. Модель подходит для семантического поиска, сопоставления и группировки юридических предложений и документов на португальском языке. Она выдаёт эмбеддинги, а не готовые ответы или юридические выводы; длина входа ограничена контекстом в 512 токенов. Лицензия — MIT.

5541янв. 2023ctx512
textembeddingmithugging-face
chuxin-llm
Chuxin-Embedding

Chuxin-Embedding — модель эмбеддингов команды Chuxin-LLM для поиска по китайским текстам. Она основана на bge-m3-retromae и использует архитектуру XLM-RoBERTa с 658,7 млн параметров; заявленная длина контекста — 8194 токена. Модель обучалась на больших корпусах из разных областей: авторы описывают этапы предварительного обучения, дообучения и дополнительной настройки. Модель кодирует запросы и документы в векторы, которые можно сравнивать для поиска семантически близких текстов и использовать в RAG-системах. В README приведены результаты на китайских наборах C-MTEB и AIR-Bench; эти показатели относятся к опубликованным авторами оценкам на дату 14 сентября 2024 года. Для работы с моделью авторы показывают библиотеку FlagEmbedding и инструкцию запроса на китайском языке. В репозитории указаны веса safetensors. Лицензия в предоставленных материалах не описана. Модель рассчитана на китайский язык и текстовый поиск; качество на других языках и вне задач извлечения информации не заявлено.

17212сент. 2024ctx8.2K
texthugging-face
OpenLLM-France
Claire-Mistral-7B-0.1

Claire-Mistral-7B-0.1 — языковая модель с архитектурой Mistral, разработанная LINAGORA и OpenLLM-France на основе Mistral-7B-v0.1. Это причинная декодерная модель на 7,1 млрд параметров, дообученная на французских диалогах; формат весов — PyTorch и Safetensors, контекст — до 32 768 токенов. Модель предназначена для продолжения диалогов и как основа для дальнейшей настройки на генерацию диалогов и понимание бесед, например для суммаризации встреч. Она обучалась на французских парламентских выступлениях, театральных текстах и интервью с разметкой говорящих; ожидаемые форматы запросов включают монолог и реплики нескольких участников. Основной язык обучения — французский, хотя модель может генерировать текст на других языках, известных исходной Mistral-7B-v0.1. Модель может воспроизводить характерные для устной речи повторы, запинки и другие разговорные конструкции. Для коммерческого использования лицензия CC BY-NC-SA 4.0 не подходит; при использовании необходимо соблюдать её условия.

3814нояб. 2023ctx32.8K
textcc-by-nc-sa-4.0hugging-face
v2ray
clipbooru

CLIPbooru — модель на основе CLIP с классификационной головой, предназначенная для присвоения изображениям тегов Danbooru. Карточка связывает её с набором данных v2ray/anime-collection; модель подходит для автоматической разметки изображений в стиле аниме тегами из этой системы. В метаданных указаны архитектура CLIPForImageClassification, формат safetensors и лицензия MIT. Размер модели, длина контекста и поддерживаемые языки в доступных сведениях не описаны.

199авг. 2024
imagemithugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей