/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
8 011–8 040 из 25 791
prithivMLmods
Qwen3-VL-8B-Instruct-Unredacted-MAX

Qwen3-VL-8B-Instruct-Unredacted-MAX — мультимодальная модель на 8 млрд параметров от prithivMLmods, дообученная на Qwen/Qwen3-VL-8B-Instruct. Это плотная vision-language-модель Qwen3-VL для диалога и задач, где нужно совместно анализировать изображения и текст; она поддерживает переменное разрешение изображений и выдаёт текстовые ответы, подписи и структурированные описания. Модель подходит для генерации подписей к изображениям, подготовки наборов данных, визуального рассуждения, тестирования устойчивости VLM и прототипирования систем с анализом изображений. В карточке отмечены улучшения упаковки, стабильности инференса и совместимости с современными версиями Transformers. Качество зависит от чёткости изображения, формулировки запроса и параметров генерации; на сложных сценах рассуждения могут быть неполными или непоследовательными, а качество меняется в зависимости от предметной области. Для инференса может потребоваться от умеренного до большого объёма VRAM, особенно при высоком разрешении. Лицензия — Apache-2.0.

25711февр. 2026ctx262.1K
textimageapache-2.0hugging-face
cl-nagoya
ruri-v3-70m

Ruri v3 70M — модель текстовых эмбеддингов для японского языка, разработанная cl-nagoya на основе предварительно обученной cl-nagoya/ruri-v3-pt-70m. Это Sentence Transformer с архитектурой ModernBERT: 70 млн параметров, 13 слоёв и выходными векторами размерности 384. Модель принимает последовательности длиной до 8192 токенов и использует токенизатор SentencePiece, которому не требуется внешняя сегментация японского текста. Модель предназначена для семантического поиска, оценки сходства предложений, классификации, кластеризации и ранжирования японских текстов. В JMTEB она показывает средний результат 75,48; сходство вычисляется по косинусной мере. Указанная лицензия — Apache 2.0. Для практического использования описана поддержка Transformers версии 4.48.0 или выше и Sentence Transformers.

23K5апр. 2025ctx8.2K
textapache-2.0hugging-face
Omartificial-Intelligence-Space
SA-BERT-V1

SA-BERT-V1 — дообученная командой Omartificial-Intelligence-Space модель эмбеддингов предложений для арабского языка, ориентированная на саудовский диалект. Она основана на MARBERTv2 и использует BERT-энкодер с mean pooling: 12 слоёв, размер скрытого состояния и эмбеддинга 768. Модель принимает текст и преобразует предложения в векторы; заявленные сценарии — семантическое сходство, кластеризация, поиск и классификация. Для дообучения использовано более 500 тысяч предложений на саудовском диалекте, включая хиджазский и надждийский варианты. В README приведена оценка на отложенной выборке из 1280 предложений по 44 категориям; она описывает сходство эмбеддингов внутри и между категориями, но не устанавливает качество для всех задач и наборов данных. Контекст составляет 512 токенов. Модель распространяется по лицензии Apache 2.0.

465май 2025ctx512
textapache-2.0hugging-face
VAGOsolutions
SauerkrautLM-ColLFM2-450M-v0.1

SauerkrautLM-ColLFM2-450M-v0.1 — компактная модель визуального поиска по документам от VAGO Solutions. Это дообученная версия LiquidAI/LFM2-VL-450M с архитектурой ColLFM2 и 450 млн параметров, предназначенная для сопоставления текстовых запросов со страницами документов по их визуальному содержимому. Модель преобразует запросы и изображения документов в многовекторные представления для поиска с поздним взаимодействием. Такой подход помогает учитывать структуру страниц, таблицы, графики и формы без отдельного этапа OCR. В карточке приведены результаты на наборах ViDoRe и MTEB, включая многоязычные задания. Заявлена поддержка английского, немецкого, французского, испанского, итальянского и португальского языков. Для загрузки авторы предлагают пакет sauerkrautlm-colpali и примеры использования с sentence-transformers. В репозитории указана лицензия other; её конкретные условия следует проверить перед использованием. Модель рассчитана на поиск релевантных страниц по текстовым запросам, а не на генерацию ответов или текста.

9411дек. 2025
textimageotherhugging-face
akhooli
sbert-nli-500k-triplets-MB

akhooli/sbert-nli-500k-triplets-MB — модель Sentence Transformers на архитектуре ModernBERT, разработанная на основе akhooli/ModernBERT-ar-base-tiny и дообученная на 550 тысячах арабских NLI-триплетов. Она преобразует предложения и абзацы на арабском языке в плотные векторы размерностью 768 для сравнения по косинусному сходству; максимальная длина последовательности составляет 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Обучение на парах запрос–положительный пример–отрицательный пример помогает сопоставлять запросы с релевантными фрагментами. Лицензия — Apache-2.0. Модель ориентирована на арабский язык; качество на других языках карточкой не подтверждено. Она выдаёт эмбеддинги, а не готовые ответы или метки классов, поэтому для классификации требуется отдельная модель или последующая обработка векторов.

150янв. 2025ctx8.2K
textembeddingapache-2.0hugging-face
mitra-mir
setfit-model-Misinformation-on-Media-Traditional-Social

Карточка модели mitra-mir/setfit-model-Misinformation-on-Media-Traditional-Social на Hugging Face совпадает с карточкой mitra-mir/setfit-model-Misinformation-on-Global-Support, поэтому описание составлено по ней. Это модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория mitra-mir. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель распространяется в формате PyTorch. Название репозитория указывает на тему дезинформации о глобальной поддержке, однако README не описывает специализированные функции или результаты классификации по этой теме. Модель подходит для получения текстовых эмбеддингов и поиска семантически близких фрагментов. Для использования описан интерфейс библиотеки Sentence-Transformers. Лицензия в предоставленных данных не указана.

980февр. 2023ctx514
textembeddinghugging-face
thomaskim1130
stella_en_400M_v5-FinanceRAG

thomaskim1130/stella_en_400M_v5-FinanceRAG — дообученная модель Sentence Transformers на базе stella_en_400M_v5, подготовленная для получения векторных представлений предложений и абзацев. Она кодирует текст в плотные векторы размерностью 1024 и использует косинусное сходство для сравнения. В метаданных указаны 433,9 млн параметров и контекст до 8192 токенов; в README для модели указана максимальная длина последовательности 512 токенов. Модель подходит для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Название FinanceRAG предполагает применение в поиске по финансовым материалам, однако README не описывает отдельную финансовую специализацию или конкретную оценку на финансовом наборе данных. Обучение проведено на 2256 парах предложений с использованием MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.

233нояб. 2024ctx8.2K
textembeddinghugging-face
tokyotech-llm
Swallow-13b-instruct-v0.1

Карточка модели tokyotech-llm/Swallow-13b-instruct-v0.1 на Hugging Face совпадает с карточкой tokyotech-llm/Swallow-7b-instruct-v0.1, поэтому описание составлено по ней. Swallow-7b-instruct-v0.1 — диалоговая языковая модель TokyoTech-LLM на архитектуре Llama 2 с 6,7 млрд параметров. Она прошла дополнительное предварительное обучение преимущественно на японских текстах, а версия instruct — supervised fine-tuning для следования инструкциям. Токенизатор с расширенным японским словарём эффективнее представляет японский текст. Модель принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Модель предназначена для диалогов и выполнения текстовых инструкций на японском и английском языках: написания текстов, ролевых диалогов, ответов на вопросы, рассуждений и извлечения информации. В README опубликованы оценки на японском MT-Bench и сравнение с другими моделями, однако они не гарантируют качества для каждого сценария. Выпуск v0.1 обозначен как предварительная версия; разработчики предупреждают, что модель ещё не настроена на соответствие человеческим намерениям и требованиям безопасности. Лицензия — Llama 2 Community License (llama2).

1391март 2024ctx4.1K
textllama2hugging-face
jonaskoenig
topic_classification_04

jonaskoenig/topic_classification_04 — дообученная модель Microsoft XtremeDistil на базе microsoft/xtremedistil-l6-h256-uncased для классификации текста по категориям. Это компактная BERT-модель с 14,1 млн параметров, принимающая текстовые последовательности длиной до 512 токенов. Карточка сообщает о дообучении на неизвестном наборе данных; в оценке указана разреженная категориальная точность 0,7237 на девятой эпохе. Базовая модель предназначена для английского текста, поэтому модель подходит для тематической классификации англоязычных текстов, но качество на других языках не подтверждено. Лицензия — MIT.

1727июль 2022ctx512
textmithugging-face
AIJian
TrustSQL-8B

TrustSQL-8B — дообученная модель AIJian на основе Qwen3-8B для преобразования запросов на естественном языке в SQL при работе с ранее неизвестными схемами баз данных. Она построена на архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров по метаданным и поддерживает контекст до 40 960 токенов. Модель обучали в два этапа: начальное дообучение с учителем и оптимизация Phase-Aware GRPO с многошаговым взаимодействием с инструментами по протоколу Explore → Propose → Generate → Confirm. Модель предназначена для использования в цикле агента с доступом к инструментам: она исследует схему, формирует и уточняет SQL-запрос. В README приведены результаты на BIRD-Dev, Spider-Test и Spider-DK для сценария неизвестной схемы. Базовая модель Qwen3-8B — многоязычная, однако языки, на которых TrustSQL-8B проверена для Text-to-SQL, отдельно не перечислены. Модель распространяется под лицензией Apache-2.0. README указывает, что обучение и оценка проводились на бенчмарках с SQLite; для работы требуется доступная и безопасная среда получения метаданных и выполнения запросов. Сгенерированный SQL следует проверять, а доступ к базе по умолчанию ограничивать режимом чтения.

910март 2026ctx41K
textapache-2.0hugging-face
jealk
TTC-L2V-supervised-2

Jealk/TTC-L2V-supervised-2 — модель эмбеддингов предложений, разработанная Jesper Alkestrup из The Tech Collective. Она дообучена методом LLM2Vec на базе AI-Sweden-Models/Llama-3-8B-instruct и использует двунаправленный энкодер Llama с инструкционно-ориентированным mean pooling. Модель предназначена для преобразования датских, шведских и норвежских текстов в векторы для поиска и сравнения предложений; карточка также указывает поддержку извлечения признаков и кластеризации текста. Модель содержит 7,5 млрд параметров, работает с контекстом до 8192 токенов и доступна в формате safetensors через библиотеку sentence-transformers. Для загрузки требуется разрешить trust_remote_code, поскольку репозиторий содержит пользовательские модули энкодера и pooling. Указанная лицензия — MIT. Полная версия в bfloat16 требует около 14 ГБ памяти; варианты с 8- и 4-битной квантизацией требуют примерно 8 и 5 ГБ соответственно, но качество квантизированных вариантов не оценивалось.

1158май 2025ctx8.2K
textembeddingmithugging-face
SirZQ
VeraRetouch_llava_Qwen2

Карточка модели SirZQ/VeraRetouch_llava_Qwen2 на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

250авг. 2026ctx32.8K
textapache-2.0hugging-face
doan2506
vietnamese-bi-encoder-finetuned

doan2506/vietnamese-bi-encoder-finetuned — модель Sentence Transformers, дообученная автором на основе bkai-foundation-models/vietnamese-bi-encoder. Она использует архитектуру RoBERTa с усредняющим pooling и преобразует текстовые предложения и абзацы во встроенные векторы размерности 768; число параметров — 162,4 млн. Векторы подходят для семантического поиска и извлечения релевантных текстов, а сходство можно оценивать косинусной мерой. Модель предназначена для поиска по текстам на вьетнамском языке. В README приведена оценка на задаче информационного поиска и указано обучение на 3360 примерах с anchor, positive и negative. Максимальная длина последовательности составляет 258 токенов по метаданным. Лицензия в предоставленных данных не указана.

1160июнь 2026ctx258
textembeddinghugging-face
dangvantuan
vietnamese-embedding

dangvantuan/vietnamese-embedding — модель эмбеддингов предложений для вьетнамского языка, разработанная на основе PhoBERT с архитектурой RoBERTa. Она преобразует текст векторы размерности 768 и предназначена для семантического поиска, сравнения сходства предложений и кластеризации текстов. Модель построена на Sentence Transformers: использует среднее объединение токенных представлений и поддерживает последовательности до 512 токенов согласно README; метаданные каталога указывают контекст 258 токенов. Веса содержат 162,4 млн параметров. Обучение включало SimCSE с контрастивным обучением, а также дообучение на наборах XNLI-vn и STSB-vn. В карточке приведены результаты оценки корреляции на наборах семантического сходства для вьетнамского языка. Модель подходит для поиска семантически близких фраз и группировки вьетнамских текстов по смыслу. Она принимает текст и возвращает векторные представления; результаты для других языков карточкой не подтверждены. Распространяется по лицензии Apache-2.0.

6.4K56апр. 2024ctx258
textembeddingapache-2.0hugging-face
skydheere
wav2vec2-large-mms-1b-somalia

skydheere/wav2vec2-large-mms-1b-somalia — модель распознавания речи на основе wav2vec2-large, дообученная на facebook/mms-1b-all с использованием набора данных xtreme_s. Она принимает аудио и преобразует речь в текст; репозиторий указывает архитектуру Wav2Vec2ForCTC и размер около 1,3 млрд параметров. На оценочной выборке приведены loss 0,5553 и WER 0,4330. Карточка не описывает поддерживаемый язык и условия применения подробнее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

172дек. 2024
textaudiocc-by-nc-4.0hugging-face
hkust-nlp
WebExplorer-8B

WebExplorer-8B — агентная языковая модель на 7,6 млрд параметров, разработанная командой HKUST-NLP на основе Qwen3-8B и дообученная с помощью supervised fine-tuning и обучения с подкреплением по алгоритму GRPO. Она предназначена для сложного поиска информации в интернете: модель выполняет многошаговые запросы, использует инструменты поиска и просмотра веб-страниц, анализирует найденные сведения и формирует ответы. Модель поддерживает контекст до 131 072 токенов и до 100 последовательных вызовов инструментов. В карточке заявлены результаты на наборах BrowseComp, GAIA, WebWalkerQA, FRAMES, XBench-DS и HLE. Интерфейс модели рассчитан на диалог и вызов инструментов; метаданные указывают поддержку английского языка, а README также приводит результаты для китайских запросов. Модель распространяется под лицензией Apache-2.0. Результаты бенчмарков получены с оценкой LLM-as-Judge и могут зависеть от среды выполнения и настройки инструментов.

63214сент. 2025ctx131.1K
textapache-2.0hugging-face
bond005
whisper-large-v3-ru-podlodka

Whisper Large V3 Russian Podlodka — модель распознавания русской речи, дообученная авторами репозитория на базе Whisper Large V3. Она предназначена для транскрибации длинных аудиозаписей, в частности лекций и интервью, и используется как финальный компонент системы Pisets для подготовки расшифровок. В описанной системе распознавание дополняют сегментация речи с помощью Wav2Vec2 и фильтрация неречевых фрагментов с помощью Audio Spectrogram Transformer. Модель построена на архитектуре Whisper, содержит около 905,2 млн параметров и работает с аудио на входе, выдавая текст. В карточке перечислены обучающие наборы Taiga Speech v2, Podlodka Speech и RuLibriSpeech. Модель опубликована в форматах PyTorch и Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит численных результатов оценки качества, поэтому преимущество модели для конкретных условий записи по ней количественно оценить нельзя.

38117май 2024
textaudioapache-2.0hugging-face
nuvocare
WikiMedical_sent_biobert_multi

WikiMedical_sent_biobert_multi — многоязычная модель nuvocare на базе XLM-RoBERTa, предназначенная для получения плотных векторных представлений предложений и абзацев размерностью 768. Её обучали воспроизводить эмбеддинги модели nuvocare/WikiMedical_sent_biobert: XLM-RoBERTa-base выступала ученической моделью, а исходная WikiMedical — учительской. В метаданных указано 305,2 млн параметров и контекст до 514 токенов. Модель подходит для семантического поиска, сравнения сходства, кластеризации и межъязыкового сопоставления текстов. Обучение использовало датасет TED2020 на английском, испанском, французском, немецком, итальянском, каталанском, польском, русском и нидерландском языках; приведённые в карточке оценки охватывают часть этих языков. Данные о лицензии в предоставленных источниках отсутствуют.

1252окт. 2023ctx514
textembeddinghugging-face
Jiva
xlm-roberta-large-it-mnli

Jiva/xlm-roberta-large-it-mnli — модель классификации текста, разработанная Jiva на основе XLM-RoBERTa large и дообученная на задаче вывода по естественному языку (NLI) на итальянском переводе корпуса MNLI. Она предназначена прежде всего для классификации итальянских текстов без заранее заданного набора классов: пользователь передаёт текст и варианты меток, а модель оценивает их соответствие. Модель можно использовать через zero-shot-classification pipeline Transformers; метки и текст могут быть на разных языках, хотя шаблон гипотезы рекомендуется переводить на итальянский для повышения качества. Архитектура — XLM-RoBERTa для классификации последовательностей, около 658,7 млн параметров, максимальный контекст — 514 токенов. Обучение выполнено на переводе MNLI, а в обновлённой версии использован полный обучающий набор после удаления примерно 1000 неудачно переведённых пар. Карточка приводит точность 84,75 и 85,39 на двух вариантах итальянской оценки; модель также может работать с другими языками благодаря многоязычной предобученной базе, но основное назначение — итальянская классификация. Для классификации только на английском автор рекомендует bart-large-mnli или его дистиллированный вариант. Лицензия — MIT.

1118март 2022ctx514
textmithugging-face
rasyosef
bert-amharic-text-embedding-medium

rasyosef/bert-amharic-text-embedding-medium — модель Sentence Transformers, дообученная разработчиком на базе rasyosef/bert-medium-amharic на наборе amharic-passage-retrieval-dataset. Она кодирует предложения и абзацы на амхарском языке в плотные векторы размерностью 512 для поиска по смыслу и сравнения текстов. Архитектура включает BERT, усреднение токенных представлений и нормализацию векторов; максимальная длина входа — 512 токенов, сходство оценивается косинусной мерой. Модель подходит для семантического поиска и извлечения релевантных фрагментов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации амхарских текстов. В README приведены результаты оценки информационного поиска, включая cosine_accuracy@1 0,6025 для 512 измерений. Модель принимает текст и выдаёт векторные представления; генерацию текста она не выполняет. Распространяется по лицензии Apache-2.0.

3090янв. 2025ctx512
textembeddingapache-2.0hugging-face
DIACDE
bertimbaularge_tjgo_diacde_sts

DIACDE/bertimbaularge_tjgo_diacde_sts — Sentence Transformer, дообученный Дирекцией искусственного интеллекта, науки о данных и статистики суда штата Гояс (TJGO) на базе neuralmind/bert-large-portuguese-cased. Модель кодирует предложения и абзацы в плотные векторы размерности 1024; архитектура включает BERT Large и усреднение токенных представлений. Максимальная длина последовательности — 512 токенов, сходство можно оценивать косинусной мерой. Модель предназначена для поиска семантически близких португалоязычных текстов, оценки сходства предложений, поиска перефразировок, кластеризации и извлечения признаков для классификации. Карточка приводит результаты оценки на наборе sts-dev: корреляция Спирмена составляет 0,6928 для косинусного сходства; качество зависит от данных и метрики. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1592авг. 2025ctx512
textembeddingcc-by-nc-4.0hugging-face
ToetsChecker-Research
boterham

Boterham 0.5B — компактная преимущественно нидерландоязычная языковая модель от ToetsChecker Research. Это decoder-only Transformer с 488,2 млн параметров; экспорт использует реализацию Qwen3ForCausalLM, но веса и токенизатор обучены с нуля, поэтому модель не является производной от Qwen. Контекстное окно — 2 048 токенов. Модель принимает текст и предназначена прежде всего для работы с предоставленными фрагментами и документами: извлечения ответов, суммаризации и воздержания от ответа, если нужной информации в тексте нет. Также обучалась арифметике, классификации, переводу между нидерландским и английским языками и коротким диалогам. Модель подходит для экспериментов с NLP на нидерландском языке, документных помощников и сценариев RAG. Лицензия — Apache-2.0. Это небольшая экспериментальная модель с ограниченными общими знаниями; она может ошибаться или выдумывать сведения. Контекст короткий, а открытый диалог и творческая генерация получили меньше внимания при обучении. Фактические утверждения следует проверять по источникам; опубликованных результатов EuroEval пока нет.

3321сент. 2026ctx2K
textapache-2.0hugging-face
lgris
bp500-base100k_voxpopuli

bp500-base100k_voxpopuli — модель автоматического распознавания речи на базе Wav2Vec 2.0, дообученная для бразильского варианта португальского языка. В карточке указано, что исходное обучение выполнялось с fairseq, а опубликованная версия представляет собой конвертированную модель. Число параметров — 113,3 млн; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей на бразильском португальском в текст. Для обучения использовались объединённые данные CETUC, Common Voice, LaPS BM, Multilingual Librispeech, TEDx, SID и VoxForge; README приводит результаты WER на тестовых выборках этих корпусов, которые различаются между наборами и не всегда улучшаются при использовании 4-граммной языковой модели. Лицензия репозитория — Apache-2.0. Карточка показывает демонстрационные примеры и оценки, поэтому результаты на других типах аудио могут отличаться.

8.0K1март 2022
textaudioapache-2.0hugging-face
ibm-research
ColD-Fusion

ColD-Fusion — текстовая модель на базе RoBERTa, разработанная IBM Research и дообученная на смеси из 35 датасетов. Она предназначена прежде всего как универсальная отправная точка для дообучения под новые задачи классификации текста; также из неё можно извлекать векторные представления текста. Архитектура — RoBERTa с 151,8 млн параметров, контекст — до 514 токенов. Модель принимает текст и формирует представления или классификационные оценки; в метаданных Hugging Face основная задача указана как text-classification, язык карточки — английский. ColD-Fusion показывает сильные результаты на наборе разнообразных задач, включая анализ тональности, определение тематики, распознавание текстовых отношений и классификацию эмоций. В README сообщается, что при оценке на 36 датасетах средний балл составил 78,47 против 76,22 у RoBERTa-base. Лицензия — MIT. Для прикладной задачи рекомендуется дообучить модель на соответствующих данных; оценки из README не гарантируют аналогичного качества на других доменах.

12812дек. 2022ctx514
textmithugging-face
MoritzLaurer
deberta-v3-xsmall-zeroshot-v1.1-all-33

Moritz Laurer дообучил DeBERTa-v3-xsmall для классификации без заранее заданного набора классов: пользователь задаёт текстовые метки, а модель оценивает соответствие им входного текста. Модель предназначена для быстрого zero-shot анализа, в том числе на периферийных устройствах и в браузере через transformers.js. Основа — microsoft/deberta-v3-xsmall. В README указаны 22 млн параметров основной части модели, 128 млн параметров словаря и размер файла 142 МБ; метаданные указывают 77,5 млн параметров. Модель принимает текст, поддерживает английский язык и имеет контекст 512 токенов. Доступны форматы PyTorch, safetensors и ONNX. Модель компактнее и эффективнее более крупных вариантов семейства, но, согласно README, показывает более низкое качество. Отдельная zero-shot оценка для этой версии не проводилась; приведены результаты стандартной точности на наборах данных, использованных при обучении. Лицензия — MIT.

44K11янв. 2024ctx512
textmithugging-face
valhalla
distilbart-mnli-12-3

DistilBart-MNLI-12-3 — дистиллированная модель семейства BART, разработанная Valhalla на основе bart-large-mnli. Она предназначена для классификации текста по заданным пользователем категориям без отдельного обучения на этих категориях: модель оценивает соответствие текста гипотезам, сформулированным для меток классов. Модель содержит 252,8 млн параметров и принимает последовательности длиной до 1024 токенов. При создании были взяты чередующиеся слои bart-large-mnli, после чего модель дополнительно обучили на тех же данных MNLI. По данным карточки, точность составляет 88,1% на matched и 88,19% на mismatched части оценки MNLI; исходная модель показывает 89,9% и 90,01% соответственно. Репозиторий содержит веса PyTorch и Flax. Метаданные не указывают лицензию; модель ориентирована на английский язык, что следует из обучения и оценки на MNLI.

16K20март 2022ctx1K
texthugging-face
ssmits
Falcon2-8B-Czech

ssmits/Falcon2-8B-Czech — чешская текстовая модель семейства Falcon, созданная слиянием предварительно обученных языковых моделей с помощью mergekit и метода passthrough. В качестве исходной модели указана ssmits/Falcon2-5.5B-Czech; архитектура — плотная причинная модель FalconForCausalLM, файлы опубликованы в формате safetensors. По метаданным, модель содержит 11,8 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на чешском языке; каталог также относит к поддерживаемым задачам ответы на вопросы и классификацию текста и токенов. Она распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества, поэтому практическую точность для конкретных сценариев следует проверять отдельно.

320июнь 2024ctx8.2K
textapache-2.0hugging-face
facebook
fasttext-de-vectors

facebook/fasttext-de-vectors — предварительно обученные векторные представления немецких слов на основе fastText, разработанного Facebook. Модель предназначена для получения векторов слов и использования их в задачах извлечения признаков, классификации текста и определения языка. fastText работает на обычных многоядерных процессорах; обучение и применение не требуют специализированного оборудования. Векторы размерности 300 обучены методом CBOW с весами позиций, символьными n-граммами длины 5, окном 5 и 10 отрицательными примерами. Обучающие данные взяты из Common Crawl и Википедии. Лицензия — CC BY-SA 3.0. Модель может наследовать смещения обучающих данных; сходство векторов не гарантирует семантической эквивалентности.

5643март 2023
textembeddingcc-by-sa-3.0hugging-face
facebook
fasttext-pt-vectors

facebook/fasttext-pt-vectors — готовые векторные представления слов на португальском языке для библиотеки fastText, разработанной Facebook. Модель предназначена для извлечения признаков из текста, языковой идентификации и использования в качестве входных представлений для классификаторов и других NLP-систем. Векторы обучены методом CBOW с позиционными весами на текстах Common Crawl и Википедии. Размерность представлений — 300; используются символьные n-граммы длиной 5, окно контекста 5 и 10 отрицательных примеров. fastText работает на обычных многоядерных процессорах и подходит для прототипирования и применения в продуктивных системах. Модель выдает векторы слов, а не готовые ответы или метки классов. В README отмечен риск смещённых предсказаний; косинусное сходство между векторами можно использовать для оценки семантической близости. Лицензия — CC-BY-SA-3.0.

3851март 2023
textembeddingcc-by-sa-3.0hugging-face
RishuD7
finetune_base_bge_pretrained_v4

RishuD7/finetune_base_bge_pretrained_v4 — модель на основе архитектуры BERT от пользователя Hugging Face RishuD7. Она предназначена для извлечения признаков из текста, в частности получения контекстных векторных представлений, пригодных для последующей обработки или поиска. В метаданных указаны 136,7 млн параметров, контекст до 512 токенов и формат PyTorch. Карточка Hugging Face не содержит описания обучения, рекомендуемых сценариев, языков или лицензии. Поэтому нельзя подтвердить, на каких данных и для каких языков модель дообучена; название репозитория само по себе не устанавливает базовую модель или лицензионные условия.

14K0окт. 2023ctx512
textembeddinghugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей