/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
8 311–8 340 из 25 791
amichelini
bge-base-financial-matryoshka

BGE base Financial Matryoshka — англоязычная модель Sentence Transformers, дообученная на финансовых текстовых парах от BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768 и сравнивает их с помощью косинусного сходства. Архитектура основана на BERT с CLS-пулингом и нормализацией; контекст — до 512 токенов. Модель предназначена для семантического поиска и сопоставления финансовых фрагментов, включая поиск ответов в документах и сравнение формулировок. Matryoshka-обучение позволяет использовать укороченные эмбеддинги размерностью 512, 256, 128 или 64 с некоторым снижением качества поиска. В README приведены результаты InformationRetrievalEvaluator на наборах dim_768, dim_512, dim_256, dim_128 и dim_64; описание датасета указывает на 6 300 пар с положительными примерами и запросами. Модель принимает текст и выдаёт векторы для задач поиска, сходства, кластеризации и классификации текста. Лицензия — Apache-2.0. Карточка не приводит отдельной оценки на независимом финансовом бенчмарке, поэтому качество на конкретных данных следует проверять отдельно.

1150сент. 2024ctx512
textembeddingapache-2.0hugging-face
Chuangmail
bge-base-financial-matryoshka

Chuangmail/bge-base-financial-matryoshka — англоязычная модель Sentence Transformers, дообученная на 6 300 парах вопросов и ответов о компаниях и финансовой отчётности на базе BAAI/bge-base-en-v1.5. Она использует BERT и преобразует текстовые фрагменты в плотные эмбеддинги для семантического поиска, сравнения предложений и извлечения информации из финансовых документов. Модель выдаёт векторы размерностью до 768 и поддерживает Matryoshka-размеры 512, 256, 128 и 64; для сравнения применяется косинусное сходство. Максимальная длина последовательности — 512 токенов. Лицензия — Apache-2.0. В карточке приведены результаты оценки поиска на нескольких размерностях, но они относятся к указанным наборам данных и не гарантируют аналогичного качества на других корпусах.

1350март 2025ctx512
textembeddingapache-2.0hugging-face
1Developer
cali-whisper-tiny.en-drop-005-production

Модель 1Developer/cali-whisper-tiny.en-drop-005-production — дообученная версия Whisper tiny.en, созданная на основе 1Developer/cali-whisper-tiny.en-drop-004-production и обученная на датасете audiofolder. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В карточке приведены результаты оценки: loss 0,0002 и WER 0,0; этих значений недостаточно, чтобы судить о качестве на других данных. Используются архитектура Whisper и библиотека Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0.

90авг. 2026ctx1K
textaudioapache-2.0hugging-face
prithivMLmods
Common-Voice-Gender-Detection

Common-Voice-Gender-Detection — модель PrithivMLmods для бинарной классификации аудио по голосовым признакам с метками «female» и «male». Она дообучена на facebook/wav2vec2-base-960h и использует архитектуру Wav2Vec2ForSequenceClassification; размер модели — 113,3 млн параметров. Модель предназначена для определения метки голоса в речевых записях: например, для тегирования аудио, сортировки голосовых наборов данных и вспомогательной аналитики звонков, подкастов и интервью. В README приведён отчёт классификации на 6545 примерах с точностью 98,46%; эти результаты относятся к указанной оценке и не гарантируют такую же точность на других данных. Модель принимает аудио и выдаёт класс, поэтому подходит для классификации, а не для транскрибирования речи. Базовая модель ориентирована на английскую речь, а метаданные указывают английский язык. Лицензия — Apache-2.0.

195K35май 2025
textapache-2.0hugging-face
ku-nlp
deberta-v3-base-japanese

ku-nlp/deberta-v3-base-japanese — базовая модель семейства DeBERTa V3, разработанная Nobuhiro Ueda и предварительно обученная на корпусе LLM-jp corpus v1.0.1. Она подходит для задач понимания японского текста и masked language modeling, а также может служить основой для дообучения под прикладные задачи NLU. Модель имеет плотную архитектуру DeBERTa-v2, содержит 187,7 млн параметров и использует контекст до 512 токенов. Обучение проводилось на японских и английских текстах, а также на коде; токенизатор основан на Unigram с byte fallback и словаре, преобразованном из llm-jp-tokenizer v2.2. Предварительная морфологическая сегментация токенизатору не требуется. Модель распространяется по лицензии Apache-2.0. README описывает применение для masked language modeling и приводит результаты дообучения на японских задачах JGLUE; модель сама по себе не является специализированной генеративной чат-моделью.

4.4K19апр. 2024ctx512
textapache-2.0hugging-face
mlx-community
diar_sortformer_4spk-v1-fp32

Это версия модели NVIDIA Sortformer для офлайн-разметки активности и временных сегментов речи до четырёх говорящих. Репозиторий mlx-community содержит конвертацию исходной модели nvidia/diar_sortformer_4spk-v1 в формат MLX с помощью mlx-audio 0.3.2; архитектура включает FastConformer из 18 слоёв, Transformer Encoder из 18 слоёв и модули Sortformer. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт вероятности активности каждого говорящего по кадрам. Она подходит для диаризации аудиозаписей с несколькими собеседниками и разметки речевой активности, максимум для четырёх голосов. В карточке указана лицензия исходной модели; отдельные условия лицензирования этой конвертации не приведены.

1490февр. 2026
audiohugging-face
distil-whisper
distil-large-v3

Distil-Whisper distil-large-v3 — англоязычная модель распознавания речи, разработанная командой Distil-Whisper и полученная дистилляцией OpenAI Whisper large-v3. Она предназначена для транскрибации коротких записей и длинных аудиофайлов; архитектура — кодировщик-декодировщик Whisper с сокращённым числом слоёв декодера. В README указано 756 млн параметров, тогда как метаданные каталога указывают 905,2 млн параметров. Модель рассчитана на английскую речь и поддерживает последовательный и пакетный алгоритмы обработки длинных записей. По данным README, качество на длинных аудио близко к Whisper large-v3, а распознавание выполняется примерно в 6,3 раза быстрее; для одиночных длинных файлов, где важна скорость, рекомендуется пакетный алгоритм, а для точности и пакетной обработки — последовательный. Модель доступна по лицензии MIT. Она предназначена для распознавания речи на английском языке; вывод включает текстовую транскрипцию, а при соответствующих настройках — временные метки сегментов.

597K384март 2024
textaudiomithugging-face
dnotitia
DNA-VL-STEER-2B

DNA-VL-STEER-2B — мультимодальная модель эмбеддингов от dnotitia, дообученная на базе Qwen/Qwen3-VL-Embedding-2B. Она преобразует текст, изображения и видео в общее 2048-мерное пространство векторов; поддерживает инструкционно-зависимый интерфейс и контекст до 32 тысяч токенов. Изменены ранние слои residual stream, а остальные веса, включая vision tower, сохранены как в базовой модели. Модель предназначена прежде всего для мультиязычного поиска и сопоставления подписей с изображениями и видео. Калибровка охватывает все 36 языков XM3600 и заметно улучшает мультиязычный визуальный поиск, особенно для ряда низкоресурсных языков; README приводит результаты и для корейского. Лицензия — Apache-2.0. Улучшения ориентированы на визуальные подписи: для абстрактного текстового поиска, классификации тонких визуальных различий и составных запросов результаты могут ухудшаться. Пользователям следует сравнить модель с базовой на своей задаче; сильное сокращение размерности эмбеддингов также может существенно снизить качество отдельных сценариев.

60912июль 2026ctx262.1K
textembeddingapache-2.0hugging-face
thealper2
donut-im2latex

thealper2/donut-im2latex — модель распознавания математических формул, разработанная на основе Donut и дообученная на наборе yuntian-deng/im2latex-100k. Она принимает изображение набранной формулы и напрямую генерирует её LaTeX-код без отдельного этапа OCR. Архитектура Vision-Encoder-Decoder сочетает визуальный энкодер Swin Transformer и авторегрессионный декодер в стиле BART. Модель предназначена для преобразования изображений формул, например скриншотов или фрагментов научных документов, в редактируемый LaTeX. На валидационной выборке указаны точное совпадение 0,505 и CER 0,0558. Модель не рассчитана на рукописную математику, распознавание целых страниц или текста в естественных сценах. Длинные и вложенные выражения могут обрезаться или разбираться неверно, редкие символы и изображения низкого качества снижают точность; сгенерированный LaTeX может требовать проверки и не всегда компилируется. Лицензия — Apache-2.0.

250авг. 2026
textimageapache-2.0hugging-face
JumareKhaled
e5-small-v2-medichat-finetuned

JumareKhaled/e5-small-v2-medichat-finetuned — текстовая Sentence Transformer-модель, дообученная на базе intfloat/e5-small-v2. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 384 и рассчитана на извлечение текстовых признаков, поиск и сопоставление по косинусному сходству. Архитектура основана на BertModel с усредняющим pooling; максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и извлечения медицинских текстов. Название указывает на медицинскую настройку, однако карточка не описывает конкретную специализацию, данные обучения или оценку качества, поэтому результаты для медицинских запросов следует проверять. В метаданных указана лицензия? Нет сведений о лицензии; условия использования следует сверить на странице репозитория.

1021июль 2026ctx512
textembeddinghugging-face
facebook
fasttext-ja-vectors

Это предварительно обученная модель векторных представлений fastText для японского языка, опубликованная Facebook. Она предназначена для получения векторов слов и использования этих представлений в задачах извлечения признаков, классификации текста и определения языка. Векторы обучены на данных Common Crawl и Википедии с помощью CBOW с позиционными весами. Размерность векторов — 300; модель использует символьные n-граммы длиной 5, окно контекста 5 и 10 отрицательных примеров. Для токенизации японского текста применялся MeCab. fastText рассчитан на работу на обычном оборудовании и может использоваться для прототипирования и в прикладных системах. Модель подходит для анализа семантической близости слов и подготовки признаков для классификаторов. Векторы отражают возможные предубеждения обучающих данных и могут приводить к смещённым результатам. Лицензия — CC BY-SA 3.0.

7656март 2023
textembeddingcc-by-sa-3.0hugging-face
prithivMLmods
FastThink-0.5B-Tiny

FastThink-0.5B-Tiny — компактная модель генерации текста с фокусом на рассуждениях, созданная на основе Qwen2.5-0.5B-Instruct и опубликованная prithivMLmods. Это плотная трансформерная архитектура Qwen2 с 494 млн параметров; метаданные указывают контекст до 32 768 токенов. Репозиторий содержит веса Safetensors и формат ONNX. Модель предназначена для диалогов, следования инструкциям, логических задач, генерации структурированных ответов, включая JSON и таблицы, а также для простых задач по математике и коду. Её можно применять в чат-ботах, аналитических сценариях и приложениях с ограниченными вычислительными ресурсами. В карточке заявлена поддержка более 29 языков; метаданные отдельно указывают английский. Небольшой размер ограничивает возможности в сложных рассуждениях и специализированных областях; качество может снижаться на неоднозначных запросах, длинных контекстах и языках с меньшей представленностью. Заявление README о контексте до 128K расходится с указанным в метаданных лимитом 32 768 токенов. Лицензия — Apache-2.0.

527янв. 2025ctx32.8K
textapache-2.0hugging-face
FinLang
finance-embeddings-investopedia

FinLang/finance-embeddings-investopedia — модель эмбеддингов команды FinLang, дообученная для финансовых приложений на базе BAAI/bge-base-en-v1.5. Она построена на архитектуре BERT, содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768. Контекст ограничен 512 токенами. Модель предназначена для семантического поиска и кластеризации финансовых текстов, в том числе для поиска по документам в RAG-системах. В README описана оценка сходства на финансовых парах из Investopedia и проверка сохранения качества на наборах вопросов и ответов общего назначения. Лицензия — CC BY-NC 4.0; сторонние датасеты могут иметь дополнительные условия. Авторы позиционируют проект как исследовательский.

7.8K72апр. 2024ctx512
textembeddingcc-by-nc-4.0hugging-face
Xeolus
fin_embed_large

FinEmbedLarge — англоязычная модель эмбеддингов, созданная дообучением BAAI/bge-large-en-v1.5 на парах «вопрос—ответ» из примерно 50 годовых отчётов компаний S&P 500. Она предназначена для поиска финансовой информации по смыслу: преобразует текстовые запросы и фрагменты документов в векторы, которые можно сравнивать для ранжирования релевантных материалов. Модель построена на архитектуре BERT, содержит 433,9 млн параметров и принимает последовательности длиной до 512 токенов. В оценке на отложенных финансовых документах модель показала более высокие значения метрик поиска, чем исходная BGE Large 1.5; результаты относятся к описанному набору данных. Репозиторий содержит веса в формате safetensors и указывает использование Sentence-Transformers. Лицензия в предоставленных данных не указана.

1010июль 2024ctx512
textembeddinghugging-face
FIS-GRUPPE
fismwasp-400k

FISMWASP Autoencoder 400k-e2 — модель эмбеддингов, разработанная Андре Озыгюссом из Medienwerft при участии коллег из FIS ASP и FIS. Она преобразует немецкие предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и организации технических спецификаций. Модель построена на XLM-RoBERTa с архитектурой Sentence-BERT и TSDAE, содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Для обучения использовались технические тикеты и более 400 тысяч предложений. Модель подходит для поиска похожих текстов и группировки немецких технических документов и тикетов. Доступна в формате safetensors и может использоваться через sentence-transformers либо Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.

898июнь 2024ctx514
textembeddinghugging-face
Den4ikAI
FRED-T5-LARGE_text_qa

Den4ikAI/FRED-T5-LARGE_text_qa — русскоязычная модель семейства T5, разработанная Den4ikAI для ответов на вопросы по предоставленному тексту. Она обучена на наборе ru_sberquad_long_answers и подходит для сценариев, где нужно сформулировать развернутый ответ на основе контекста. Модель использует архитектуру T5ForConditionalGeneration и содержит около 403,9 млн параметров. Веса доступны в форматах PyTorch и Safetensors; лицензия — MIT. Карточка не сообщает длину контекста и подробные результаты оценки качества.

1445май 2023
textmithugging-face
allegro
herbert-base-cased

HerBERT-base-cased — польскоязычная языковая модель на архитектуре BERT, разработанная командой машинного обучения Allegro совместно с группой лингвистической инженерии Института компьютерных наук Польской академии наук. Модель содержит 151,6 млн параметров и обучена на польских текстовых корпусах с помощью masked language modeling и Sentence Structural Objective, с динамическим маскированием целых слов. Для токенизации используется символьный BPE-токенизатор с словарём из 50 тысяч токенов; длина контекста — 514 токенов. Модель предназначена для извлечения признаков из польского текста и может служить представлением текста для последующих задач обработки естественного языка. Доступны версии весов для PyTorch, TensorFlow и Flax. Модель опубликована по лицензии CC BY 4.0, требующей указания авторства.

141K23март 2022ctx514
textembeddingcc-by-4.0hugging-face
OpenGVLab
InternVL3-9B-Instruct

InternVL3-9B-Instruct — мультимодальная чат-модель OpenGVLab, дообученная методом supervised fine-tuning на базе OpenGVLab/InternVL3-9B-Pretrained. Она предназначена для диалога и рассуждений по тексту и изображениям, включая понимание нескольких изображений, видео, научных схем, интерфейсов GUI и 3D-сцен. Модель также обучалась работе с инструментами. Это вариант SFT без этапа MPO. Архитектура сочетает визуальный кодировщик InternViT, MLP-проектор и языковую модель; для обработки изображений используется разбиение на фрагменты 448×448 и динамическое разрешение. Поддерживаются мультимодальные входы и текстовые ответы; карточка указывает многоязычность, но конкретные языки и размер контекста для этого репозитория не приводит. Модель распространяется под лицензией MIT. К возможным ограничениям относятся ошибки в визуальном восприятии и рассуждениях; обработка нескольких изображений увеличивает число токенов и требования к контексту и вычислениям.

1884апр. 2025ctx1M
textmithugging-face
answerdotai
JaColBERTv2.5

JaColBERTv2.5 — японская модель семантического поиска на архитектуре BERT, разработанная Бенжамином Клавье. Она предназначена для ранжирования и извлечения релевантных документов в поисковых и RAG-системах; модель использует представления ColBERT с несколькими векторами для сопоставления запросов и документов. Чекпойнт содержит 138,4 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors для работы с RAGatouille. В README заявлено, что модель обучена на 40% данных, использованных для JaColBERTv2, и превосходит предыдущие подходы, включая мультиязычные варианты BGE-M3, на всех оценённых наборах данных. Указаны японские наборы MIRACL, MMARCO, JQaRA и JaGovFaqs. Модель рассчитана на японский язык; лицензия MIT.

38423июль 2024ctx512
textmithugging-face
AISE-TUDelft
java-summary-classifier

AISE-TUDelft/java-summary-classifier — модель на архитектуре MPNet, созданная на базе Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, сравнения предложений и кластеризации. В частности, модель подходит для задач классификации описаний Java-кода по сходству с краткими сводками. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста составляет 514 токенов. README сообщает об обучении с CosineSimilarityLoss. Доступные сведения не уточняют поддерживаемые естественные языки. Формат весов — PyTorch; сведения о лицензии отсутствуют.

1160янв. 2023ctx514
textembeddinghugging-face
bespin-global
klue-sentence-roberta-base

bespin-global/klue-sentence-roberta-base — модель эмбеддингов предложений и абзацев от Jaehyeong из Bespin Global. Она основана на RoBERTa и преобразует текст в плотные векторы размерности 768; размер модели — 137,8 млн параметров, максимальная длина контекста — 514 токенов. Модель предназначена для семантического поиска и кластеризации текстов. Её можно использовать в системах поиска по смыслу, группировки похожих предложений и сравнения текстовых фрагментов. Обучение проводилось с функцией потерь CosineSimilarityLoss на данных KLUE, что указывает на ориентацию на корейский язык. Модель доступна в формате PyTorch по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование. В карточке не приведены результаты оценки качества; поэтому качество для конкретного сценария следует проверять отдельно.

1160март 2022ctx514
textembeddingcc-by-nc-4.0hugging-face
lingtrain
labse-mari

LaBSE-mari — модель на базе BERT, разработанная путём дообучения LaBSE на парах предложений на русском и марийском языках. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сопоставления смысла текстов, семантического поиска и кластеризации. Обучение с MultipleNegativesRankingLoss нацелено на сближение векторных представлений соответствующих пар. Модель подходит для поиска марийских соответствий русским запросам и для группировки текстов по смыслу. Архитектура BERT принимает текст, контекст составляет 512 токенов. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Условия лицензии в предоставленных данных не указаны.

672янв. 2024ctx512
textembeddinghugging-face
sahilchachra
Laya-English-MXFP4

sahilchachra/Laya-English-MXFP4 — английская версия энкодерной части модели Laya от Convai Innovations, представленная в MXFP4 для MLX на Apple Silicon. Основа — ModernBERT-large: двунаправленный плотный энкодер; в README указаны 421 млн параметров, 28 слоёв, размер скрытого представления 1024 и исходный контекст 512 токенов. Метаданные каталога указывают 394,7 млн параметров и контекст 8192 токена. Для описания версии использованы значения метаданных: часть значений README относится к исходному энкодеру, поэтому характеристики расходятся. Репозиторий предназначен для извлечения признаков из английского текста и построения собственных MLX-голов поверх энкодера. Это не полный комплект Laya: обученная отдельно голова принятия решений и API upstream-репозитория здесь не включены, а генерации текста и чат-интерфейса нет. MXFP4 снижает размер на диске примерно до 210 МБ, но заметно искажает скрытые состояния; в небольшом наборе проверок наблюдались расхождения оценок и одна перемена ответа при близких оценках. Лицензия в предоставленных данных не указана.

1920сент. 2026ctx8.2K
texthugging-face
impira
layoutlm-document-classifier

Модель Impira — дообученная мультимодальная LayoutLM с архитектурой LayoutLMForSequenceClassification и 136,7 млн параметров. Она предназначена для классификации документов; в карточке указана задача text-classification, а среди примеров применения отмечены PDF и счета. Модель рассчитана на английский язык и обрабатывает последовательности длиной до 512 токенов. Модель можно применять для автоматической классификации документов и счетов в рабочих процессах разбора PDF. Она учитывает структуру документа, что полезно для задач, где важны текст и его расположение. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные материалы на тех же условиях, с ограничением на коммерческое использование. В README отмечены риски стереотипных и вредных предсказаний; сведения о данных обучения и метриках не приведены.

1914сент. 2022ctx512
textcc-by-nc-sa-4.0hugging-face
louisbrulenaudet
lemone-embed-l-boost

Lemone-Embed-L-Boost — модель эмбеддингов, разработанная Louis Brulé Naudet для поиска по французским налоговым и юридическим текстам. Она дообучена на intfloat/multilingual-e5-large и предназначена для извлечения информации из больших корпусов, включая производственные RAG-системы в налоговой сфере. Модель использует архитектуру XLM-RoBERTa и Sentence Transformers: усредняет токенные представления, нормализует результат и кодирует текст в плотный вектор размерности 1024. README сообщает о максимальной длине последовательности 512 токенов; метаданные указывают контекст 514 токенов. Основной язык — французский. Модель поддерживает семантический поиск и сравнение текстов, а также может применяться для кластеризации и классификации текстов. Лицензия — Apache 2.0.

1250окт. 2024ctx514
textembeddingapache-2.0hugging-face
SerialKicked
Lethe-AI-Repo

В репозитории SerialKicked/Lethe-AI-Repo собраны ресурсы для библиотеки Lethe AI Sharp: GGUF-модели, шаблоны Jinja и файлы для интеграции локальных LLM. В него входят квантованная модель эмбеддингов GTE large в формате Q6_K для поиска по RAG-сценариям и квантованный классификатор эмоций на базе BERT-base-uncased, дообученный на GoEmotions для многометочной классификации 28 эмоций. Также размещены исправленные шаблоны диалогов Mistral и Qwen. Репозиторий предназначен для разработчиков, использующих библиотеку Lethe AI Sharp на C#/.NET: его компоненты помогают организовать векторный поиск по документам и экспериментальный анализ эмоций. Для классификатора указано экспериментальное применение; характеристики контекста и полный перечень поддерживаемых языков в карточке не приведены. Лицензия репозитория — MIT.

1352сент. 2025
textmithugging-face
Petrouil
LFM2.5-Mosaic-900M-A500M-Base

Petrouil/LFM2.5-Mosaic-900M-A500M-Base — агентный текстовый ассистент на архитектуре Mixture-of-Experts, разработанный на основе замороженной базовой модели LiquidAI/LFM2.5-350M-Base. В модель добавлены десять MoE-слоёв; карточка указывает 921 млн параметров всего и около 543 млн активных на токен, тогда как метаданные каталога сообщают 444,6 млн параметров. Модель рассчитана на вызов инструментов, функции и многошаговые диалоги с инструментами, а также обычное общение и следование инструкциям в цикле ассистента с подключёнными инструментами. Она генерирует структурированные вызовы инструментов в JSON или в нативном формате LFM2.5. Модель принимает и генерирует текст, поддерживает английский язык и имеет контекстное окно 128 000 токенов. Она дообучена на данных для агентных сценариев, включая траектории вызова инструментов, обслуживание клиентов и поиск в интернете, а также на наборах разговоров и инструкций. Слабые стороны — ограниченные общие знания и рассуждения на длинном горизонте, возможные повторы в длинной генерации и мягкая маршрутизация между экспертами. Указана пользовательская лицензия; перед коммерческим распространением следует проверить её условия.

440авг. 2026ctx128K
textotherhugging-face
werner1hugo
lid-framework-models

werner1hugo/lid-framework-models — коллекция из 102 моделей определения языка, разработанная Вернером Хуго в рамках магистерской работы MEng в Stellenbosch University. Модели входят в базу знаний фреймворка выбора моделей LID: он анализирует корпус коротких текстов и рекомендует подходящую модель или готовый детектор. В коллекции представлены варианты на Multinomial Naive Bayes, логистической регрессии и FastText с признаками символьных n-грамм или FastText-представлениями. Модели классифицируют короткий текст по одному из языков, представленных в обучающем корпусе, и выдают код ISO 639-1. Подходящий сценарий — определение языка отдельных коротких сообщений или документов и выбор модели под конкретный корпус. Модели обучались на текстах длиной 30–120 символов (для китайского, японского и корейского — 10–40 символов); на данных своего корпуса среднее взвешенное F1 составляет 0,939–0,995, а при переносе на другой корпус качество резко падает. Коллекция не покрывает языки за пределами заданных высокоресурсных языков, выдаёт одну метку на документ и не обрабатывает переключение языков внутри текста. Лицензия — CC BY-NC-SA 4.0.

2140сент. 2026
textcc-by-nc-sa-4.0hugging-face
mesolitica
llama2-embedding-600m-8k

mesolitica/llama2-embedding-600m-8k — текстовая модель для построения эмбеддингов на основе архитектуры Llama 2, разработанная Mesolitica. Она предназначена для извлечения векторных представлений малайзийских текстов, например, для поиска и сравнения текстов по смыслу. Модель содержит 535,8 млн параметров; при обучении использовалась длина контекста до 8 тыс. токенов, а при инференсе заявлена поддержка до 32 768 токенов. Доступна в формате safetensors. Карточка не сообщает лицензию и не приводит подробных результатов оценки качества. Заявленная возможность работы с длинным контекстом относится к инференсу; обучение проводилось на усечённых последовательностях длиной до 8 тыс. токенов.

1071окт. 2023ctx32.8K
textembeddinghugging-face
John6666
llama-joycaption-beta-one-hf-llava-nf4

John6666/llama-joycaption-beta-one-hf-llava-nf4 — квантизированная в формате NF4 версия мультимодальной Visual Language Model JoyCaption Beta One, разработанной сообществом вокруг проекта JoyCaption; исходная модель опубликована fancyfeast. Модель предназначена для автоматического создания подробных описаний изображений, в частности для подготовки датасетов и обучения или дообучения diffusion-моделей. Она поддерживает взаимодействие с изображением через текстовые инструкции и относится к семейству LLaVA, используя языковую модель Llama 3.1; точный размер модели и максимальная длина контекста в README не указаны. Пример использования предполагает генерацию до 512 новых токенов и работу в формате bfloat16 с 4-битной NF4-квантизацией. JoyCaption позиционируется как бесплатная модель с открытыми весами, минимальной фильтрацией и широким охватом визуальных стилей, тематик и типов содержимого, включая SFW- и NSFW-образы. Это делает её удобной для массового captioning и специализированных наборов данных, однако модель не гарантирует безошибочное распознавание всех деталей изображения. Для запуска требуется совместимый стек Transformers и bitsandbytes, а также GPU с достаточным объёмом памяти; README отмечает, что vLLM может быть требователен к памяти и настройкам. Лицензия явно не указана, но модель заявлена как свободно распространяемая с открытыми весами и без ограничений.

3.8K6май 2025ctx131.1K
textimagehugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей