/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
5 431–5 460 из 25 791
Aronstk15
Qwythos-9B-PerfectSplit-CoT-GGUF

Qwythos-9B-PerfectSplit-CoT-GGUF — GGUF-квантование модели Qwythos-9B-Claude-Mythos-5-1M, подготовленное Aronstk15. Это разговорная модель для генерации текста, рассуждений и работы с длинным контекстом; карточка описывает смешанную точность: эмбеддинги, выходная голова и чувствительные компоненты внимания сохраняются в F16, а часть слоёв MLP сжимается. По заявлению автора, размер уменьшен примерно на 37% относительно исходной версии F16, до 10,88 ГБ, с приоритетом сохранения связности многошаговых рассуждений и извлечения информации из длинного контекста. Для запуска README приводит пример с llama.cpp; заявленная лицензия — Apache-2.0. Модель предназначена для диалоговой генерации, объяснений и анализа текста или данных, а также задач, где нужно учитывать большой объём предшествующего контекста. В метаданных указан базовый чекпойнт empero-ai/Qwythos-9B-Claude-Mythos-5-1M, описанный каталогом как дообученная на Qwen3.5-9B модель; исходная карточка заявляет контекст до 1 млн токенов, но конкретный доступный предел зависит от реализации и настроек запуска. Преимущество этой сборки — сохранение полной точности для выбранных чувствительных тензоров при сжатии менее чувствительных слоёв. Качество длинных рассуждений и контекстного извлечения описано автором как ожидаемое, без приведённых независимых результатов оценки. Модель распространяется по лицензии Apache-2.0.

380июль 2026
textapache-2.0hugging-face
ighina
roberta_topseg_wiki

RoBERTa TopSeg Wikisection — модель на базе RoBERTa, опубликованная пользователем ighina и упакованная для Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. Обучение использовало CosineSimilarityLoss; доступен формат PyTorch. Модель подходит для поиска смыслово близких фрагментов и группировки текстов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

1140март 2023ctx514
textembeddinghugging-face
docling-project
ScreenParser

ScreenParser — модель обнаружения элементов пользовательского интерфейса, разработанная IBM Research и ETH Zurich. Это YOLO11-L, дообученная на наборе ScreenParse v2 для анализа скриншотов веб-страниц. На вход подаётся изображение экрана, на выходе — рамки объектов, метки классов и оценки уверенности для 55 типов элементов, включая кнопки, поля ввода, меню, вкладки, текстовые блоки и изображения. Модель предназначена для разбора структуры веб-страниц, поиска и классификации видимых компонентов интерфейса. Текущий чекпойнт обучен на 1 447 100 скриншотах с 25 575 213 аннотациями элементов; обучение учитывает разные разрешения экранов. Модель принимает изображения и возвращает разметку в виде рамок и меток. Для извлечения текста из найденных элементов её можно сочетать с OCR или ScreenVLM. Лицензия — Apache 2.0. Модель обучена на скриншотах веб-страниц, поэтому качество может снижаться на скриншотах нативных настольных, мобильных и других приложений, отличающихся от обучающих данных.

91713февр. 2026
imageapache-2.0hugging-face
cardiffnlp
twitter-roberta-base-dec2021-tweet-topic-single-all

Модель Cardiff NLP — дообученная версия cardiffnlp/twitter-roberta-base-dec2021 на наборе tweet_topic_single для классификации тем отдельных твитов. Она использует архитектуру RoBERTa с 151,8 млн параметров и принимает текст с контекстом до 514 токенов. В README приведены результаты на тестовой выборке test_2021: micro-F1 и accuracy около 0,895, macro-F1 около 0,801. Модель подходит для автоматической тематической разметки сообщений в Twitter и анализа их содержания. Лицензия в предоставленных данных не указана.

973сент. 2022ctx514
texthugging-face
Jinstudio
VibeVoice-ASR

Карточка модели Jinstudio/VibeVoice-ASR на Hugging Face совпадает с карточкой microsoft/VibeVoice-ASR, поэтому описание составлено по ней. VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.

150июль 2026
textaudiomithugging-face
gchhablani
bert-base-cased-finetuned-qqp

Модель gchhablani/bert-base-cased-finetuned-qqp разработана на основе bert-base-cased и дообучена для классификации пар вопросов на наборе GLUE QQP. Она использует архитектуру BERT для классификации последовательностей и предназначена для определения того, задают ли два вопроса одно и то же по смыслу. В README приведены результаты на оценочной выборке: accuracy 0,9084, F1 0,8768 и объединённая оценка 0,8926. Модель содержит 135,5 млн параметров, принимает текстовые пары и поддерживает контекст до 512 токенов. Основной сценарий — выявление дубликатов вопросов, например, в поиске или при очистке базы вопросов и ответов. Указана лицензия Apache-2.0.

1.3K0март 2022ctx512
textapache-2.0hugging-face
google-bert
bert-base-multilingual-uncased

google-bert/bert-base-multilingual-uncased — базовая многоязычная модель BERT, разработанная командой Google. Это плотная трансформерная архитектура BertForMaskedLM с 194,6 млн параметров, обученная на текстах Википедии для 102 языков с помощью masked language modeling и предсказания следующего предложения. Модель приводит текст к нижнему регистру, использует общую WordPiece-лексиконную таблицу размером 110 000 токенов и поддерживает контекст до 512 токенов. Модель предназначена для восстановления замаскированных слов и получения контекстных представлений текста, которые можно использовать при дообучении для классификации последовательностей и токенов, ответов на вопросы и других задач понимания текста. Она принимает текст и в задаче fill-mask выдаёт вероятные подстановки для пропущенных токенов. Это энкодерная модель, поэтому она не предназначена для свободной генерации текста. Нижний регистр стирает различия между прописными и строчными буквами; предсказания могут отражать смещения обучающих данных. Лицензия — Apache-2.0.

1.8M170март 2022ctx512
textapache-2.0hugging-face
twmkn9
bert-base-uncased-squad2

twmkn9/bert-base-uncased-squad2 — модель BERT base uncased, дообученная на датасете SQuAD v2 для ответов на вопросы по предоставленному контексту. Она извлекает ответ из текста или сообщает, что в контексте ответа нет. Подходит для систем поиска по документам и других сценариев, где вопрос и относящийся к нему текст доступны модели. Модель содержит 136,7 млн параметров, использует архитектуру BERT для вопросно-ответной задачи и принимает последовательности длиной до 512 токенов. В README приведены результаты на подмножестве dev-набора SQuAD v2: exact match 72,36 и F1 75,75. Доступны веса PyTorch и Flax. Базовая модель — bert-base-uncased; лицензия в предоставленных данных не указана.

4182март 2022ctx512
texthugging-face
qgrantq
bert-finetuned-squad

qgrantq/bert-finetuned-squad — модель BERT, дообученная на наборе вопросов и ответов SQuAD на основе bert-base-cased. Она предназначена для извлечения ответа на вопрос из предоставленного текста и подходит для систем поиска по документам и автоматизации ответов по контексту. Модель содержит 135,5 млн параметров, использует архитектуру BertForQuestionAnswering и принимает контекст длиной до 512 токенов. Репозиторий содержит веса PyTorch. Модель рассчитана на английские тексты, что следует из базовой модели bert-base-cased и датасета SQuAD. Она распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или дополнительных сведений об ограничениях; результаты могут зависеть от соответствия входного текста распределению SQuAD.

80июнь 2022ctx512
textapache-2.0hugging-face
google-bert
bert-large-uncased-whole-word-masking-finetuned-squad

Это англоязычная модель BERT large от Google, дообученная командой Google на наборе SQuAD для ответов на вопросы по заданному контексту. Она возвращает фрагмент контекста в качестве ответа и подходит для систем поиска ответов по документам и текстам. Предварительное обучение использовало masked language modeling, предсказание следующего предложения и Whole Word Masking, при котором маскируются все части одного слова одновременно. Архитектура — 24-слойный BERT с размерностью скрытого представления 1024 и 16 головами внимания. В README указано 336 млн параметров, а метаданные каталога сообщают 433,9 млн; модель принимает последовательности длиной до 512 токенов. Она обучена для английского языка без различения регистра, на BookCorpus и англоязычной Wikipedia, а затем дообучена на SQuAD. Лицензия — Apache-2.0. Модель предназначена для извлечения ответов из предоставленного текста; она не генерирует свободный ответ и может ошибаться, если нужных сведений нет в контексте или формулировка вопроса отличается от примеров обучения. Для длинных документов контекст нужно разбивать на фрагменты, укладывающиеся в лимит модели.

35K191март 2022ctx512
textapache-2.0hugging-face
gravitee-io
bert-small-pii-detection

gravitee-io/bert-small-pii-detection — модель Gravitee для обнаружения и разметки персональных и чувствительных данных в тексте. Это BERT для классификации токенов, дообученный на наборе gravitee-io/pii-detection-dataset от базовой модели prajjwal1/bert-small. Модель содержит 32,4 млн параметров и рассчитана на контекст до 512 токенов. Модель помечает такие сущности, как имена людей, возраст, адреса электронной почты и телефоны, платёжные и банковские данные, пароли, IP- и MAC-адреса, URL, организации, местоположения и ряд идентификаторов, характерных для США. Её можно применять для поиска чувствительных фрагментов перед передачей текста в другие системы или для задач защиты данных. Поддерживается английский язык. Доступны веса в форматах Safetensors и ONNX. Модель предназначена для извлечения сущностей из текста; качество на языках и типах данных, отличных от заявленных, не подтверждено. Она лицензирована по Apache-2.0.

391K7сент. 2025ctx512
textapache-2.0hugging-face
lealdaniel
comp-embedding-matching

lealdaniel/comp-embedding-matching — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2 для сопоставления названий профессий и связанных с ними категорий. Она преобразует предложения и короткие тексты в плотные векторы размерности 768, нормализует их и позволяет сравнивать косинусное сходство. Архитектура включает MPNet, усредняющий пулинг токенов и нормализацию; README указывает максимальную длину последовательности 384 токена, а метаданные — контекст 514 токенов. Модель подходит для семантического поиска и ранжирования соответствий между формулировками должностей и профессиональными категориями, а также для сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В примерах обучающих и оценочных данных встречаются английские и португальские названия профессий и категорий. На тестовой выборке в README приведены значения cosine_accuracy@1 0,3202, @3 0,4547 и @5 0,5224; качество следует проверять на данных целевого сценария. Лицензия в предоставленных данных не указана.

1240нояб. 2024ctx514
textembeddinghugging-face
yonigo
deberta-v3-base-pii-en

yonigo/deberta-v3-base-pii-en — англоязычная модель для разметки токенов, созданная дообучением microsoft/deberta-v3-base на примерах из ai4privacy/pii-masking-300k. Она предназначена для обнаружения персональных данных в тексте, например имён, адресов и телефонных номеров, чтобы размечать их перед маскированием или другой последующей обработкой. Модель использует архитектуру DeBERTa V2 для классификации токенов, содержит 211,6 млн параметров и рассчитана на контекст до 512 токенов. Модель принимает текст и возвращает метки для его фрагментов; для объединения меток в сущности в примере README используется pipeline Transformers с aggregation_strategy="first". Обучение проведено на англоязычных примерах, поэтому применение к другим языкам не подтверждено. Лицензия — MIT.

1091июль 2024ctx512
textmithugging-face
cyttic
exp23-directfit-unfrozen

cyttic/exp23-directfit-unfrozen — модель с архитектурой vision-encoder-decoder, дообученная разработчиком на базе cyttic/exp22-exp2warm-directfit-frozen. Она принимает изображения и формирует текст; репозиторий помечен задачей image-text-to-text. На оценочном наборе указаны Loss 0,4588, CER 0,0245 и WER 0,0647. Данные о назначении, обучающем наборе и условиях применения в карточке не раскрыты. Модель распространяется в формате safetensors.

601июль 2026ctx512
textimagehugging-face
jonatasgrosman
exp_w2v2t_ru_hubert_s818

jonatasgrosman/exp_w2v2t_ru_hubert_s818 — модель распознавания русской речи, дообученная автором jonatasgrosman с помощью HuggingSound на обучающей части Common Voice 7.0. Она основана на facebook/hubert-large-ll60k и использует архитектуру HuBERT с CTC-головой; размер составляет 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Подходит для автоматической транскрипции русскоязычных записей. Распространяется по лицензии Apache-2.0.

102июль 2022
textaudioapache-2.0hugging-face
knowledgator
gliclass-modern-large-v3.0

GLiClass Modern Large v3.0 — модель Knowledgator для классификации последовательностей текста с нулевым обучением на пользовательских метках. Она использует архитектуру GLiClass и выполняет классификацию за один проход, что, по данным авторов, делает её вычислительно эффективной по сравнению с cross-encoder. Модель предназначена для тематической классификации, анализа тональности и ранжирования текстов в RAG-сценариях. Модель содержит около 399 млн параметров, занимает примерно 1,6 ГБ и распространяется в формате Safetensors. Для версии v3.0 использовали LoRA-адаптеры с рангом 768 и дообучение на логических задачах; в README также приведены результаты тестирования в zero-shot режиме на наборах классификации. Лицензия — Apache-2.0. В README не указаны поддерживаемые естественные языки и максимальная длина контекста. Качество зависит от формулировки меток и предметной области; приведённые результаты относятся к отдельным бенчмаркам и не гарантируют такую же точность на других данных.

1.4K14июль 2025ctx8.2K
textapache-2.0hugging-face
knowledgator
gliclass-small-v1.0-init

GLiClass Small v1.0 Init — компактная модель классификации последовательностей семейства GLiClass, разработанная Knowledgator. Она выполняет классификацию текста по заданным категориям в режиме zero-shot без дополнительного дообучения на прикладных наборах данных. Модель предназначена для тематической классификации и анализа тональности, а также может использоваться для ранжирования документов в RAG-конвейерах. Модель обучена на синтетических данных MoritzLaurer/synthetic_zeroshot_mixtral_v0.1. В README для варианта small указано 144 млн параметров; заявлено, что классификация выполняется за один проход и требует меньше вычислений, чем cross-encoder. Репозиторий содержит веса в форматах Safetensors и ONNX. Карточка указывает английский язык и лицензию Apache-2.0, допускающую коммерческое использование. В приведённых zero-shot тестах на IMDB, AG_NEWS и Emotions вариант small показал F1 0,8650, 0,6805 и 0,4664 соответственно.

576июнь 2024
textapache-2.0hugging-face
Mungert
Jan-nano-128k-GGUF

Mungert/Jan-nano-128k-GGUF — это набор GGUF-квантизированных моделей Jan-Nano-128k, созданный Mungert на основе Menlo/Jan-nano с использованием llama.cpp. Модель предназначена для текстовой генерации и исследовательских задач, включая анализ научных статей и длинных документов, синтез информации из нескольких источников, сложные рассуждения и многошаговые диалоги. Указывается совместимость с серверами Model Context Protocol (MCP) и поддержка вызова инструментов при соответствующей конфигурации. Ключевая характеристика модели — нативное контекстное окно до 128 тысяч токенов, рассчитанное на работу с большими объёмами текста без типичной деградации качества при расширении контекста. Модель компактная, но точный размер параметров, архитектура и перечень поддерживаемых языков в карточке не указаны; заявлен английский язык. Доступны варианты GGUF-квантизации, причём автор применяет повышение точности отдельных важных слоёв для улучшения качества на низких уровнях битности, особенно для MoE-моделей, ценой увеличения размера файлов. Сильными сторонами являются длинный контекст, ориентация на глубокий анализ документов и возможность локального запуска через llama.cpp или vLLM. Ограничения включают зависимость характеристик от выбранного варианта квантизации, отсутствие подробных данных о ресурсах и точности, а также необходимость специальной настройки масштабирования RoPE и максимальной длины контекста при развёртывании. Модель распространяется по лицензии Apache 2.0.

1480июнь 2025
textapache-2.0hugging-face
alpindale
Llama-3.2-90B-Vision-Instruct

alpindale/Llama-3.2-90B-Vision-Instruct — мультимодальная инструктивная модель семейства Llama 3.2-Vision, разработанного Meta. Она принимает изображения и текст и генерирует текстовые ответы; подходит для визуального распознавания, рассуждений по изображениям, описания сцен и диалога с изображением. Модель построена на авторегрессионной архитектуре Transformer Llama 3.1 с vision-адаптером: кросс-внимание передаёт в языковую модель представления изображения. Размер версии — 90B параметров; контекст — до 128 тыс. токенов. Для текстовых задач заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; в сценариях с изображениями официально поддерживается английский. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, анализа изображений и документов, генерации подписей, поиска соответствий между изображениями и текстом, а также визуального grounding. Карточка сообщает о настройке инструктивной версии с помощью SFT и RLHF. Модель обучена на статичном офлайн-наборе данных с отсечкой знаний в декабре 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 и Acceptable Use Policy.

586сент. 2024ctx131.1K
textimagellama3.2hugging-face
abacusai
Llama-3-Giraffe-70B

Llama-3-Giraffe-70B — экспериментальная длинноконтекстная версия Llama 3 70B, представленная Abacus.AI. Это плотная авторегрессионная языковая модель на архитектуре LlamaForCausalLM с 69,5 млрд параметров; README сообщает об эффективном контексте около 128 тыс. токенов, тогда как в метаданных указан native context 8192 токена. Для расширения контекста применялись PoSE и динамическая NTK-интерполяция: обучение включало около 1 млрд токенов и длинные образцы из RedPajama. Модель предназначена для генерации текста и экспериментов с извлечением информации из длинных последовательностей, например поиска фрагмента в большом документе. В README приведена оценка Needle-in-a-Haystack на контекстах до 128 тыс. токенов, но это начальный выпуск, и авторы отмечают, что планируют улучшать результаты по мере дальнейшего обучения. Модель принимает и генерирует текст; в метаданных указан английский язык. Лицензия — Llama 3 license (llama3).

3532апр. 2024ctx8.2K
textllama3hugging-face
zai-org
LongAlign-13B-64k

LongAlign-13B-64k — языковая модель семейства LLaMA, опубликованная командой LongAlign. Она предназначена для генерации текста и выполнения инструкций в длинных контекстах. Проект описывает обучение на наборе LongAlign-10k из 10 000 инструкций длиной 8–64 тыс. токенов и оценивает следование инструкциям на запросах длиной 10–100 тыс. токенов. Модель содержит 12,9 млрд параметров, принимает текст и имеет заявленное контекстное окно 65 536 токенов. В метаданных указаны английский и китайский языки; репозиторий содержит веса PyTorch для Transformers. README объясняет подход проекта к выравниванию моделей для длинного контекста, но приведённый фрагмент не уточняет конкретную базовую модель и обучающие детали именно версии 13B-64k. Лицензия — Apache-2.0.

23714янв. 2024ctx65.5K
textapache-2.0hugging-face
wcy1122
MGM-Omni-32B

MGM-Omni-32B — мультимодальная модель-чатбот семейства MGMOmni, разработанная командой MGM-Omni. Это компонент восприятия MLLM: он принимает текст, изображения, видео и речь, а отвечает текстом; для синтеза речи авторы указывают отдельную модель MGM-Omni-TTS. Модель содержит 32 млрд параметров, использует архитектуру MGMOmniForCausalLM и поддерживает контекст до 128 000 токенов. Модель предназначена для диалогов с мультимодальными данными, понимания речи, изображений и видео, включая длинные аудиозаписи. В карточке заявлены поддержка английского и китайского языков и возможность воспринимать речь длительностью до часа. MGM-Omni-32B дообучена на Qwen/Qwen2.5-VL-32B-Instruct. Лицензия — Apache-2.0.

275авг. 2025ctx128K
textapache-2.0hugging-face
rankyx
ModernBERT-QnA-base-squad

rankyx/ModernBERT-QnA-base-squad — дообученная модель ModernBERT для извлечения ответов на вопросы из предоставленного текста. Разработчик дообучил базовую answerdotai/ModernBERT-base на наборе SQuAD с помощью Hugging Face Transformers. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Модель предназначена для систем вопросно-ответного поиска, в которых нужно найти ответ в тексте, например в документации или статьях. В карточке указаны результаты на SQuAD: F1 92,59 и Exact Match 86,45. При использовании следует учитывать, что это экстрактивная модель: она извлекает ответ из контекста, а не предназначена для свободной генерации. Распространяется по лицензии Apache-2.0.

637янв. 2025ctx8.2K
textapache-2.0hugging-face
xqiuresearch
MOSS-Transcribe-Diarize-vuln

Карточка модели xqiuresearch/MOSS-Transcribe-Diarize-vuln на Hugging Face совпадает с карточкой xqiuresearch/MOSS-Transcribe-Diarize, поэтому описание составлено по ней. MOSS-Transcribe-Diarize 0.9B — мультимодальная модель семейства MOSS от OpenMOSS для расшифровки длинных аудио- и видеозаписей. Она за один проход преобразует запись в текст с временными метками и анонимными метками говорящих, совместно выполняя распознавание речи и диаризацию. Также модель может размечать акустические события и учитывать пользовательские инструкции и подсказки с терминами.

330авг. 2026
textapache-2.0hugging-face
uaritm
multilingual_en_ru_uk

uaritm разработал мультиязычную модель на базе XLM-RoBERTa для преобразования предложений и абзацев в плотные векторы размерности 768. Модель предназначена для вычисления семантической близости, поиска по смыслу и кластеризации; в README приведён пример определения подходящей врачебной специальности по жалобам пациентов. Она доступна в формате PyTorch через Sentence-Transformers, а для использования через Transformers требуется применить подходящий pooling к контекстным представлениям токенов. Модель имеет 305,2 млн параметров и принимает до 514 токенов контекста. Поддерживаются английский, русский, украинский и польский языки. Для версии с польским языком автор указывает более новую модель uaritm/multilingual_en_uk_pl_ru. Репозиторий распространяется по лицензии Apache-2.0.

984сент. 2022ctx514
textembeddingapache-2.0hugging-face
checkiejan
multi-qa-mpnet-base-dot-v1-covidqa-search-multiple-negatives-loss

checkiejan/multi-qa-mpnet-base-dot-v1-covidqa-search-multiple-negatives-loss — модель на базе MPNet, опубликованная в формате PyTorch и предназначенная для создания эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации; метаданные указывают на поддержку задач извлечения признаков и вычисления сходства предложений. Число параметров — 136,7 млн, максимальная длина контекста — 514 токенов. В README указано обучение с MultipleNegativesRankingLoss и косинусной мерой сходства. Для применения предлагается библиотека Sentence-Transformers либо Transformers с подходящей операцией pooling. Карточка не сообщает о языках обучения или лицензии, поэтому их условия здесь определить нельзя.

990сент. 2023ctx514
textembeddinghugging-face
bartowski
NousResearch_DeepHermes-3-Llama-3-8B-Preview-GGUF

bartowski/NousResearch_DeepHermes-3-Llama-3-8B-Preview-GGUF — это набор GGUF-квантизаций модели DeepHermes-3-Llama-3-8B-Preview, разработанной NousResearch и подготовленной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых и чат-сценариев, инструкционного взаимодействия, рассуждений, ролевых диалогов, работы с JSON и function calling. Указан английский язык. Модель основана на Llama 3 и содержит 8 миллиардов параметров. Она поддерживает текстовую модальность и формат запросов ChatML-подобного типа с системными, пользовательскими и ассистентскими сообщениями. В репозитории представлены варианты квантизации от Q3 до Q8 объёмом примерно от 4,45 до 8,54 ГБ; более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и поддержка задач, связанных с инструкциями, структурированными ответами и вызовом функций. Ограничения включают отсутствие заявленных данных о контекстном окне, бенчмарках и качестве на других языках, а также неизбежные потери качества при использовании более агрессивной квантизации. Лицензия указана как llama3; дополнительные условия использования в README не раскрыты.

4.0K18февр. 2025
textllama3hugging-face
OrisTeam
ORIS-Bert-Small-C

ORIS Bert Small C — компактный польскоязычный энкодер от OrisTeam с 25,41 млн параметров, предназначенный прежде всего для дообучения под конкретные задачи и ускорения локальных конвейеров обработки данных. Модель построена на пользовательской архитектуре Transformer encoder с факторизованными эмбеддингами, RMSNorm и сочетанием локального и глобального внимания; предобучение выполнено в стиле BERT с masked language modeling. Модель создана с нуля и не является дообучением другого чекпойнта. Модель подходит для классификации текста, фильтрации и оценки документов, извлечения признаков на уровне токенов и последовательностей. Её также можно адаптировать для ранжирования, сходства текстов и эмбеддингов предложений после дополнительного обучения. В карточке приведены локальные результаты на польских задачах и эксперименты по фильтрации документов; они зависят от процедуры оценки и не являются официальной подачей на лидерборд KLEJ. Без дополнительного обучения модель не рекомендуется для поиска по сходству с обычным усреднением эмбеддингов: пространство предложений при таком подходе анизотропно. Качество зависит от задачи, а на части бенчмарков более крупные польские энкодеры сильнее. Модель обучалась преимущественно на польском языке. Выпуск ограничен исследовательским доступом; в метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с доступом к репозиторию.

1671авг. 2026
textembeddingotherhugging-face
OpceanAI
PASITA

PASITA v1 — разработанная OpceanAI компактная авторегрессионная языковая модель на архитектуре LlamaForCausalLM, обученная с нуля без базовой модели. Она предназначена для преобразования обычного текста в корректный Markdown с сохранением исходной информации: модель добавляет структуру, но не должна придумывать содержание. Размер — около 88,1 млн параметров; используется библиотека Transformers, веса опубликованы в формате safetensors. Контекст модели составляет 2048 токенов. Модель рассчитана на форматирование средних и длинных документов: результатов OCR, вставленного HTML, заметок встреч, инструкций и обучающих материалов. Карточка приводит результаты тестирования на испанских и английских данных, включая качество Markdown, сохранение смысла и обработку таблиц; метаданные также указывают испанский и английский языки. На коротких фрагментах из одной-трёх строк результат может быть нестабильным, а среди отмеченных ошибок — пропуск цифр или второстепенных данных, повтор заголовка первого уровня и генерация текста после завершения. Строгое выполнение инструкций — известное слабое место. Лицензия Apache-2.0.

280сент. 2026ctx2K
textapache-2.0hugging-face
Pritesh-2711
piibench-deberta-base

Pritesh-2711/piibench-deberta-base — модель PII-детекции на базе DeBERTa-v3-base, выпущенная как итоговая модель проекта PIIBench. Это дообученный классификатор токенов на архитектуре DeBERTa-v2 с 211,6 млн параметров; он размечает фрагменты текста, содержащие персональные и другие чувствительные данные. Модель обучена на подготовленных разделах многоисточникового бенчмарка PIIBench и рассчитана на контекст до 512 токенов. Модель предназначена для поиска PII в текстовых записях и оценки текста по типам сущностей. В README сообщается F1 0,6455 на полном тестовом наборе из 100 002 записей с 82 типами сущностей; полнота составила 0,6645, точность — 0,6277. Эти результаты относятся к указанному экспериментальному варианту набора и не гарантируют качество на других данных. Репозиторий выпущен под лицензией `other`; конкретные условия использования следует проверять в файлах лицензии модели.

5590май 2026ctx512
textotherhugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей