/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
7 981–8 010 из 25 791
thenlper
gte-small-zh

GTE-small-zh — компактная модель текстовых эмбеддингов семейства General Text Embeddings, разработанная Alibaba DAMO Academy на основе архитектуры BERT. Она обучена на больших наборах пар текстов с оценками релевантности и предназначена для получения векторных представлений китайских текстов. Модель подходит для семантического поиска, сравнения сходства предложений, извлечения информации и ранжирования текстов. Размер модели составляет около 36 млн параметров, размерность эмбеддингов — 512, максимальная длина последовательности — 512 токенов. Веса доступны в форматах PyTorch и safetensors. Модель рассчитана исключительно на китайские тексты; более длинные входы обрезаются до 512 токенов. Лицензия — MIT.

4.3K19нояб. 2023ctx512
textembeddingmithugging-face
l3cube-pune
gujarati-sentence-similarity-sbert

GujaratiSBERT-STS — модель семейства SBERT на архитектуре BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP. Она дообучена на датасете STS от базовой модели l3cube-pune/gujarati-sentence-bert-nli и предназначена для оценки семантического сходства предложений на гуджарати. Модель преобразует текстовые предложения в векторные представления, которые можно использовать для поиска семантически близких предложений и сравнения текстов. Модель содержит 264,8 млн параметров, принимает текстовые входы с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — CC BY 4.0. В README также упоминается отдельная мультиязычная версия для основных индийских языков и межъязыкового сходства; это описание относится к данной модели только как контекст проекта.

1291февр. 2023ctx512
textembeddingcc-by-4.0hugging-face
Atgenomix
icd_o_sentence_transformer_128_dim_model

Карточка модели Atgenomix/icd_o_sentence_transformer_128_dim_model на Hugging Face совпадает с карточкой pritamdeka/BioBERT-mnli-snli-scinli-scitail-mednli-stsb, поэтому описание составлено по ней. pritamdeka/BioBERT-mnli-snli-scinli-scitail-mednli-stsb — модель эмбеддингов предложений на базе BERT, опубликованная пользователем pritamdeka. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства. Модель обучалась на SNLI, MNLI, SCINLI, SCITAIL, MEDNLI и STSB, включая наборы данных по биомедицинским текстам. Веса содержат 135,5 млн параметров, максимальная длина контекста составляет 512 токенов. Модель принимает текст и возвращает эмбеддинги; указанные наборы данных и название BioBERT указывают на специализацию для биомедицинского и научного текста. Для использования требуется корректная операция pooling поверх контекстных представлений либо Sentence-Transformers. Лицензия CC BY-NC 3.0 ограничивает коммерческое использование.

1320нояб. 2023ctx512
textembeddinghugging-face
bclavie
JaColBERTv2

JaColBERTv2 — японская модель поиска документов на архитектуре ColBERT, разработанная автором JaColBERT. Она предназначена для извлечения релевантных фрагментов по запросу и применения в поиске и RAG-системах. Модель использует позднее взаимодействие между представлениями токенов документов и запроса, что позволяет сочетать семантическое сопоставление с эффективным поиском по заранее построенному индексу. Модель содержит 138,4 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Она основана на JaColBERT и cl-tohoku/bert-base-japanese-v3; README указывает на обучение дистилляцией на японской части MMARCO с 31 отрицательным примером на положительный. Для использования автор рекомендует RAGatouille. Лицензия — MIT. В ранних оценках автор сообщает о результатах выше JaColBERT, multilingual-e5-large и BGE-M3 на JQaRa и JSQuAD, однако полная оценка ещё не завершена. Версия обозначена как ранний рабочий чекпойнт, веса могли обновляться; результаты следует считать предварительными.

6.6K17март 2024ctx512
textmithugging-face
mradermacher
jina-embeddings-v4-vllm-retrieval-i1-GGUF

Это мультимодальная embedding-модель jina-embeddings-v4-vllm-retrieval, разработанная Jina AI и представленная в формате GGUF сообществом mradermacher. Репозиторий содержит квантизированные варианты модели, включая imatrix-файл для создания собственных квантов. Модель предназначена для multilingual embedding, извлечения признаков, оценки семантического сходства и поиска Text-to-Visual Document (T→VD), то есть сопоставления текста с визуальными документами. Она также связана с задачами и бенчмарками Vidore, ColPali и MTEB. Из README известно, что модель поддерживает мультимодальные входы и многоязычное использование, однако точные архитектура, число параметров, размерность embeddings, перечень языков и размер контекстного окна не указаны. Доступны варианты квантизации GGUF размером примерно от 0,9 до 2,0 ГБ и более; наиболее рекомендуемыми в описании названы i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. При этом низкобитные варианты могут заметно уступать по качеству. Модель подходит для семантического поиска и retrieval-систем, включая поиск по визуальным документам и мультимодальное сопоставление текста и изображений. Ограничения, связанные с конкретными характеристиками качества и производительности, в README не приведены; выбор квантизации влияет на компромисс между размером, скоростью и точностью. Лицензия модели — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое.

1.3K2авг. 2025
textembeddingcc-by-nc-4.0hugging-face
Zeolit
lettuce-thymos-26m-v1

lettuce-thymos-26m-v1 — компактная модель классификации эмоций, разработанная авторами репозитория Zeolit. Она определяет несколько эмоций одновременно по короткому разговорному тексту на 22 языках, используя 28 меток GoEmotions. Модель основана на дистиллированном энкодере XLM-RoBERTa large: 8 слоёв, размер скрытого состояния 384, 6 голов внимания и позиционное кодирование RoPE. В репозитории указаны 26,5 млн параметров и вариант ONNX размером 28 МБ в INT8; доступны также веса safetensors. Модель предназначена для автоматической разметки эмоций в сообщениях, например для анализа тональности разговоров или группировки текстов по эмоциональным меткам. Она поддерживает английский, русский и ещё 20 языков. Для решений следует применять отдельные пороги из labels.json: единый порог 0,5 заметно снижает macro-F1. Лицензия — Apache-2.0. Основные ограничения связаны с данными Reddit: модель хуже подходит для длинных, литературных и формальных текстов. Результаты для арабского и суахили ниже, чем для большинства языков; слабее также распознаются grief, relief, pride, nervousness и embarrassment. Вероятности не откалиброваны как абсолютная уверенность, а клинические, диагностические и критически важные решения для безопасности не являются целевым применением.

541сент. 2026ctx512
textapache-2.0hugging-face
Nhoodie
Meta-Llama-3-8b-Lexi-Uninstruct-function-calling-json-mode-Task-Arithmetic-v0.1

Meta-Llama-3-8b-Lexi-Uninstruct-function-calling-json-mode-Task-Arithmetic-v0.1 — объединённая модель на архитектуре Llama, созданная с помощью LazyMergekit из четырёх моделей: hiieu/Meta-Llama-3-8B-Instruct-function-calling-json-mode, Orenguteng/Lexi-Llama-3-8B-Uncensored, NousResearch/Meta-Llama-3-8B и NousResearch/Meta-Llama-3-8B-Instruct. Модель содержит 7,5 млрд параметров и имеет контекст до 8192 токенов. Это разговорная языковая модель для генерации текста; состав исходных моделей указывает на сочетание инструктивного диалога, вызова функций и JSON-форматирования с возможностью генерации uncensored-контента. Подходит для диалоговых приложений и задач, где нужны структурированные ответы или вызов инструментов. Карточка не приводит результатов оценки качества и подробных рекомендаций по использованию. Лицензия в предоставленных данных не указана.

270апр. 2024ctx8.2K
texthugging-face
star-ga
mind-mem-4b

mind-mem-4b v4.1.1 — языковая модель, разработанная star-ga для проекта MIND-Mem. Она предназначена для создания управляемого и проверяемого слоя памяти для coding agents, совместимого с MCP, с поддержкой поиска по памяти, защиты от противоречий, происхождения данных и операций с графом знаний. Модель представляет собой полноразмерную дообученную версию Qwen3.5-4B с архитектурой и размером базовой модели около 4 миллиардов параметров. Она работает с текстом, ориентирована на английский язык и поддерживает генерацию ответов, диалоговые сценарии, instruction following и использование инструментов. Обучение охватывает 83 MCP-инструмента на ревизии v4.1.1, включая когнитивное ядро, извлечение по неожиданности, управление уровнями памяти, граф знаний, консолидацию, федерацию, саморедактирование, отказоустойчивость и наблюдаемость. Размер контекстного окна в представленных данных не указан. Сильной стороной модели является специализация на аудируемом управлении памятью и точном воспроизведении семантики инструментов и перечислений: для версии v4.1.1 заявлен результат 133 из 133 проверок. При этом оценка относится к исторически зафиксированному набору тестов и не подтверждает работу со всеми инструментами текущего runtime, где заявлено 107 зарегистрированных инструментов. Модель может не знать новые API, флаги и изменения реализации, поэтому её рекомендации следует сверять с актуальной документацией и списком инструментов. Лицензия — Apache-2.0.

3241апр. 2026ctx262.1K
textapache-2.0hugging-face
vllm-sr
mmbert-32k-yarn

mmBERT-32K-YaRN — многоязычная модель семейства ModernBERT, разработанная для семейства vLLM Semantic Router Mixture-of-Models на основе jhu-clsp/mmBERT-base. Контекстное окно расширено с 8 192 до 32 768 токенов с помощью масштабирования RoPE методом YaRN. Модель содержит около 307 млн параметров и предназначена для заполнения масок в тексте; её также можно применять для понимания длинных документов, семантической маршрутизации запросов, классификации документов и поиска информации в длинных текстах. Модель обучалась на многоязычном корпусе CC-100. В карточке указана поддержка более 1 800 языков базовой модели, а метаданные перечисляют английский, немецкий, французский, испанский, китайский, японский, русский, арабский, корейский и португальский. Доступны веса Safetensors и экспорт ONNX; лицензия — MIT. По данным карточки, точность извлечения существенно снижается для удалённых фрагментов дальше 2 048 токенов, несмотря на окно в 32 768 токенов. Для полного контекста требуется значительный объём видеопамяти — около 180 ГБ на один пример. Данные CC-100 могут наследовать смещения веб-краула.

1.8K12янв. 2026ctx32.8K
textmithugging-face
OpenDataArena
MMFineReason-8B

MMFineReason-8B — мультимодальная модель рассуждений от OpenDataArena, дообученная на наборе MMFineReason-1.8M. Она основана на Qwen3-VL-Instruct и обучалась в два этапа: supervised fine-tuning на примерах с подробными визуально обоснованными рассуждениями и последующее reinforcement learning с GSPO. Модель предназначена для ответов на вопросы по изображениям, в том числе для математических и научных задач, головоломок, общего понимания изображений и OCR. Модель имеет плотную архитектуру Qwen3-VL и 8 млрд параметров. Обучающий набор включает 1,8 млн примеров с подробными цепочками рассуждений и описаниями изображений; в метаданных указан английский язык. Для работы с моделью используются изображения и текстовые запросы, на выходе она формирует текстовые ответы. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

3811янв. 2026ctx262.1K
textimageapache-2.0hugging-face
fyaronskiy
ModernBERT-large-english-go-emotions

fyaronskiy дообучил ModernBERT-large на наборе GoEmotions для многометочной классификации эмоций в английском тексте. Модель находит несколько эмоций одновременно или проверяет наличие заданных эмоций; она построена на архитектуре ModernBERT и содержит 394,7 млн параметров. Нативный контекст — до 8192 токенов. Для исходной модели доступны веса Safetensors и версия ONNX, а также квантованная до INT8 версия ONNX. По результатам автора, ONNX ускоряет инференс примерно в 1,6 раза при сопоставимом качестве, а INT8 — примерно в 2,5 раза с небольшим снижением макро-F1. Качество заметно различается между классами: модель лучше распознаёт некоторые частые эмоции, тогда как редкие классы, например разочарование и осознание, даются ей хуже. Лицензия — MIT.

1628янв. 2025ctx8.2K
textmithugging-face
allenai
MolmoWeb-8B

MolmoWeb-8B — открытая мультимодальная модель веб-агента, разработанная Ai2. Она предназначена для взаимодействия с веб-сайтами: модель анализирует визуальное представление страницы и формирует ответы или действия агента для выполнения веб-задач. По данным карточки, MolmoWeb показывает высокие результаты на WebVoyager и Online-Mind2Web, а параллельные запуски с выбором лучшего результата повышают pass@4 по сравнению с pass@1. Модель использует архитектуру Molmo2 с языковой основой Qwen3-8B и визуальным энкодером SigLIP 2. Она принимает изображения и текстовые запросы и выдаёт текст; в метаданных указаны поддержка диалога и vision, а основной язык карточки — английский. Весы доступны в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Модель ориентирована на веб-агентные сценарии и может ошибаться при интерпретации страниц или выполнении сложных цепочек действий; README не приводит подробного перечня ограничений и требований к запуску.

52570март 2026ctx131.1K
textimageapache-2.0hugging-face
dfdfdgghh677
MyAwesomeModel-TestRepo

MyAwesomeModel — модель семейства BERT для извлечения признаков из текста, опубликованная в репозитории dfdfdgghh677/MyAwesomeModel-TestRepo. Она предназначена для получения векторных представлений текста, которые могут использоваться в последующих задачах анализа и машинного обучения. Модель работает с библиотекой Transformers и фреймворком PyTorch. В метаданных указана задача feature-extraction и архитектурный тег BERT; размер модели, поддерживаемые естественные языки и длина контекста не указаны. README также описывает возможности генерации текста, рассуждений, function calling и работы с веб-поиском, однако эти сведения не согласуются с указанным в метаданных pipeline-тегом и не подтверждают назначение модели как генеративной. Модель распространяется по лицензии MIT. Для практического применения следует проверить конфигурацию, токенизатор и фактическое поведение модели перед использованием в продуктивных системах.

2090сент. 2026
textembeddingmithugging-face
sadafhjkj
MyAwesomeModel-TestRepo

MyAwesomeModel — модель на базе BERT, опубликованная пользователем sadafhjkj. Согласно метаданным Hugging Face, она предназначена для извлечения признаков из текста и работает с библиотекой Transformers на PyTorch. Репозиторий также описывает улучшения рассуждений, понимания языка, генерации, function calling и снижение галлюцинаций, однако эти возможности не согласуются с указанным pipeline-тегом feature-extraction и не сопровождаются подробными техническими характеристиками модели. Модель может применяться для получения векторных представлений текста, последующего поиска по смыслу, классификации и других задач, использующих текстовые признаки. README приводит результаты внутренних бенчмарков по рассуждениям, ответам на вопросы, классификации, анализу тональности, суммаризации, переводу и генерации кода, но не описывает архитектуру в деталях, число параметров, поддерживаемые языки или длину контекста. Модель распространяется по лицензии MIT.

3170сент. 2026
textembeddingmithugging-face
toola
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория toola/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers и помеченная в метаданных как BERT-модель для извлечения признаков. Её основное заявленное назначение — преобразование текста в векторные представления, пригодные для последующей классификации, поиска похожих документов и других задач анализа текста. В README также заявлены возможности рассуждения, генерации кода и текста, ответов на вопросы, диалога, суммаризации, function calling и работы с файлами и веб-поиском. Однако эти сведения не согласуются с основным pipeline-тегом feature-extraction, поэтому генеративные и диалоговые сценарии следует считать заявленными в документации, а не подтверждёнными метаданными. Размер модели, длина контекста и поддерживаемые естественные языки не указаны. Модель распространяется по лицензии MIT.

830сент. 2026
textembeddingmithugging-face
Luigi
nemotron3-diar-plus-x-asr-gguf

Luigi публикует объединённый GGUF-пакет Nemotron-3 Diarization и X-ASR для потоковой транскрибации с разметкой говорящих. Это упаковочное объединение двух моделей: веса не переобучались и не изменялись. X-ASR — потоковая модель распознавания речи на архитектуре Zipformer2 transducer; Nemotron-3 Diarization на базе Sortformer определяет до восьми говорящих и временные границы их реплик. На вход подаётся аудио с частотой 16 кГц, на выходе — текст с метками говорящих на общей временной шкале. Пакет рассчитан на потоковую работу на CPU, в том числе на телефонах; для X-ASR поддерживаются размеры чанков 160, 480, 960 и 1920 мс. В состав входят компоненты GilgameshWind/X-ASR-zh-en и nvidia/Nemotron-3-Diarization. README приводит результаты проверок на английских и китайских тестовых аудиозаписях, но они не гарантируют качество на других данных. Компоненты распространяются на условиях Apache-2.0 и OpenMDW-1.1; при использовании и распространении нужно соблюдать требования обеих лицензий и сохранять соответствующие уведомления.

740сент. 2026
audiootherhugging-face
tngtech
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-GGUF

NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4 GGUF — это форматированный для GGUF и llama.cpp вариант модели NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4. Это не переобучение, а побитно точная конвертация исходного контрольного пункта с сохранением NVFP4-весов экспертов; модель предназначена для генерации текста и локального запуска, особенно на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores. Модель использует гибридную архитектуру Mamba-2, Mixture-of-Experts и attention: всего около 30 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Она содержит 52 слоя, включая 6 слоёв с полноценным attention, 128 маршрутизируемых экспертов, из которых активны 6, и одного общего эксперта. Нативная длина контекста составляет 1 048 576 токенов; благодаря фиксированному состоянию Mamba-2 и MoE полный контекст заявлен как доступный на одной видеокарте с 24 ГБ памяти. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Сильные стороны модели — очень длинный контекст, экономичное число активных параметров, сохранение исходных NVFP4-весов без повторного квантования и возможность использования дополнительной MTP-головы для speculative decoding. MTP-голова может повысить скорость примерно на 7% на быстрых GPU и на величину порядка десятков процентов на более медленном оборудовании, но требует дополнительной памяти и не улучшает качество вывода. Ограничения включают зависимость от совместимого оборудования и llama.cpp, а также потери запаса по контексту при использовании MTP-головы на GPU с 24 ГБ. В README приведены ориентировочные результаты: 79,2% на MMLU-Pro, 70,7% на IFBench и 26,7% на terminal-bench 2.0; авторы отмечают малые выборки и заметную вариативность результатов. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1, унаследованной от базовой модели. Материалы модели принадлежат NVIDIA Corporation и аффилированным лицам; при использовании следует указывать NVIDIA как разработчика исходной модели и NVFP4-экспорта. Репакет не аффилирован с NVIDIA и не предоставляет прав на её товарные знаки.

1.8K5сент. 2026
textotherhugging-face
openeurollm
oellm-9b-256k-theta64m-prelude

OELLM 9B — 256K context (ABF, θ=64M) — prelude — базовая плотная языковая модель OpenEuroLLM на архитектуре Qwen3. Это продолжение предобучения модели prelude с контекстным окном до 262 144 токенов; модель не настроена для следования инструкциям. В README указаны 9B параметров, тогда как метаданные Hugging Face указывают 8B. Модель поддерживает 37 европейских языков, включая английский, немецкий, французский, испанский, польский и украинский; метаданные подтверждают языковые теги для части этого набора. Модель предназначена для генерации продолжений и работы с длинными текстами, в том числе поиска сведений на разных позициях в контексте до 256K токенов. По оценке single-needle NIAH из README, результат на 256K составил 90% на 185 испытаниях в семи языках; более широкая оценка RULER ещё не проводилась. Для обработки контекста 256K требуется несколько GPU. Для такого режима README рекомендует сохранять rope_theta=64000000 и max_position_embeddings=262144. Модель распространяется по лицензии Apache-2.0. Поскольку это базовая модель без инструкционной настройки, она ориентирована на продолжение текста, а не на диалоговое следование запросам; также отмечен умеренный эффект «потери в середине» контекста.

1920июль 2026ctx262.1K
textapache-2.0hugging-face
google
paligemma2-28b-mix-224

PaliGemma 2 28B Mix 224 — разработанная Google мультимодальная модель на основе Gemma 2 и визуального энкодера SigLIP. Она принимает изображение и текст, а в ответ генерирует текст; вариант Mix поддерживает набор задач компьютерного зрения и языка, а разрешение изображений составляет 224 пикселя. Модель предназначена прежде всего для дообучения под задачи, связанные с изображениями: создания подписей, визуальных ответов на вопросы, распознавания текста, обнаружения и сегментации объектов. Также её можно адаптировать для анализа коротких видео, дистанционного зондирования, описания интерфейсов и других специализированных сценариев. Модель поддерживает несколько языков. Для надёжной работы нужны чёткие инструкции; это не многоходовый чат-бот, а качество без дообучения для общих задач может уступать специализированным моделям. Возможны фактические ошибки, проблемы с тонкими языковыми нюансами и предвзятые ответы. Лицензия Gemma; использование регулируется условиями и политикой допустимого использования Gemma.

165нояб. 2024
textimagegemmahugging-face
google
paligemma2-3b-pt-896

PaliGemma 2 3B PT 896 — предварительно обученная мультимодальная модель Google на основе SigLIP и языковой модели Gemma 2. Она принимает изображения с разрешением 896×896 и текст, а генерирует текст; для дообучения доступны веса bfloat16. Модель рассчитана прежде всего на настройку под отдельные задачи компьютерного зрения и языка: описание изображений и коротких видео, визуальные вопросы и ответы, чтение текста на изображениях, обнаружение и сегментацию объектов. Также её можно адаптировать для вопросов по спутниковым снимкам и научным изображениям, помощи незрячим пользователям и описания функций элементов интерфейса. Модель поддерживает несколько языков и обрабатывает текстовые последовательности длиной до 512 токенов на входе и выходе. Это базовая модель для дообучения, а не универсальный многотуровый чат-бот: качество без настройки на конкретную задачу может быть ниже, чем у специализированных моделей. Она может ошибаться в фактах и рассуждениях, испытывать трудности с неоднозначными запросами и отражать предубеждения обучающих данных. Использование регулируется условиями Gemma; разработчикам следует учитывать политику запрещённого использования Gemma.

68828нояб. 2024
textimagegemmahugging-face
Rardilit
Panther_v1

Panther v1 — языковая модель Rardilit на архитектуре LLaMA, выпущенная в мае 2023 года. Модель содержит 6,6 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов. В карточке заявлена поддержка нескольких языков; в метаданных указан английский язык. Модель предназначена для генерации текста, исследования поведения языковых моделей и использования в качестве основы для дообучения. Среди возможных последующих задач названы извлечение информации, ответы на вопросы и суммаризация. Модель может выдавать фактически звучащие, но неверные ответы, а также нерелевантный или повторяющийся текст; возможны стереотипы, персональные данные и неприемлемый контент. Разработчик — Rardilit. Указана лицензия Panther License v1.0, классифицированная в метаданных как other; конкретные условия следует сверять с текстом лицензии. Модель не предназначена для решений с существенными последствиями, в том числе в медицине, праве, политике и финансах.

3791май 2023ctx2K
textotherhugging-face
perplexity-ai
pii-masking-vllm

Модель perplexity-ai/pii-masking-vllm — упаковка для vLLM дообученной двунаправленной модели Qwen3 от Perplexity AI для обнаружения и оценки чувствительности персональных данных в разговорном тексте. Она использует энкодер примерно на 600 млн параметров с классификатором токенов на 37 меток и отдельной головой оценки чувствительности беседы. Классификатор размечает девять категорий PII, включая имена, адреса, электронную почту, телефоны, номера счетов и секреты; BIOES-разметка декодируется алгоритмом Витерби. Контекст модели по метаданным — 32 768 токенов, однако вход поставляемого клиента ограничен 4096 токенами и обрезается при превышении этого лимита. Модель принимает текст и возвращает метки и диапазоны с найденными данными, а также оценку чувствительности текста. Репозиторий переупаковывает готовые веса для vLLM без повторного обучения и квантизации; веса энкодера сохранены в bf16, головы — в fp32. Для развёртывания из README предусмотрены vLLM, адаптер подсчёта и Docker Compose с поддержкой NVIDIA GPU. Карточка указывает английский и многоязычный охват, но не перечисляет конкретные языки. Лицензия — MIT. Возможны пропуски и ложные срабатывания, а границы найденных фрагментов могут захватывать пробелы. Пороговые значения уверенности и чувствительности следует калибровать на целевых данных; для обработки документов длиннее 4096 токенов их нужно разбивать на части.

6202сент. 2026ctx32.8K
textmithugging-face
iiiorg
piiranha-v1-detect-personal-information

Piiranha-v1 — дообученная модель iiiorg на базе microsoft/mdeberta-v3-base для обнаружения и классификации персональных данных в тексте. Она выделяет 17 типов PII, включая имена, адреса, электронную почту, номера телефонов, пароли, данные кредитных карт и идентификаторы. Модель предназначена для помощи в обезличивании и редактировании текстов на английском, испанском, французском, немецком, итальянском и нидерландском языках. Архитектура — DeBERTa V2 для токеновой классификации; модель содержит 306 млн параметров и принимает до 512 токенов по метаданным. В README указан контекст длиной 256 токенов и рекомендация делить более длинные тексты на фрагменты. В карточке приведены результаты тестирования, включая F1 93,12% для классификации по 18 категориям и метрики бинарного обнаружения PII; качество зависит от типа сущности и распределения данных. Лицензия CC-BY-NC-ND-4.0 ограничивает коммерческое использование и распространение производных версий. Предсказания могут быть ошибочными, поэтому модель следует применять как средство поддержки обезличивания, а не как гарантию полного удаления персональных данных.

159K249сент. 2024ctx512
textcc-by-nc-nd-4.0hugging-face
google
pix2struct-screen2words-large

google/pix2struct-screen2words-large — крупная модель семейства Pix2Struct, разработанная Google. Это визуально-языковая модель с кодировщиком изображений и декодером текста, предназначенная для ответов на вопросы по изображениям экранов и пользовательских интерфейсов. Семейство Pix2Struct предварительно обучалось разбирать замаскированные скриншоты веб-страниц в упрощённый HTML; модель принимает изображение и формирует текстовый ответ. Pix2Struct рассчитана на задачи визуального понимания, включая визуальные вопросы и ответы, и использует представление изображений с переменным разрешением. В метаданных указана поддержка английского, французского, румынского и немецкого языков. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0.

14024март 2023
textimageapache-2.0hugging-face
pritamdeka
PubMedBERT-mnli-snli-scinli-scitail-mednli-stsb

pritamdeka/PubMedBERT-mnli-snli-scinli-scitail-mednli-stsb — модель на архитектуре BERT, обученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и рассчитана на семантический поиск, кластеризацию и сравнение сходства предложений. В обучении использованы наборы SNLI, MNLI, SCINLI, SCITAIL, MEDNLI и STSB; модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для поиска семантически близких научных и медицинских текстов, группировки документов по смыслу и расчёта сходства между предложениями. Она выдаёт векторы, а не готовые ответы или метки. Карточка не сообщает лицензию и не приводит явный перечень поддерживаемых естественных языков.

12K7нояб. 2022ctx512
textembeddinghugging-face
prithivMLmods
QvQ-Step-Tiny

QvQ-Step-Tiny — мультимодальная модель PrithivMLmods на архитектуре Qwen2-VL, дообученная на наборах данных VCR для пошагового объяснения визуального контекста. Метаданные указывают 1,5 млрд параметров, контекст до 32 768 токенов и формат Safetensors; в README указаны 2,21 млрд параметров и точность BF16, поэтому размер модели в источниках расходится. Модель принимает изображения и текстовые запросы, а также формирует текстовые ответы с объяснениями. Она предназначена для визуальных вопросов и ответов, разбора документов и математических изображений, а также анализа видеосодержимого. В карточке заявлены поддержка распознавания текста на разных языках и возможности Qwen2-VL для изображений разных размеров и пропорций. Основной язык карточки — английский; мультиязычная поддержка упоминается в README. К ограничениям относятся возможное снижение точности на низкокачественных изображениях и сложных специализированных задачах, а также значительные вычислительные требования при работе с высоким разрешением и длинным контекстом. Заявленные возможности анализа видео длительностью более 20 минут и управления устройствами описаны в README, но не подтверждены метаданными. Лицензия — Apache-2.0.

263янв. 2025ctx32.8K
textimageapache-2.0hugging-face
ilintar
qwen3.8-27b-gguf-strix-halo

ilintar/qwen3.8-27b-gguf-strix-halo — набор GGUF-файлов модели Qwen3.8-27B, подготовленный для запуска на AMD Strix Halo с ROCm. Основная модель основана на Qwen/Qwen3.8-27B и дополнена DFlash2-моделью z-lab/Qwen3.8-27B-DFlash2 для speculative decoding. Репозиторий ориентирован на использование с llama.cpp и оптимизированными ветками ROCm для графики gfx1151. Основной файл имеет размер около 16,1 ГБ и использует преимущественно квантизацию IQ4_XS, с отдельными тензорами в Q8_0 и F32. DFlash2-файл размером около 1,04 ГБ служит черновой моделью для ускорения генерации. Модель поддерживает текстовый и, при отдельной установке совместимого мультимодального проектора mmproj, визуальный ввод. В примере конфигурации используется контекст до 65 536 токенов. Сведения о поддерживаемых языках в карточке не приведены. Главное преимущество — возможность ускоренного локального запуска на AMD Strix Halo: в приведённых тестах speculative decoding с IQ4_XS давал прирост скорости относительно Q8_0-черновика, особенно на задачах рассуждений и структурированного вывода. При этом результаты зависят от промпта, уровня принятия черновых токенов и конкретного runtime. К ограничениям относятся привязка к специальной конфигурации ROCm и экспериментальным веткам llama.cpp, необходимость отдельно получать мультимодальный проектор для изображений, а также небольшое ухудшение измеренной perplexity относительно исходной BF16-модели. Лицензия заявлена как Apache 2.0, однако условия исходных моделей рекомендуется проверить отдельно.

8930сент. 2026
textimageapache-2.0hugging-face
Vontra
Qwen3.8-Flash-Next-MLX-oQ4-MTP

Vontra/Qwen3.8-Flash-Next-MLX-oQ4-MTP — общественная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, созданная Vontra на основе официальных весов Qwen в формате BF16. Модель предназначена для запуска на Apple Silicon через совместимые среды oMLX или MLX-VLM и поддерживает обработку текста и изображений. Это не официальный релиз Qwen. Модель использует разреженную архитектуру mixture-of-experts qwen4_exp с 125 млрд параметров, из которых около 6 млрд активны при обработке токена, 48 слоями, 512 маршрутизируемыми экспертами, 10 активными экспертами и одним общим экспертом. В состав входят Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual-потоки, hashed bigram и trigram embeddings, а также один встроенный MTP-блок для speculative decoding. Контекст составляет до 262 144 токенов. Конверсия выполнена в смешанной 4-битной точности oQ4 с отдельными модулями в 5- и 8-битном формате; размер весов — около 113,33 ГБ. Сильными сторонами являются экономичное по сравнению с полной точностью хранение, поддержка визуально-текстовых сценариев и встроенный MTP для ускорения генерации. Ограничения связаны с большими требованиями к памяти, зависимостью от Apple Silicon и необходимостью runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут не загрузить модель. Указанная лицензия — Qwen Community License 1.0.

5.0K13авг. 2026ctx262.1K
textimageotherhugging-face
ddark-il
Qwen3.8-Flash-Next-Uncensored

Qwen3.8-Flash-Next-Uncensored — это MLX-квантованная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, опубликованная пользователем ddark-il. Модель предназначена для локального запуска на компьютерах Apple Silicon, прежде всего на M5 Max с 128 ГБ памяти, и поддерживает сценарии генерации текста и обработки изображений с текстом. Модель использует архитектуру qwen4_exp с mixture-of-experts (MoE), vision-language возможностями и механизмом multi-token prediction (MTP). Исходный размер составляет около 180 млрд параметров; в данном варианте применяется смешанная affine-квантизация MLX со средней точностью 4,857 бит на параметр. Размер файлов — 109,29 ГБ, заявлена поддержка контекста до 262 тысяч токенов. Основная часть весов квантизирована в 4, 6 и 8 битах с различными размерами групп, причём для o_proj используется 8-битная квантизация. По измерениям авторов, версия обеспечивает меньшую ошибку относительно исходных bf16-весов, чем предыдущая ревизия, и достигает 90,7% совпадения top-1 предсказаний с bf16-версией. Сильными сторонами являются существенно меньшие требования к памяти по сравнению с bf16, высокая точность для квантизированной модели, поддержка длинного контекста и мультимодальных входов. Ограничения включают очень большой размер, зависимость от MLX и Apple Silicon, возможное влияние квантизации на качество, а также требования к пропускной способности SSD и кэшированию при работе с крупными таблицами и экспертами. Модель распространяется по лицензии Apache-2.0.

1.2K3авг. 2026ctx262.1K
textimageapache-2.0hugging-face
karsar
Qwen3-Embedding-0.6B-hu

karsar/Qwen3-Embedding-0.6B-hu — модель Sentence Transformers, дообученная разработчиком на базе Qwen/Qwen3-Embedding-0.6B для создания эмбеддингов на венгерском языке. Она преобразует предложения и абзацы в плотные векторы размерности 1024; близость текстов можно оценивать косинусным сходством. Архитектура включает Qwen3, пулинг по последнему токену и нормализацию векторов. Модель содержит 507,6 млн параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. В README приведена оценка cosine_accuracy 0,717 на тестовом наборе all-triplet-test. Обучение выполнено на наборе json с примерами anchor, positive и negative; лицензия — Apache-2.0.

1102июль 2025ctx32.8K
textembeddingapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей