/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
7 771–7 800 из 13 467
ibm-granite
granite-vision-3.3-2b

Granite Vision 3.3 2B — компактная мультимодальная модель IBM для понимания изображений, особенно документов. Она предназначена для извлечения и структурирования сведений из таблиц, графиков, инфографики, диаграмм и других визуальных материалов, а также для ответов на вопросы по изображениям. Модель построена на архитектуре LLaVA: использует визуальный энкодер SigLIP2, двухслойный MLP-коннектор и языковую модель Granite 3.1 2B Instruct с контекстом 128 тыс. токенов. В карточке описаны экспериментальные возможности сегментации изображений, генерации doctags и анализа последовательностей до восьми страниц документа. Для многостраничной обработки рекомендуется уменьшать длинную сторону изображения до 768 пикселей. Модель подходит для извлечения данных из документов и визуального поиска с использованием MM-RAG. Возможны неточные, предвзятые или нежелательные ответы; авторы рекомендуют применять её прежде всего для понимания документов, поскольку более общие задачи по изображениям могут давать нежелательные результаты. Лицензия — Apache-2.0.

236K88июнь 2025ctx131.1K
textimageapache-2.0hugging-face
LargeWorldModel
LWM-Text-Chat-1M

LargeWorldModel/LWM-Text-Chat-1M — авторегрессионная языковая модель на архитектуре Transformer семейства LLaMA, разработанная Large World Model. Это чат-вариант модели LWM-Text-1M-Chat, обученный на основе LLaMA 2 на отфильтрованной части Books3; в карточке указано, что обучение проходило в декабре 2023 года на 800 документах длиной более миллиона токенов. По метаданным модель содержит 6,6 млрд параметров и поддерживает контекст до 1 048 576 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, в том числе обработки длинных текстовых входов. В репозитории указан формат PyTorch. Сведения о лицензии, поддерживаемых естественных языках и конкретных ограничениях применения в предоставленных данных отсутствуют.

73173февр. 2024ctx1M
texthugging-face
eshiryae
MiniCPM4-8B

Карточка модели eshiryae/MiniCPM4-8B на Hugging Face совпадает с карточкой openbmb/MiniCPM4-8B, поэтому описание составлено по ней. MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

630дек. 2025ctx32.8K
textapache-2.0hugging-face
openbmb
MiniCPM4-8B

MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

6.8K289июнь 2025ctx32.8K
textapache-2.0hugging-face
nvidia
Mistral-NeMo-Minitron-8B-Instruct

Mistral-NeMo-Minitron-8B-Instruct — языковая модель NVIDIA для генерации ответов и ведения диалога. Это дообученная версия nvidia/Mistral-NeMo-Minitron-8B-Base, которая была сжата из Mistral-NeMo 12B с помощью pruning и distillation. Модель обучали в несколько этапов с supervised fine-tuning и выравниванием предпочтений. Она построена на авторегрессионном трансформере Mistral-NeMo с 40 слоями, Grouped-Query Attention и RoPE; содержит 7,9 млрд параметров и поддерживает контекст до 8192 токенов. Модель подходит для ролевого диалога, генерации текста, ответов с опорой на найденные документы в RAG-сценариях и вызова функций. Для диалога рекомендуется использовать формат System/User/Assistant, на котором проводилось дообучение. README не перечисляет конкретные поддерживаемые естественные языки, поэтому языковая специализация не заявлена. Оценки в карточке включают MMLU, MT Bench и GSM8K. Модель может воспроизводить токсичность и предвзятость обучающих данных, давать неточные, неполные или избыточные ответы; в агентных сценариях следует проверять безопасность используемых пакетов. Лицензия указана как other; перед использованием необходимо свериться с условиями NVIDIA.

7.3K87окт. 2024ctx8.2K
textotherhugging-face
inference-net
Schematron-3B

Schematron-3B — специализированная модель Inference.net для извлечения структурированных данных из HTML. Это дообученная плотная авторегрессионная модель семейства Llama на 3,2 млрд параметров, доступная в формате safetensors и работающая через Transformers. Она принимает HTML-страницу и JSON Schema и генерирует JSON, соответствующий заданной схеме; заявленное контекстное окно — до 131 072 токенов. Модель предназначена для веб-скрейпинга, загрузки данных и преобразования содержимого страниц в структурированные записи, а также может использоваться как этап конвейера поиска и синтеза ответов. Разработчик рекомендует очищать HTML от скриптов и стилей, задавать явные описания неоднозначных полей и проверять результат по схеме. Модель обрабатывает статический HTML: динамический контент следует предварительно отрендерить, а очень большие страницы могут потребовать усечения. Лицензия — Llama 3.2; применяйте её на условиях этой лицензии.

474344авг. 2025ctx131.1K
textllama3.2hugging-face
mergekit-community
TopEvolution7RAG

TopEvolution7RAG — созданная сообществом mergekit объединённая языковая модель на архитектуре Mistral с плотной архитектурой и примерно 7,1 млрд параметров. Веса объединены методом SLERP из DeepMount00/Mistral-RAG и mergekit-community/TopEvolutionWiz. Модель предназначена для генерации текста; базовая модель Mistral-RAG описана как дообученная для генеративных и экстрактивных ответов на вопросы по текстам, поэтому объединённая модель может подходить для ответов на вопросы и сценариев RAG. Поддерживаемый контекст — 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

140май 2024ctx32.8K
texthugging-face
gradients-io-tournaments
tournament-tourn_2ba0f79237bffcf7_20260907-1a0ce16d-2dd4-4d24-b7ba-a223c34067e7-5HBgDWKx

Модель создана Liquid AI и представляет собой дообученную для агентных сценариев версию LFM2.5-2.6B — плотной языковой модели семейства LFM2. Она рассчитана на локальное и периферийное развёртывание и поддерживает диалог, вызов инструментов, следование инструкциям и многошаговые агентные задачи. Модель принимает текст и генерирует текст; архитектура включает 30 слоёв, около 2,6 млрд параметров и контекст до 131 072 токенов. Модель подходит для извлечения данных, ответов с опорой на документы и RAG, а также длинных контекстных и агентных рабочих процессов. По данным карточки, её обучали на взаимодействиях в популярных агентных средах; заявлена эффективная локальная инференс-работа. Поддерживаются 17 языков, включая русский, английский, китайский, арабский и хинди. Карточка не рекомендует модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами лицензии репозитория. Доступен формат safetensors для Transformers; в README также упомянуты варианты GGUF и ONNX.

1710сент. 2026ctx131.1K
textotherhugging-face
urchade
gliner_large-v2

GLiNER-large-v2 — англоязычная модель для распознавания именованных сущностей, разработанная Уршаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарнуа. Она использует двунаправленный BERT-подобный трансформер и библиотеку GLiNER для извлечения сущностей из текста по заданным пользователем типам, поэтому подходит для гибкой разметки без ограничения фиксированным набором классов. Модель обучена на датасете NuNER и содержит 459 млн параметров. Её можно применять для извлечения сущностей из документов и текстовых коллекций, когда требуются настраиваемые типы сущностей и более компактный вариант по сравнению с крупными языковыми моделями. Репозиторий распространяется по лицензии Apache-2.0.

142K58март 2024
textapache-2.0hugging-face
amadeusai
JabuticaBERT-Large

AmadeusAI/JabuticaBERT-Large — языковая модель на архитектуре DeBERTa-v2, опубликованная на Hugging Face и предназначенная для извлечения признаков из текста. Модель подключается через библиотеку Transformers и преобразует входные последовательности в векторные представления, пригодные для последующей обработки и обучения прикладных моделей. Модель содержит около 533,8 млн параметров и поддерживает контекст длиной до 512 токенов. Её можно использовать для построения эмбеддингов, семантического поиска, кластеризации, классификации и других задач, где нужны информативные представления текста. Сведения о разработчике, поддерживаемых естественных языках и лицензии в доступных источниках отсутствуют.

5510дек. 2024ctx512
textembeddinghugging-face
microsoft
kosmos-2.5-chat

Kosmos-2.5-chat — мультимодальная модель Microsoft для визуальных вопросов и ответов по изображениям с текстом. Она дообучена на основе Kosmos-2.5 и использует авторегрессионный Transformer с декодером, принимающий изображение и текстовый запрос и генерирующий текстовый ответ. Модель предназначена для визуального анализа документов и других изображений с большим объёмом текста. Исходное семейство Kosmos-2.5 также распознаёт текст с пространственными координатами и преобразует структуру и оформление документов в Markdown; карточка этой версии отдельно указывает обучение для задач VQA. Модель доступна в формате Safetensors и используется через Transformers версии 4.56 или новее. Поддерживаемый язык карточки — английский. Модель может ошибаться и галлюцинировать, поэтому результаты распознавания и ответы по содержимому изображения требуют проверки. Лицензия — MIT.

44230авг. 2024ctx4.1K
textimagemithugging-face
LiquidAI
LFM2.5-1.2B-Thinking

LFM2.5-1.2B-Thinking — текстовая модель общего назначения от Liquid AI, созданная для локального запуска на устройствах с ограниченными ресурсами. Это дообученная версия LFM2.5-1.2B-Base, основанная на гибридной архитектуре LFM2: 16 слоёв, включая блоки свёрток и GQA. В README указано 1,17 млрд параметров, а в метаданных Hugging Face — 1,5 млрд; заявленная длина контекста в README составляет 32 768 токенов, тогда как метаданные указывают 128 000 токенов. Эти значения расходятся, поэтому их следует сверить перед настройкой развёртывания. Модель предназначена для рассуждений общего назначения, агентных сценариев, извлечения данных и ответов по документам в RAG-системах. Она поддерживает вызов инструментов и рассчитана на английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Карточка описывает исходный чекпойнт в формате Safetensors и указывает поддержку Transformers и vLLM; семейство LFM2.5 также ориентировано на запуск на устройстве. README не рекомендует модель для задач, требующих обширных знаний, и программирования; дата отсечения знаний — середина 2024 года. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели на Hugging Face.

7.7K405янв. 2026ctx128K
textotherhugging-face
dleemiller
ModernCE-base-sts

ModernCE-base-sts — англоязычный кросс-энкодер для оценки семантического сходства двух текстов. Модель разработал dleemiller на основе answerdotai/ModernBERT-base; она дообучена на датасете sentence-transformers/stsb после предварительного обучения на выборке pair-score-sampled из dleemiller/wiki-sim. Архитектура ModernBERT-base содержит 149 млн параметров, работает с библиотекой sentence-transformers и обрабатывает последовательности длиной до 8192 токенов. Модель принимает пару текстов и выдаёт оценку сходства от 0 до 1, поэтому подходит для сравнения предложений и оценки ответов языковых моделей. На тестовой выборке STS-Benchmark автор сообщает корреляции Pearson 0,9162 и Spearman 0,9122. Доступны веса safetensors и формат ONNX; лицензия — MIT. Результаты оценки могут зависеть от предметной области и не гарантируют точности для любых пар текстов.

3.7K11янв. 2025ctx8.2K
textmithugging-face
zenosai
MonkeyOCRv2-S

Карточка модели zenosai/MonkeyOCRv2-S на Hugging Face совпадает с карточкой zenosai/MonkeyOCRv2-B-Parsing, поэтому описание составлено по ней. MonkeyOCRv2-B-Parsing — мультимодальная модель для разбора документов, разработанная командой MonkeyOCRv2. Она принимает изображения документов и предназначена для извлечения и структурирования их содержимого; модель также поддерживается как парсер PDF в RAGFlow. В README указана оценка на документах 17 языков, включая цифровые и сфотографированные документы, однако конкретные языки не перечислены. Модель использует плотную архитектуру MonkeyOCRv2ForCausalLM и содержит 507,9 млн параметров. Метаданные указывают контекст до 40 960 токенов, библиотеку Transformers и формат весов Safetensors. В README описаны запуск через Transformers и vLLM, а также возможность дообучения на собственных данных. Лицензия — Apache-2.0. Подходит для разбора PDF и изображений документов с выдачей текстового представления, в том числе для последующей работы с содержимым в RAG-системах. Ограничение: README не приводит перечень поддерживаемых языков и подробностей о формате или точности результатов для отдельных типов документов.

8413июль 2026
imageembeddingapache-2.0hugging-face
ssmits
Qwen2-7B-Instruct-embed-base

ssmits/Qwen2-7B-Instruct-embed-base — модель эмбеддингов на основе Qwen2, представленная автором репозитория ssmits. Это плотная Transformer-модель класса Qwen2Model с 7,1 млрд параметров; у неё удалён слой lm_head, поэтому она предназначена для получения векторных представлений текста. Модель распространяется в формате safetensors и использует библиотеку sentence-transformers. Её можно применять для извлечения признаков, сравнения сходства предложений и классификации текста. Контекст составляет до 32 768 токенов; в карточке указан английский язык, а серия Qwen2 описана как адаптированная к нескольким естественным языкам и языкам программирования. Лицензия — Apache-2.0. Автор предупреждает, что модель не показывает высокой эффективности без дополнительного дообучения, и отмечает потребление более 24 ГБ видеопамяти в собственных тестах. Для получения эмбеддингов требуется выбрать подходящую операцию pooling поверх контекстных представлений.

4.1K5июнь 2024ctx32.8K
textembeddingapache-2.0hugging-face
sergeyzh
rubert-mini-uncased-query

sergeyzh/rubert-mini-uncased-query — компактный BERT-энкодер, разработанный для симметричного сравнения поисковых запросов. Это дообученная версия sergeyzh/rubert-mini-uncased, обученная дистилляцией эмбеддингов русских и английских текстов с учётом префикса Qwen/Qwen3-Embedding-8B. Модель имеет 38,8 млн параметров, 7 слоёв, размер эмбеддинга 384 и контекст до 512 токенов; регистр букв не учитывается, специальные префиксы для запросов не нужны. Модель предназначена для оценки семантического сходства запросов, кэширования и фильтрации повторяющихся или близких запросов к LLM, а также для сценариев Q2Q RAG. Карточка сообщает об оценке сходства пар поисковых запросов на русском языке относительно Qwen/Qwen3-Embedding-8B; приведённые в таблице метрики относятся к другим вариантам модели и не позволяют судить о точных показателях этой версии. Модель принимает текст и выдаёт векторные представления для сравнения. Поддерживаются русский и английский языки. Лицензия — MIT.

960июль 2026ctx512
textembeddingmithugging-face
princeton-nlp
unsup-simcse-bert-base-uncased

Модель unsup-simcse-bert-base-uncased разработана группой Princeton NLP и представляет собой BERT-base-uncased, дообученный методом unsupervised SimCSE для получения векторных представлений предложений. Она предназначена для извлечения признаков и построения эмбеддингов, которые можно использовать в задачах семантического сходства и последующей обработки текста. Модель содержит 136,7 млн параметров, принимает текст на английском языке и поддерживает контекст до 512 токенов. Опубликованы варианты весов PyTorch и Flax. README указывает, что для обучения использовались случайно выбранные предложения из англоязычной Википедии; оценивание эмбеддингов проводилось на задачах семантического сходства и переноса на другие задачи. README не приводит лицензию. Эмбеддинги могут отражать вредные стереотипы и предубеждения, поэтому результаты следует проверять с учётом возможного смещения.

1.1K6март 2022ctx512
textembeddinghugging-face
NousResearch
Yarn-Mistral-7b-128k

NousResearch/Yarn-Mistral-7b-128k — языковая модель NousResearch на архитектуре Mistral-7B, дополнительно предобученная на данных с длинным контекстом в течение 1500 шагов с применением метода YaRN. Модель предназначена для генерации текста и обработки длинных входных последовательностей, например анализа объёмных документов и поиска ответов в них. В карточке заявлено окно контекста до 128 тысяч токенов. По метаданным, модель содержит 7,1 млрд параметров и распространяется в формате PyTorch для Transformers; базовая модель — Mistral-7B-v0.1. В README приведены результаты тестов длинного контекста и стандартных языковых бенчмарков, где качество на коротком контексте немного ниже, чем у исходной Mistral-7B-v0.1. Указанная лицензия — Apache-2.0. Для загрузки README рекомендует использовать актуальную версию Transformers и параметр trust_remote_code=True.

1.0K574окт. 2023ctx32.8K
textapache-2.0hugging-face
clarin-knext
bge-reranker-v2-m3-citeverifier

clarin-knext/bge-reranker-v2-m3-citeverifier — дообученная модель CLARIN-KNекст на основе BAAI/bge-reranker-v2-m3 для проверки соответствия пары текстов. Она принимает посылку и гипотезу, оценивает их совместимость и позволяет по порогу сходства получить бинарное решение; такой сценарий подходит для проверки, подтверждается ли утверждение заданным текстом. Модель построена на XLM-RoBERTa, содержит около 658,7 млн параметров, работает с текстом и имеет контекст до 8194 токенов. В репозитории указаны веса Safetensors. Лицензия в предоставленных данных не описана.

4170окт. 2024ctx8.2K
texthugging-face
metarank
ce-esci-MiniLM-L6-v2

Карточка модели metarank/ce-esci-MiniLM-L6-v2 на Hugging Face совпадает с карточкой metarank/ce-esci-MiniLM-L12-v2, поэтому описание составлено по ней. metarank/ce-esci-MiniLM-L12-v2 — модель Sentence-Transformers, разработанная Roman Grebennikov и дообученная на датасете Amazon ESCI. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов и кластеризации. Архитектура основана на BERT; в метаданных указано около 40 млн параметров и контекст до 512 токенов. Модель подходит для семантического поиска и сравнения запросов с товарами или другими текстами. В README название базовой модели указано как cross-encoder/ms-marco-MiniLM-L-6-v2, тогда как идентификатор репозитория и метаданные указывают на MiniLM-L12-v2; поэтому точная связь версии в названии с описанным обучением требует осторожной трактовки. Репозиторий содержит форматы PyTorch, Safetensors и ONNX. Условия лицензии в предоставленных данных не описаны.

1080апр. 2023ctx512
texthugging-face
mirth
chonky_modernbert_large_1

Chonky modernbert large v1 — англоязычная модель токеновой классификации, дообученная автором mirth на answerdotai/ModernBERT-large для разделения текста на смысловые фрагменты. Она размечает границы сегментов меткой separator и предназначена для подготовки документов к поиску и генерации с дополнением из найденных данных (RAG), а также для передачи фрагментов в системы эмбеддингов или языковые модели. Модель построена на архитектуре ModernBERT и содержит 394,7 млн параметров. Базовая архитектура поддерживает контекст до 8192 токенов, однако модель дообучалась на последовательностях длиной 1024 токена. В README приведены token-based F1 0,85 для minipile и 0,79 для BookCorpus. Модель распространяется в формате safetensors по лицензии MIT.

7592апр. 2025ctx8.2K
textmithugging-face
Shuu12121
CodeSearch-ModernBERT-Finch-SmallBatch

Shuu12121 выпустил модель Sentence Transformers на основе ModernBERT, дообученную на парных текстовых примерах. Она кодирует предложения и абзацы в плотные векторы размерностью 512 для сравнения косинусным сходством, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель рассчитана на задачи поиска и сопоставления текстов, в том числе фрагментов кода; обучающий набор содержит 58 800 пар, а функция потерь — MultipleNegativesRankingLoss. Модель содержит 40,5 млн параметров. В README указана максимальная длина последовательности 1024 токена, тогда как метаданные каталога сообщают о 8192 токенах нативного контекста; фактическая длина зависит от используемой конфигурации. Веса опубликованы в формате safetensors, для работы используется библиотека sentence-transformers. Лицензия в предоставленных данных не указана.

1300июль 2025ctx8.2K
textembeddinghugging-face
mPLUG
DocOwl2

mPLUG-DocOwl2 — мультимодальная языковая модель семейства mPLUG-DocOwl, разработанная командой mPLUG для понимания многостраничных документов без предварительного OCR. Модель принимает изображения страниц и текстовые запросы, а затем формирует текстовые ответы о содержимом документа. Модуль High-resolution DocCompressor кодирует каждую страницу всего 324 токенами, что позволяет работать с многостраничными документами. Модель предназначена для извлечения и анализа информации из документов, в том числе для ответов на вопросы по их содержимому. В метаданных указаны 6,6 млрд параметров, контекстное окно 2048 токенов и поддержка английского языка. Модель распространяется по лицензии Apache-2.0. Карточка описывает её назначение для OCR-free понимания документов, но не приводит количественных оценок качества или подробностей о поддержке языков, кроме английского.

130116сент. 2024ctx2K
textapache-2.0hugging-face
avemio
German-RAG-NEMO-12B-CPT-HESSIAN-AI

German-RAG-NEMO-12B-CPT-HESSIAN-AI — авторегрессионная трансформерная языковая модель команды Avemio AI при поддержке Hessian AI. Это дообученная версия Mistral-Nemo-Base-2407 с 12,1 млрд параметров, предназначенная для задач генерации текста, контекстных ответов на вопросы, структурированного рассуждения и суммаризации. Модель адаптировали для немецкоязычных сценариев, сохранив поддержку английского языка; обучение включало около 507 млн токенов. Модель подходит для ответов по предоставленному контексту, в том числе в системах RAG, а также для обобщения документов и решения задач с несколькими ограничениями. В метаданных заявлено контекстное окно до 1 024 000 токенов. Модель распространяется по лицензии Apache 2.0. Без фильтров безопасности она может генерировать вредный или предвзятый контент, а ответы и фактические утверждения могут быть недостоверными и требуют проверки.

411сент. 2024ctx1M
textapache-2.0hugging-face
GritLM
GritLM-7B-KTO

GritLM/GritLM-7B-KTO — версия модели GritLM 7B с обучением KTO, основанная на Mistral 7B. GritLM разработана Contextual AI и объединяет генерацию текста с получением текстовых представлений и эмбеддингов в одной модели. В репозитории указаны архитектура Mistral и 7,1 млрд параметров; модель принимает текст, поддерживает диалоговый режим и имеет контекст длиной до 32 768 токенов. Модель предназначена для генерации ответов в диалоге, а также для задач представления и классификации текста. Карточка описывает GritLM как модель, показавшую передовые результаты на задачах генерации и текстовых представлений, но конкретные результаты для версии KTO не приведены. Модель распространяется по лицензии Apache-2.0.

8.6K4апр. 2024ctx32.8K
textapache-2.0hugging-face
pierreguillou
layout-xlm-base-finetuned-with-DocLayNet-base-at-paragraphlevel-ml512

pierreguillou дообучил LayoutXLM Base от Microsoft на наборе DocLayNet для распознавания структуры документов на уровне абзацев. Модель LayoutLMv2 содержит 305,2 млн параметров и принимает текстовые токены вместе с расположением элементов на странице; для обработки использовались фрагменты до 512 токенов с перекрытием 128 токенов. На выходе она присваивает абзацам метки одного из 11 типов: заголовок, текст, список, таблица, иллюстрация, формула, подпись, сноска, верхний или нижний колонтитул и название документа. Модель предназначена для анализа PDF и других документов: она помогает выделять структуру страниц и подготавливать содержимое для поиска, извлечения данных и дальнейшей обработки. В README указаны F1 0,7739 и точность на уровне абзацев 86,55%; качество различается по классам, например, для нижних колонтитулов оно высокое, а для сносок и названий заметно ниже. В метаданных заявлены английский, немецкий, французский и японский языки. Лицензия — MIT.

3610март 2023ctx514
textmithugging-face
flair
ner-multi

flair/ner-multi — стандартная модель распознавания именованных сущностей из библиотеки Flair для английского, немецкого, нидерландского и испанского языков. Она предназначена для разметки слов в тексте четырьмя классами: имена людей, географические названия, организации и ещё один класс CoNLL-03, не раскрытый в доступном фрагменте карточки. Модель построена на Flair embeddings и архитектуре LSTM-CRF и обучена для CoNLL-03. В карточке приведены F1-оценки: 92,16 для английского, 87,33 для немецкого, 88,96 для нидерландского и 86,65 для испанского. Также заявлена ограниченная применимость к близким языкам, например французскому. Использование предусмотрено через Flair и SequenceTagger. Лицензия в предоставленных данных не указана.

34K11март 2022
texthugging-face
satgeze
Ornith-1.0-35B-1M-GGUF

Ornith-1.0-35B-1M-GGUF — GGUF-сборка модели Ornith-1.0-35B от DeepReinforce, опубликованная satgeze. Это текстовая генеративная модель на базе 35B MoE-архитектуры семейства Qwen3.5 с примерно 3B активных параметров. Сборка предназначена для локального запуска через llama.cpp и Ollama и расширена поддержкой длинного контекста, speculative decoding через MTP и обработки изображений. Ключевая особенность — контекстное окно до 1 048 576 токенов: масштабирование RoPE по YaRN встроено в метаданные GGUF, поэтому для llama.cpp и Ollama не требуются дополнительные параметры. В README заявлена проверка поиска информации по длинному контексту: 50 из 50 тестовых фрагментов найдены на диапазоне до 1M токенов. MTP-сборка Q6_K показала рост скорости декодирования с 267,9 до 382,9 токена в секунду, или примерно на 43%; для APEX-Compact заявлен прирост 14%. Визуальный модуль подключается отдельным файлом mmproj и, по данным README, распознаёт текст на изображениях и объекты. Модель подходит для генерации текста, работы с большими документами и другими задачами, требующими очень длинного контекста, а также для мультимодальных сценариев с изображениями. Доступны варианты квантования различного размера; рекомендуемые MTP-файлы занимают 17,0 и 29,2 ГБ, а визуальный модуль — 899 МБ. Ограничения включают высокие требования к оперативной или видеопамяти, зависимость производительности от оборудования и потенциальные потери качества при выборе более агрессивного квантования. Модель распространяется по лицензии MIT.

29711июль 2026
textmithugging-face
Lihuchen
pearl_small

PEARL-small — компактная модель эмбеддингов строк и фраз, разработанная Lihu Chen, Gaël Varoquaux и Fabian M. Suchanek. Работа принята на EACL Findings 2024. Модель представляет собой дообученную версию E5-small на контекстно-независимом наборе данных, созданном авторами. В основе — архитектура BERT; размер составляет около 40 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для получения векторных представлений коротких строк и сравнения их семантической близости. Она учитывает тип фразы и морфологические признаки, чтобы лучше сопоставлять варианты написания и формулировок. Основные сценарии — строковое сопоставление, поиск сущностей, кластеризация сущностей и нечёткое соединение записей. В README приведены примеры сравнения названий, а также результаты бенчмарков и сравнение ресурсов с FastText. Модель принимает текст и выдаёт эмбеддинги; метаданные указывают английский язык. Репозиторий распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Данные источников не описывают ограничения качества за пределами приведённых бенчмарков и длины контекста.

32413февр. 2024ctx512
textembeddingapache-2.0hugging-face
mlx-community
Qwen3-Embedding-8B-4bit-DWQ

mlx-community/Qwen3-Embedding-8B-4bit-DWQ — модель для получения признаковых представлений текста, задач sentence similarity и feature extraction. Она основана на Qwen/Qwen3-Embedding-8B и преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.25.1. Модель имеет размер 8B параметров и 4-битное квантование DWQ, что предназначено для снижения требований к памяти при сохранении возможности локального запуска в экосистеме MLX. В карточке указана поддержка библиотек Transformers и Sentence Transformers, а также тип конвейера feature-extraction. Конкретные языки, размер контекста и перечень поддерживаемых модальностей не указаны; по представленным данным модель предназначена для работы с текстом. Лицензия модели — Apache-2.0. README не содержит подробных сведений о качестве, ограничениях, языковом покрытии и результатах тестирования, поэтому эти характеристики нельзя оценить точнее.

2.4K11июнь 2025ctx41K
textapache-2.0hugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей