/ Профессии
Универсальные способности и операции

I.11Классификация, ранжирование и сопоставление

В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
15
в этой профессии
Подходящих моделей
26 736
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

26 736 моделей
Загрузки
Лайки
Дата выхода
10 111–10 140 из 26 736
cis-lmu
glotlid

GlotLID — модель идентификации языка на базе fastText, разработанная командой cis-lmu. Актуальная версия V3 определяет язык текста среди 2102 меток, включая трёхбуквенные коды ISO с указанием письменности; доступны также предыдущие версии модели. Модель предназначена для автоматического определения языка коротких или длинных текстовых фрагментов, в том числе для маршрутизации текста по языковым обработчикам и предварительной разметки многоязычных корпусов. В метаданных указана задача text-classification, библиотека fastText и набор языковых тегов; README связывает разработку с исследованием EMNLP 2023 и датасетами GlotSparse, GlotStoryBook и glotlid-corpus. Модель выдаёт метку языка, а качество распознавания зависит от объёма и качества входного текста и покрытия конкретного языка в обучающих данных. Лицензия указана как other, поэтому перед использованием следует свериться с условиями репозитория.

316K105окт. 2023
textotherhugging-face
RedHatAI
granite-embedding-english-r2

Granite-embedding-english-r2 — плотная двунаправленная модель-биэнкодер из семейства Granite Embeddings, разработанная командой Granite Embedding Team компании IBM. Она преобразует английские запросы, фрагменты и документы в векторы размером 768 для поиска, извлечения информации и сравнения текстов по косинусному сходству. Модель построена на архитектуре ModernBERT, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Модель обучалась на открытых наборах пар релевантности с разрешительными лицензиями, а также на данных, собранных и созданных IBM. В обучении использовались retrieval-ориентированное предварительное обучение, контрастивное дообучение, дистилляция и объединение моделей. В README заявлены результаты на тестах поиска по текстам, коду, длинным документам, диалогам и таблицам. Репозиторий предоставляет форматы PyTorch, Safetensors, ONNX, OpenVINO и TensorFlow. Модель предназначена для применения в системах поиска и извлечения информации, включая подбор релевантных документов и построение векторных представлений для последующего сравнения. Она рассчитана только на английский язык; тексты длиннее 8192 токенов будут усечены. Распространяется по лицензии Apache 2.0.

3010февр. 2026ctx8.2K
textembeddingapache-2.0hugging-face
topk-io
Iso-ModernColBERT

Iso-ModernColBERT — англоязычная много-векторная модель для семантического поиска и ранжирования документов, разработанная TopK.io. Это изотропно скорректированная версия GTE-ModernColBERT-v1 на архитектуре ModernBERT с 149 млн параметров и контекстом до 8192 токенов. Модель кодирует запросы и документы в наборы векторов и поддерживает позднее взаимодействие в стиле ColBERT; в TopK она также применяется со Sparse Multi-Vector Encoding (SMVE). Модель рассчитана на производственные системы поиска, где важны качество ранжирования и скорость извлечения. По внутренним оценкам разработчика на наборах BEIR и NanoBEIR версия bf16 сохраняет качество ранжирования, близкое к fp32, и ускоряет инференс до трёх раз относительно исходной модели; SMVE предназначен для масштабируемого поиска кандидатов с последующим ранжированием. Эти результаты получены во внутреннем тестовом контуре, а README отмечает, что некоторые показатели выигрыша SMVE обусловлены крайне низкой базовой оценкой исходной модели. Лицензия — Apache-2.0. Модель ориентирована на английский язык; заявленный контекст — 8192 токена. Она предназначена для получения векторов и оценок релевантности, а не для генерации ответов. Результаты README относятся к указанным поисковым бенчмаркам и конфигурациям, поэтому качество на других корпусах и при иных настройках отдельно не подтверждено.

44217май 2026ctx8.2K
textembeddingapache-2.0hugging-face
Nurlykhan
kazembed-v5

KazEmbed-V5 — это дообученная Nurlykhan модель эмбеддингов на базе intfloat/multilingual-e5-base, предназначенная прежде всего для поиска по текстам на казахском языке и построения RAG-систем. Модель использует архитектуру XLM-RoBERTa и содержит около 305 млн параметров по метаданным; README указывает 278 млн. Она преобразует запросы и фрагменты текста в векторы для поиска релевантных материалов и сопоставления предложений. Для наилучших результатов при поиске README рекомендует добавлять к запросам префикс «query:», а к документам — «passage:».

3622дек. 2025ctx514
textembeddingapache-2.0hugging-face
nikitast
lang-classifier-roberta

nikitast/lang-classifier-roberta — модель классификации текста по языку, созданная дообучением RoBERTa. Она принимает текст и определяет, к одному из поддерживаемых языков он относится: русскому, украинскому, белорусскому, казахскому, азербайджанскому, венгерскому, армянскому, грузинскому, ивриту, английскому или немецкому. Модель основана на XLM-RoBERTa, содержит около 305,2 млн параметров и рассчитана на последовательности длиной до 514 токенов. Модель дообучена на небольших выборках Open Subtitles, OSCAR и Tatoeba — примерно по 9 тысяч примеров на язык. В README приведены результаты проверки на отдельных выборках примерно по тысяче примеров на язык; для показанных классов F1 составляет от 0,976 до 0,998. Размер обучающих выборок ограничивает уверенность в качестве на текстах, которые отличаются от использованных данных. Репозиторий содержит веса PyTorch; сведения о лицензии в доступных данных отсутствуют.

155май 2022ctx514
texthugging-face
baa-ai
Merino-Nano

Merino-Nano — компактная модель для поиска, созданная BAA AI (Black Sheep AI). Она объединяет биэнкодер для построения 384-мерных L2-нормализованных эмбеддингов и кросс-энкодер, который оценивает релевантность пары «запрос — документ» одним числом. Обе части используют общую таблицу эмбеддингов и основу MiniLM-L6-H384-uncased; всего около 34 млн параметров. Модель предназначена для двух этапов поиска в RAG-системах: сравнения запросов и документов по эмбеддингам и последующего ранжирования найденных фрагментов. В README её характеризуют как экономичную модель общего назначения для английских данных и рекомендуют для атомарных фрагментов, содержащих по одному утверждению, с возвратом родительского раздела для контекста. Заявлена сертификация 4-битной квантизации без измеримой потери качества в описанном испытании с отвлекающими документами. Репозиторий содержит веса в формате safetensors, лицензия указана как other; конкретные условия лицензии в предоставленных данных не раскрыты. Оценка Position Balance в README указывает на ограничения поиска второго факта во фрагменте, поэтому автор рекомендует делить документы на атомарные фрагменты. Модель рассчитана на английский язык.

90июнь 2026
textembeddingotherhugging-face
pinecone
mpnet-retriever-discourse

MPNet Retriever (Discourse) — модель эмбеддингов на базе MPNet, дообученная Джеймсом Бриггсом из Pinecone. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска релевантных фрагментов в задачах открытого вопросно-ответного поиска, в том числе по техническим форумам Hugging Face, PyTorch, Streamlit и TensorFlow. Модель основана на архитектуре BERT и содержит 136,7 млн параметров; максимальная длина контекста — 512 токенов. Дообучение на парах вопросов и ответов использовало функцию потерь Multiple Negatives Ranking Loss с косинусным сходством. Её можно применять для семантического поиска и отбора документов для последующей системы вопросно-ответных ответов. Модель принимает текст и выдаёт векторные представления, но сама по себе не генерирует ответы. Веса опубликованы в формате PyTorch; лицензия в предоставленных данных не указана.

1142март 2022ctx512
textembeddinghugging-face
tomaarsen
multivector-ModernBERT-base-msmarco-contrastive-no-query-expansion

tomaarsen/multivector-ModernBERT-base-msmarco-contrastive-no-query-expansion — англоязычный много-векторный энкодер, дообученный tomaarsen на базе answerdotai/ModernBERT-base с помощью библиотеки Sentence Transformers на парах запросов и документов из msmarco-bm25. Модель предназначена для семантического поиска и информационного поиска с поздним взаимодействием: она кодирует текст в последовательность 128-мерных векторов токенов, а релевантность оценивается функцией MaxSim. Модель принимает текст, поддерживает последовательности длиной до 8192 токенов и содержит 149 млн параметров. В README приведены результаты оценки поиска на наборах NanoMSMARCO, NanoBEIR и других задачах извлечения информации; результаты зависят от датасета и выбранной метрики. Для работы требуется сопоставлять векторы запросов и документов, поэтому это энкодер для поискового конвейера, а не генеративная модель ответов. Распространяется по лицензии Apache-2.0.

230июль 2026ctx8.2K
textembeddingapache-2.0hugging-face
sdmlai
nano-jev

Nano-Jev v1.0 — компактная модель принятия решений для конвейеров RAG, разработанная Shubham Divakar. Она принимает вопрос и один или несколько фрагментов контекста и оценивает релевантность отрывка, достаточность набора отрывков для ответа или обоснованность утверждения контекстом. Модель возвращает вероятности по заданным вариантам и не генерирует текст. Архитектура — кросс-энкодер на базе MiniLM с 12 слоями и скрытым размером 384, дополненный классификационной головой; в метаданных указано 40 млн параметров, а README приводит 33,4 млн. Модель дообучена на microsoft/MiniLM-L12-H384-uncased, принимает текст и поддерживает английский язык; максимальный контекст — 512 токенов. Распространяется по лицензии MIT. Модель быстрая и на тестах, близких к обучающим данным, показывает хорошие результаты классификации и калибровки. На новых наборах данных точность снижается примерно на 15–20 процентных пунктов, а калибровка переносится плохо; перед применением на собственных данных следует перепроверить пороги и вероятности. Она рассчитана на английский текст в стиле Википедии, а пользовательские наборы меток работают слабее.

3151сент. 2026ctx512
textmithugging-face
perplexity-ai
pplx-embed-v1-late-0.6b

pplx-embed-v1-late-0.6b — мультиязычная модель эмбеддингов Perplexity AI для поиска документов с поздним взаимодействием. Это дообученная версия pplx-embed-v1-0.6b с архитектурой PPLXQwen3Model; она создаёт векторы размерности 128 для каждого токена, а запросы и документы сопоставляет с помощью оценки MaxSim, не сводя текст к одному вектору. Модель подходит для семантического поиска и извлечения документов, в том числе для многоязычных корпусов. В README приведены результаты nDCG@10: 56,61 в среднем по 15 англоязычным задачам BEIR и 66,62 в среднем по 18 языкам MIRACL. Контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт последовательности векторов токенов; доступный формат весов — safetensors. Лицензия MIT.

50732март 2026ctx32.8K
textembeddingmithugging-face
leafxyz
qwen3-embedding-0.6b-arabic-ecom

leafxyz/qwen3-embedding-0.6b-arabic-ecom — текстовая Sentence Transformer модель на базе Qwen3-Embedding-0.6B, дообученная для поиска товаров в арабской электронной торговле. Она преобразует поисковые запросы и описания товаров в плотные векторы размерности 1024; близость оценивается косинусным сходством. В архитектуру входят Qwen3Model, pooling по последнему токену и нормализация эмбеддингов. Модель рассчитана на извлечение подходящих товаров по арабскому запросу, включая сценарии семантического поиска и ранжирования кандидатов. Она обучалась на парах запросов и товаров, в том числе с отрицательными примерами. README указывает максимальную длину последовательности 128 токенов; метаданные указывают контекст модели в 32768 токенов. Для применения используются Sentence Transformers и формат весов safetensors. Это дообученная версия Qwen/Qwen3-Embedding-0.6B с примерно 507,6 млн параметров. В данных модели лицензия не указана, поэтому условия использования следует сверить с лицензией базовой модели и репозитория.

680авг. 2026ctx32.8K
textembeddinghugging-face
IoannisKat1
Qwen3-Embedding-4b-matryoshka

IoannisKat1/Qwen3-Embedding-4b-matryoshka — текстовая модель эмбеддингов, дообученная разработчиком IoannisKat1 на базе Qwen/Qwen3-Embedding-4B. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 2560 для семантического поиска и извлечения релевантных документов; близость векторов оценивается косинусным сходством. Архитектура Sentence Transformer использует Qwen3Model, pooling по последнему токену и нормализацию. Поддерживает английский язык и контекст до 40 960 токенов. Обучение проводилось на 4 268 парах текстов с MatryoshkaLoss и MultipleNegativesRankingLoss. Векторы можно усекать до меньших размерностей, от 2048 до 64, с измеренным качеством поиска для нескольких размерностей; показатели зависят от размерности и набора данных. Модель распространяется под лицензией Apache-2.0. Она предназначена для получения эмбеддингов и не генерирует ответы; карточка не приводит результатов на широком наборе языков или доменов.

1190июль 2026ctx41K
textembeddingapache-2.0hugging-face
timm
vit_base_patch16_clip_224.openai_ft_in12k_in1k

Модель vit_base_patch16_clip_224.openai_ft_in12k_in1k — модель классификации изображений на основе Vision Transformer (ViT), опубликованная в библиотеке timm. Она предварительно обучена OpenAI на парах изображений и текстов WIT-400M с помощью CLIP, а затем дообучена на ImageNet-12k и ImageNet-1k. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения признаков и построения эмбеддингов изображений. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Модель принимает изображения и выдаёт предсказанные классы либо векторные признаки.

2.2K0нояб. 2022
imageapache-2.0hugging-face
timm
vit_base_patch16_siglip_gap_512.webli

Это визуальный энкодер SigLIP из библиотеки timm с архитектурой ViT-Base и патчами 16×16, обученный на данных WebLI. Вариант использует глобальное усреднение признаков и предназначен для извлечения векторных представлений изображений. Модель подходит для построения эмбеддингов изображений, поиска похожих изображений и других систем, использующих визуальные признаки. Карточка описывает только image encoder, поэтому модель не следует считать генератором текста или изображений. Весы доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0.

220дек. 2024
textapache-2.0hugging-face
google
xtr-base-en

google/xtr-base-en — англоязычная модель семейства T5 для многовекторного поиска по токенам, представленная Google. Она предназначена для извлечения и ранжирования релевантных документов по запросу в системах поиска и retrieval-augmented generation. Архитектура — плотный энкодер T5EncoderModel, размер — 123,8 млн параметров; доступны веса PyTorch и Safetensors. XTR формирует многовекторные представления текста и поддерживает поиск по токенам, что позволяет точнее сопоставлять запросы и документы, чем единое представление текста. Карточка описывает запуск реализации на PyTorch и ссылается на исследовательскую работу о роли извлечения токенов в многовекторном поиске. Модель распространяется по лицензии Apache-2.0.

71412апр. 2024ctx512
textapache-2.0hugging-face
DeepMount00
Anita

DeepMount00/Anita — модель Sentence Transformer на базе архитектуры BERT, предназначенная для поиска контекста, наиболее релевантного вопросу на итальянском языке. Она кодирует вопросы и предложения в векторы, чтобы сопоставлять их по смысловой близости; модель подходит для поиска ответов в базе знаний, автоматизации поддержки клиентов и образовательных инструментов. В карточке указано 137,9 млн параметров и контекст до 512 токенов. Модель выпущена в апреле 2024 года и распространяется в формате safetensors по лицензии Apache-2.0. Модель рассчитана на итальянские запросы и тексты. Она ранжирует релевантность контекстов, но README не описывает генерацию ответов: для получения ответа нужно использовать найденный фрагмент в отдельном процессе или системе. Указанная задача Hugging Face — sentence-similarity.

1.4K31янв. 2024ctx512
textapache-2.0hugging-face
amauczka
APA-embed-embeddinggemma-300m-g39-v1.0

APA-embed-embeddinggemma-300m-g39-v1.0 — текстовая модель эмбеддингов, дообученная агентством Austria Presse Agentur на базе google/embeddinggemma-300m. Она преобразует тексты в векторы размерностью 768 для семантического поиска; основная цель дообучения — поиск документов по запросу в большом корпусе, также поддерживается поиск похожих документов по примеру. Обучение использовало новостные тексты, предоставленные участниками G39. Модель основана на семействе Gemma и совместима с SentenceTransformers, vLLM и HuggingFace Text Embeddings Inference. Благодаря обучению Matryoshka векторы можно сокращать до 512, 256 или 128 измерений с небольшим снижением качества. Лицензионные условия унаследованы от базовой модели и отсылают к Gemma Terms of Use.

121июль 2026
textembeddinghugging-face
avsolatorio
AVES_BAAI_bge-base-en-v1.5-20240125221415-best

Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240125221415-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

1770янв. 2024ctx512
textembeddingmithugging-face
maidalun1020
bce-embedding-base_v1

bce-embedding-base_v1 — модель эмбеддингов семейства BCEmbedding, разработанная командой Youdao и опубликованная пользователем maidalun1020. Она предназначена для построения векторных представлений текста и семантического поиска, в первую очередь для поиска фрагментов в системах RAG. Модель использует архитектуру XLM-RoBERTa с плотным энкодером; в метаданных указано 305,2 млн параметров и контекст до 514 токенов. Модель поддерживает китайский и английский языки, включая межъязыковой поиск между ними. Двухкодировочная архитектура рассчитана на эффективный первичный отбор текстов; карточка рекомендует при необходимости дополнить поиск отдельным реранкером BCEmbedding. Модель не требует специальных инструкций для запросов и может применяться в разных областях, включая образование, право, финансы и медицину. Модель принимает текст и выдаёт векторные представления. В репозитории указаны веса PyTorch и лицензия Apache-2.0. Заявленная языковая поддержка ограничена китайским и английским; перенос качества на другие языки не подтверждён карточкой.

16K395дек. 2023ctx514
textembeddingapache-2.0hugging-face
Stffens
bge-small-rrf-v3

Stffens/bge-small-rrf-v3 — англоязычная модель для создания текстовых эмбеддингов и семантического поиска, разработанная автором проекта vstash. Она дообучена на базе BAAI/bge-small-en-v1.5 с помощью сигнала расхождения результатов гибридного поиска и обучена на данных BEIR SciFact, NFCorpus и FiQA. Модель использует архитектуру BERT, содержит около 40 млн параметров по метаданным (в README указано 33 млн), формирует векторы размерности 384 и поддерживает контекст до 512 токенов. Модель предназначена для семантического поиска и использования в качестве эмбеддинговой основы RAG-систем. Автор приводит улучшения относительно базовой модели и предыдущей версии на нескольких наборах BEIR; результаты зависят от корпуса и поискового конвейера. Для NFCorpus v2 может быть предпочтительнее, а специализированные клинические, юридические и насыщенные терминологией корпуса могут требовать дообучения. Модель рассчитана на английский язык, для кросс-языкового поиска может уступать многоязычным моделям. Распространяется по лицензии MIT.

720апр. 2026ctx512
textembeddingmithugging-face
Qdrant
bm25

Qdrant/bm25 — модель на основе алгоритма BM25 (Best Matching 25), предназначенная для поиска и ранжирования текстовых документов по их релевантности поисковому запросу. Она распространяется через FastEmbed и рассчитана на использование с векторной базой Qdrant. Модель преобразует тексты в разреженные представления с индексами и весами токенов, которые можно использовать для лексического поиска. Для корректной работы в Qdrant необходимо настроить векторы с модификатором Modifier.IDF. Такой подход подходит для полнотекстового поиска, сопоставления запросов с документами и гибридных поисковых систем, где важна точная лексическая связь между запросом и содержимым. В карточке указана поддержка английского, арабского, нидерландского, датского, финского, французского, немецкого, греческого, венгерского, итальянского, норвежского, португальского, румынского, русского, испанского, шведского, тамильского и турецкого языков. Архитектура, число параметров, размер контекста и дополнительные модальности не указаны; модель предназначена для работы с текстом. Лицензия — Apache-2.0. Ограничение подхода состоит в том, что BM25 опирается преимущественно на совпадение лексики и статистику терминов, поэтому он может хуже учитывать смысловые перефразирования по сравнению с плотными семантическими моделями.

934K48июнь 2024
textapache-2.0hugging-face
facebook
contriever

facebook/contriever — плотная модель векторного представления текста на базе архитектуры BERT, разработанная командой Facebook. Её обучили без учителя с помощью контрастивного обучения для поиска информации; для получения эмбеддинга предложения поверх выходов модели требуется mean pooling. Модель предназначена для построения векторного поиска по коллекциям документов и извлечения релевантных текстов по запросу. Она содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт представления текста. В README не указаны языки обучения или специализация на конкретной предметной области. Модель опубликована в формате PyTorch. Условия лицензии в предоставленных данных не описаны.

8.2M129март 2022ctx512
texthugging-face
tomaarsen
csr-mxbai-embed-large-v1-nq-no-base-loss

Это англоязычный разреженный CSR-кодировщик текста, созданный авторами Sentence Transformers и дообученный на Natural Questions от базовой модели mixedbread-ai/mxbai-embed-large-v1. Он преобразует запросы и документы в разреженные векторы размерностью 4096 с максимум 256 активными измерениями; близость оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного информационного поиска, в том числе по коллекциям вопросов и ответов. Модель основана на архитектуре BERT, содержит около 433,9 млн параметров, принимает текст длиной до 512 токенов и работает через библиотеку Sentence Transformers. В карточке приведены оценки поиска на наборах Natural Questions, MS MARCO, NFCorpus и NanoBEIR. Лицензия — Apache-2.0.

1630июнь 2025ctx512
textembeddingapache-2.0hugging-face
Fralet
DDeduPModelv7

DDeduPModelv7 — дообученная модель семейства Llama 3, разработанная для образовательных задач в Казахстане и других регионах. Это плотная авторегрессионная языковая модель на 7,5 млрд параметров с контекстом до 8192 токенов; она принимает и генерирует текст. Модель обучена с помощью TRL и Unsloth на наборе Fralet/DDeduPDatasetv2 из 137 226 примеров на казахском, русском и английском языках. Модель предназначена для генерации образовательных текстов, многометочной классификации и сопоставления университетских курсов с кодами результатов обучения по разным дисциплинам. Её можно применять при разработке учебных планов, оценке пробелов в программах и анализе связи курсов с компетенциями. Лицензия — Apache-2.0. Автоматические сопоставления могут упускать контекстные нюансы и требуют проверки специалистами на соответствие требованиям конкретного учреждения. На результаты могут влиять региональный и дисциплинарный уклон обучающих данных; адаптация для других языков и областей может потребовать дополнительного дообучения.

810июль 2025ctx8.2K
textapache-2.0hugging-face
Pieces
embeddinggemma-300m-distilled-depth10pct-10-768dim-best

Pieces представила сжатую версию модели эмбеддингов Google EmbeddingGemma-300M для поиска и сравнения текстов. Модель предназначена для получения векторных представлений, семантического поиска и retrieval-сценариев; в каталоге также указана поддержка оценки сходства предложений. Модель основана на Gemma 3 Text и сокращена с 24 до 2 слоёв трансформера; ширина эмбеддинга уменьшена с 768 до 76 и восстановлена до выходного размера 768. В README заявлено около 33 млн параметров и ускорение вывода за счёт сокращения числа слоёв, тогда как метаданные указывают 209,8 млн параметров. Контекст составляет 2048 токенов. Данные не уточняют поддерживаемые естественные языки. Модель подходит для индексации текстов и поиска близких по смыслу фрагментов при ограниченных ресурсах. README характеризует качество как приемлемое, но не приводит результатов сравнительных тестов; сильное сжатие может снижать качество относительно исходной модели. Лицензия — Apache 2.0.

1042дек. 2025ctx2K
textembeddingapache-2.0hugging-face
facebook
fasttext-language-identification

Это облегчённая модель идентификации языка на основе библиотеки fastText, представленная Meta. Она классифицирует входной текст по языку; размещённая версия lid218e, выпущенная в рамках проекта NLLB, распознаёт 217 языков. Модель предназначена для автоматической маркировки языка коротких фрагментов, предварительной маршрутизации текста и выбора подходящих языковых инструментов. fastText рассчитан на эффективную работу на стандартном оборудовании и подходит как для прототипирования, так и для производственных сценариев. В README также описаны предобученные векторы fastText для 157 языков, полученные методом CBOW с позиционными весами и символьными n-граммами; эти параметры не следует считать подтверждённой спецификацией именно размещённого классификатора lid218e. Лицензия репозитория — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями лицензии. Возможны смещения в предсказаниях.

409K286март 2023
textcc-by-nc-4.0hugging-face
google
flan-t5-xxl

FLAN-T5-XXL — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Это вариант с 5,8 млрд параметров, построенный на архитектуре encoder-decoder T5; модель принимает текст и генерирует текст в формате text-to-text. Она предназначена для выполнения разнообразных задач по текстовой инструкции, включая ответы на вопросы, рассуждения и few-shot- или zero-shot-сценарии. Карточка указывает английский, немецкий и французский языки; метаданные также отмечают румынский и многоязычность. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache 2.0. FLAN-T5-XXL может служить основой для прототипов и исследований языковых моделей, обработки естественного языка и обучения на примерах в запросе. Авторы сообщают о сильных результатах на разных бенчмарках, однако модель не тестировалась в реальных приложениях. Она может воспроизводить смещения и неподходящий контент из обучающих данных, поэтому перед применением в конкретном продукте необходима оценка качества, безопасности и справедливости.

13K1.3Kокт. 2022ctx512
textapache-2.0hugging-face
FronyAI
frony-embed-arctic-ko-0.6B-v2.5

Frony Embed Arctic V2.5 (0.6B) — модель эмбеддингов текста от FronyAI, дообученная на базе Snowflake/snowflake-arctic-embed-l-v2.0. Это двунаправленный энкодер XLM-RoBERTa с плотным одно-векторным представлением и mean pooling; в метаданных указано 658,7 млн параметров. Модель ориентирована прежде всего на корейский язык и поддерживает поиск между корейскими и английскими текстами. Модель предназначена для семантического поиска и извлечения релевантных фрагментов, в том числе в RAG-системах, сопоставления FAQ и поиска по корейским документам в Markdown. Для запросов и документов предусмотрены специальные токены, добавляемые через настроенные prompts Sentence Transformers. Контекстная длина базовой модели — до 8194 токенов, однако обучение и оценка проводились на меньших последовательностях, а качество заявлено только до 512 токенов. Модель распространяется под лицензией Apache-2.0. При использовании следует учитывать ограничение на длину фрагментов и необходимость специальных токенов запроса и документа: без них качество поиска заметно снижается.

1067май 2025ctx8.2K
textembeddingapache-2.0hugging-face
endless-frontier
Fx-Work

Fx-Work — мультимодальная языковая модель класса 35B для профессиональных задач в средах с файлами и инструментами. Она разработана командой Endless Frontier на базе Qwen3.6-35B-A3B и дообучена на 20 тысячах траекторий взаимодействия с инструментами. Модель интерпретирует рабочие материалы разных типов, учитывает операционные ограничения, при необходимости формирует вызовы инструментов и создаёт результаты по заданным требованиям. Модель рассчитана на агентные рабочие сценарии: анализ документов и других материалов, выполнение последовательных задач и подготовку профессиональных результатов. Поддерживает изображения и видео вместе с текстом; карточка указывает английский язык. В README для запуска приведён контекст до 262 144 токенов. Заявленные результаты сравнительных оценок относятся к конкретным бенчмаркам и не гарантируют такого же качества в других задачах. Для работы с инструментами требуется окружающая агентная инфраструктура; сервер модели выдаёт текст и, при настройке, ответы с вызовами инструментов. Модель распространяется по лицензии Apache-2.0.

2.7K8сент. 2026ctx262.1K
textimageapache-2.0hugging-face
ibm-granite
granite-3.0-2b-base

Granite-3.0-2B-Base — базовая языковая модель IBM Granite Team для генерации текста и других задач преобразования текста. Это плотный decoder-only Transformer на 2,5 млрд параметров, обученный с нуля в два этапа на разнообразных данных; архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель принимает текст и выдаёт текст, поддерживает контекст до 4096 токенов и предназначена в том числе для суммаризации, классификации, извлечения информации и ответов на вопросы, а также как основа для специализированного дообучения. В карточке заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Обучающие данные охватывают веб, код, академические материалы, книги и математику. Модель выпущена под лицензией Apache 2.0. Она не проходила выравнивание по безопасности, поэтому может генерировать нежелательные или недостоверные ответы; для меньших моделей также отмечен риск дословного воспроизведения обучающих данных.

3.2K25окт. 2024ctx4.1K
textapache-2.0hugging-face

Задачи профессии

15 задач
172Присвоение объекту одной или нескольких категорий. — Механизм: AI сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Исходные данные: эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: результат «Присвоение объекту одной или нескольких категорий» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
173Иерархическая классификация по многоуровневому справочнику. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: результат «Иерархическая классификация по многоуровневому справочнику» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
174Классификация при наличии очень малого числа примеров. — Для этой задачи система извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Рабочие входы: критерии приоритета, объекты, признаки и эталонные категории. Формат результата: результат «Классификация при наличии очень малого числа примеров» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
175Определение степени уверенности и передача сомнительных случаев человеку. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: установленное значение или вариант по задаче «Определение степени уверенности и передача сомнительных случаев человеку» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
176Приоритизация объектов по срочности, ценности или риску. — Механизм: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Предметная логика: оценивает вероятность и тяжесть исхода отдельно, затем объединяет их в профиль риска. Исходные данные: история исходов, признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: результат «Приоритизация объектов по срочности, ценности или риску» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
177Ранжирование кандидатов по множеству критериев. — AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. К исходным данным относятся эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: результат «Ранжирование кандидатов по множеству критериев» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
178Сопоставление двух объектов на совместимость. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: карта соответствий и различий для «Сопоставление двух объектов на совместимость», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
179Многостороннее сопоставление участников, ресурсов и ограничений. — Практическая реализация: AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. Входной контекст включает критерии приоритета, объекты, признаки и эталонные категории. Формат результата: карта соответствий и различий для «Многостороннее сопоставление участников, ресурсов и ограничений», где элементы приведены к единым критериям и связаны с первичными данными. Ошибки выявляют экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
180Поиск наиболее близкого аналога или прецедента. — Механизм: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Исходные данные: объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: ранжированный список кандидатов по задаче «Поиск наиболее близкого аналога или прецедента» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
181Выявление принадлежности записей одному реальному объекту. — AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. К исходным данным относятся признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление принадлежности записей одному реальному объекту», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
182Определение сходства и различий между сложными объектами. — Для этой задачи система последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Рабочие входы: эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: установленное значение или вариант по задаче «Определение сходства и различий между сложными объектами» с оценкой уверенности и основаниями решения. Критерии приёмки: по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
183Автоматическое назначение очереди, команды или исполнителя. — Практическая реализация: AI обрабатывает исходные данные по формализованным правилам и обученным закономерностям, чтобы получить проверяемый результат. Предметная логика: решает комбинаторную задачу с ограничениями и пересчитывает план при сбоях. Входной контекст включает список работ или точек, пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: конкретный результат по задаче «Автоматическое назначение очереди, команды или исполнителя» с исходными данными, промежуточными основаниями и возможностью проверки. Ошибки выявляют сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
184Выделение пограничных случаев, не подходящих ни к одной известной категории. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: критерии приоритета, объекты, признаки и эталонные категории. Формат результата: структурированные данные, полученные в рамках «Выделение пограничных случаев, не подходящих ни к одной известной категории», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
185Калибровка баллов модели в интерпретируемые вероятности. — AI замыкает контур управления: наблюдает результат предыдущего действия и адаптирует следующий управляющий шаг. Предметная логика: оценивает вероятность и тяжесть исхода отдельно, затем объединяет их в профиль риска. К исходным данным относятся история исходов, объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: управляющее решение для «Калибровка баллов модели в интерпретируемые вероятности» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Надёжность оценивают в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
186Объяснение факторов, повлиявших на классификацию или ранг. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: объяснимые выводы по задаче «Объяснение факторов, повлиявших на классификацию или ранг» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений. <a id="section-i-12"></a>

0 моделей