I.12Рекомендации и персонализация
В разделе собраны самостоятельные задачи, где AI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 627 моделей360Zhinao-1.8B-Reranking — плотная авторегрессионная модель семейства 360Zhinao, разработанная Qihoo 360 на базе собственной модели 360Zhinao-1.8b-Base. Она предназначена для ранжирования текстовых пар: оценивает релевантность документов запросу и помогает переставлять результаты поиска или фрагменты контекста в RAG-системе. В README сообщается о среднем результате 70,13 на китайском бенчмарке MTEB Chinese Reranking и первом месте среди открытых моделей на момент публикации карточки. Модель содержит 1,6 млрд параметров, принимает текст и имеет контекстное окно 4096 токенов. Обучение проводилось на четырёх наборах данных бенчмарка; разработчики описывают работу по согласованию задач и стабилизации обучения. Репозиторий содержит веса PyTorch, библиотека — Transformers. Лицензия Apache-2.0.
APA-embed-embeddinggemma-300m-g39-v1.0 — текстовая модель эмбеддингов, дообученная агентством Austria Presse Agentur на базе google/embeddinggemma-300m. Она преобразует тексты в векторы размерностью 768 для семантического поиска; основная цель дообучения — поиск документов по запросу в большом корпусе, также поддерживается поиск похожих документов по примеру. Обучение использовало новостные тексты, предоставленные участниками G39. Модель основана на семействе Gemma и совместима с SentenceTransformers, vLLM и HuggingFace Text Embeddings Inference. Благодаря обучению Matryoshka векторы можно сокращать до 512, 256 или 128 измерений с небольшим снижением качества. Лицензионные условия унаследованы от базовой модели и отсылают к Gemma Terms of Use.
Arabic-STS-Matryoshka-V2 — арабоязычная модель Sentence Transformers, дообученная разработчиком на базе aubmindlab/bert-base-arabertv02 для получения векторных представлений предложений и абзацев. Она построена на BERT с усреднением токенных представлений и формирует эмбеддинги размерности 768; для сравнения текстов указана косинусная мера сходства. Модель предназначена для семантического поиска, оценки смыслового сходства и кластеризации арабских текстов. Поддерживаются Matryoshka-эмбеддинги: векторы можно сокращать до 512, 256, 128 или 64 измерений, чтобы уменьшить требования к хранению и вычислениям. Максимальная длина последовательности — 512 токенов. Модель работает только с арабским языком и принимает текст, выдавая векторы для сравнения и поиска. В README приведена оценка на арабской части MTEB STS17 с небольшим снижением качества при уменьшении размерности, но числовые результаты не указаны. Лицензия в предоставленных данных не приведена.
Bangla-Embed-E5-Banglish — компактный текстовый энкодер на базе BERT, разработанный для семантического поиска и сопоставления предложений на бенгальском языке, включая его латинскую запись Banglish. Модель дообучена на intfloat/multilingual-e5-small методом трёхэтапной дистилляции от BGE-M3 с добавлением романизированных вариантов IndicXlit; размер по README — 118 млн параметров, в метаданных — 124,3 млн. Контекст составляет 512 токенов. Ключевая особенность модели — межскриптовый поиск: она сопоставляет запросы на Banglish с текстами на бенгальском письме и английском. Также модель создаёт эмбеддинги для семантического поиска, сравнения предложений и ранжирования. По приведённым в карточке оценкам, она показывает сильные результаты на бенгальских и межъязыковых наборах, сопоставимые с гораздо более крупными энкодерами. Модель принимает текст и выдаёт векторные эмбеддинги; её можно использовать через sentence-transformers. Лицензия модели — MIT, однако некоторые обучающие источники могут иметь отдельные, в том числе некоммерческие, условия. Романизация при обучении была синтетической; качество проверялось на пользовательском наборе, но охват ограничен стандартным бенгальским, без региональных вариантов и практик набора текста. На полнотекстовых наборах MIRACL-bn и Mr.TyDi-bn модель уступает более крупным моделям и исходной основе.
tintnguyen/bert-base-vi-uncased-st-3 — модель Sentence Transformers, разработанная на основе tintnguyen/bert-base-vi-uncased-st-2. Это дообученный BERT с 170,8 млн параметров, который преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; для получения вектора используется усреднение токенных представлений. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Она обучалась на парах положительных и отрицательных примеров из датасета, созданного на основе вопросов вьетнамской Википедии, и рассчитана прежде всего на вьетнамский язык. В метаданных указана библиотека sentence-transformers; веса представлены в формате Safetensors. Лицензия в предоставленных данных не указана. Качество и пригодность для других языков отдельно не подтверждены; максимальная длина последовательности ограничивает обработку длинных текстов.
biencoder-camembert-L4-mmarcoFR — компактная плотная двубашенная модель эмбеддингов для семантического поиска на французском языке, разработанная Antoine Louis. Она кодирует запросы и документы в векторы размерности 768, а релевантность оценивает по косинусному сходству. Основа — CamemBERT-L4, облегчённая версия CamemBERT с удалёнными верхними слоями; модель содержит 62,3 млн параметров и принимает последовательности длиной до 514 токенов, хотя при обучении максимальная длина запросов и документов составляла 128 токенов. Модель дообучена на французских данных mMARCO, включая сложные негативные примеры, для поиска релевантных фрагментов по запросам. Её можно применять для семантического поиска и ранжирования найденных документов в корпусах на французском языке. Для использования доступны Sentence-Transformers, FlagEmbedding и Transformers. Лицензия — MIT.
clip-japanese-base-v2 — японская модель CLIP, разработанная LY Corporation для сопоставления изображений и текста. Это обновлённая версия line-corporation/clip-japanese-base: для обучения использовано около 2 млрд пар изображение–текст, а дистилляция применена для повышения качества. Модель содержит 196 млн параметров и объединяет визуальный кодировщик на основе Eva02-B Transformer с 12-слойным текстовым кодировщиком BERT. Текстовый кодировщик инициализирован весами rinna/japanese-clip-vit-b-16. Модель подходит для извлечения признаков изображений и текста, поиска изображений по японскому описанию и поиска текстов, соответствующих изображению. В README приведены результаты классификации ImageNet-1k и наборов Recruit и WAON, а также двунаправленного поиска по STAIR Captions. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0. Оценки в README показывают, что улучшение относительно предыдущей версии зависит от задачи: например, retrieval R@1 у предыдущей версии выше.
zeromodels/clip_vit_base_16 — конверсия CLIP ViT-B/16 от OpenAI в Keras 3 для библиотеки zeromodels. Модель использует парные текстовый и визуальный энкодеры, которые сопоставляют изображения и текстовые описания в общем пространстве эмбеддингов; вариант предназначен для классификации изображений без дополнительного обучения по текстовым подсказкам. Реализация работает с TensorFlow, Torch и JAX, а репозиторий содержит веса в формате TensorFlow. Модель принимает изображения и текстовые запросы при инференсе и подходит для классификации по пользовательским категориям, поиска изображений по тексту и получения совместных эмбеддингов. Для обработки рекомендуется использовать соответствующий Processor, чтобы согласовать размер изображения и токенизатор. Лицензия — MIT.
newmindai/ColmmBERT-small-TR — модель PyLate на базе ModernBERT, дообученная на турецком наборе msmarco-tr для поиска и ранжирования текстов. Она кодирует запросы и документы в последовательности плотных векторов размерности 128 и оценивает их сходство оператором MaxSim. Модель подходит для семантического поиска по индексам FastPLAID и для переранжирования результатов первичного поиска. В архитектуре ColBERT используется трансформер ModernBertModel и линейный слой проекции с 384 до 128 измерений. В README заданы длина запроса 32 токена и длина документа 180 токенов; метаданные указывают контекст до 8192 токенов и 140,5 млн параметров. Модель рассчитана на турецкий язык. Распространяется в формате safetensors; лицензия в предоставленных данных не указана.
Decision-2.0-Sol-2B — плотная модель с 1,88 млрд параметров из семейства Decision 2.0, разработанная командой vLLM Semantic Router. Она принимает текст или JSON вместе с вопросами и за один проход выбирает вариант, отвечает «да» или «нет» либо выставляет оценку. Для каждого возможного ответа модель возвращает вероятность и не генерирует текст. Модель предназначена для классификации и оценки свидетельств или условий, в том числе для обработки нескольких вопросов об одном входе за один проход. Контекст составляет 16 384 токена. В README сообщается о результатах на JevArena и наборе из 15 задач с разметкой людьми, а также о медианной задержке 7,2 мс на запрос с одним вопросом на одном GPU. Это дообученная версия vllm-sr/Decision-1.0-Sol-2B, распространяемая в формате safetensors. Лицензия — Apache-2.0. Модель выдаёт вероятности вариантов, а не свободный текст; задержка и результаты бенчмарков из README не гарантируют аналогичной скорости или качества в других условиях.
Карточка модели cont1037/dinov3-vits16-pretrain-lvd1689m на Hugging Face совпадает с карточкой facebook/dinov3-vits16-pretrain-lvd1689m, поэтому описание составлено по ней. facebook/dinov3-vits16-pretrain-lvd1689m — визуальный энкодер семейства DINOv3, разработанного Meta AI и доступного через библиотеку Transformers. Модель относится к архитектуре Vision Transformer (ViT-S) с патчами 16×16 и обучена на веб-данных LVD-1689M; в карточке указано, что малые модели семейства дистиллированы из ViT-7B. Размер ViT-S — 21 млн параметров, размерность эмбеддингов — 384, используются четыре регистрационных токена и RoPE. Модель принимает изображение и извлекает признаки: токен класса, токены патчей и регистрационные токены. Полученные представления предназначены для классификации изображений, поиска похожих изображений, сегментации, оценки глубины и других задач компьютерного зрения, в том числе с простыми классификаторами поверх замороженных признаков. Модель рассчитана на универсальное визуальное представление и не требует дообучения для многих сценариев; размер изображения должен быть кратен 16, иначе оно обрезается до ближайшего меньшего размера, кратного размеру патча. В карточке отмечено, что качество признаков может различаться между географическими регионами и категориями дохода, а дообучение способно усилить смещения, связанные с метками. Модель распространяется по лицензии DINOv3 License (в метаданных обозначена как other); перед использованием следует проверить её условия.
deepmodal/embeddinggemma-300m-ko — модель Sentence Transformers, дообученная на базе google/embeddinggemma-300m для получения векторных представлений корейских предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерностью 768 и сравнивает их с помощью косинусного сходства; максимальная длина последовательности — 2048 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, классификации и кластеризации текстов. В карточке указаны 4 264 316 обучающих примеров формата «запрос — документ» и результаты оценки информационного поиска. Модель принимает текст и выдаёт векторы для последующего сравнения или использования в поисковых системах. Репозиторий использует архитектуру Gemma 3 Text и формат safetensors; для работы рекомендована библиотека Sentence Transformers. Лицензия — Apache-2.0. Данные карточки указывают на поддержку корейского языка; качество и применимость за пределами корейских текстов не подтверждены приведёнными сведениями.
jhu-clsp/ettin-encoder-68m — англоязычная модель семейства Ettin, разработанная Johns Hopkins University Center for Language and Speech Processing (JHU CLSP). Это плотный энкодер ModernBERT с 68,1 млн параметров, обученный для masked language modeling и заполнения пропусков в тексте. Контекст составляет до 7 999 токенов; модель работает с текстом и доступна в формате PyTorch через Transformers. Модель входит в открытый набор Ettin, созданный для сопоставления энкодерных и декодерных архитектур при одинаковых данных и рецептах обучения. Энкодеры предназначены для задач классификации и получения эмбеддингов; в карточке семейства сообщается о результатах на GLUE, англоязычном поиске MTEB, CodeSearchNet и MLDR. Чекпойнт можно использовать для заполнения масок, а также дообучать под классификацию и поиск. Модель ориентирована на английский язык. Лицензия MIT разрешает свободное использование в соответствии с её условиями. Показатели семейства Ettin в README не являются отдельной оценкой именно этого чекпойнта; качество на иных языках и задачах карточка не подтверждает.
ettin-reranker-1b-v1 — англоязычный кросс-энкодерный переранжировщик от команды Ettin, дообученный на базе jhu-clsp/ettin-encoder-1b с использованием библиотеки Sentence Transformers. Модель оценивает пары текстов одним числовым баллом, который помогает переставлять найденные документы по релевантности запросу и применять её в семантическом поиске. Модель имеет архитектуру ModernBERT и содержит 1 млрд параметров. Она принимает текстовые пары, поддерживает последовательности длиной до 7 999 токенов и предназначена для англоязычного ранжирования. В приведённой оценке MTEB(eng, v2) модель показала NDCG@10 0,6114 в сценарии поиска с переранжированием. В практическом конвейере её можно использовать после первичного поиска, чтобы точнее упорядочить кандидатов; README также показывает, что на тесте Touche2020 переранжирование снизило метрики. Это не универсальная мультиязычная модель и не генератор ответов. Распространяется по лицензии Apache-2.0.
codersan/FaLaBSE-v11-phase2 — модель Sentence Transformers, созданная дообучением codersan/FaLaBSE-v11-phase1-Quora. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Векторы сравниваются косинусным сходством; модель построена на архитектуре BERT и использует библиотеку sentence-transformers. Для обучения использованы 16 825 пар anchor/positive с функцией потерь MultipleNegativesRankingLoss. Метаданные указывают максимальный контекст в 512 токенов, тогда как README заявляет максимальную длину последовательности 256 токенов. Примеры обучающих данных написаны на персидском языке, поэтому модель подходит для семантических задач с персидскими текстами; более широкая языковая поддержка карточкой не подтверждена. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.
comet24082002/finetuned_bge_ver11 — дообученная модель на базе BAAI/bge-m3, опубликованная comet24082002. Это плотная модель архитектуры XLM-RoBERTa с 658,7 млн параметров, предназначенная для извлечения признаков из текста. Базовая BGE-M3 рассчитана на многоязычный семантический, лексический и гибридный поиск по текстам и документам; дообученная версия может применяться для получения текстовых представлений в поисковых системах и системах работы с документами. Модель принимает текст и выдаёт векторные признаки. Максимальная длина контекста — 8194 токена. Данные обучения и результаты оценки в карточке не описаны, поэтому качество на конкретных языках и задачах поиска не подтверждено. Лицензия — MIT.
KoE5 — модель для создания плотных текстовых эмбеддингов, разработанная NLP&AI Lab. Она дообучена на базе intfloat/multilingual-e5-large на более чем 700 тысячах корейских пар «запрос — документ» из набора ko-triplet-v1.0 с функцией потерь CachedMultipleNegativesRankingLoss и предназначена прежде всего для поиска по корейским текстам. Модель построена на XLM-RoBERTa, содержит 658,7 млн параметров и выдаёт векторы размерности 1024. Контекст ограничен 512 токенами. Эмбеддинги подходят для семантического поиска, ранжирования документов, оценки сходства, поиска перефразировок и кластеризации. Для поиска по паре «запрос — документ» рекомендуется добавлять префиксы «query: » и «passage: », а для симметричных задач и использования эмбеддингов как признаков — «query: ». Заявлена поддержка корейского и английского языков; обучение и основная специализация модели связаны с корейским поиском. Лицензия — MIT. Длинные тексты обрезаются до 512 токенов, а отсутствие рекомендованных префиксов может снизить качество.
aditeyabaral/langcache-colbert-v1 — англоязычная модель PyLate, дообученная на парах предложений LangCache для семантического кэширования и поиска. Она основана на ColBERTv2 от colbert-ir и использует архитектуру BERT с линейным слоем, который проецирует представления размерности 768 в последовательности 128-мерных плотных векторов. Для оценки сходства применяется оператор MaxSim; модель рассчитана на запросы и документы длиной до 128 токенов, при этом максимальный контекст по метаданным составляет 512 токенов. Модель подходит для поиска релевантных документов по запросу и для повторного ранжирования результатов первичного поиска. Для индексирования коллекций в README предлагается использовать PyLate и FastPLAID. В карточке приведена точность 0,9847 на тесте ColBERTTriplet; это значение относится к указанной оценке и не гарантирует таких же результатов на других данных. Модель содержит 136,7 млн параметров, распространяется в формате Safetensors под лицензией Apache-2.0. Она предназначена для английского языка; её результаты зависят от домена и качества индекса, а тексты длиннее предусмотренной длины требуют обработки с усечением или разбиением.
castorini/mdpr-tied-pft-msmarco — мультиязычная модель плотного поиска mDPR, опубликованная организацией Castorini, связанной с исследованиями информационного поиска в University of Waterloo. Она предназначена для семантического поиска и ранжирования текстовых пассажей: запрос и документ преобразуются в векторные представления, после чего релевантные фрагменты находятся по близости в общем пространстве. Модель предварительно дообучена на наборе MS MARCO Passage Ranking и может использоваться как passage encoder в системах Dense Passage Retrieval, включая мультиязычный поиск и retrieval-augmented question answering. Модель основана на multilingual BERT и имеет BERT-архитектуру; на странице репозитория указано около 0,2 млрд параметров. Она работает с текстом, поддерживает несколько языков благодаря мультиязычной основе, но точный перечень языков и максимальная длина контекста для этого чекпойнта явно не указаны. В репозитории приведён результат MRR@10 равный 0,296 для обучения на MS MARCO Passage Ranking v1, 40 эпоха. Сильная сторона модели — переносимость между языками и пригодность для построения эффективных векторных индексов и гибридных систем поиска. Ограничения — специализация на retrieval, отсутствие генерации текста и отсутствие подробной официальной model card с детальным описанием языковых характеристик, ограничений качества и сценариев применения; в опубликованных материалах также отмечается, что mDPR может уступать BM25 на отдельных мультиязычных бенчмарках. Лицензия для данного репозитория явно не указана.
MonoPTT5-base — португалоязычный ранжировщик текстов на архитектуре T5, разработанный командой unicamp-dl. Модель основана на ptt5-v2-base и дообучена в течение 100 тысяч шагов на смеси португальских и английских данных набора mMARCO. Она содержит 123,8 млн параметров, работает с контекстом до 512 токенов и распространяется в формате PyTorch. Модель предназначена для повторного ранжирования результатов поиска и отбора наиболее релевантных текстовых фрагментов запросу. Лицензия Apache-2.0 разрешает её использование на условиях этой лицензии. Карточка описывает её как T5-ранжировщик, тогда как метаданные указывают задачу text-generation, поэтому точный pipeline-тег для ранжирования не подтверждён метаданными.
checkiejan/multi-qa-mpnet-base-dot-v1-covidqa-search-65-25-v2-2epoch — модель на базе MPNet, опубликованная в формате PyTorch как sentence-transformers-модель. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством ориентировано на сближение релевантных текстов в векторном пространстве. Модель содержит 136,7 млн параметров и принимает текст; длина контекста составляет 514 токенов. Её можно использовать для поиска по смыслу и вычисления сходства между текстами, в том числе через библиотеку Sentence Transformers. Название репозитория указывает на настройку для поиска по COVID QA, однако карточка не приводит подробностей о данных или результатах этой настройки. Лицензия в предоставленных метаданных и README не указана.
MyAwesomeModel — модель из репозитория Assads1SAD/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers. Согласно метаданным Hugging Face, её основная задача — извлечение признаков из входных данных, а заявленная архитектурная основа относится к семейству BERT. Модель распространяется под лицензией MIT и использует PyTorch. В README модель также описывается как обновлённая система с улучшенными рассуждениями, логическим выводом, генерацией кода, ответами на вопросы, суммаризацией, переводом и поддержкой function calling. Однако README не содержит подтверждённых сведений о размере модели, длине контекста, поддерживаемых естественных языках и точной конфигурации, а приведённые результаты представлены без описания протокола оценки. Поэтому для каталога её надёжнее классифицировать по метаданным как модель извлечения признаков.
MyAwesomeModel-TestRepo — модель на архитектуре BERT от автора dongbobo, опубликованная в Hugging Face. По метаданным она предназначена для извлечения признаков из текста и использует библиотеку Transformers; веса представлены в формате PyTorch. Модель можно применять для получения скрытых представлений текста как входа для последующих задач машинного обучения. Веб-поиск указывает на конфигурацию из 12 слоёв, размер скрытого состояния 768, 12 голов внимания и контекст до 512 токенов. Репозиторий распространяется по лицензии MIT. Сведений о целевых языках или специализированных областях применения нет.
vantk85/my-embedding-gemma — модель Sentence Transformer, созданная дообучением google/embeddinggemma-300m. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству; максимальная длина последовательности — 2048 токенов. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. Дообучение описано на наборе из трёх парных примеров вопросов о финансовых и страховых продуктах с использованием MultipleNegativesRankingLoss. Такая малая выборка не подтверждает надёжное качество на широком круге задач и предметных областей. Репозиторий содержит веса safetensors и рассчитан на работу с библиотекой Sentence Transformers. Лицензия в предоставленных данных не указана.
Это веса визуального энкодера SigLIP-2 B/16 NaFlex ViT, опубликованные командой timm для библиотеки timm. Модель предназначена для извлечения признаков изображений и их последующего использования в задачах компьютерного зрения.
yahyaabd/paraphrase-multilingual-miniLM-L12-v2-mnrl-beir-2 — модель Sentence Transformer, дообученная автором на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Архитектура основана на BERT и преобразует предложения и абзацы в плотные векторы размерности 384; сходство между ними оценивается косинусной мерой. Метаданные указывают 124,3 млн параметров и контекст до 512 токенов, тогда как README модели задаёт максимальную длину последовательности 128 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и поиска перефразирований; полученные векторы также можно использовать для кластеризации и классификации текстов. Она дообучена с MultipleNegativesRankingLoss на наборе statictable-triplets-all из 967 831 примера. Примеры датасета посвящены статистическим таблицам Индонезии, поэтому качество на других типах текстов может отличаться. Базовая модель многоязычная, однако в карточке нет точного перечня языков, для которых проверена эта дообученная версия. Лицензия в предоставленных данных не указана.
Perception Encoder PE-Core-L14-336 — модель Meta для визуального понимания, обученная с помощью контрастивного обучения изображений и текста и дообученная на синтетически согласованных видео. Это вариант размера L: визуальный энкодер с архитектурой ViT-L/14 содержит 0,32 млрд параметров и обрабатывает изображения с разрешением 336 пикселей. Для извлечения глобальных признаков используются attention pooling и class token. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений и видео по тексту, а также извлечения визуальных признаков для последующих задач. В README указаны результаты на наборах ImageNet, ObjectNet и Kinetics-400; версия L/14 показывает сильные результаты, в том числе на сложных наборах ObjectNet и ImageNet-A. Репозиторий содержит веса PyTorch и код загрузки через библиотеку perception-encoder. Лицензия — Apache-2.0. README описывает семейство PE Core как включающее визуальную и текстовую башни, но таблица именно для L/14 приводит характеристики только визуальной башни; отдельные размер и длина контекста текстовой части этого чекпойнта не установлены приведёнными данными. Для работы с видео требуется декодирование в тензоры PyTorch.
Карточка модели facebook/PE-Core-T16-384 на Hugging Face совпадает с карточкой facebook/PE-Core-L14-336, поэтому описание составлено по ней. Perception Encoder PE-Core-L14-336 — модель Meta для визуального понимания, обученная с помощью контрастивного обучения изображений и текста и дообученная на синтетически согласованных видео. Это вариант размера L: визуальный энкодер с архитектурой ViT-L/14 содержит 0,32 млрд параметров и обрабатывает изображения с разрешением 336 пикселей. Для извлечения глобальных признаков используются attention pooling и class token. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений и видео по тексту, а также извлечения визуальных признаков для последующих задач. В README указаны результаты на наборах ImageNet, ObjectNet и Kinetics-400; версия L/14 показывает сильные результаты, в том числе на сложных наборах ObjectNet и ImageNet-A. Репозиторий содержит веса PyTorch и код загрузки через библиотеку perception-encoder. Лицензия — Apache-2.0. README описывает семейство PE Core как включающее визуальную и текстовую башни, но таблица именно для L/14 приводит характеристики только визуальной башни; отдельные размер и длина контекста текстовой части этого чекпойнта не установлены приведёнными данными. Для работы с видео требуется декодирование в тензоры PyTorch.
Карточка модели facebook/PE-Spatial-L14-448 на Hugging Face совпадает с карточкой facebook/PE-Core-L14-336, поэтому описание составлено по ней. Perception Encoder PE-Core-L14-336 — модель Meta для визуального понимания, обученная с помощью контрастивного обучения изображений и текста и дообученная на синтетически согласованных видео. Это вариант размера L: визуальный энкодер с архитектурой ViT-L/14 содержит 0,32 млрд параметров и обрабатывает изображения с разрешением 336 пикселей. Для извлечения глобальных признаков используются attention pooling и class token. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений и видео по тексту, а также извлечения визуальных признаков для последующих задач. В README указаны результаты на наборах ImageNet, ObjectNet и Kinetics-400; версия L/14 показывает сильные результаты, в том числе на сложных наборах ObjectNet и ImageNet-A. Репозиторий содержит веса PyTorch и код загрузки через библиотеку perception-encoder. Лицензия — Apache-2.0. README описывает семейство PE Core как включающее визуальную и текстовую башни, но таблица именно для L/14 приводит характеристики только визуальной башни; отдельные размер и длина контекста текстовой части этого чекпойнта не установлены приведёнными данными. Для работы с видео требуется декодирование в тензоры PyTorch.
Карточка модели facebook/PE-Spatial-S16-512 на Hugging Face совпадает с карточкой facebook/PE-Core-L14-336, поэтому описание составлено по ней. Perception Encoder PE-Core-L14-336 — модель Meta для визуального понимания, обученная с помощью контрастивного обучения изображений и текста и дообученная на синтетически согласованных видео. Это вариант размера L: визуальный энкодер с архитектурой ViT-L/14 содержит 0,32 млрд параметров и обрабатывает изображения с разрешением 336 пикселей. Для извлечения глобальных признаков используются attention pooling и class token. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений и видео по тексту, а также извлечения визуальных признаков для последующих задач. В README указаны результаты на наборах ImageNet, ObjectNet и Kinetics-400; версия L/14 показывает сильные результаты, в том числе на сложных наборах ObjectNet и ImageNet-A. Репозиторий содержит веса PyTorch и код загрузки через библиотеку perception-encoder. Лицензия — Apache-2.0. README описывает семейство PE Core как включающее визуальную и текстовую башни, но таблица именно для L/14 приводит характеристики только визуальной башни; отдельные размер и длина контекста текстовой части этого чекпойнта не установлены приведёнными данными. Для работы с видео требуется декодирование в тензоры PyTorch.