I.12Рекомендации и персонализация

sinjy1203/ko-sbert-navernews — модель на основе BERT, дообученная для создания эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и рассчитана на семантический поиск, сравнение сходства, кластеризацию и группировку текстов. В README указано обучение с CosineSimilarityLoss; архитектура BERT содержит 137,8 млн параметров, а контекст ограничен 512 токенами. Модель предназначена для корейского текста новостной тематики, что отражено в названии репозитория. Веса доступны в формате PyTorch и применяются через Sentence-Transformers либо Transformers с соответствующей операцией pooling. Лицензия в предоставленных данных не указана.

Llama Nemotron Reranking 1B v2 — модель NVIDIA для переупорядочивания текстовых фрагментов по релевантности запросу. Она предназначена для мультиязычного и межъязыкового поиска, в том числе для систем вопросно-ответного поиска по документам: сначала поиск или эмбеддинговая модель выбирает кандидатов, затем реранкер оценивает пары «вопрос — фрагмент» и возвращает логиты релевантности. Модель содержит 1,2 млрд параметров и построена на основе meta-llama/Llama-3.2-1B. Это дообученный трансформерный cross-encoder с двунаправленным вниманием, mean pooling и бинарной классификационной головой. Принимает пары текстов и выдаёт числовые оценки; к логитам можно применить сигмоиду, чтобы получить вероятности. В README указана работа с документами длиной до 8192 токенов, а метаданные каталога задают нативный контекст в 131072 токена. Модель оценивали на 26 языках, включая русский, английский, китайский, арабский, хинди и другие. Она предназначена для коммерческого применения и может улучшать качество поиска, однако реранкер обычно применяют только к ограниченному набору кандидатов, а не ко всей коллекции документов. Длинные тексты рекомендуется разбивать на фрагменты или обрезать. Лицензия — OpenMDW-1.1; README также ссылается на лицензию сообщества Llama 3.2.

OPI-PIB/pl-ModernBERT-512-base — базовая монолингвальная модель-энкодер семейства ModernBERT, предварительно обученная для обработки польского языка. Она предназначена как основа для польских NLP-систем: модель можно дообучать для классификации текстов и документов, разметки последовательностей, регрессии, семантического сходства, поиска и переранжирования. В текущем виде она также поддерживает заполнение пропусков в тексте (fill-mask). Модель содержит 148,7 млн параметров и принимает последовательности длиной до 514 токенов. Архитектура включает 22 слоя, скрытый размер 768, RoPE, слои GeGLU и чередование глобального и локального внимания; используется токенизатор SentencePiece Unigram с размером словаря 50 008. Предобучение проведено на польском корпусе объёмом около 44,5 млрд токенов. В README сообщается о конкурентных результатах на польских задачах NLU, включая KLEJ и FinBench. Для прикладных задач, кроме заполнения пропусков, потребуется адаптация или дообучение. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

TurkEmbed4Retrieval — модель Sentence Transformers от newmindai, дообученная на базе newmindai/TurkEmbed4STS для получения плотных векторных представлений турецких предложений и абзацев. Модель сопоставляет текстам 768-мерные эмбеддинги и использует косинусное сходство; в архитектуре применяются Transformer, pooling по CLS-токену и нормализация векторов. Репозиторий содержит веса Safetensors, а библиотека для работы с моделью — Sentence Transformers. Модель предназначена для семантического поиска, сравнения текстов по смыслу, поиска перефразирований, кластеризации и классификации текстов. Обучение описано на наборе примерно из 1,84 млн пар предложений с оценками сходства; MatryoshkaLoss позволяет использовать представления разной размерности. Метаданные указывают контекст до 8192 токенов, тогда как карточка модели задаёт максимальную длину последовательности 512 токенов. Модель рассчитана на текстовый ввод и выдаёт векторы, которые можно сравнивать или использовать в последующих задачах. Основной язык примеров и назначение базовой модели — турецкий; пригодность для других языков не подтверждена. Условия лицензии в предоставленных сведениях не описаны.

timm/vit_base_patch16_clip_224.metaclip_2pt5b — модель семейства CLIP, доступная для использования через open_clip и timm. Она основана на архитектуре ViT-B/16 с вариантом активации QuickGELU и обучена на наборе MetaCLIP-2.5B. Модель предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: она сопоставляет изображение с предложенными текстовыми категориями без отдельного обучения на них. Репозиторий содержит веса PyTorch и SafeTensors и использует библиотеку open_clip. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и ограничивает коммерческое применение.

Карточка модели avsolatorio/00-400-11-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130201404-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

allnli-GroNLP-bert-base-dutch-cased — модель Sentence-Transformers на основе BERT, предназначенная для получения плотных векторных представлений предложений и абзацев. Модель разработана для нидерландского языка и содержит 136,3 млн параметров; размерность выходных векторов — 768, максимальная длина контекста — 512 токенов. Векторы можно использовать для семантического поиска и кластеризации текстов. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусной мерой сходства. Она принимает текст и выдаёт эмбеддинги; для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана. Модель ориентирована на нидерландский язык, поэтому качество для других языков не подтверждено.

Это англоязычная модель разреженных текстовых эмбеддингов, созданная дообучением mixedbread-ai/mxbai-embed-large-v1 командой tomaarsen на наборе gooaq с помощью библиотеки sentence-transformers. Она преобразует предложения и абзацы в разреженные векторы размерностью 4096; близость векторов можно оценивать скалярным произведением. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе поиска ответов по вопросам. Максимальная длина входной последовательности — 512 токенов. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR при ограничении числа активных измерений до 128 или 256. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Это энкодер для получения векторов, а не генеративная модель: он не формулирует ответы на запросы. Результаты оценки в README относятся к указанным наборам и настройкам и не гарантируют такое же качество на других данных.

DMetaSoul разработала Dmeta-embedding-zh-small — компактную китайскоязычную модель для получения текстовых эмбеддингов. Это дистиллированная версия Dmeta-embedding-zh на архитектуре BERT из 8 слоёв; в метаданных указаны 91,7 млн параметров и контекст до 1024 токенов. Модель предназначена для поиска, семантического сопоставления текстов, вопросно-ответных систем, интеллектуальной поддержки клиентов и приложений с RAG. Её можно загружать через Transformers, Sentence-Transformers и LangChain. По сравнению с исходной моделью размер уменьшен примерно на треть, а скорость вывода в приведённом тесте выросла примерно на 30%; средний результат MTEB снизился примерно на 1,4 пункта, с наибольшими потерями в задачах поиска и семантического сходства. Модель принимает текст и выдаёт векторные представления. Распространяется по лицензии Apache-2.0.

IndoBERT Relevancy Classifier — модель apriandito для классификации релевантности индонезийского текста заданному контексту. Она принимает тему и текст, например заголовок новости или публикацию в соцсети, в формате пары последовательностей и определяет, относится ли текст к теме. Модель дообучена для бинарной классификации на базе indobenchmark/indobert-large-p2; архитектура — BERT для классификации последовательностей, размер — 433,9 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для отбора новостей и сообщений по темам: в обучающих данных представлены 188 контекстов из экономики, политики, здравоохранения, технологий, спорта и развлечений. В README указаны accuracy 96,5% и F1 0,948 на оценке автора. Модель работает с индонезийским языком и распространяется под лицензией Apache-2.0.

Y-J-Ju/ModernBERT-base-ColBERT — англоязычная модель поиска и ранжирования документов, созданная с помощью PyLate дообучением answerdotai/ModernBERT-base. Она кодирует запросы и документы в последовательности плотных 128-мерных векторов и сопоставляет их оператором MaxSim; в README указана архитектура ColBERT с ModernBERT и линейным слоем проекции с 768 до 128 измерений. Модель рассчитана на документы длиной до 180 токенов и запросы до 32 токенов; контекст базовой архитектуры — 8192 токена. Её можно применять для семантического поиска по коллекции документов и для повторного ранжирования кандидатов, полученных на первом этапе поиска. Обучение описано как дистилляция на данных для поиска; метаданные указывают датасет lightonai/ms-marco-en-bge и 808 728 примеров. В README приведены результаты nDCG@10 на нескольких наборах оценки, но они не гарантируют аналогичного качества на других данных. Модель использует библиотеку PyLate и опубликована в формате safetensors; лицензия в предоставленных сведениях не указана.

cicero-ai/multi-qa-mpnet-base-cos-v1-rust — вариант модели multi-qa-mpnet-base-cos-v1, опубликованный под именем cicero-ai; README описывает исходную модель Sentence Transformers, разработанную в рамках Community Week Hugging Face для проекта по обучению моделей эмбеддингов предложений. Это MPNet-base с 136,7 млн параметров, который кодирует предложения и абзацы в нормализованные плотные векторы размерности 768. Модель предназначена прежде всего для семантического поиска: по запросу или вопросу помогает находить релевантные текстовые фрагменты. Модель дообучена на примерно 215 млн пар «вопрос — ответ» из разных источников с использованием контрастивного обучения и mean pooling. Нормализация векторов позволяет использовать скалярное произведение вместо косинусного сходства. Поддерживается английский язык; контекст составляет до 514 токенов по метаданным, а README указывает предел в 512 word pieces и сообщает, что обучение проводилось на текстах длиной до 250 word pieces. Более длинный текст может обрезаться, а качество на нём может снижаться. В метаданных указаны форматы PyTorch и safetensors; лицензия не установлена по предоставленным данным.

PolDense-400M — польская модель эмбеддингов от OPI-PIB, предназначенная для плотного поиска и семантического сопоставления текстов. Она построена на энкодере ettin-encoders с архитектурой ModernBERT и содержит около 394,7 млн параметров. Модель формирует векторные представления текстов и рассчитана прежде всего на польскоязычные сценарии поиска, извлечения сведений и RAG; контекст — до 7 999 токенов. Модель обучали в три этапа: адаптация англоязычных энкодеров к польскому языку с помощью дистилляции, дополнительная дистилляция на польских текстах и контрастивная настройка для задач поиска. В README заявлено, что на бенчмарке PIRB из 41 задачи поиска модель показывает результаты на уровне крупных многоязычных моделей. Для поиска запрос следует предварять префиксом «[query]: », а для симметричного сравнения текстов — «[sts]: ». Модель подходит для построения поисковых систем и RAG по польским документам, а также для оценки семантической близости польских текстов. Репозиторий содержит веса safetensors; лицензия указана как Gemma. README описывает также обучение на польско-английских парах и дистилляцию от многоязычного учителя, но позиционирует семейство как ориентированное на польский язык.

piotr-rybak/poleval2021-task4-herbert-large-encoder — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная Piotr Rybak. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучалась с ContrastiveLoss на основе косинусного расстояния и доступна в формате PyTorch для использования с библиотекой Sentence-Transformers. В метаданных указано 453,9 млн параметров и контекст длиной 514 токенов. Название репозитория и POLEVAL2021 указывают на польскую языковую задачу; модель предназначена прежде всего для текстов на польском языке. Лицензия в предоставленных данных не указана.

Карточка модели michaelfeil/rune-26b-a4b на Hugging Face совпадает с карточкой surogate/rune-26b-a4b-GGUF, поэтому описание составлено по ней. Rune 26B-A4B v3 — разработанная Surogate модель принятия решений на основе Gemma 4 26B-A4B-it. Она принимает текст, структурированные данные или изображение вместе с вопросом и вариантами ответа и за один проход выбирает вариант, оценивая вероятности всех вариантов. Поддерживает задачи выбора одного из N вариантов, оценки истинности утверждения и выставления балла по порядковой шкале. Для обработки изображений сервер нужно запускать с поддержкой vision. Модель предназначена для классификации и ранжирования вариантов в тестах, извлечения решений из документов и скриншотов, автоматизации выбора и выставления оценок. По README, контекст составляет 262 тысячи токенов. Режим рассуждения включается отдельно, доступен только для текстовых запросов и может добавлять до 512 токенов рассуждения; по данным README, он повышает результаты на части тестов, но снижает качество вероятностных прогнозов в ForecastBench. Вероятности текстовых ответов при стандартной температуре описаны как избыточно уверенные; температура решения 2 улучшает их калибровку, не меняя выбранный вариант. Для изображений доступно сокращение числа визуальных токенов ценой точности. Это дообученная мультимодальная модель с архитектурой Gemma 4, публикуемая в формате safetensors и использующая библиотеку Transformers. Лицензия — Apache 2.0. Заявленные результаты бенчмарков являются результатами авторского запуска; часть тестовых данных и оценок основана на собственных выборках и не является закрытой оценкой лидерборда.

Ruri-Base — японская модель эмбеддингов предложений от cl-nagoya, созданная дообучением cl-nagoya/ruri-pt-base и реализованная как Sentence Transformer на архитектуре BERT. Она преобразует японские тексты в векторы размерности 768 для сравнения семантической близости по косинусному сходству; максимальная длина входа — 512 токенов. Модель предназначена для поиска и сравнения предложений, оценки семантического сходства, классификации, кластеризации и ранжирования текстовых пар. В JMTEB она показала средний результат 71,91; README рекомендует для новых проектов перейти на модели Ruri v3. Модель содержит 138,4 млн параметров по метаданным. Распространяется по лицензии Apache 2.0.

Lajavaness/sentence-camembert-base — модель для получения векторных представлений французских предложений, разработанная Lajavaness на основе dangvantuan/sentence-camembert-base. Модель CamemBERT с 137,8 млн параметров дообучена методом Augmented SBERT на данных STSB с использованием стратегий подбора пар и двух моделей CrossEncoder-camembert-large и dangvantuan/sentence-camembert-large. Модель предназначена для оценки семантического сходства и построения систем поиска по смыслу на французском языке. В README приведены результаты на STS-бенчмарках, измеренные корреляцией Пирсона и Спирмена. Максимальная длина контекста — 514 токенов. Распространяется по лицензии Apache-2.0.

TeluguSBERT — модель L3Cube-Pune для получения векторных представлений предложений на телугу. Она основана на TeluguBERT (l3cube-pune/telugu-bert) и дообучена на наборе данных NLI для представления предложений и оценки их сходства. Модель использует архитектуру BERT и поддерживает контекст длиной до 512 токенов; число параметров — около 264,8 млн. Модель подходит для сравнения предложений на телугу, поиска семантически близких текстов и построения векторного поиска. Веса доступны в формате PyTorch, лицензия — CC BY 4.0. В README отмечено, что существует более поздняя улучшенная модель сходства, однако её идентификатор не приведён.

Карточка модели leif1557/text2vec-base-chinese-sentence на Hugging Face совпадает с карточкой shibing624/text2vec-base-chinese-sentence, поэтому описание составлено по ней. shibing624/text2vec-base-chinese-sentence — модель text2vec, разработанная проектом text2vec. Это дообученный методом CoSENT китайский энкодер предложений на базе nghuyong/ernie-3.0-base-zh. Модель преобразует предложение или короткий абзац в плотный вектор размерностью 768 для сравнения семантической близости; она предназначена для поиска по смыслу, сопоставления текстов, кластеризации и задач sentence-to-sentence. Архитектура основана на ERNIE, размер модели — 144 млн параметров. Контекст модели составляет до 2048 токенов по метаданным, а карточка указывает усечение входа после 256 word pieces. Модель обучена на отобранных китайских данных семантической близости shibing624/nli-zh-all и рассчитана прежде всего на китайский язык. Она выдаёт векторные представления, пригодные для поиска и ранжирования по косинусной близости. По карточке приведены оценки на китайских наборах NLI и STS, но они не дают гарантии качества на других языках и доменах. Распространяется по лицензии Apache-2.0.

victormuryn/use-translation-no-pt — модель эмбеддингов предложений из коллекции украинских Sentence Embeddings. Она дообучена методом контрастивного обучения на украинском корпусе UberText 2.0 с аугментацией обратным переводом без целевых текстов пула; исходная архитектура — XLM-RoBERTa, используемая через Sentence Transformers. Модель преобразует предложения и абзацы в векторы для семантического сравнения и поиска. В README показан пример кодирования украинских предложений; каталог также отмечает многоязычную поддержку и контекст длиной до 514 токенов. Распространяется по лицензии Apache-2.0.

anhtuansh/vietnamese-bi-encoder-Financial-Matryoshka-1e-200k — дообученная модель Sentence Transformers на базе bkai-foundation-models/vietnamese-bi-encoder, разработанная для получения плотных векторных представлений вьетнамских предложений и абзацев. Она основана на RoBERTa и использует среднее объединение токенных представлений; исходная размерность вектора — 768, сходство оценивается косинусной мерой. Благодаря Matryoshka-обучению доступны укороченные представления размером 512, 256, 128 и 64 измерения. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текстов. Она обучалась на парах примеров из набора json: карточка указывает 181 350 обучающих и 20 150 оценочных примеров. Максимальная длина последовательности — 258 токенов по метаданным; README указывает ограничение 256 токенов. Лицензия в предоставленных сведениях не указана.

Модель vietnamese-bi-encoder-for-SoICT-2024 разработана на базе bkai-foundation-models/vietnamese-bi-encoder и дообучена как Sentence Transformer на парах предложений из набора данных json. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов на вьетнамском языке, сравнения сходства, поиска перефразирований, кластеризации и классификации текстов. Для сравнения векторов используется косинусное сходство. Модель основана на RoBERTa с усреднением токенных представлений; максимальная длина входа составляет 256 токенов. Лицензия Apache-2.0. В карточке приведены результаты оценки информационного поиска, однако они не характеризуют качество на всех прикладных данных; тексты длиннее лимита последовательности требуют обработки с учётом ограничения длины.

Это модель MetaCLIP-2.5B с архитектурой ViT-B/32: визуальный энкодер Vision Transformer разбивает изображение на патчи размером 32 пикселя и работает с разрешением 224 пикселя. Модель разработана для использования с библиотеками open_clip и timm; в OpenCLIP она называется ViT-B-32-quickgelu. Модель сопоставляет изображения с текстовыми описаниями и подходит для классификации изображений по заданным пользователем категориям без отдельного обучения на этих категориях. Её можно применять для поиска подходящей метки среди текстовых вариантов или для первичной сортировки изображений по описанию. В репозитории указаны веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Модель timm/vit_large_patch14_clip_224.laion400m_e31 — модель CLIP с архитектурой Vision Transformer, разработанная для использования через open_clip и timm. В OpenCLIP она обозначена как ViT-L-14; при обучении использовался датасет LAION-400M. Модель предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: пользователь задаёт варианты классов словами, а модель сопоставляет их с изображением без отдельного дообучения на этих классах. Она принимает изображения и текстовые описания и формирует оценки сходства для выбора подходящего описания. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — MIT.

google/bert_uncased_L-12_H-768_A-12 — англоязычная модель BERT, опубликованная Google как часть набора BERT Miniatures и переобученная по стандартной схеме BERT. Вариант с 12 слоями и размерностью скрытого представления 768 соответствует BERT-Base; в метаданных указано 136,7 млн параметров. Модель принимает текст, использует uncased-токенизацию WordPiece и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для дообучения под задачи понимания английского текста, например классификацию предложений, определение тональности, распознавание текстовых отношений и оценку семантического сходства. Авторы отмечают, что компактные варианты набора ориентированы на ограниченные вычислительные ресурсы и особенно полезны в дистилляции; данный репозиторий содержит вариант BERT-Base для полноты набора. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0. Ограничения: модель рассчитана на английский язык и не является генеративной; для конкретных задач обычно требуется добавить задачно-специфичную голову и выполнить дообучение. Максимальная длина входа — 512 токенов.

Модель seongil-dn/bge-m3-kor-retrieval-451949-bs128-finance-book-science-344 — дообученный Sentence Transformer на базе BAAI/bge-m3, разработанный автором репозитория seongil-dn. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения по косинусному сходству. Модель предназначена для семантического поиска и сопоставления текстов; также её можно применять для поиска перефразировок, кластеризации и классификации текста. Архитектура включает XLM-RoBERTa, pooling по CLS-токену и нормализацию выходного вектора. Метаданные указывают 658,7 млн параметров и контекст до 8194 токенов; README заявляет максимальную длину последовательности 1024 токена, поэтому фактический лимит может зависеть от конфигурации загрузки. Обучающий набор, судя по идентификатору и тегам, связан с финансовыми, книжными и научными текстами на корейском языке, но подробности о данных и оценке качества не приведены. Лицензия в предоставленных данных не указана.

newmindai выпустила модель семантического сходства турецких предложений, дообученную на базе BAAI/bge-m3 на турецком наборе STS-B. Это Sentence Transformers на архитектуре XLM-RoBERTa с 658,7 млн параметров; модель кодирует текст в эмбеддинги и предназначена для оценки сходства пар предложений. В README указаны корреляции Спирмена 0,8629 и Пирсона 0,8575 на оценке STS-B. Модель подходит для поиска похожих предложений, сопоставления вопросов с ответами, поиска перефразирований и группировки турецких текстов. Метаданные указывают контекст до 8194 токенов, тогда как README сообщает ограничение последовательности в 1024 токена; фактический рабочий предел может зависеть от конфигурации загрузки. Поддержка языка в карточке отмечена для турецкого. Лицензия — Apache-2.0.

CamemBERT-L8 — прореженная версия предварительно обученной модели CamemBERT, созданная удалением верхних слоёв исходного чекпойнта. В метаданных указаны архитектура CamemBERT, класс CamembertModel, около 100,1 млн параметров и контекст длиной до 514 токенов. Модель предназначена прежде всего для дообучения под задачи, где решение опирается на всё предложение: классификацию текста, извлечение ответов на вопросы и семантический поиск. Её также можно использовать для извлечения признаков и masked language modeling. Для генерации текста автор рекомендует авторегрессионные модели. Модель работает с текстом на французском языке. Удаление верхних слоёв уменьшает модель относительно исходной CamemBERT-base; числовой размер L8 подтверждён метаданными, а README описывает семейство вариантов с разным числом удалённых слоёв. Лицензия — MIT.

ColBERT-XM — модель для многоязычного семантического поиска, разработанная на основе X-MOD. Она кодирует запросы и документы в последовательности токенных векторов, а затем оценивает соответствие с помощью позднего взаимодействия MaxSim; такой подход подходит для эффективного поиска по большим коллекциям текстов. Модель дообучена на английских запросах и отрывках MS MARCO с трудными отрицательными примерами. Благодаря основе X-MOD она поддерживает перенос поиска на другие языки без отдельного дообучения на каждом из них. В обучении использовались векторы размерности 128 и максимальные длины последовательностей 32 токена для запросов и 256 для документов; базовый контекст модели составляет 514 токенов. Размер — 305,2 млн параметров. Модель предназначена для многоязычного поиска документов и ранжирования отрывков по запросу, включая сценарии семантического поиска и извлечения passages. Карточка описывает оценку на наборах mMARCO и Mr. TyDi. Для использования доступны библиотеки Sentence Transformers и ColBERT. Лицензия — MIT.

deepvk/deberta-v1-distill — русскоязычная предварительно обученная модель от deepvk на основе DeBERTa. Это двунаправленный энкодер без готовой предобученной выходной головы, обученный предсказывать замаскированные токены и сжатый методом дистилляции из более крупной модели. В модели 6 слоёв, 12 голов внимания и размер представления 768; она содержит 95,2 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для извлечения контекстных векторных представлений текста и дальнейшей адаптации под задачи классификации, разметки и анализа русского языка. Обучающие данные включают около 400 ГБ отфильтрованных и дедуплицированных текстов из Википедии, книг, соцсетей, новостных сайтов и других источников. Основной язык — русский, также присутствует небольшая доля других языков; метаданные карточки отмечают русский и английский. Распространяется по лицензии Apache 2.0.