I.12Рекомендации и персонализация

Contrastive-Tension/BERT-Base-Swe-CT-STSb — шведская модель на архитектуре BERT Base, опубликованная проектом Contrastive-Tension. Она дообучена методом Contrastive Tension для получения векторных представлений предложений и оценки семантического текстового сходства, включая сценарии поиска похожих фраз и обнаружения перефразирований. Модель предназначена для извлечения признаков из текстов на шведском языке и поддерживает библиотеку Transformers, а также PyTorch, TensorFlow и JAX. По метаданным Hugging Face модель содержит около 151,9 млн параметров и обрабатывает последовательности длиной до 512 токенов. Метод Contrastive Tension обучает представления так, чтобы одинаковые предложения имели близкие векторы, а разные — более далёкие. Модель хорошо подходит для шведского semantic textual similarity, поиска похожих предложений, кластеризации и построения семантического поиска. Она не является генеративной моделью и не предназначена для диалога, генерации текста или непосредственной классификации без дополнительной модели и процедур обработки эмбеддингов.

nickprock/cross-encoder-italian-bert-stsb — модель на основе архитектуры BERT, обученная с помощью класса Cross-Encoder библиотеки Sentence Transformers. Она оценивает семантическое сходство пары предложений на итальянском языке, выдавая оценку от 0 до 1; обучалась на итальянском переводе набора STS Benchmark, обозначенном в метаданных как stsb_multi_mt. Модель содержит 137,1 млн параметров и принимает пары текстов длиной до 512 токенов контекста. Модель подходит для ранжирования результатов поиска по смысловому сходству и сравнения итальянских предложений. В отличие от двухбашенных энкодеров, Cross-Encoder совместно обрабатывает оба текста, поэтому оценка относится к конкретной паре и может использоваться для переранжирования кандидатов. Базовая модель — dbmdz/bert-base-italian-uncased. Распространяется по лицензии MIT.

Это англоязычный разреженный CSR-энкодер, созданный tomaarsen дообучением модели mixedbread-ai/mxbai-embed-large-v1 на наборе Natural Questions с использованием Sentence Transformers. Он преобразует запросы, предложения и абзацы в разреженные векторы размерностью 4096 с максимум 256 активными измерениями; сходство оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного извлечения документов, например для поиска ответов на вопросы в коллекциях текстов. Максимальная длина входа составляет 512 токенов. В README приведены результаты оценки поиска на наборах NanoMSMARCO при разных ограничениях на число активных измерений; качество зависит от выбранного ограничения. Модель распространяется по лицензии Apache-2.0.

Это англоязычный разреженный CSR-кодировщик текста tomaarsen/csr-mxbai-embed-large-v1-nq-no-reconstruction, разработанный на базе mixedbread-ai/mxbai-embed-large-v1 с помощью Sentence Transformers и дообученный на наборе Natural Questions. Модель предназначена для семантического поиска и разреженного извлечения документов: она преобразует предложения и абзацы в векторы, которые можно сравнивать скалярным произведением. Архитектура основана на BERT и содержит 433,9 млн параметров. Размер выходного пространства — 4096 измерений, при этом в векторе активно не более 256 измерений. Максимальная длина последовательности — 512 токенов. В README приведены результаты оценки извлечения на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR. Модель подходит для поиска по текстовым коллекциям и ранжирования кандидатов по релевантности. Она рассчитана на английский язык; результаты для других языков не заявлены. Распространяется по лицензии Apache-2.0.

Dolphin 2.2 70B — разговорная языковая модель от Eric Hartford, обученная на базе StellarBright, которая основана на Llama 2. Она предназначена для диалогов, следования инструкциям и продолжительных многоходовых бесед; автор отмечает улучшения в эмпатичных ответах и персональных советах. Модель использует плотную архитектуру LlamaForCausalLM, содержит 68,7 млрд параметров, принимает текст и выдаёт текст. Контекст — до 4096 токенов. Для общения применяется формат ChatML. При обучении использованы наборы Dolphin, Airoboros 2.2.1, а также отобранные данные Samantha и WizardLM. Автор характеризует модель как uncensored и предупреждает, что она может выполнять запросы, связанные с неэтичным содержанием; перед предоставлением её пользователям рекомендуется добавить собственный слой ограничений. Лицензия — Llama 2, README указывает на возможность коммерческого и некоммерческого использования.

alfaneo/jurisbert-base-portuguese-sts — модель на основе BERT, разработанная для представления предложений и абзацев на португальском языке в виде плотных векторов размерности 768. Её можно использовать для семантического поиска, сравнения текстов и кластеризации; для работы доступны форматы PyTorch и Safetensors. Модель содержит 136,1 млн параметров и принимает последовательности длиной до 512 токенов. В README описано обучение с CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

LinkBERT-base — англоязычный трансформерный энкодер семейства BERT, разработанный Мичи Ясунага и соавторами. Модель предварительно обучена на статьях англоязычной Википедии с учётом гиперссылок между документами: связанный текст подавался в общий контекст, чтобы модель усваивала знания, распределённые по нескольким документам. Размер модели — 135,5 млн параметров, максимальная длина контекста — 512 токенов; доступны веса PyTorch. Лицензия — Apache-2.0. Модель предназначена для дообучения под классификацию текста и другие задачи понимания языка, включая ответы на вопросы, классификацию последовательностей и токенов. Её также можно использовать как исходный энкодер для извлечения признаков. Учёт связей между документами особенно полезен для задач, требующих объединять сведения из нескольких источников, таких как поиск по документам и чтение с пониманием. В опубликованных результатах дообученная модель превосходит BERT-base на приведённых наборах MRQA и GLUE; сама базовая модель не является готовой системой ответов на вопросы и может требовать дообучения для целевой задачи.

multi-sentence-BERTino V5 — италоязычная модель Sentence Transformers на архитектуре DistilBERT, разработанная автором репозитория nickprock и дообученная для поиска и сравнения предложений. Она преобразует предложения и абзацы в плотные векторы размерностью до 768 и предназначена для семантического поиска, информационного поиска, подбора контекста для RAG и оценки семантического сходства. Обучение использует Matryoshka Representation Learning: векторы можно усекать до 512, 256 или 128 измерений, сохраняя полезность для поиска; README приводит результаты на итальянских наборах для retrieval и STS. Для retrieval применялись синтетические запросы к абзацам итальянской Википедии с трудными отрицательными примерами, а для сходства — итальянская часть STS-B. Максимальная длина контекста — 512 токенов. Репозиторий содержит форматы ONNX и safetensors и распространяется по лицензии Apache-2.0. Модель рассчитана на итальянский язык и возвращает эмбеддинги, а не готовые текстовые ответы. Метрики приведены для hold-out оценки автора; качество на других доменах и типах данных может отличаться.

Модель iambestfeed/phobert-base-v2-finetuned-raw_data_wseg-lr2e-05-1-epochs-bs-64 — Sentence Transformer, дообученный разработчиком iambestfeed на базе vinai/phobert-base-v2 с использованием набора vnexpress-data-similarity. Это плотный RoBERTa-энкодер с 162,4 млн параметров: он преобразует предложения и абзацы в векторы размерностью 768 и предназначен для сравнения текстов по косинусному сходству. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. Обучение на парах anchor–positive из новостного набора VnExpress ориентирует её на вьетнамские тексты. Максимальная длина последовательности — 258 токенов по метаданным; в README указано ограничение 256 токенов. Для применения нужны входные тексты, а модель выдаёт векторы, используемые для поиска и сравнения. Указанная лицензия отсутствует в предоставленных источниках, поэтому условия использования по ним определить нельзя.

SimLM — англоязычная плотная модель для поиска пассажей, разработанная авторами метода Similarity Matching with Language Model Pre-training. Она использует архитектуру BERT с узким представлением, которое сжимает текст пассажа в плотный вектор. В карточке указана версия, дообученная на MS MARCO. Модель предназначена для извлечения эмбеддингов текста и построения систем семантического поиска и ранжирования пассажей, в том числе для поиска по неразмеченным корпусам. Параметры можно применять как векторные представления документов или запросов в поисковом конвейере. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты экспериментов на MS MARCO и TREC Deep Learning, однако конкретные значения результатов данной версии в доступном фрагменте таблицы не видны. Модель распространяется под лицензией MIT.

Это дообученная модель Sentence Transformers, созданная автором dragonkue на основе Snowflake/snowflake-arctic-embed-l-v2.0 и дополнительно обученная на корейских данных для поиска по документам. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024; для сравнения текстов используется косинусное сходство. Архитектура основана на XLM-RoBERTa с CLS-пулингом, а заявленная максимальная длина последовательности составляет 8192 токена. Модель предназначена для семантического поиска и оценки сходства текстов на корейском и английском языках. Её можно использовать для поиска по документам, в том числе по запросам в разных формулировках и по содержимому таблиц Markdown; README приводит оценки на корейских наборах для поиска в медицинской, финансовой, юридической, государственной и других областях. Модель опубликована под лицензией Apache-2.0. При этом обучение проводилось с длиной текста до 1300 токенов, поэтому качество поиска по существенно более длинным документам может снижаться; для длинных текстов README рекомендует рассмотреть альтернативы. Заявленная максимальная длина последовательности не гарантирует сохранения качества на всей этой длине.

vectorizer.raspberry — векторизатор компании Sinequa для поиска релевантных фрагментов текста. Он преобразует запросы и passages в эмбеддинги: векторы passages сохраняются в векторном индексе, а вектор запроса используется для поиска по этому индексу. Модель построена на XLM-RoBERTa, содержит около 110,2 млн параметров и выдаёт векторы размерности 256. В метаданных указано ограничение контекста в 514 токенов. Модель обучена для сопоставления запросов и фрагментов текста, в том числе с использованием трудных негативных примеров и негативов внутри батча. Она нечувствительна к регистру и диакритическим знакам. Поддерживаемые и оценённые языки — английский, французский, немецкий, испанский, итальянский, нидерландский, японский, португальский и упрощённый китайский; автор также отмечает базовую поддержку других языков предобучения XLM-R. В README приведён средний Recall@100 0,613 на наборах BEIR и результаты MIRACL для части языков. Для запуска README указывает минимальную версию Sinequa 11.10.0 и CUDA compute capability выше 7.5. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Карточка модели avsolatorio/00-000-10-1-0-1-0-0-u_GIST_BAAI_bge-base-en-v1.5-20240127115244-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Модель AbderrahmanSkiredj1/arabic_text_embedding_sts_arabertv02_arabicnlitriplet — Sentence Transformer на базе BERT, дообученный на наборе арабских текстовых триплетов Omartificial-Intelligence-Space/arabic-n_li-triplet. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и рассчитана на сравнение смысловой близости текстов с косинусной мерой сходства. В метаданных указаны 162,4 млн параметров и максимальный контекст 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации арабских текстов, а также для построения эмбеддингов как части поискового или аналитического конвейера. Обучение использовало MatryoshkaLoss с размерностями векторов от 64 до 768. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Мультиязычная модель sentence-transformers для сопоставления изображений с текстом в общем плотном векторном пространстве. Разработана командой sentence-transformers на основе OpenAI CLIP-ViT-B-32: текстовый энкодер DistilBERT обучен методом мультиязычной дистилляции, а энкодер изображений CLIP оставлен без изменений. Модель подходит для поиска изображений по текстовому запросу и мультиязычной классификации изображений без дообучения: названия классов задаются текстом. Текстовая часть рассчитана на 50+ языков; для русского это позволяет искать изображения и задавать текстовые метки на русском. Контекст составляет 512 токенов. Доступны реализации и веса в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Мультиязычная версия выравнивает текстовые представления с пространством оригинального CLIP, но качество может различаться между языками: README предупреждает, что на языках за пределами набора выравнивания результаты могут быть хуже. Лицензия — Apache-2.0.

ColBERT-Zero-noprompts — модель LightOn, созданная для поиска и ранжирования документов по запросу. Это вариант семейства ColBERT на архитектуре ModernBERT с 149 млн параметров, реализованный в PyLate. Модель формирует многовекторные представления текста размерности 128 и сравнивает запросы и документы с помощью MaxSim; для запросов предусмотрена длина до 32 токенов, для документов — до 512 токенов. Метаданные также указывают контекст до 8192 токенов. Модель предназначена для семантического поиска, извлечения релевантных фрагментов и переранжирования результатов первой поисковой системы. Она обучена с дистилляцией на открытых данных; в README семейство ColBERT-Zero демонстрирует 55,43 nDCG@10 на BEIR, однако это значение не подтверждено отдельно именно для варианта noprompts. Для использования рекомендуется передавать prompt_name="query" и prompt_name="document" соответственно: пропуск или несоответствие подсказок может снизить качество. Модель ориентирована на английский язык и распространяется по лицензии Apache-2.0.

Модель Карла Вайнмайстера — англоязычная версия DistilBERT, дообученная на наборе MultiNLI для классификации текстовых последовательностей и оценки сходства предложений. Она принимает текст и выдаёт оценки классов; подходит для сравнения предложений и задач понимания текстовых пар. Модель основана на DistilBERT с архитектурой DistilBertForSequenceClassification, опубликована в формате safetensors и поддерживает контекст до 512 токенов. Лицензия — Apache-2.0.

DPR-XM — мультиязычная плотная двухбашенная bi-encoder-модель для поиска абзацев по запросам, разработанная Antoine Louis и соавторами. Она кодирует запросы и passages в отдельные векторы размерностью 768 и предназначена для семантического поиска и ранжирования найденных документов по близости векторных представлений. Модель построена на X-MOD и дообучена на английской части MS MARCO passage ranking с трудными негативными примерами; обучение проводилось на 25,6 млн троек «запрос, релевантный абзац, нерелевантный абзац». Благодаря языковым адаптерам X-MOD модель поддерживает перенос поиска на другие языки без отдельного обучения на каждом из них. Контекст модели — 514 токенов, максимальная длина запросов и абзацев при обучении составляла 128 токенов. Модель рассчитана на текстовый ввод и выдаёт векторные представления; доступны веса PyTorch и Safetensors для Sentence-Transformers и Transformers. DPR-XM подходит для мультиязычного поиска по коллекциям документов, в том числе для межъязыкового поиска. Оценка проводилась на mMARCO, включая русский язык. Лицензия и её условия в предоставленных данных не указаны.

GLuCoSE-base-ja-v2 — японская модель эмбеддингов текста, разработанная Chihiro Yano, Mocho Go, Hideyuki Tachibana, Hiroto Takegawa и Yotaro Watanabe. Это дообученная дистилляцией и многоэтапным контрастивным обучением версия GLuCoSE-base-ja на основе архитектуры LUKE; она создаёт векторные представления предложений и фрагментов текста для поиска и сравнения смысла. Модель содержит 138,4 млн параметров, выдаёт эмбеддинги размерностью 768 и поддерживает контекст до 512 токенов по README и 514 токенов по метаданным. Для запросов и документов при инференсе требуются префиксы «query: » и «passage: » соответственно; близость оценивают косинусным сходством. Модель ориентирована на японский язык и задачи поиска: по описанию авторов, она показывает высокие результаты среди моделей сопоставимого размера в MIRACL и других тестах. Может работать на CPU и доступна через библиотеку Sentence Transformers. Подходит для семантического поиска, извлечения релевантных фрагментов и оценки сходства предложений. Распространяется по лицензии Apache-2.0. Результаты зависят от корректного добавления префиксов и соответствия корпуса японскому языку.

x1saint/gte-small-triplet-tr — модель Sentence Transformers на базе Supabase/gte-small, дообученная на турецком наборе all-nli-tr. Она кодирует предложения и абзацы в плотные векторы размерности 384; сходство текстов оценивается косинусной близостью. Модель предназначена для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и извлечения признаков для классификации текста. Архитектура состоит из BERT-трансформера с усреднением токенных представлений; максимальная длина последовательности — 512 токенов. Обучающие данные содержат пары и тройки турецких текстов, а в README приведена точность cosine_accuracy 0,8552 на TripletEvaluator для all-nli-dev. Модель принимает турецкий текст и выдаёт текстовые эмбеддинги; опубликована в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

Jina AI разработала jina-colbert-v2-64 — мультиязычную модель поиска по фрагментам текста на архитектуре ColBERT с поздним взаимодействием токеновых представлений. Она создаёт эмбеддинги размерности 64 и подходит для поиска релевантных документов и фрагментов в системах информационного поиска и RAG. Модель принимает последовательности длиной до 8192 токенов. Поддерживает множество языков, включая английский, арабский, бенгальский, немецкий, испанский, французский, хинди, японский и корейский. Matryoshka-представления позволяют выбирать компромисс между размером эмбеддингов и точностью; в тестах README версия с размерностью 64 показывает близкие к более крупным вариантам результаты на BEIR и MS MARCO. Для развёртывания README указывает зависимости einops и flash_attn; также приведены примеры интеграции с RAGatouille и Stanford ColBERT. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Метаданные классифицируют репозиторий как fill-mask, однако заявленное назначение и архитектура ColBERT указывают на поиск и ранжирование текстовых фрагментов; подходящий тег retrieval в доступных данных не указан.

Lumma-Fev-4B — плотная модель принятия решений на 4 млрд параметров от FrontiersMind. Она принимает документ-состояние и набор типизированных вопросов, после чего за один проход выдаёт распределение вероятностей по вариантам каждого вопроса. Модель не генерирует текст: она поддерживает вопросы типа «да/нет», выбор из вариантов и оценку по упорядоченной шкале. Модель предназначена для классификации и структурированного извлечения решений из текста или JSON: например, для независимой оценки нескольких свойств документа и маршрутизации записей по заранее заданным категориям. Вопросы обрабатываются независимо друг от друга. Модель опубликована в формате safetensors для Transformers; лицензия — Apache-2.0. Вероятности и confidence являются оценками модели, поэтому перед использованием их для автоматического принятия решений следует проверить калибровку на размеченных данных своей задачи. Карточка приводит результаты бенчмарков по типизированным решениям, новостям и эмоциям, но не сообщает длину контекста.

MMLW-retrieval-e5-base — польскоязычный текстовый энкодер для информационного поиска, разработанный авторами проекта MMLW. Модель основана на XLM-RoBERTa и содержит 305,2 млн параметров; она преобразует запросы и фрагменты документов в векторы размерностью 768 для сравнения их релевантности. Максимальная длина контекста — 514 токенов. Модель сначала обучали методом дистилляции на 60 млн польско-английских пар текстов, используя англоязычные FlagEmbeddings (BGE) как учителя, затем дообучили с контрастивной функцией потерь на польской обучающей части MS MARCO. Для кодирования запросов нужен префикс «query: », а для фрагментов документов — «passage: ». На польском бенчмарке PIRB модель показала NDCG@10 56,09. Подходит для семантического поиска и построения систем извлечения информации. Распространяется по лицензии Apache-2.0.

MMLW-retrieval-roberta-base — польскоязычный текстовый энкодер семейства RoBERTa, разработанный для информационного поиска. Модель преобразует запросы и фрагменты текста в векторы размерности 768, которые можно использовать для поиска релевантных документов и ранжирования кандидатов. Модель обучена в два этапа: сначала польскую RoBERTa дообучили методом многоязычной дистилляции на 60 млн польско-английских пар текста с английскими FlagEmbeddings (BGE) в роли учителей, затем провели контрастивное дообучение на польской обучающей части MS MARCO. Для кодирования запросов требуется добавлять префикс «zapytanie: ». Контекст модели — 514 токенов; размер — 151,6 млн параметров. На польском бенчмарке информационного поиска PIRB модель показала NDCG@10 56,38. Она предназначена для задач поиска по тексту, а не для генерации ответов. Распространяется по лицензии Apache-2.0.

ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.

zeromodels выпускает конверсию SigLIP 2 Base Patch16 224 в формате Keras 3 для библиотеки zeromodels. Модель сопоставляет изображения с текстовыми подсказками и выполняет классификацию изображений без дополнительного дообучения. Вариант основан на google/siglip2-base-patch16-224 и использует визуально-языковую архитектуру SigLIP 2; реализация Keras работает с TensorFlow, PyTorch и JAX. Модель принимает изображения и текстовые запросы, а на выходе оценивает соответствие между ними. Мультиязычный токенизатор на основе словаря Gemma поддерживает запросы на многих языках. Подходит для классификации изображений по пользовательским категориям и поиска соответствий между изображениями и описаниями. Лицензия — Apache 2.0.

SymSTS-MiniLM-L6 — англоязычная модель Blueprint AI для оценки семантического сходства двух предложений. Это дообученная версия sentence-transformers/all-MiniLM-L6-v2 на основе энкодера BERT; в метаданных указано 25,9 млн параметров и контекст до 512 токенов. Модель создаёт векторные представления предложений и предназначена прежде всего для сравнения их смысла, а не для универсального поиска по документам или классификации. При обучении пары предложений меняли местами, сохраняя оценку сходства; использованы обучающие части STS-бенчмарков, включая STS Benchmark и STS12. Модель рассчитана на быстрый запуск на CPU и потребительских GPU. Лицензия — Apache-2.0. Качество может снижаться на текстах, существенно отличающихся от англоязычных STS-данных, например в специализированных доменах. Симметричность сходства не всегда подходит для задач направленного поиска; в высокорисковых сценариях модель не следует использовать как единственное основание для решения.

utahnlp/tevatron-elastic-modernbert-retriever-2d — плотный текстовый ретривер, дообученный на базе answerdotai/ModernBERT-base с помощью Tevatron-Elastic. Модель предназначена для поиска релевантных документов по запросу и рассчитана на использование с префиксами query: и passage:. Чекпойнт поддерживает эластичное сокращение глубины и ширины сети по схеме 2D Matryoshka: можно выбирать рабочую точку через prune_to и encode_at, балансируя размер представлений и качество поиска. Модель содержит 149 млн параметров, работает с контекстом до 8192 токенов и поставляется в формате safetensors; README указывает максимум 512 токенов при обучении. В тесте BEIR-15 результат полной конфигурации составил nDCG@10 0,450. Модель разработана Utah NLP и представлена как ресурс для воспроизводимости в рамках статьи Tevatron-Elastic; авторы не заявляют превосходство над современными моделями. Она дообучена на rlhn/rlhn-680K. Базовая модель англоязычная, поэтому основной язык применения — английский. Лицензия — Apache-2.0.

cl-nagoya разработала японскую модель эмбеддингов предложений на архитектуре BERT, дообученную методом Unsupervised SimCSE на Wiki40B. Модель предназначена для получения векторных представлений японских текстов и оценки сходства предложений; её можно использовать через Sentence-Transformers или Transformers с CLS-пулингом. Дополнительный MLP-слой применялся только во время обучения. Модель содержит 138,4 млн параметров, принимает текст с контекстом до 512 токенов. В обучении использовались последовательности длиной до 64 токенов. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0.

Vietnamese_Embedding_v2 — модель эмбеддингов на базе Sentence Transformers, дообученная AITeamVN на BAAI/bge-m3 для улучшения поиска по текстам на вьетнамском языке. Обучение проводилось на примерно 1,1 млн троек из запросов, релевантных и нерелевантных документов. Архитектура — XLM-RoBERTa с плотными векторами размерности 1024; модель оценивает сходство скалярным произведением. Метаданные указывают контекст до 8194 токенов, а README сообщает о максимальной длине последовательности 2048 токенов для документов и 256 для запросов. Модель предназначена для построения векторного поиска и извлечения релевантных документов по вьетнамским запросам. В оценке на наборе Legal Zalo 2021 она показала Accuracy@10 0,9578 и MRR@10 0,8149; README отмечает, что модель не обучалась на этом наборе. Результат на юридических данных несколько ниже, чем у базовой фазы, но авторы указывают, что более крупные данные обучения могут быть полезны для других областей. Лицензия — Apache 2.0.