I.12Рекомендации и персонализация

SSF-MiniLM Finetuned v2 — англоязычная модель Sentence Transformers, разработанная imocha-ai-org для сопоставления предложений из описаний вакансий со стандартизированными навыками Singapore SkillsFuture Framework (SSF). Она дообучена на базе sentence-transformers/all-MiniLM-L6-v2 и использует плотный двунаправленный BERT-энкодер с усреднённым пулингом и нормализацией. Векторы имеют размерность 384; в README указана максимальная длина последовательности 256 токенов, а метаданные задают нативное контекстное окно в 512 токенов. Модель содержит 25,9 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для извлечения и разметки навыков, семантического поиска и ранжирования соответствий между текстом и названиями навыков, в том числе в HR-системах, анализе кадров и рекомендациях обучения. В README приведены результаты на отложенной выборке для сопоставления навыков: AUC 0,995 и максимальная точность 97,1%; это результаты указанного автора тестирования. Модель не генерирует текст и рассчитана на короткие англоязычные предложения. Качество сопоставления лучше всего ожидается для навыков из 2 196 категорий SSF. Для других таксономий навыков и новых или редких терминов точность может снижаться; длинные описания вакансий рекомендуется предварительно разбивать на предложения. Обучающие примеры синтетические, а многоязычная поддержка не заявлена.

farhana1996/unsupervised-simcse-bangla-sbert — Sentence Transformer, дообученный на базе shihab17/bangla-sentence-transformer. Модель использует XLM-RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768; сходство между ними рассчитывается косинусной мерой. Максимальная длина последовательности — 512 токенов (в метаданных указано 514 токенов). Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Карточка описывает обучение на датасете из 1 млн пар предложений с функцией потерь MultipleNegativesRankingLoss. Базовая модель рассчитана на бенгальский и английский языки; специализация этой версии — бенгальские предложения. Размер модели — 305,2 млн параметров. Для использования нужны текстовые входы; результатом являются векторы, подходящие для поиска и сравнения по сходству. Лицензия в предоставленных источниках не указана.

headlesstech/bengali_dpr — модель на основе XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит около 305,2 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт векторные представления. Модель ориентирована на бенгальский язык, что следует из её названия; карточка не приводит отдельного перечня поддерживаемых языков. Для использования подходят Sentence Transformers или Transformers с соответствующей операцией pooling. В метаданных указана лицензия Apache 2.0.

Это модель Sentence Transformers на базе BERT-large для кантонского языка, разработанная hon9kon9ize. Она дообучена на наборах yue-all-nli и sentence-transformers/all-nli и преобразует предложения и абзацы в плотные векторы размерностью 1024. Векторы предназначены для сравнения семантического сходства с помощью косинусной меры, семантического поиска, поиска перефразировок, классификации текстов и кластеризации. Модель использует архитектуру BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. В README приведены результаты оценки сходства на sts-dev и sts-test: Spearman 0,8072 и 0,7611 соответственно. Модель принимает текст и выдаёт векторные представления; метаданные указывают 424,8 млн параметров и формат safetensors. Условия лицензирования в предоставленных данных не описаны.

ArnavKewalram/bge-base-code-v1 — текстовая модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения по смыслу; сходство оценивается косинусной мерой. Архитектура включает BERT, пулинг CLS и нормализацию эмбеддингов. Модель предназначена для извлечения эмбеддингов из текста, семантического поиска по фрагментам кода и построения retrieval-компонента для RAG. В README максимальная длина последовательности указана как 384 токена, а метаданные каталога — как 512; фактический предел может зависеть от конфигурации и способа использования. Основание для названия «code» есть в идентификаторе репозитория, но README не уточняет обучение или специализацию на коде. Лицензия в предоставленных данных не указана.

soichisumi публикует версию BAAI/bge-reranker-v2-m3, преобразованную для MLX и квантованную до 8 бит методом affine с размером группы 64. Модель основана на XLM-RoBERTa с архитектурой классификатора последовательностей и содержит 658,7 млн параметров; указанный в карточке объём файлов — 607 МБ. Она оценивает релевантность пары «запрос — фрагмент» и подходит для переранжирования результатов поиска. Модель многоязычная, с контекстом до 8194 токенов. В README приведена проверка на 30 запросах и 897 парах из набора mteb/scidocs-reranking: Kendall τ составила 0,9797, а изменение nDCG@10 — −0,0002; автор характеризует результат как практически без потерь. Это ограниченная оценка на одном наборе данных, поэтому она не гарантирует аналогичное качество на других доменах и языках. Лицензия — Apache-2.0.

pankajrajdeo/Bioformer-8L-UMLS-Pubmed_PMC-Forward_TCE-Epoch-2-MSMARCO-Epoch-2 — модель Sentence Transformer на базе BERT, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для поиска по смыслу и сравнения текстов с помощью косинусного сходства. В README указано обучение на парах anchor–positive с MultipleNegativesRankingLoss; метаданные отмечают возможность извлечения признаков и вычисления сходства предложений. Модель содержит 50,3 млн параметров, принимает последовательности длиной до 512 токенов и использует среднее объединение токеновых представлений. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README названы Bioformer, UMLS, PubMed и PMC в идентификаторе модели, но описание обучения говорит о наборе parquet и не подтверждает отдельно медицинскую специализацию или языковой состав. Лицензия в предоставленных данных не указана.

YituTech/conv-bert-base — предобученная языковая модель семейства ConvBERT, опубликованная YITU Technology. Репозиторий предназначен для извлечения признаков из текста: его можно загрузить через Transformers как AutoModel или использовать с pipeline feature-extraction. Модель имеет плотную архитектуру ConvBertModel и содержит 136,7 млн параметров. Максимальная длина контекста — 512 токенов; доступны веса PyTorch и TensorFlow. Она принимает текст и выдаёт его векторные представления, которые можно использовать как основу для последующих NLP-задач. В карточке репозитория нет подробностей о языках обучения, специальных сценариях применения или ограничениях качества. Лицензия в предоставленных метаданных и найденной карточке не установлена.

Карточка модели Alibaba-NLP/core-reranker-2b на Hugging Face совпадает с карточкой Alibaba-NLP/core-emb-2b, поэтому описание составлено по ней. Core-Embed-2B — мультимодальная модель эмбеддингов, разработанная Alibaba-NLP на архитектуре Qwen3-VL. Она преобразует текст и изображения в плотные векторы для поиска и сопоставления, уделяя особое внимание композиционным связям между атрибутами и объектами: например, различает изображение с белой тарелкой и чёрным стулом от изображения с обратным сочетанием цветов. Модель содержит 2 млрд параметров и рассчитана на извлечение признаков из текста и изображений. Модель обучена дистилляцией оценок ранжирования: её эмбеддинги учатся сохранять градации соответствия между запросом и кандидатами, включая ошибки атрибутов и объектов. Это помогает выполнять тонкий мультимодальный поиск, сохраняя качество обычного поиска изображений и текстов. Для запуска требуется версия Transformers с поддержкой Qwen3-VL. Модель распространяется по лицензии CC BY 4.0. Карточка описывает семейство и результаты Core-Embed-8B, но не приводит отдельные численные оценки для версии 2B.

DeBERTinha PT-BR XSmall — предварительно обученная языковая модель семейства DeBERTa-V3, разработанная командой sagui-nlp для бразильского португальского. В репозитории указано около 40 млн параметров; метаданные каталога содержат оценку 47,6 млн. Модель рассчитана на извлечение признаков из текста и получение текстовых представлений, которые можно использовать в качестве эмбеддингов. Модель подходит для построения эмбеддингов и как основа для задач анализа текста на бразильском португальском. В карточке названы обучающие корпуса BrWaC и Corpus Carolina. Длина контекста составляет 512 токенов; модель доступна для Transformers в форматах PyTorch и safetensors. В README отмечено, что на несбалансированных наборах данных результаты могут быть слабыми; для улучшения обучения авторы рекомендуют, среди прочего, масштабирование функции потерь и weight decay. Лицензия модели — MIT.

E5-large-trm — сжатая версия многоязычной модели intfloat/multilingual-e5-large, подготовленная с помощью vocabtrimmer; сведения об авторе в карточке не приведены. Модель создаёт текстовые эмбеддинги для семантического поиска, сравнения предложений и ранжирования. В README описан пример кодирования запросов и документов для MS MARCO. Архитектура — XLM-RoBERTa; модель содержит около 453,9 млн параметров, использует Sentence Transformers и сохраняется в формате safetensors. Контекст — до 514 токенов. Словарь сокращён с 250 002 до 50 002 токенов на данных нидерландского раздела C4, а размер матрицы эмбеддингов — с 256 млн до 51,2 млн параметров. Это делает модель ориентированной прежде всего на нидерландский язык; карточка также указывает связь с многоязычной базовой моделью E5. Лицензия — MIT. Представленные данные не уточняют, насколько качество сохраняется для других языков после обрезки словаря.

tomaarsen/ettin-encoder-32m-nq — англоязычная модель Sentence Transformers, дообученная на наборе Natural Questions на основе jhu-clsp/ettin-encoder-32m. Она использует архитектуру ModernBERT с mean pooling и преобразует текстовые запросы, предложения и абзацы в плотные эмбеддинги размерности 384; сходство между векторами можно оценивать косинусной мерой. Модель предназначена прежде всего для поиска релевантных текстов по запросу и семантического сопоставления в системах информационного поиска. В README указана максимальная длина последовательности 256 токенов. Метаданные сообщают 31,9 млн параметров и контекст до 7999 токенов; для практического использования следует учитывать ограничение длины, заявленное конфигурацией Sentence Transformers. Модель принимает и выдаёт текстовые представления в виде векторов, обучена на английских вопросах и ответах. Лицензия — MIT.

Parallia разработала FMMB-BE-NL — одноязычную нидерландскую версию модели Sentence Transformers для получения эмбеддингов текста. Она основана на ModernBERT и содержит 148,7 млн параметров. Модель преобразует предложения и абзацы длиной до 8192 токенов в плотные векторы размерности 768; для сравнения векторов подходит косинусная близость. В README указано, что веса совпадают с исходной многоязычной моделью FMMB-BE, а эта версия использует нидерландский токенизатор и соответствующую таблицу эмбеддингов. Модель обучена на параллельных предложениях на английском, французском, нидерландском и немецком языках. Её можно применять для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и классификации текста. Лицензия — Apache-2.0. Карточка рекомендует использовать актуальную версию библиотеки Transformers с поддержкой ModernBERT.

deutsche-telekom/gbert-large-paraphrase-euclidean — модель Sentence Transformers от Deutsche Telekom, дообученная на базе deepset/gbert-large для построения эмбеддингов немецких предложений и абзацев. Она преобразует текст в плотные векторы размерностью 1024 и рассчитана на применение с SetFit для классификации немецкого текста в условиях малого числа примеров. Модель использует архитектуру BERT и обучалась с BatchHardSoftMarginTripletLoss с евклидовой метрикой на отфильтрованном наборе парафраз немецких предложений. Контекст ограничен 512 токенами; объём модели — 434,5 млн параметров. В README авторы сообщают о лучших результатах среди сравнивавшихся вариантов в сценарии немецкой классификации с малым числом примеров. Лицензия — MIT.

ko-sroberta-multitask — корейская модель эмбеддингов предложений на базе архитектуры RoBERTa, опубликованная jhgan. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 137,8 млн параметров и принимает контекст до 514 токенов. Модель обучалась в режиме нескольких задач на наборах KorSTS и KorNLI; в README приведены результаты оценки на KorSTS. Она предназначена прежде всего для корейского языка. Для использования в Transformers поверх выходов модели требуется применить подходящую операцию pooling; доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Сведения о лицензии в предоставленных материалах отсутствуют.

redis/langcache-embed-v1 — модель Sentence Transformers, разработанная для Redis и дообученная на Alibaba-NLP/gte-modernbert-base на датасете Quora. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768 и сравнивает их с помощью косинусного сходства; модель предназначена для семантического сопоставления текстов и семантического кэширования, например для поиска похожих запросов и повторного использования кэшированных ответов. Архитектура основана на ModernBERT с пулингом CLS-токена, максимальная длина последовательности — 8192 токена. В метаданных указаны форматы safetensors, ONNX и OpenVINO. В README приведены результаты бинарной классификации на Quora: точность по cosine accuracy 0,90 и F1 0,87. Эти показатели относятся к описанной оценке и не гарантируют такого же качества на других данных. Поддержка языков отдельно не заявлена; датасет Quora и базовая модель указывают на ориентацию прежде всего на английский язык. Условия лицензии в предоставленных данных не указаны.

LaSER-Qwen3-8B — плотный ретривер с латентным рассуждением, разработанный в рамках подхода LaSER и дообученный на базе Qwen/Qwen3-8B. Модель предназначена для поиска релевантных документов по запросам, особенно когда для поиска требуется многошаговое рассуждение. Она генерирует непрерывные латентные токены рассуждения, объединяет скрытые состояния и выдаёт L2-нормализованные эмбеддинги для запросов и документов. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов. README сообщает о результатах на BRIGHT, FollowIR и BrowseComp-Plus; на BRIGHT указана задержка около 50 мс при batch size 8 на одной A100. Веса доступны в формате safetensors, лицензия — MIT. Для кодирования текста используется Transformers; точный способ формирования эмбеддингов требует реализации LaSER из проекта.

LFM2.5-ColBERT-350M-fp16 — многоязычная двунаправленная модель для извлечения признаков и поиска документов, подготовленная на базе LiquidAI/LFM2.5-ColBERT-350M и упакованная в формат MLX fp16 для Apple Silicon. Модель формирует векторы размерности 128 для каждого токена, а релевантность запроса и документа оценивает методом позднего взаимодействия MaxSim. Для кодирования используются обязательные маркеры [Q] для запроса и [D] для документа. Модель предназначена для семантического поиска и ранжирования в системах извлечения информации. Архитектура LFM2 включает двунаправленный энкодер; размер модели по метаданным — 443,4 млн параметров, контекст — до 128 000 токенов. Заявлена поддержка английского, испанского, немецкого, французского, итальянского, португальского, арабского, шведского, норвежского, японского и корейского языков. README приводит результаты на подмножестве англоязычного NanoBEIR и указывает на специализированный загрузчик MLX для корректного получения эмбеддингов. Это вариант fp16 без квантизации, рассчитанный на запуск через MLX на компьютерах Apple Silicon. Лицензия в метаданных обозначена как other; конкретные условия следует проверять в файлах репозитория. Результаты бенчмарка охватывают ограниченный англоязычный набор и не характеризуют качество на полном многоязычном наборе.

Это мультиязычная модель Cross-Encoder семейства XLM-RoBERTa, дообученная авторами Sentence Transformers на MMARCO — автоматически переведённой на 14 языков версии датасета MS MARCO. Модель основана на mMiniLMv2-L12-H384, содержит 124,3 млн параметров и рассчитана на последовательности длиной до 514 токенов. Модель предназначена для повторного ранжирования результатов информационного поиска: она получает запрос и отдельный найденный фрагмент текста, оценивает их релевантность, после чего фрагменты можно отсортировать по оценкам. Подходит для этапа reranking после первичного поиска, например, в поисковой системе или конвейере RAG. Карточка отмечает поддержку 14 языков и сообщает, что модель также хорошо показала себя на других языках. Доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO; для использования предусмотрена библиотека Sentence Transformers. Лицензия — Apache-2.0. Обучение на машинных переводах MS MARCO может ограничивать качество на языках и типах запросов, отличающихся от обучающих данных.

MMLW-retrieval-e5-large — польскоязычный текстовый энкодер, разработанный для задач информационного поиска. Модель основана на multilingual E5 и использует архитектуру XLM-RoBERTa; её размер составляет 658,7 млн параметров, а контекст — 514 токенов. Она кодирует запросы и фрагменты текста в векторы размерности 1024. Модель обучали в два этапа: сначала дистиллировали на 60 млн польско-английских пар с использованием англоязычных моделей FlagEmbeddings (BGE) в качестве учителей, затем дообучили с контрастивной функцией потерь на польской части MS MARCO. Для кодирования запросов нужен префикс «query: », для документов — «passage: ». На польском бенчмарке PIRB модель показала NDCG@10 58,30. Распространяется по лицензии Apache-2.0.

makiart/modernbert-large-ft-all-nli — англоязычная модель Sentence Transformers, разработанная makiart путём дообучения answerdotai/ModernBERT-large на наборе all-nli. Она кодирует предложения и абзацы в плотные векторы размерностью 1024, а сходство между ними можно оценивать косинусной мерой. Архитектура включает энкодер ModernBERT-large и mean pooling; модель содержит 394,7 млн параметров и принимает последовательности длиной до 8192 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и подготовки признаков для классификации. В README приведён результат cosine accuracy 0,8809 на TripletEvaluator для all-nli-dev. Оценка качества на других доменах и языках не приводится; модель обучалась на англоязычных данных all-nli, поэтому её пригодность для русского и специализированных текстов не подтверждена. Лицензия в предоставленных сведениях не указана.

ModernGBERT 1B — немецкоязычная модель-энкодер семейства ModernBERT, разработанная LSX-UniWue. Она содержит 1,1 млрд параметров, использует архитектуру BERT с маскированным языковым моделированием и обрабатывает последовательности длиной до 8 192 токенов. Модель предварительно обучена на немецкой части RedPajama V2 объёмом 1,27 трлн токенов; также в метаданных указан датасет LSX-UniWue/LLaMmlein-Dataset. Модель предназначена для извлечения признаков и эмбеддингов, а также задач понимания немецкого текста. Её можно применять для семантического поиска, оценки релевантности и дообучения под классификацию токенов; README показывает использование с Transformers и PEFT/LoRA. В бенчмарках авторов модель получила средние оценки 0,808 на SuperGLEBer и 0,551 на немецком MTEB после дополнительного unsupervised fine-tuning на немецкой части mMARCO. Модель распространяется в форматах PyTorch и Safetensors, лицензия обозначена как other. Она является энкодером с маскированным языковым моделированием, поэтому не предназначена для свободной авторегрессионной генерации текста. Указанные результаты MTEB получены после дополнительного дообучения, что следует учитывать при сравнении.

nomic-embed-vision-v1 — модель эмбеддингов изображений от Nomic AI. Она преобразует изображения в векторы в общем пространстве с nomic-embed-text-v1, что позволяет сопоставлять изображения и текст по смыслу. Модель предназначена для поиска изображений по текстовому запросу и других сценариев мультимодального поиска и извлечения признаков. В README приведены результаты на ImageNet zero-shot и Datacomp; указана совместимость с библиотекой Transformers. Репозиторий содержит веса в форматах Safetensors и ONNX. Для текстовых запросов в мультимодальном поиске README рекомендует добавлять префикс «search_query: ». Модель принимает изображения и выдаёт векторы признаков. Репозиторий лицензирован по Apache-2.0.

Nomic Embed Vision v1.5 — модель семейства Nomic BERT от Nomic AI для получения признаковых представлений изображений. Она предназначена для извлечения эмбеддингов и мультимодального поиска, включая поиск изображений по текстовому запросу в системах retrieval и RAG. В README также описан совместный анализ пространств эмбеддингов изображений и текста. Модель принимает изображения и выдаёт векторные представления; для текстовых запросов в мультимодальном поиске README рекомендует префикс «search_query: ». В метаданных указаны архитектура NomicVisionModel, библиотека Transformers и форматы Safetensors и ONNX. Язык карточки — английский; размер модели и длина контекста не указаны. Лицензия — Apache-2.0.

SA-BERT-V1 — дообученная командой Omartificial-Intelligence-Space модель эмбеддингов предложений для арабского языка, ориентированная на саудовский диалект. Она основана на MARBERTv2 и использует BERT-энкодер с mean pooling: 12 слоёв, размер скрытого состояния и эмбеддинга 768. Модель принимает текст и преобразует предложения в векторы; заявленные сценарии — семантическое сходство, кластеризация, поиск и классификация. Для дообучения использовано более 500 тысяч предложений на саудовском диалекте, включая хиджазский и надждийский варианты. В README приведена оценка на отложенной выборке из 1280 предложений по 44 категориям; она описывает сходство эмбеддингов внутри и между категориями, но не устанавливает качество для всех задач и наборов данных. Контекст составляет 512 токенов. Модель распространяется по лицензии Apache 2.0.

SauerkrautLM-Multi-ColBERT-33m — компактная модель позднего взаимодействия для поиска и сопоставления текстов, разработанная VAGOsolutions. Она использует архитектуру ColBERT на базе BERT с 33–34,7 млн параметров и обучалась на 8,2 млрд токенов с дистилляцией знаний от моделей-реранкеров. Для оценки релевантности применяется MaxSim, а выходные представления имеют размерность 128. Модель рассчитана на запросы до 256 токенов и документы до 8192 токенов. Модель предназначена для многоязычного поиска, семантического сопоставления запросов и документов и построения поисковых систем, в том числе с ограниченными вычислительными ресурсами. В первую очередь она поддерживает немецкий, английский, испанский, французский, итальянский, нидерландский и португальский языки; обучение включало многоязычный этап и дополнительный этап на английских данных. Лицензия — Apache 2.0.

Snowflake Arctic Embed S — компактная модель текстовых эмбеддингов, разработанная Snowflake для качественного поиска по смыслу. Она основана на intfloat/e5-small-unsupervised и обучена в несколько этапов на парах запросов и документов, а затем на триплетах с трудными отрицательными примерами. Архитектура — BERT; модель содержит около 40 млн параметров по метаданным, формирует векторы размерности 384 и принимает до 512 токенов. Модель предназначена для семантического поиска по большим коллекциям, сопоставления запросов с документами и построения retrieval-компонента для RAG. В README для неё указан результат 51,98 по MTEB Retrieval NDCG@10; заявленный профиль ориентирован на высокую точность при небольшом размере и масштабировании на большие наборы данных. Модель принимает текст и выдаёт эмбеддинги; сведения указывают на англоязычную основу и не подтверждают поддержку других языков. Модель опубликована по лицензии Apache-2.0. Она формирует эмбеддинги, а не готовые ответы, поэтому для поиска обычно требуется индексирование векторов и отдельный механизм ранжирования или генерации. В README отмечено, что более новые версии Arctic Embed рассчитаны на многоязычные сценарии и рекомендуются вместо прежних версий.

Snowflake/snowflake-arctic-embed-xs — компактная модель эмбеддингов текста из семейства Arctic Embed, разработанного Snowflake. Она предназначена для поиска по смыслу и извлечения релевантных документов, включая семантический поиск и retrieval-компонент систем RAG. Модель основана на all-MiniLM-L6-v2 и использует архитектуру BERT. В метаданных указано 25,9 млн параметров и контекст до 512 токенов; README приводит 22 млн параметров и размерность эмбеддинга 384. Компактный размер рассчитан на сценарии с жёсткими ограничениями по задержке и стоимости. В README сообщается результат 50,15 NDCG@10 на MTEB Retrieval. Карточка описывает обучение и оценку для задач поиска, но не подтверждает поддержку конкретных языков, поэтому модель следует выбирать с учётом языка и данных своего корпуса. README указывает на более новые многоязычные версии Arctic Embed, которые авторы рекомендуют для многоязычных сценариев. Репозиторий содержит форматы ONNX и safetensors. Лицензия в предоставленных данных не указана.

capemox/splade-ettin-encoder-17m-gooaq — разреженный текстовый энкодер SPLADE, созданный capemox дообучением jhu-clsp/ettin-encoder-17m на 99 000 примерах датасета GooAQ с помощью библиотеки Sentence Transformers. Модель кодирует предложения и абзацы в разреженные векторы размерности 50 368; сходство между ними оценивается скалярным произведением. В архитектуре ModernBERT для masked language modeling используется пулинг SPLADE с ReLU и стратегией max. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе поиска ответов на вопросы и ранжирования текстов по релевантности. Она принимает текст на английском языке; максимальная длина последовательности в README — 256 токенов, а в метаданных указана длина контекста 7 999 токенов. Лицензия — MIT. В README приведены оценки на наборах NanoMSMARCO, NanoBEIR и других тестах извлечения информации.

njw9722 дообучил Sentence Transformer на базе mixedbread-ai/mxbai-embed-large-v1 для сравнения коротких текстов, связанных с технологиями и названиями продуктов. Модель преобразует предложения и абзацы в плотные векторы размерности 512; сходство между текстами можно оценивать косинусным сходством. Архитектура включает BERT с длиной последовательности до 512 токенов и пулингом CLS-токена. Число параметров — 433,9 млн, библиотека — Sentence Transformers. Модель подходит для семантического поиска, сопоставления синонимов и вариантов написания, поиска парафраз, кластеризации и классификации текстов. В обучающих и оценочных примерах сопоставляются англоязычные названия технологий и продуктов, включая сокращения и полные названия, поэтому такие сценарии особенно хорошо подтверждены карточкой. Данных недостаточно, чтобы утверждать поддержку других языков или широкую отраслевую специализацию. Максимальная длина входа — 512 токенов. Лицензия в предоставленных источниках не указана.