Характеристики

Контекст: 8 192 токена
Параметры: 149 млн
Лицензия: MIT
Архитектура: modernbert · dense
Базовая модель: ModernBERT-base
Библиотека: sentence-transformers
Опубликована: 8 июн 2026

Ссылки

sciembed-nodapt-ctx

ЭмбеддингиТекст → embedding4 профессии

Англоязычная модель встраиваний научных текстов для поиска документов и оценки смысловой близости с учетом контекста цитирования.

112скачиваний за 30 дней0лайковвеса обновлены8 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SciEmbed-NoDAPT-CTX — англоязычная модель встраиваний научных документов из выпуска SciEmbed, разработанная авторами проекта, сведения о которых в карточке скрыты из-за двойного слепого рецензирования. Это дообученная контрастным обучением 149-миллионная encoder-модель ModernBERT-base; в рецепте обучения пропущен этап доменно-адаптивного MLM, а основным сигналом служили предложения с контекстом цитирования.

Модель предназначена для получения векторных представлений научных текстов, в частности для поиска документов и оценки близости предложений. В карточке приведены результаты на SciRepEval: 66,7 ± 0,07 по общей метрике, включая 82,6 для поиска и 80,8 для близости. Контекст составляет до 8192 токенов. Модель распространяется в формате safetensors через Sentence Transformers по лицензии MIT.

Сценарии применения

Семантический поиск по научным статьям
Поиск похожих научных предложений
Сопоставление предложений с учетом контекста цитирования
Получение векторных представлений научных документов

Ограничения

Модель ориентирована на научные документы на английском языке. В описании приведены результаты SciRepEval, но не указаны ограничения по отдельным жанрам, предметным областям или языкам.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SciEmbed-NoDAPT-CTX

The CTX recipe with Stage 1 (domain-adaptive MLM) skipped — contrastive straight off ModernBERT-base. Shows DAPT adds only ~0.1 once Signals A+B are present.

A 149M-parameter ModernBERT-base scientific document embedder trained with citation-context sentences as the primary contrastive signal. Part of the SciEmbed release (paper under double-blind review; author info omitted).

Usage

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("anon-nlp/sciembed-nodapt-ctx")
emb = model.encode(["citation-context supervision for scientific embeddings"],
                   normalize_embeddings=True)

Context length: 512 tokens
Pooling: mean · Output dim: 768 (Matryoshka-truncatable to 512/256/128)
License: MIT

SciRepEval (4-category macro)

Classif.	Regr.	Prox.	Search	Overall
75.3	28.2	80.8	82.6	66.7 ± 0.07

Citation

See the repository README. Paper: SciEmbed: Citation-Context Supervision for Scientific Document Embeddings (under review).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertModel
Ревизия весов: 31ced58