SciEmbed-CTX-2048 — англоязычная модель для построения эмбеддингов научных документов, созданная авторами семейства SciEmbed на базе ModernBERT-base. Это промежуточный вариант в исследовании длины контекста: модель обучена с максимальной длиной последовательности 2048 токенов и использует предложения с контекстом цитирования как основной контрастивный сигнал. В метаданных указаны 149 млн параметров, архитектура ModernBERT encoder и поддержка контекста до 8192 токенов; README описывает вариант сканирования длины контекста 512→2K→8K.

Модель предназначена для получения нормализуемых векторов предложений и научных текстов, например для поиска похожих фрагментов и семантического поиска по научным публикациям. Доступна через Sentence Transformers. Лицензия — MIT. Это промежуточная версия в серии вариантов длины контекста, поэтому её характеристики следует соотносить именно с вариантом 2048 токенов.