I.1Поиск и навигация по информации

ceat-fc-rag-2 — англоязычная модель Sentence Transformers, созданная дообучением nlpaueb/legal-bert-base-uncased на 786 парах текстов. Архитектура состоит из BERT и среднего пулинга токенов; модель преобразует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сопоставления текстов, включая поиск в корпусах документов, оценку сходства предложений, поиск перефразировок, кластеризацию и извлечение признаков для классификации. Юридически ориентированная базовая модель и английский язык делают её подходящей для англоязычных юридических текстов, хотя карточка не подтверждает отдельную оценку качества на юридических задачах. В README приведены метрики информационного поиска на нескольких размерностях векторов; их значения умеренные и относятся к указанному набору оценки. Модель распространяется по лицензии Apache-2.0. Вход — текст, выход — векторные представления; лимит в 512 токенов ограничивает длину обрабатываемого текста за один проход.

Lajavaness/CrossEncoder-camembert-large — франкоязычная модель-кросс-энкодер на архитектуре CamemBERT для оценки семантического сходства двух предложений. Она выдаёт оценку от 0 до 1 и подходит для сравнения фраз и ранжирования текстовых пар по близости смысла. Модель дообучена на STS Benchmark с использованием Augmented SBERT и стратегий подбора пар; в карточке указано улучшение устойчивости и качества относительно dangvantuan/CrossEncoder-camembert-large. Размер по метаданным — 435,4 млн параметров, максимальный контекст — 514 токенов. Для оценки приведены результаты корреляции Пирсона и Спирмена на французских наборах STS и SICK. Модель принимает текстовые пары и выдаёт числовую оценку релевантности, поэтому для каталога она подходит к задачам text-ranking и text-classification. Лицензия — Apache-2.0. Карточка не описывает ограничения за пределами специализации на французском семантическом сходстве предложений.

sentence-transformers/distilroberta-base-msmarco-v2 — модель Sentence Transformers на архитектуре DistilRoBERTa, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель содержит 95,2 млн параметров, рассчитана на текстовый ввод, имеет контекстное окно до 514 токенов и доступна в форматах PyTorch, TensorFlow, ONNX и OpenVINO. Модель можно использовать для поиска документов по смыслу, сравнения текстов и группировки похожих предложений. В карточке она помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать другую модель для новых проектов. Лицензия — Apache-2.0.

Fathom-Synthesizer-4B — языковая модель от FractalAIResearch, дообученная на базе Qwen/Qwen3-4B для синтеза результатов исследований и подготовки развёрнутых отчётов. Она преобразует поисковые и исследовательские трассы в связные отчёты с цитатами: протокол plan-then-write предусматривает декомпозицию вопроса, сопоставление источников с разделами и планирование выводов. Модель предназначена для работы в составе системы Fathom-DeepResearch; для поиска в реальном интернете ей требуется отдельный поисковый сервер и соответствующие инструменты. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 40 960 токенов. При запуске авторы используют масштабирование YARN с RoPE factor 2.0. Она принимает текст и генерирует текст; README не заявляет отдельную поддержку изображений или иных модальностей. Модель распространяется под лицензией MIT. Карточка не приводит специфических для синтезатора ограничений качества или перечня поддерживаемых языков.

FubukiO9/fiqh-minilm — дообученная модель Sentence Transformers на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и сравнивает их косинусным сходством. Модель предназначена для семантического поиска и поиска релевантных текстов, в том числе по вопросам исламского права и богословия. Архитектура включает BERT-трансформер и усредняющий pooling. README указывает максимальную длину последовательности 128 токенов; метаданные каталога — контекст до 512 токенов. Обучение проводилось на 10 710 парах предложений с оценками сходства, включая примеры на арабском, английском и хинди. Репозиторий использует формат safetensors и библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

FunReason-MT-4B — языковая модель Bingguang для многошагового вызова функций и работы с инструментами в агентных сценариях. Она дообучена методом RL на базе Qwen3-4B-Instruct-2507 с использованием синтетического набора из 16 000 многоходовых примеров, созданных по методике FunReason-MT. Модель предназначена для диалогов, в которых нужно выбрать инструменты, сформировать запросы к ним и последовательно выполнить действия. В README приведены результаты оценок на BFCLv3 и BFCLv4 OOD; они характеризуют тестирование, но не гарантируют качество в конкретном приложении. Архитектура — плотная Qwen3ForCausalLM, размер — около 3,7 млрд параметров, формат весов — safetensors, контекст — до 262 144 токенов. Основной указанный язык — английский. Лицензия — Apache-2.0. Для корректной работы с инструментами приложению требуется соответствующий интерфейс вызова функций; результаты также зависят от описаний инструментов и используемой среды.

gte-multilingual-mlm-base — многоязычный текстовый энкодер, разработанный Institute for Intelligent Computing группы Alibaba. Это версия для Transformers исходной модели Alibaba-NLP/gte-multilingual-mlm-base: веса сохранены без изменений, а конфигурация преобразована для загрузки без trust_remote_code. Модель содержит 305,3 млн параметров и принимает последовательности длиной до 8192 токенов. Энкодер построен на архитектуре transformer++ на основе BERT с RoPE и GLU и использует словарь XLM-R. Он обучен методом masked language modeling на многоязычных текстовых данных и предназначен для представления текста; в карточке также заявлены результаты на GLUE и XTREME-R, превосходящие XLM-R-base того же размера. Модель поддерживает 75 языков, включая русский, и подходит для задач, которым нужны контекстуальные представления текста и заполнение маски. Лицензия — Apache-2.0.

GujaratiSBERT — модель L3Cube-Pune для получения векторных представлений предложений на гуджарати. Она основана на GujaratiBERT и дообучена на наборе данных NLI; архитектура — BERT с плотными эмбеддингами, размер модели составляет 264,8 млн параметров. Модель предназначена для поиска похожих предложений и других сценариев сравнения текстов; в README приведён пример кодирования предложений в эмбеддинги с помощью sentence-transformers или Transformers и mean pooling. Модель принимает текст на гуджарати и выдаёт векторные представления. Максимальная длина контекста — 512 токенов. Лицензия — CC BY 4.0. README отмечает, что существует более качественная версия для сходства предложений, дообученная на основе этой модели.

Trilogix1/Hugston-microsoft-Fara-7B — конвертированная и квантизированная в GGUF версия модели Fara-7B, подготовленная командой Hugston с помощью Quanta. В README Fara-7B описана как компактный мультимодальный агент для управления компьютером, разработанный Microsoft Research: модель принимает цель пользователя и снимки экрана, а затем генерирует текст с планом и действиями для браузера. В метаданных указана базовая модель Qwen/Qwen2.5-VL-7B-Instruct, дообучение и формат GGUF F16. Модель предназначена для пошаговой автоматизации веб-задач: поиска информации, покупок, бронирования поездок и ресторанов, а также типовых действий в аккаунтах. Архитектура — декодерная мультимодальная модель на 7 млрд параметров с заявленной длиной контекста 128 тыс. токенов; вход включает текст и изображения экранов, выход — текст с действиями и аргументами инструментов. README указывает поддержку только английского языка и лицензию MIT. В описании предусмотрены защитные ограничения: модель должна останавливаться перед действиями, требующими разрешения пользователя или чувствительных данных, например оплатой, отправкой писем и подачей заявок. Как преобразованная модель Fara-7B, репозиторий описывает её как proof-of-concept; качество и безопасность действий следует проверять в целевой среде. Метаданные классифицируют её как text-classification, тогда как README указывает text-generation; для сценария агента основная задача — генерация текста.

KAILAS (Keyword Labeler At SciX) — англоязычная модель-классификатор на базе RoBERTa, разработанная для SciX Digital Library и адаптированная к задачам NASA Science Mission Directorate. Модель размечает научные тексты метками UAT (Unified Astronomy Thesaurus), чтобы поддерживать поиск и навигацию по научным публикациям в астрономии и смежных областях. Это encoder-only трансформер с архитектурой RobertaForSequenceClassification и 151,8 млн параметров по метаданным. В карточке указаны дообучение на данных SciX и версия UAT 5.1; обучающая выборка включала 18 тысяч заголовков, аннотаций, основного текста и благодарностей из астрономических статей, около 217 млн токенов. Контекст составляет 514 токенов. Лицензия — Apache-2.0.

Карточка модели Monad-dz/legal-embedding-model-V2 на Hugging Face совпадает с карточкой Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2, поэтому описание составлено по ней. Arabic-Triplet-Matryoshka-V2 — модель эмбеддингов арабского языка от Omartificial-Intelligence-Space, созданная на базе Sentence Transformers и дообученная на aubmindlab/bert-base-arabertv02. Это плотная BERT-модель с 162,4 млн параметров и контекстом до 512 токенов; она преобразует предложения и абзацы в векторы размерностью 768. Обучение с MatryoshkaLoss формирует вложенные представления, рассчитанные на работу с эмбеддингами разной размерности. Модель предназначена для оценки семантического сходства, поиска и извлечения информации, поиска перефразирований, кластеризации и классификации арабских текстов, а также для использования в системах вопросов и ответов. В README приведены результаты на бенчмарках STS17 и STS22-v2. Модель ориентирована на арабский язык и не заявлена как многоязычная. Качество может снижаться на узкоспециализированных текстах и различаться между диалектами и региональными вариантами арабского языка. Для задач за пределами семантического сходства может потребоваться дополнительная настройка. Лицензия — Apache-2.0.

M3E-small — компактная модель текстовых эмбеддингов, обученная MokaAI на крупных наборах пар текстов. Она основана на архитектуре BERT и содержит 27,6 млн параметров; модель преобразует текст в плотные векторы и предназначена прежде всего для китайских текстов. Модель подходит для оценки сходства предложений, поиска похожих вопросов и семантического поиска по текстам. README указывает на обучение на китайских данных из разных областей и описывает поддержку английского в серии M3E, однако сравнительная таблица для версии small отмечает поддержку китайского, но не английского. Поэтому для этой версии следует ориентироваться на китайский язык. Максимальная длина контекста — 512 токенов; модель доступна в формате PyTorch и совместима с Sentence Transformers. В README приведены результаты оценки на задачах классификации и поиска, но качество зависит от набора данных и сценария. Для M3E-small отмечены ограничения в поиске между текстом запроса и фрагментом документа и отсутствие поиска по коду. Метаданные и предоставленный фрагмент README не содержат сведений о лицензии.

MedCPT Article Encoder — модель-кодировщик текстов из серии MedCPT, разработанной Computational Biology Branch при NCBI/NLM. Она преобразует биомедицинские статьи, включая заголовки и аннотации PubMed, в векторы размерности 768 для семантического поиска, кластеризации и сравнения статей. Архитектура — BERT; модель содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. Кодировщик обучен на 255 млн пар поисковых запросов и статей PubMed. Его векторы находятся в общем пространстве с векторами MedCPT Query Encoder, поэтому их можно использовать для поиска статей по запросам при совместном применении двух кодировщиков. Также доступны сценарии кластеризации и поиска статей по другим статьям. Для клинических решений результаты требуют проверки специалистом. Лицензия указана как other; README не уточняет её условия.

ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.

EMBO ModernBERT-neg-sampling-PubMed — англоязычная модель Sentence Transformers, дообученная EMBO на базе answerdotai/ModernBERT-base на парных заголовках и аннотациях статей из PubMed Central. Она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 768 и предназначена для семантического поиска и сравнения текстов, а также кластеризации и поиска перефразировок. Обучение выполнено с MultipleNegativesRankingLoss на наборе из примерно 26,2 млн пар; архитектура включает ModernBERT, mean pooling и нормализацию. В метаданных указан контекст до 8192 токенов, тогда как карточка модели задаёт максимальную длину последовательности 768 токенов для Sentence Transformers. Модель подходит для поиска и сопоставления англоязычных научных медицинских публикаций и может использоваться для построения эмбеддингов в системах поиска. Лицензия в предоставленных данных не указана.

morisien-embed — модель эмбеддингов предложений на основе XLM-RoBERTa, разработанная для текста на маврикийском креольском языке (Kreol Morisien, mfe) и поиска между ним, английским и французским. Она дообучена на multilingual-e5-base на 35 064 парах предложений из MorisienMT и маврикийской части Kreyòl-MT; содержит 305,2 млн параметров, принимает текстовые последовательности длиной до 514 токенов и создаёт плотные векторы для семантического поиска, извлечения документов для RAG, кластеризации и поиска параллельных текстов. На тестовых данных MorisienMT модель превзошла проверенные универсальные мультиязычные эмбеддинги в измеренных направлениях поиска. Преимущество над LaBSE относится к этому домену: на более сложной проверке с отвлекающими примерами модель не превосходит нетронутую LaBSE. Неформальный и технический регистры мало проверены; смешение маврикийского и гаитянского креольских текстов ухудшает поиск, а длинные документы нужно делить на части из-за усечения входа. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель на базе BERT, опубликованная пользователем или организацией dffddfdgg67 и предназначенная для использования через библиотеку Transformers. Согласно метаданным, модель поддерживает задачу извлечения признаков из текста и использует PyTorch. В README заявлены улучшения рассуждений, вывода, математических и программных задач, понимания языка, генерации текста, function calling и снижение галлюцинаций. Однако эти утверждения не согласуются с метаданными, где модель классифицирована как BERT и feature-extraction, поэтому наиболее надёжный сценарий применения — получение векторных представлений текста для последующей классификации, поиска или анализа. Модель распространяется по лицензии MIT. Данные о размере, длине контекста, поддерживаемых естественных языках и точной архитектурной конфигурации отсутствуют.

MyAwesomeModel — модель на базе архитектуры BERT, опубликованная в репозитории sdgjfjkl/MyAwesomeModel-TestRepo. Согласно метаданным Hugging Face, она предназначена для извлечения признаков и работает с библиотекой Transformers на базе PyTorch. Модель можно использовать для получения векторных представлений текста, последующей классификации, поиска похожих текстов и других задач, где необходимы эмбеддинги. В README также заявлены возможности рассуждения, генерации кода, диалога, суммаризации и function calling, однако эти характеристики не согласуются с указанным pipeline-тегом feature-extraction и не подтверждаются техническими параметрами модели. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель из репозитория sfafas2234/MyAwesomeModel-TestRepo, опубликованная для извлечения признаков из текста. В метаданных она относится к семейству BERT и предназначена для использования через библиотеку Transformers на базе PyTorch. Основной сценарий применения — преобразование текстовых входов в векторные представления для последующей классификации, поиска по смыслу, кластеризации и других задач анализа текста. README также заявляет о возможностях рассуждения, генерации кода, диалога, суммаризации и других генеративных задачах, однако эти сведения не согласуются с указанным pipeline_tag feature-extraction и не подтверждают назначение модели как генеративной. Модель распространяется по лицензии MIT. В доступных данных нет подтверждённых сведений о размере, длине контекста, поддерживаемых естественных языках и конкретном наборе данных для обучения.

yoriis/NAMAA-retriever-notfs-final-contrastive — дообученная модель Sentence Transformers на базе yoriis/NAMAA-retriever-contrastive-1, разработанная автором репозитория yoriis. Она преобразует предложения и абзацы в плотные векторы размерности 768 и сравнивает их косинусным сходством. Модель построена на ModernBERT с усреднением токенных представлений; метаданные указывают контекст до 8192 токенов, а карточка модели — максимальную длину последовательности 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. В качестве обучающих данных указаны 9 582 пары предложений с оценками сходства; примеры в карточке — вопросы и ответы на арабском языке, в религиозной тематике. Модель опубликована в формате safetensors и использует библиотеку sentence-transformers. Условия лицензии в предоставленных данных не указаны.

NeoBERT — англоязычная encoder-модель для получения представлений текста, разработанная chandar-lab и обученная с нуля на наборе RefinedWeb. Она содержит 287,7 млн параметров по метаданным Hugging Face; в README указано 250 млн. Архитектура имеет глубину 28 слоёв и ширину 768, использует активацию SwiGLU и поддерживает контекст до 4 096 токенов. Модель предназначена для извлечения признаков и представлений текста, а также может служить базовой моделью для задач классификации и заполнения пропусков. Авторы позиционируют её как замену существующим encoder-моделям и сообщают о результатах на бенчмарке MTEB, превосходящих ряд сопоставимых моделей при одинаковых условиях дообучения. Модель распространяется под лицензией MIT. Она ориентирована на английский текст; результаты и сведения о производительности приведены авторами и зависят от задачи и условий применения.

Карточка модели qiyuw/pcl-bert-large-uncased на Hugging Face совпадает с карточкой qiyuw/pcl-roberta-base, поэтому описание составлено по ней. qiyuw/pcl-roberta-base — англоязычная модель RoBERTa для оценки сходства предложений. Она использует архитектуру RobertaForCL и содержит 151,8 млн параметров; модель принимает текст и подходит для сравнения предложений по смыслу. Длина контекста составляет 514 токенов. Модель распространяется в формате PyTorch по лицензии MIT. README не содержит дополнительных сведений о методе обучения или конкретных сценариях применения.

Модель iambestfeed/phobert-base-v2-finetuned-raw_data_wseg-lr2e-05-1-epochs-bs-64 — Sentence Transformer, дообученный разработчиком iambestfeed на базе vinai/phobert-base-v2 с использованием набора vnexpress-data-similarity. Это плотный RoBERTa-энкодер с 162,4 млн параметров: он преобразует предложения и абзацы в векторы размерностью 768 и предназначен для сравнения текстов по косинусному сходству. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. Обучение на парах anchor–positive из новостного набора VnExpress ориентирует её на вьетнамские тексты. Максимальная длина последовательности — 258 токенов по метаданным; в README указано ограничение 256 токенов. Для применения нужны входные тексты, а модель выдаёт векторы, используемые для поиска и сравнения. Указанная лицензия отсутствует в предоставленных источниках, поэтому условия использования по ним определить нельзя.

PubMedBERT Embeddings 1M — англоязычная модель статических плотных эмбеддингов для медицинских текстов, опубликованная NeuML. Это версия с сокращённым словарём: из PubMedBERT Embeddings 2M оставлена верхняя половина наиболее часто используемых токенов. Модель относится к семейству Model2Vec и может использоваться с txtai, Sentence-Transformers и Model2Vec. Модель предназначена для построения векторных индексов, семантического поиска и извлечения релевантных материалов для RAG по медицинским публикациям и другим текстам на английском языке. В README приведены результаты сравнения на наборах PubMed QA, PubMed Subset и PubMed Summary; авторы указывают на небольшой компромисс в качестве относительно исходной модели. Контекстная длина в метаданных каталога — до 1 000 000 токенов. Модель принимает текст и выдаёт векторные представления, применимые для сравнения сходства, поиска и кластеризации. Она ориентирована на медицинский текст и не предназначена для генерации ответов: качество результатов поиска зависит от корпуса, индексации и выбранного порога сходства. Лицензия — Apache-2.0.

Qwen3.8-27B-Fast60L-Voodoo-GGUF — это созданная Valexiem модификация Qwen 3.8 27B: гибридная модель с gated DeltaNet и слоями полного внимания, сокращённая до 60 слоёв, с обрезанным словарём и динамической поканальной квантизацией. Основной вариант содержит 24,163 млрд параметров и занимает 5,59 GiB; модель распространяется в формате GGUF и рассчитана на локальный запуск и диалоговое применение. Лицензия — Apache-2.0. Модель предназначена для диалога и поиска по контексту. Автор сообщает о скорости около 51 токена в секунду на RTX 4070 с 12 ГБ видеопамяти при тесте на малой глубине контекста. Обрезка словаря удаляет 118 300 неиспользуемых мультиязычных токенов; карточка заявляет, что этот этап не меняет жадную генерацию относительно соответствующего не обрезанного варианта. Метаданные указывают английский язык. Существенное ограничение — модель не подходит для синтеза кода: в приведённой оценке исполняемого кода она набрала 2 из 4 против 4 из 4 у базового варианта. Возможны циклы повторов при кратких инструкциях, а скорость генерации заметно падает при длинном контексте: примерно до 21,5 токена в секунду на 128k и 9,3 на 256k. Приведённые скорости относятся к конкретной конфигурации оборудования и теста.

Rudar mmBERT Slovenian NER — модель распознавания именованных сущностей в текстах на словенском языке, разработанная в рамках семейства Rudar. Это дообученная модель jhu-clsp/mmBERT-base с архитектурой ModernBERT и классификационной головой для разметки токенов. Она относит фрагменты текста к четырём классам CoNLL: PER (люди), LOC (места), ORG (организации) и MISC (прочие сущности), выдавая BIO-теги. Модель содержит 306,9 млн параметров, принимает текстовый контекст длиной до 8192 токенов и предназначена для новостей и текстов общего профиля на словенском языке. Модель подходит для извлечения упоминаний людей, мест и организаций из словенских документов и новостных публикаций. Для получения цельных фрагментов сущностей в README рекомендуется объединять метки со стратегией average. Модель ожидает текст с сохранённым регистром и достаточно корректной формой; для языков, кроме словенского, она не предназначена. Лицензия — MIT.

Ruri v3 PT 310M — предварительно обученная модель эмбеддингов японского текста от cl-nagoya на базе ModernBERT-Ja. Она предназначена для получения векторных представлений предложений и сравнения их семантической близости; для прикладного использования авторы рекомендуют дообученную версию cl-nagoya/ruri-v3-310m. Модель имеет архитектуру ModernBERT, около 314,6 млн параметров, размерность эмбеддингов 768 и контекст до 8192 токенов. В карточке указаны японский язык и лицензия Apache-2.0. Это предварительно обученный чекпойнт без последующего дообучения на целевой задаче, поэтому качество сходства может быть ниже, чем у предназначенной для использования дообученной версии.

DMetaSoul/sbert-chinese-qmc-domain-v1 — модель векторных представлений предложений на архитектуре BERT, основанная на bert-base-chinese и дообученная на наборе вопросов LCQMC от Baidu Zhidao. Она предназначена для сопоставления вопросов в открытой предметной области: преобразует текст в эмбеддинги, которые можно сравнивать по сходству для поиска перефразировок и семантически близких запросов. Модель содержит 129,5 млн параметров, принимает китайский текст с контекстом до 512 токенов и распространяется в формате PyTorch; её можно использовать через Sentence-Transformers или Transformers. В README приведены результаты оценки на нескольких наборах данных семантического сопоставления. Качество зависит от набора данных, а обучение на LCQMC может ограничивать переносимость на другие языки и специализированные области. Лицензия в доступных сведениях не указана.

Pravallika6/scibert-cross-domain-embeddings — модель Sentence Transformer, дообученная разработчиком на базе allenai/scibert_scivocab_uncased для получения векторных представлений научных текстов. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768; сходство между ними можно оценивать косинусной мерой, а сами эмбеддинги использовать для поиска и извлечения релевантных текстов. Архитектура включает BERT с пулингом по CLS-токену; модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Модель ориентирована на текстовый поиск и сравнение научных предложений и абзацев, в том числе в разных предметных областях. Обучение проводилось с TripletLoss на наборе из 7 446 примеров. Базовая SciBERT предназначена для англоязычных научных текстов, поэтому применимость к другим языкам не подтверждена. Лицензия в предоставленных данных не описана.

SciRus-tiny3 — компактная модель для извлечения векторных представлений научных текстов, опубликованная лабораторией машинного обучения и семантического анализа МГУ (MLSA-lab). Она предназначена для сравнения семантической близости научных текстов и может служить основой для поиска и группировки научных публикаций. Модель использует архитектуру RoBERTa и содержит около 25,5 млн параметров; в карточке Hugging Face указана длина контекста до 1026 токенов. Вход — текст, выход — векторные представления. Публикации и каталог разработчика описывают SciRus-tiny как модель для научных текстов на русском и английском языках. Компактный размер позволяет применять её в задачах векторизации текстов. Карточка Hugging Face не содержит описания ограничений или лицензии, поэтому условия распространения по доступным сведениям определить нельзя.