IV.6Научные исследования, математика и новые материалы

AgentCPM-Report — открытая языковая модель-агент для глубокого исследования и подготовки развёрнутых аналитических отчётов. Её совместно разработали THUNLP, RUCBM при Народном университете Китая и ModelBest; модель построена на MiniCPM4.1-8B и содержит 7,9 млрд параметров. Она принимает инструкции и генерирует длинные текстовые отчёты, используя подход Writing As Reasoning Policy (WARP): чередует подготовку черновика на основе свидетельств с углублением рассуждений и пересмотром плана. Заявлена поддержка контекста до 65 536 токенов. Модель предназначена для автономного поиска и синтеза информации, подготовки исследовательских отчётов и работы с локальными базами знаний через UltraRAG. Авторы ориентируют её на локальное офлайн-развёртывание, в том числе в сценариях с конфиденциальными материалами. В карточке описаны исследования с корпусами научных статей и веб-сводок; результаты и заявленное авторами сопоставление с коммерческими системами относятся к их оценкам. Модель распространяется по лицензии Apache-2.0.

InternVL3-78B — разработанная OpenGVLab мультимодальная большая языковая модель семейства InternVL3 для диалога и задач на стыке зрения и языка. Она принимает текст, изображения и видео, а также поддерживает работу с несколькими изображениями в одном запросе. Архитектура следует схеме ViT-MLP-LLM: визуальный энкодер InternViT соединён через MLP-проектор с языковой моделью; для изображений используются динамическое разбиение на фрагменты 448×448 и кодирование визуальных позиций V2PE. Вариант содержит 78 млрд параметров. Модель предназначена для ответов на вопросы по изображениям и видео, визуального рассуждения, анализа диаграмм и промышленных изображений, понимания 3D-сцен, работы с графическими интерфейсами и использования инструментов. Она также выполняет текстовые задачи и поддерживает многоязычный диалог. Карточка сообщает об улучшенных мультимодальном восприятии и рассуждении относительно InternVL 2.5, но не приводит здесь конкретных численных оценок. Репозиторий использует Transformers и формат safetensors; для эксплуатации модели такого размера требуются значительные вычислительные ресурсы. Лицензия указана как other, поэтому перед использованием нужно проверить условия в репозитории модели.

Это англоязычный cross-encoder на архитектуре BERT, разработанный ManasaKaza и дообученный на основе cross-encoder/ms-marco-MiniLM-L6-v2 с помощью библиотеки Sentence Transformers. Модель оценивает пары «поисковый запрос — документ» и выдаёт один числовой балл релевантности, который можно использовать для переранжирования результатов поиска и семантического поиска. Модель содержит 25,9 млн параметров, принимает текст и обрабатывает последовательности длиной до 512 токенов. В README описан обучающий набор из 2 932 пар запросов и документов с метками релевантности; примеры относятся к научной литературе по биомедицине. Лицензия в предоставленных данных не указана.

mlsa-iai-msu-lab разработала компактную многоязычную модель эмбеддингов научных текстов на архитектуре ModernBERT. Модель обучена с нуля: сначала на задаче masked language modeling, затем совместно с контрастивным обучением и дистилляцией от Qwen/Qwen3-Embedding-8B. Для неё также с нуля создан токенизатор, ориентированный на научную терминологию. Модель предназначена для получения векторных представлений научных публикаций на русском, английском и китайском языках. Обучение на аннотациях, парах «название — аннотация», цитированиях и совместных цитированиях помогает сопоставлять семантически близкие тексты, в том числе между языками. Размер модели — 20,1 млн параметров, контекст — до 8192 токенов. Подходит для поиска научных работ по смыслу, сравнения публикаций и межъязыкового поиска. Доступна под лицензией MIT.

UniMERNet — модель распознавания математических выражений на изображениях, предназначенная для работы с реальными сценариями. По метаданным, она использует архитектуру vision-encoder-decoder и реализована на PyTorch. Модель принимает изображение и преобразует его в текстовое представление формулы. Карточка ссылается на проект unimernet и описывает модель как универсальную для распознавания математических выражений. Репозиторий распространяется по лицензии Apache-2.0.

HCAE-21M-v1.1-Instruct — инструктивно дообученная модель эмбеддингов HeavensHackDev на архитектуре Hybrid Convolutional-Attention Encoder (HCAE). Она предназначена для поиска по смыслу, асимметричного поиска и семантического анализа специализированных текстов, включая научные и медицинские корпуса. Для запросов и документов поддерживает префиксы `query:` и `passage:` соответственно. Модель содержит 21,1 млн параметров, имеет гибридную архитектуру с четырьмя сверточными и четырьмя attention-блоками, а размерность эмбеддингов составляет 384. Контекст ограничен 512 токенами. Доступны веса Safetensors и формат ONNX для запуска, в том числе на устройствах с ограниченными ресурсами. В README приведены результаты на STSBenchmark и SciFact. Модель дообучена на наборах NLI, SciFact и специализированных технических данных. Лицензия — Apache-2.0.

MMFineReason-8B — мультимодальная модель рассуждений от OpenDataArena, дообученная на наборе MMFineReason-1.8M. Она основана на Qwen3-VL-Instruct и обучалась в два этапа: supervised fine-tuning на примерах с подробными визуально обоснованными рассуждениями и последующее reinforcement learning с GSPO. Модель предназначена для ответов на вопросы по изображениям, в том числе для математических и научных задач, головоломок, общего понимания изображений и OCR. Модель имеет плотную архитектуру Qwen3-VL и 8 млрд параметров. Обучающий набор включает 1,8 млн примеров с подробными цепочками рассуждений и описаниями изображений; в метаданных указан английский язык. Для работы с моделью используются изображения и текстовые запросы, на выходе она формирует текстовые ответы. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

wwydmanski/modernbert-pubmed-v0.1 — англоязычная Sentence Transformer модель, дообученная разработчиком на базе answerdotai/ModernBERT-base на наборе пар и троек текстов из 10 053 примеров. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости по косинусному сходству. Модель предназначена для семантического поиска и сопоставления текстов, включая поиск похожих публикаций и документов PubMed, извлечение перефразировок и кластеризацию. Также полученные векторы можно использовать в классификации текста. Архитектура состоит из ModernBERT и среднего объединения токенных представлений; максимальная длина входа — 512 токенов. В README приведена точность cosine_accuracy 0,887 на triplet-dev, однако подробностей о протоколе оценки нет. В метаданных указана лицензия? Нет сведений о лицензии, поэтому условия использования по лицензии определить нельзя.

wwydmanski/specter2_pubmed-v0.6 — Sentence Transformer, дообученный на базе allenai/specter2_base на наборе из 10 053 обучающих примеров. Он кодирует предложения и абзацы в плотные векторы размерности 768 и оценивает их сходство по косинусной мере; максимальная длина входа — 512 токенов. Архитектура состоит из BERT-энкодера с усреднением токенных представлений, а в метаданных указан формат safetensors. Модель предназначена для поиска и сопоставления текстов, связанных с публикациями PubMed: её можно применять для семантического поиска, поиска парафразов, кластеризации и классификации текстов. В README приведена оценка cosine accuracy 0,573 на triplet-dev, однако данных для вывода о качестве на других наборах и сценариях нет. Данные карточки не уточняют лицензию; при использовании следует проверить условия базовой модели и репозитория.

Hercules-6.0-Llama-3.1-8B — дообученная Locutusque языковая модель на основе Llama-3.1-8B с архитектурой LlamaForCausalLM и 7,5 млрд параметров. Она предназначена для диалогов и выполнения инструкций, включая многошаговые запросы и вызовы функций, в научных и технических областях: биологии, химии, физике, математике, медицине и информатике. Модель поддерживает контекст до 131 072 токенов и рассчитана на английский и китайский языки. Её можно использовать для научно-технических чат-ботов, учебных помощников и генерации кода с вызовом функций. Карточка указывает лицензию Llama 3.1. Среди ограничений — токсичные примеры в обучающих данных, риск галлюцинаций и фактических ошибок, а также возможность злоупотребления функциями вызова инструментов.

pritamdeka/PubMedBERT-mnli-snli-scinli-scitail-mednli-stsb — модель на архитектуре BERT, обученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и рассчитана на семантический поиск, кластеризацию и сравнение сходства предложений. В обучении использованы наборы SNLI, MNLI, SCINLI, SCITAIL, MEDNLI и STSB; модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для поиска семантически близких научных и медицинских текстов, группировки документов по смыслу и расчёта сходства между предложениями. Она выдаёт векторы, а не готовые ответы или метки. Карточка не сообщает лицензию и не приводит явный перечень поддерживаемых естественных языков.

AstaBrief-8B-SFT — промежуточный чекпойнт supervised fine-tuning модели AstaBrief-8B, разработанной Allen Institute for AI (Ai2). Модель основана на Qwen3-8B и предназначена для подготовки отчётов по научным вопросам на основе найденных отрывков из литературы: она формирует ответы с цитатами, используя переданные пользователем источники. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов. Обучение проводилось на смеси реальных пользовательских запросов и отчётов, созданных конвейером ScholarQA; в README приведено улучшение результатов на тесте по информатике относительно исходной Qwen3-8B, включая точность и полноту цитирования. Для более стабильного результата рекомендуется использовать формат промпта обучения вместе с запросом и ссылками на разделы источников. Модель принимает текстовые исследовательские вопросы и извлечённые текстовые фрагменты, а выдаёт текстовый отчёт с цитатами. Карточка указывает английский язык; базовая модель многоязычная, но специализация этой настройки описана на англоязычных данных. Лицензия — Apache 2.0. Модель предназначена для исследовательского и образовательного применения согласно рекомендациям Ai2; качество отчёта зависит от предоставленных источников и соблюдения рекомендованного формата промпта.

MrBERT-science — многоязычная энкодерная модель для научного текста, разработанная лабораторией Language Technologies Lab Барселонского суперкомпьютерного центра. Она получена доменной адаптацией MrBERT: веса исходной модели дообучены на научном корпусе объёмом 3,6 млрд токенов, из которых 38,1% испанские и 61,9% английские. Модель построена на архитектуре ModernBERT и содержит около 307 млн параметров. Она обучена по задаче Masked Language Modeling и поддерживает заполнение пропусков в тексте; в метаданных указан контекст до 8192 токенов. Карточка приводит результаты на научной классификации, поиске и тематических бенчмарках, поэтому модель может служить основой для прикладных систем анализа научных публикаций на английском и испанском языках. Лицензия Apache-2.0. Авторы предупреждают о возможных смещениях и непреднамеренных искажениях; при использовании в сторонних системах ответственность за снижение рисков и соблюдение применимых требований лежит на пользователе.

ChartVerse-4B — мультимодальная модель для анализа диаграмм и графиков, разработанная проектом opendatalab/ChartVerse. Она дообучена на базе Qwen/Qwen3-VL-4B-Instruct и предназначена для ответов на вопросы по изображениям графиков, включая сложные многошаговые задачи визуального рассуждения. Модель использует архитектуру Qwen3-VL с 4 млрд параметров и принимает изображение вместе с текстовым запросом, выдавая текстовый ответ. Для обучения использованы наборы ChartVerse-SFT-600K и ChartVerse-RL-40K с проверкой ответов на основе фактических данных графиков. В README сообщается о среднем результате 61,9% и сравнении с Qwen3-VL-8B-Thinking; это заявленные авторами показатели. Модель распространяется под лицензией Apache-2.0.

PaSaMaster Ranker — модель ранжирования научных публикаций, разработанная для системы PaSaMaster. Она дообучена на базе Qwen3-30B-A3B с помощью дистилляции на 42 762 парах «запрос—статья» из 19 дисциплин и 97 узких тематик. Архитектура — Qwen3 MoE; число параметров в метаданных указано как 2,6 млрд, родной контекст — 262 144 токена. Модель работает с текстом и предназначена для использования в конвейере поиска научной литературы или совместимой системе ранжирования с опорой на доказательства. На вход подаются исследовательский запрос, критерии релевантности, метаданные и аннотация статьи, а также найденные свидетельства. Модель оценивает каждый критерий по шкале от 1 до 5, формирует обоснования со ссылкой на предоставленные свидетельства, отмечает слабые совпадения и переупорядочивает проверенные записи публикаций. Она ранжирует реальные записи и не предназначена для генерации цитат или самостоятельного поиска литературы. Сообщённые результаты относятся к системе PaSaMaster в целом, а не только к этому чекпойнту. Лицензия — Apache-2.0.

Texify — модель оптического распознавания символов, разработанная Vik Paruchuri. Она преобразует изображения и PDF с математическим содержимым в Markdown и LaTeX, распознавая формулы и окружающий их текст; работает как с отдельными формулами, так и с формулами, встроенными в текст. Модель построена на архитектуре vision-encoder-decoder и содержит около 0,3 млрд параметров. Модель предназначена для извлечения математической записи из изображений и страниц документов, чтобы её можно было отображать, например, через MathJax. Репозиторий разработчика указывает, что Texify устарела, а её возможности перенесены в Surya и улучшены новой моделью. Для весов Hugging Face указана лицензия CC BY-SA 4.0.

jaimevera1107 дообучил модель SentenceTransformer на базе sentence-transformers/all-MiniLM-L6-v2 для сравнения смысловой близости предложений и абзацев, семантического поиска и других задач работы с текстовыми векторами. Модель кодирует текст в плотные векторы размерностью 384; архитектура объединяет BERT-энкодер, усреднение токенов и нормализацию, а близость можно оценивать косинусным сходством. В README указана максимальная длина последовательности 256 токенов, а метаданные каталога сообщают контекст до 512 токенов. Модель обучалась на 16 890 парах текстов с оценками сходства. Примеры датасета посвящены биомедицинским аннотациям, поэтому она может быть полезна для поиска и сопоставления научных текстов в этой области. Данных о лицензии и поддерживаемых языках в предоставленных источниках нет; базовая модель описана каталогом как англоязычная.

ChartVerse-2B — компактная мультимодальная модель для понимания графиков и диаграмм, разработанная в рамках проекта opendatalab/ChartVerse. Она дообучена на базе Qwen/Qwen3-VL-2B-Instruct и принимает изображения графиков вместе с текстовыми запросами, выдавая текстовые ответы и объяснения. Модель предназначена для вопросов по данным на графиках и многошагового анализа, включая рассуждения по цепочке мыслей. Модель содержит 2 млрд параметров и обучена на наборах ChartVerse-SFT-600K и ChartVerse-RL-40K. По данным карточки, она набрала в среднем 54,3% на шести сложных бенчмарках по графикам и превзошла приведённые в README специализированные модели на 7 млрд параметров. Репозиторий использует архитектуру Qwen3-VL, библиотеку Transformers и формат safetensors. Лицензия — Apache-2.0.

FastVLM-1.5B — мультимодальная модель Apple для диалога по изображениям и генерации текста. Она сочетает визуальный энкодер FastViTHD, который сокращает число визуальных токенов и ускоряет обработку изображений высокого разрешения, с языковой частью семейства LLaVA-Qwen2. Модель содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на вопросы об изображениях, визуального анализа и задач на понимание диаграмм и научных изображений. В карточке приведены результаты на Ai2D, ScienceQA и MMMU; авторы также заявляют о высокой скорости получения первого токена и компактном визуальном энкодере. Репозиторий содержит веса в формате safetensors. Лицензия — Apple AMLR.

TabPFN v2-reg — трансформерная фундаментальная модель для регрессии на табличных данных, разработанная Prior Labs. Она использует обучение на основе априорных распределений данных, чтобы решать небольшие задачи регрессии без отдельного обучения под каждую задачу. Модель предназначена для предсказания числовых значений по строкам табличных данных. Для работы предусмотрена библиотека TabPFN на базе PyTorch; README указывает поддержку CPU и возможность использовать GPU. Модель не рассчитана на очень большие наборы данных и не предназначена для нетабличных входов. Лицензия Prior Labs License основана на Apache 2.0 с дополнительным требованием атрибуции.

DeBERTa-v3-base-mnli-fever-anli-scifact-citint — модель классификации текстовых пар, разработанная как дообучение MoritzLaurer/DeBERTa-v3-base-mnli-fever-anli на наборах SciFact и Citation-Integrity. Она сопоставляет утверждение с доказательством: порядок входа — сначала доказательство, затем утверждение. Модель подходит для проверки научных утверждений по текстовым свидетельствам и оценки целостности цитирования. Модель основана на архитектуре DeBERTa-v2, содержит 211,6 млн параметров и принимает последовательности длиной до 512 токенов. В README указаны accuracy 0,840 и macro F1 0,839 на тестовой выборке SciFact, а для Citation-Integrity — accuracy 0,619 и macro F1 0,467. Это результаты конкретных тестовых наборов, поэтому качество на других данных может отличаться. Модель распространяется по лицензии MIT.

Einstein-v6.1-Llama3-8B — языковая instruct-модель, дообученная на базе Meta Llama 3 8B. Исходную модель разработала Meta, версия Einstein-v6.1 связана с проектом Weyaxi, а представленный GGUF-релиз квантован bartowski с использованием llama.cpp и imatrix. Модель ориентирована на генерацию текста в диалоговом формате ChatML и задачи рассуждения, особенно в областях физики, химии, биологии, математики, STEM и общих инструкций. Заявлен английский язык. Модель имеет архитектуру Llama 3 и около 8 млрд параметров; доступна в вариантах GGUF-квантизации Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K и Q8_0 с размером файлов примерно от 4,69 до 8,54 ГБ. Поддерживается текстовый ввод и вывод, однако размер контекстного окна в README не указан. В опубликованных тестах Open LLM Leaderboard модель получила, в частности, 66,19% на MMLU, 66,11% на GSM8K, 62,46% на ARC-Challenge и 82,41% на HellaSwag; эти результаты характеризуют общую способность к знаниям и рассуждению, но не гарантируют точность ответов. Сильными сторонами являются специализация на научных и математических сценариях, instruction-following и возможность локального запуска через совместимые инструменты для GGUF. Ограничения включают отсутствие гарантии фактической корректности, неизвестный размер контекста и отсутствие подробностей о методике обучения и поведении на других языках. Лицензия указана как other, поэтому перед использованием необходимо проверить условия лицензирования исходной модели и производного релиза.

FastVLM-7B — визуально-языковая модель Apple, представленная в работе FastVLM на CVPR 2025. Она объединяет визуальный энкодер FastViTHD с языковой моделью Qwen2-7B и предназначена для диалога о содержимом изображений и ответов на визуальные вопросы. FastViTHD сокращает число визуальных токенов и ускоряет обработку изображений высокого разрешения. Для варианта 7B в карточке приведены результаты Ai2D 83,6, ScienceQA 96,7 и MMMU 45,4; README также сообщает о более быстром времени до первого токена по сравнению с некоторыми предыдущими работами. Модель содержит 7,1 млрд параметров, имеет контекст до 32 768 токенов и распространяется в формате safetensors. Она поддерживает чат и интерфейс вызова инструментов. Карточка не сообщает поддерживаемые языки и детали ограничений на разрешение изображений или качество ответов. Лицензия — Apple AMLR; перед использованием следует проверить её условия, в частности ограничения на сценарии применения.

LogicFlow-Gemma-3-27b-thinking — мультимодальная модель рассуждений, разработанная RekklesAI на базе Google Gemma 3 27B IT. Модель дообучена с помощью LoRA на наборах OpenO1-SFT, OpenThoughts-114k и OpenR1-Math-220k, а адаптер объединён с базовой моделью. Она предназначена для пошагового решения логических, математических и научных задач, а также для анализа изображений вместе с текстом. Модель использует архитектуру Gemma 3 и содержит 27 млрд параметров. Она принимает текст и изображения JPEG, PNG или WebP; заявленная длина контекста — 131 072 токена, разрешение изображения — до 896 × 896 пикселей. Карточка сообщает результаты на бенчмарках MATH, AIME25 и GPQA Diamond, однако это собственные заявления автора. Поддержка указана для английского языка. Модель может быть полезна для обучения, анализа диаграмм и графиков, разбора технических материалов и исследовательских задач. Её ответы и рассуждения могут быть ошибочными, особенно при сложном визуально-текстовом анализе, поэтому результаты для важных решений требуют проверки человеком. Лицензия — Gemma; применяются условия лицензии Google Gemma.

PhAI-IDE-72B — специализированная языковая модель для научного программирования и работы с инструментами, разработанная командой PhAI-IDE. Она дообучена методом supervised fine-tuning на траекториях Codex из ScienceIDE; основа — Qwen/Qwen2.5-72B-Instruct. Модель построена на плотной архитектуре Qwen2 и содержит 71,5 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в виде весов BF16 в формате Safetensors с объединённым LoRA-адаптером. Модель предназначена для диалоговой помощи при работе с научным кодом, вызова инструментов и исправления кода в научных проектах. В README приведены результаты семейства PhAI-IDE на бенчмарках научного ремонта кода и отдельных задачах рассуждения, однако сопоставимых результатов именно для версии 72B не указано. Для запуска требуются значительные ресурсы: только веса занимают около 145,41 ГБ, кроме того нужна память для выполнения и KV-кэша. Лицензия указана как Qwen; условия следует проверять по лицензии базовой модели и карточке репозитория.

Reason-mxbai-colbert-v0.1-32m — англоязычная модель поиска документов, разработанная на основе mixedbread-ai/mxbai-edge-colbert-v0-32m и дообученная командой DataScience-UIBK. Это компактная ColBERT-модель с архитектурой ModernBERT и поздним взаимодействием: она строит многовекторные представления запросов и документов и сопоставляет их с помощью MaxSim. Размер составляет около 31,9 млн параметров, размерность вектора на токен — 128, а длина контекста по метаданным — 7999 токенов. Модель предназначена для семантического поиска и ранжирования документов, в том числе по сложным естественно-языковым и формальным математическим запросам. В версии v0.1 исправлена конфигурация остаточной связи проекционного слоя и расширена выходная проекция с 64 до 128 измерений; автор сообщает улучшение среднего BRIGHT nDCG@10 с 19,00 до 19,61 относительно v0. Лицензия — Apache-2.0. Модель специализируется на retrieval, а не на генерации ответов. Для сравнения длинных документов вычисления MaxSim могут быть затратными; результаты зависят от параметров обработки запросов и документов, а README приводит оценку с конкретными ограничениями длины и способом поиска.

SciNCL — англоязычная модель на архитектуре BERT для получения векторных представлений научных документов. Её разработчики обучили её для работы с исследовательскими статьями; модель содержит 137,1 млн параметров и рассчитана на вход длиной до 512 токенов. Для контрастивного обучения использовались соседства статей в графе цитирований S2ORC. Инициализация выполнена весами SciBERT scibert-scivocab-uncased. SciNCL подходит для поиска и сравнения научных публикаций по смыслу, рекомендаций статей и задач ранжирования или группировки документов. В README приведены результаты оценки на SciDocs. Модель выдаёт эмбеддинги, а не готовые ответы на вопросы. Для применения к медицинским статьям README предлагает специализированную альтернативу PubMedNCL. Лицензия модели — MIT.

MMFineReason-2B — мультимодальная модель для визуального вопросно-ответного взаимодействия, разработанная авторами проекта MMFineReason. Она дообучена на базе Qwen3-VL-2B-Instruct в два этапа: SFT на наборе MMFineReason-1.8M-SFT и обучение с подкреплением GSPO на MMFineReason-1.8M-RL. Данные проекта содержат 1,8 млн примеров с подробными визуально обоснованными рассуждениями; среди областей — математика, естественные науки, головоломки, общее понимание изображений и OCR. Модель принимает изображения и текстовые вопросы, а в ответ генерирует текст. Она предназначена для визуального рассуждения, включая решение математических задач по изображениям, интерпретацию научных схем и диаграмм, распознавание текста и ответы по визуальным материалам. Архитектура — плотная Qwen3-VL с 2 млрд параметров; карточка указывает английский язык. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. Показатель 65,3 в таблице README — средний результат семейства на бенчмарках, а не гарантия качества для каждого запроса.

Это модель Sentence Transformer на архитектуре MPNet, разработанная на основе microsoft/mpnet-base и дообученная автором репозитория на наборе sxc_med_llm_chemical_gen. Она преобразует предложения и абзацы на английском языке в плотные векторы размерностью 768 для сравнения семантической близости, поиска похожих текстов и других задач представления текста. Модель поддерживает семантический поиск, поиск перефразирований, кластеризацию и классификацию текста; сходство можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов, число параметров — 136,7 млн. Модель подходит для поиска и группировки текстов в химической тематике, отражённой обучающим набором, а также для других задач сходства английских текстов. Ограничение лицензии Apache 2.0 позволяет использовать модель на её условиях. В README приведён результат cosine_accuracy 0,9838 на TripletEvaluator, но он относится к указанной оценке и сам по себе не гарантирует такое же качество на других данных.

BioNER — модель распознавания биомедицинских именованных сущностей, созданная в рамках исследовательского сотрудничества Bayer Pharma и Института исследований и разработок искусственного интеллекта Сербии. Это модель на архитектуре BERT, основанная на PubMedBERT, с 136,7 млн параметров; она принимает текстовый фрагмент и название искомого класса сущностей и помечает токены, относящиеся к этому классу. Модель обучена на 26 классах биомедицинских сущностей и поддерживает поиск сущностей без отдельного обучения для каждого класса. Среди классов — заболевания, химические соединения, гены и белки, варианты последовательностей, клеточные типы, лекарства и их характеристики. Для новых классов README описывает возможность дообучения на небольшом числе примеров. Модель рассчитана на англоязычные биомедицинские тексты, работает с контекстом до 512 токенов и выдаёт бинарные метки токенов. Модель подходит для извлечения сущностей из научных публикаций и клинических текстов. Доступна по лицензии MIT. Качество может зависеть от формулировки метки сущности и предметной области; для новых классов может потребоваться дообучение.