IV.6Научные исследования, математика и новые материалы
В разделе собраны самостоятельные задачи, где AI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 120 моделейInfoDensity-Qwen3-8B — дообученная модель семейства Qwen3, созданная на базе Qwen/Qwen3-8B с применением метода InfoDensity. Метод использует подкрепление за правильные и более информационно насыщенные рассуждения, чтобы сократить длину цепочки рассуждений при сохранении точности. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3ForCausalLM, предназначена для генерации текста и поддерживает контекст до 40 960 токенов. Модель ориентирована на задачи рассуждения, особенно математические и научные вопросы. В статье авторы сообщают о результатах на AMC23, AIME24, MATH500 и GPQA-Diamond: средняя точность pass@1 составила 78,1%, а средняя длина генерации — 4,2 тыс. токенов; эти показатели приведены для описанного в README протокола оценки и не гарантируют аналогичных результатов в других условиях. Модель использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.
MedCPT Article Encoder — модель-кодировщик текстов из серии MedCPT, разработанной Computational Biology Branch при NCBI/NLM. Она преобразует биомедицинские статьи, включая заголовки и аннотации PubMed, в векторы размерности 768 для семантического поиска, кластеризации и сравнения статей. Архитектура — BERT; модель содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. Кодировщик обучен на 255 млн пар поисковых запросов и статей PubMed. Его векторы находятся в общем пространстве с векторами MedCPT Query Encoder, поэтому их можно использовать для поиска статей по запросам при совместном применении двух кодировщиков. Также доступны сценарии кластеризации и поиска статей по другим статьям. Для клинических решений результаты требуют проверки специалистом. Лицензия указана как other; README не уточняет её условия.
MaziyarPanahi/MetaMath-Mistral-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral для генерации текста и ответов на инструкции. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и meta-math/MetaMath-Mistral-7B методом SLERP; в метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель рассчитана на диалоговые запросы и математические задачи, связанные с MetaMathQA. Поддерживает формат safetensors и распространяется по лицензии Apache-2.0.
OpenMed разработала эту специализированную модель распознавания химических сущностей в биомедицинских текстах. Это дообученный ModernBERT для классификации токенов: модель находит названия химических соединений и веществ и размечает их тегами B-CHEM и I-CHEM. В README указана базовая архитектура BioClinical-ModernBERT-base, а среди областей применения — клинические записи, научные статьи и медицинские документы. Модель предназначена для извлечения упоминаний химических соединений и лекарств, в том числе для анализа литературы, фармакологии и клинических данных. В README приведены результаты на BC4CHEMD: F1 0,93, точность 0,92 и полнота 0,94. Архитектура ModernBERT, размер — 149 млн параметров, контекст — до 8192 токенов. Поддерживается английский язык. Модель распространяется по лицензии Apache-2.0. Распознавание может быть менее надёжным на текстах, отличающихся от биомедицинских материалов и данных BC4CHEMD; результаты README не гарантируют качество для конкретной клинической системы или набора данных.
OpenMed-NER-ChemicalDetect-ModernMed-149M — дообученная OpenMed модель семейства ModernBERT для распознавания химических сущностей в биомедицинских текстах. Она выполняет токен-классификацию и выделяет упоминания соединений и веществ тегами B-CHEM и I-CHEM. Модель содержит 149 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. Модель предназначена для извлечения химических названий из научных публикаций, клинических записей и других медицинских документов. Возможные сценарии включают извлечение лекарств из историй пациентов, поиск сведений о химических веществах в литературе и подготовку данных для анализа взаимодействий и построения биомедицинских графов знаний. В карточке заявлены F1 0,92, точность 0,91 и полнота 0,93 на BC4CHEMD; результаты зависят от текста и сценария применения. Обучение указано на корпусе BC4CHEMD. Модель рассчитана на английский язык, доступна в формате Safetensors и интегрируется с Transformers. Лицензия — Apache-2.0.
SCIroShot — англоязычная модель для классификации текста без заранее заданного набора классов, разработанная SIRIS Lab и Language Technologies Unit Barcelona Supercomputing Center. Это дообученная RoBERTa-large с 454,1 млн параметров, которая использует подход, основанный на проверке следования (entailment), и предназначена прежде всего для классификации научных текстов по заданным пользователем категориям. Модель обучали на более чем двух миллионах англоязычных научных статей из Microsoft Academic Graph: заголовках, аннотациях и категориях научных дисциплин. Она также может применяться к текстам общего назначения; карточка сообщает о сильных результатах в научной области и конкурентных результатах на некоторых общих задачах. Контекст составляет 514 токенов. Лицензия — Apache 2.0. Возможное смещение и токсичность модели отдельно не оценивались. Качество может зависеть от области текста и выбранных меток; для научной классификации модель обучалась на данных с публикациями 2000–2021 годов.
Symbiotic-8B — модель для генерации текста на базе Qwen3-8B, опубликованная Convergent Intelligence LLC: Research Division. В карточке заявлены диалог, символьные рассуждения, логические цепочки, генерация теорем и работа с математическими доказательствами и кодом. Модель дообучена на Qwen3-8B; архитектура в метаданных обозначена как плотная Qwen3ForCausalLM. Репозиторий содержит веса Safetensors, а библиотека для работы с моделью — Transformers. Размер составляет 7,6 млрд параметров, длина контекста — 40 960 токенов. В README также описаны символьные модули и буфер памяти на 2 048 векторов, предназначенные для сохранения контекста между ходами диалога. Карточка указывает английский язык и датасет Advanced Calculus; модель можно использовать для математических рассуждений, логических задач и контекстно-зависимого диалога. README предупреждает, что модель не настроена на инструкции, поэтому для диалоговых запросов может потребоваться подбор промптов; символьная память требует заполнения, а её буфер может немного повышать нагрузку на CPU. Лицензия — AFL-3.0.
TFT-ID-1.0 — модель обнаружения объектов, созданная Yifei Hu на основе дообучения контрольных точек microsoft/Florence-2. Она принимает изображение одной страницы научной статьи и находит на нём таблицы, рисунки и текстовые разделы, возвращая для каждого элемента ограничивающую рамку и метку класса. Модель предназначена для анализа страниц академических публикаций и подготовки их к последующей обработке: найденные текстовые области можно передавать в OCR, а таблицы и рисунки — использовать для извлечения структуры документа. По README, обучение проводилось на статьях из Hugging Face Daily Papers с более чем 36 тысячами вручную размеченных рамок; автор сообщает о точности 96,78% на задаче поиска всех трёх типов областей и 98,84% для таблиц и рисунков на тестовых страницах. Репозиторий содержит веса в формате Safetensors, лицензия — MIT. Модель ориентирована на страницы научных статей; тестирование описано на публикациях, связанных с Hugging Face Daily Papers, поэтому качество на других типах документов не подтверждено. Для распознавания текста и преобразования его в Markdown или LaTeX потребуется отдельная OCR-модель.
BioMedGPT-LM-7B — генеративная языковая модель PharMolix для биомедицинских задач. Это плотная авторегрессионная модель семейства Llama на 6,6 млрд параметров, дообученная на базе Llama-2-7B-Chat на миллионах биомедицинских научных публикаций из корпуса S2ORC. Модель принимает текст и генерирует текст; максимальный контекст составляет 4096 токенов. Модель предназначена для ответов на биомедицинские вопросы и работы с научной информацией в этой области. В README сообщается, что на нескольких биомедицинских QA-бенчмарках она превосходит или сопоставима с людьми и значительно более крупными универсальными моделями. Это заявление относится к указанным бенчмаркам и не гарантирует точность для клинических решений или произвольных запросов. Разработчики запрещают использовать модель для предоставления услуг широкой публике и для генерации незаконного или вредоносного контента. Лицензия — Apache-2.0.
InfoDensity-DeepSeek-R1-Distill-Llama-8B — дообученная amao0o0 модель на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B. Она использует обучение с подкреплением InfoDensity: награда поощряет информационно плотные цепочки рассуждений и применяется к трассам, которые приводят к правильному ответу. Модель предназначена для генерации текста в диалогах и для многошаговых рассуждений, в частности при решении математических и научных задач. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM и содержит 7,5 млрд параметров. Контекстное окно — до 131 072 токенов. В описанных авторами тестах AMC23, AIME24, MATH500 и GPQA-Diamond модель показала суммарную точность pass@1 58,4% при средней длине ответа 6,5 тыс. токенов; результаты зависят от протокола оценки и не гарантируют качество на других задачах. Распространяется в формате safetensors по лицензии MIT.
Longformer for SciCo — модель Allen Institute for AI для разрешения иерархической кореференции научных понятий между документами. Она принимает две упоминаемые сущности с контекстом каждой и классифицирует их отношение по четырём вариантам: не связаны, кореферентны, первая является родительской или дочерней по отношению ко второй. Модель основана на Longformer и предназначена для анализа научных текстов с длинным контекстом; размер составляет 151,9 млн параметров, максимальная длина контекста — 4098 токенов. Модель решает задачу многоклассовой классификации отношений между упоминаниями и может применяться для построения иерархий научных концептов по нескольким документам. В отличие от описанной в статье исходной версии, этот вариант использует двухслойный MLP поверх представления токена [CLS] вместо одного линейного слоя. Доступна в формате PyTorch, лицензия Apache-2.0.
Карточка модели facebook/MobileLLM-R1.5-950M на Hugging Face совпадает с карточкой facebook/MobileLLM-R1.5-140M, поэтому описание составлено по ней. MobileLLM-R1.5-140M — компактная языковая модель Meta, дообученная методом on-policy дистилляции от facebook/MobileLLM-R1-140M-base. Это SFT-модель для решения математических и научных задач, а также задач программирования на Python и C++; разработчики отдельно отмечают, что она не предназначена для универсального общения. Модель содержит 140 млн параметров, использует текст на входе и выдаёт текст, поддерживает контекст до 32 тыс. токенов и словарь размером 128 тыс. токенов. Архитектура включает 15 слоёв, 9 attention heads и 3 KV heads. Дополнительная on-policy дистилляция применена как заключительный этап постобучения и, по данным авторов, улучшает результаты небольших моделей на сложных задачах рассуждения. Карточка приводит результаты семейства MobileLLM-R1.5, но конкретные численные показатели для версии 140M не выделяет. Модель опубликована под лицензией с обозначением «other»; условия лицензии следует проверить в карточке репозитория перед использованием.
OpenMed-NER-ChemicalDetect-MultiMed-335M — специализированная модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученный трансформер архитектуры BERT с примерно 433,9 млн параметров и контекстом до 512 токенов; модель принимает токенизированный текст и присваивает токенам BIO-метки B-CHEM и I-CHEM. В карточке указано обучение на наборе BC4CHEMD, содержащем аннотации химических упоминаний в биомедицинской литературе. Модель предназначена для извлечения химических соединений и веществ из научных публикаций и клинических документов, например для поиска лекарств в записях пациентов, мониторинга нежелательных явлений и поддержки анализа литературы для разработки препаратов. Карточка сообщает F1 0,95, точность 0,94 и полноту 0,95 на BC4CHEMD; эти показатели относятся к указанному набору данных и не гарантируют аналогичное качество на других текстах. Поддерживается английский язык. Модель распространяется по лицензии Apache-2.0.
OpenMed-NER-ChemicalDetect-MultiMed-568M — модель OpenMed для распознавания химических сущностей в биомедицинском тексте. Это дообученный трансформер XLM-RoBERTa для классификации токенов с 658,7 млн параметров и контекстом до 8 194 токенов. Модель выделяет названия химических соединений и веществ BIO-метками B-CHEM и I-CHEM. Модель предназначена для извлечения химических сущностей из научной биомедицинской литературы, клинических текстов и медицинских документов. Это может служить основой для поиска упоминаний препаратов, мониторинга нежелательных явлений и анализа литературы по разработке лекарств. В карточке заявлены обучение на корпусе BC4CHEMD и F1 0,95, однако описание не приводит подробностей независимой проверки этих результатов. Модель принимает токенизированный текст и выдаёт метки сущностей для токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. В README архитектура названа bge-m3, но метаданные указывают XLM-RoBERTa, поэтому архитектурой здесь считается XLM-RoBERTa.
OpenMed-NER-ChemicalDetect-SuperClinical-184M — модель OpenMed для распознавания химических сущностей в биомедицинских текстах. Это дообученный трансформер DeBERTa для классификации токенов: он выделяет упоминания химических соединений и веществ, помечая их тегами B-CHEM и I-CHEM. Модель предназначена для извлечения химических названий из медицинских записей и научных публикаций, мониторинга нежелательных явлений, поиска сведений о лекарственных взаимодействиях и подготовки данных для биомедицинских баз знаний. Она обучена на корпусе BC4CHEMD; карточка сообщает F1 0,94, точность 0,93 и полноту 0,94. Размер по метаданным — 211,6 млн параметров, длина контекста — 512 токенов. Поддерживаемый язык — английский. Модель принимает токенизированный текст и возвращает метки токенов, которые можно объединять в выделенные сущности. Она совместима с Transformers и распространяется по лицензии Apache-2.0. Показатели качества приведены в карточке для BC4CHEMD; их не следует считать гарантией такой же точности на произвольных клинических документах или других жанрах текста.
EganAI/Qwen3-4B-Instruct-2507-20250808-233922-0 — языковая модель на архитектуре Qwen3, созданная EganAI послойным слиянием нескольких дообученных вариантов Qwen3-4B. В модели около 3,7 млрд параметров, она принимает текст и генерирует текст; базовая версия поддерживает контекст до 262 144 токенов. Метаданные указывают на английский язык и интерфейс для диалога и вызова инструментов. Модель оптимизировали для ответов на вопросы уровня GPQA Diamond. В README приведены результаты 45,45% на GPQA Diamond в режиме 0-shot и 72,51% на MMLU в режиме 5-shot; эти показатели относятся только к указанным тестам и настройкам. Модель также подходит для диалогов, следования инструкциям и общих текстовых задач. Это экспериментальное слияние, поэтому качество за пределами целевых тестов может меняться, а модель наследует ограничения исходных вариантов. Репозиторий распространяется по лицензии Apache-2.0.
BibTexer — специализированная языковая модель PleIAs для извлечения библиографических ссылок из неструктурированного текста и преобразования их в записи BibTeX, пригодные для загрузки в библиографические базы данных. Модель обучена на разнообразных библиографических стилях, в том числе представленных в Zotero, и на повреждённых текстах с переносами строк и артефактами оцифровки. Модель предназначена для обработки библиографий на европейских языках и поддерживает многоязычные стили и форматы. Это DeBERTa-v2 с 306 млн параметров, настроенная для классификации токенов; максимальный контекст составляет 512 токенов. Лицензия — Apache-2.0. README описывает преобразование ссылок в BibTeX, но не приводит количественных оценок качества.
Blaze.1-32B-Instruct — диалоговая языковая модель на архитектуре Qwen2 с 32 млрд параметров, разработанная на основе QwQ-32B-Preview и дообученная на синтетических данных для математических и условных рассуждений. Она генерирует текст и поддерживает чатовый интерфейс; заявленная длина контекста — 32 768 токенов. Модель предназначена для решения математических задач, логических рассуждений, пошаговых объяснений, условного вывода и структурированной генерации текста. Её можно использовать в виртуальных помощниках и образовательных инструментах. Карточка также заявляет поддержку многоязычного понимания, однако в метаданных указан английский язык. Лицензия — Apache-2.0. Возможны неожиданные переключения и смешение языков, повторяющиеся циклы рассуждений с чрезмерно длинными ответами, потеря контекста в длинных диалогах и снижение качества на задачах, отличающихся от синтетических обучающих данных. Для запуска требуются значительные вычислительные ресурсы из-за размера модели.
BMRetriever-410M — дообученная модель семейства GPT-NeoX, разработанная авторами работы BMRetriever о настройке языковых моделей для поиска биомедицинских текстов. Она преобразует текстовые запросы и документы в векторные представления для задач извлечения и поиска релевантной информации в биомедицинских корпусах. Модель содержит 454,2 млн параметров по метаданным и принимает последовательности длиной до 2048 токенов. Модель предназначена для биомедицинского поиска, включая поиск по учебникам, публикациям PubMed и StatPearls, а также биологическим препринтам. README указывает на использование через библиотеку Transformers. Репозиторий распространяется по лицензии MIT. Данные карточки подтверждают задачу извлечения признаков, но не приводят результатов оценки качества.
LumynaX Doc Nougat Base — экспериментальный архивный выпуск AbteeX AI Labs для преобразования изображений страниц академических PDF в текст Markdown. Он основан на facebook/nougat-base и использует архитектуру vision-encoder-decoder; веса исходной модели сохранены без композиции, а интеграция описана как маршрутизация во время выполнения. Модель предназначена для извлечения текста из страниц научных документов, чтобы затем обрабатывать его и искать по нему. В карточке перечислены английский и маори как языки модели. Модель построена для обработки изображений страниц и выдачи текста; формат репозитория — PyTorch и safetensors, используется библиотека Transformers. Выпуск помечен как устаревший, не поддерживается и не рекомендуется для производственного применения. Лицензия — CC BY 4.0.
OpenMed-NER-ChemicalDetect-BigMed-560M — дообученная OpenMed модель на архитектуре XLM-RoBERTa-large для распознавания химических сущностей в биомедицинских текстах. Она обрабатывает токенизированный текст и присваивает токенам BIO-метки B-CHEM и I-CHEM, обозначающие начало и продолжение упоминания химического вещества. Модель содержит 658,7 млн параметров, поддерживает английский язык и имеет контекстное окно 514 токенов. Модель предназначена для извлечения названий химических соединений и лекарств из научных публикаций, клинических записей и других медицинских документов. Её можно применять для поиска упоминаний препаратов при анализе взаимодействий и нежелательных явлений, а также для извлечения данных при поиске по биомедицинской литературе и построении графов знаний. В README указаны результаты на BC4CHEMD: F1 0,95, точность 0,94 и полнота 0,95; эти значения относятся к описанным в карточке оценкам и не гарантируют аналогичного качества на других данных. Модель распространяется по лицензии Apache-2.0.
OpenMed разработала специализированную модель распознавания химических сущностей в биомедицинских текстах. Это дообученный трансформер DeBERTa-v2 для токенной классификации с 155 млн параметров и контекстом до 512 токенов. Модель выделяет названия химических соединений и веществ, присваивая токенам метки B-CHEM и I-CHEM. Модель обучена на корпусе BC4CHEMD и предназначена для извлечения химических упоминаний из научной литературы, клинических записей и других медицинских документов. Такие извлечения можно использовать для поиска лекарств в записях пациентов, мониторинга нежелательных явлений, анализа литературы для разработки препаратов и построения биомедицинских графов знаний. README сообщает F1 0,93, точность 0,92 и полноту 0,94 на оценке модели. Модель принимает текст и возвращает токенные метки сущностей; она рассчитана на английский язык. Репозиторий использует формат safetensors, а лицензия — Apache-2.0. Ограничение контекста составляет 512 токенов; модель распознаёт химические сущности и не предназначена для извлечения всех типов биомедицинских сущностей.
ReVisual-R1-final — мультимодальная модель для диалога и рассуждений по изображениям, разработанная автором репозитория csfufu как дообученная версия Qwen/Qwen2.5-VL-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает изображения вместе с текстовыми запросами, выдавая текстовые ответы. Для неё заявлено контекстное окно до 128 000 токенов. README описывает трёхэтапное обучение: текстовый cold-start для формирования рассуждений, мультимодальное обучение с подкреплением для согласования зрения и логики, затем текстовое обучение с подкреплением для улучшения краткости и связности. Модель предназначена для визуально-математических задач и текстовых рассуждений; автор заявляет высокие результаты на девяти бенчмарках, но не приводит их названия или численные результаты в карточке. Распространяется под лицензией Apache-2.0.
SAM-HQ ViT-Base — модель сегментации изображений от сообщества syscv-community, реализующая улучшенную версию Segment Anything Model. Она принимает изображение и подсказки в виде точек, рамок или маски и предсказывает маски объектов; также поддерживается автоматическая генерация масок по сетке точек без отдельной подсказки пользователя. Модель сохраняет promptable-подход и предобученные веса SAM, добавляя обучаемый токен для масок высокого качества и слияние глобальных и локальных признаков ViT. Эти изменения помогают точнее выделять тонкие структуры и сложные границы при небольшом увеличении числа параметров и вычислений. SAM-HQ обучена на наборе HQSeg-44K с детализированными масками и сохраняет возможности переноса без дополнительного обучения. Модель подходит для автоматической разметки изображений, редактирования изображений и видео и других задач, где нужны точные маски объектов. Текстовые подсказки официальной реализацией не поддерживаются. Модель распространяется по лицензии Apache-2.0.
Карточка модели biu-nlp/abstract-sim-query-pubmed на Hugging Face совпадает с карточкой biu-nlp/abstract-sim-sentence-pubmed, поэтому описание составлено по ней. biu-nlp/abstract-sim-sentence-pubmed — модель семейства BERT, обученная на предложениях из PubMed для сопоставления текстового описания с подходящими предложениями. Она кодирует запросы и предложения в признаки, пригодные для поиска и оценки смыслового сходства в научных медицинских текстах. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и опубликована в формате PyTorch. Модель подходит для семантического поиска предложений по описаниям и подбора релевантных фрагментов аннотаций PubMed. Карточка не сообщает лицензию и подробности оценки качества.
AMALIA-RacioCiencia-PT — диалоговая языковая модель для ответов на научные вопросы на европейском португальском языке. Она разработана на базе AMALIA и дообучена на обучающей части набора EGSciQA-ptPT-V1, содержащей 12 571 пример. Модель семейства Llama с плотной архитектурой и 8,6 млрд параметров; длина контекста — 32 768 токенов. Репозиторий содержит веса Safetensors. Модель предназначена для объяснения, сравнения и обобщения научных фрагментов, переданных в запросе. Она должна обосновывать фактические ответы предоставленными свидетельствами и ссылаться на их идентификаторы, например [E1]. Обучающие данные охватывают инженерные и технологические, точные и естественные, медицинские и здравоохранительные науки. Лицензия — Apache-2.0. Модель не ищет документы и не проверяет их самостоятельно: свидетельства должен предоставить пользователь или внешняя система поиска. Она может допускать неподтверждённые утверждения и неверные ссылки; цитаты указывают на переданные фрагменты, а не на проверенные библиографические источники. Качество наиболее ожидаемо в представленных областях и на европейском португальском. Не следует полагаться на неё как на единственное основание для медицинских, юридических и других решений с высокими последствиями.
oracat/bert-paper-classifier-arxiv — дообученная модель на базе microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract для классификации научных статей по таксономии arXiv. Она принимает заголовок статьи и, при наличии, аннотацию и предсказывает подходящие категории arXiv, например cs.CL для статьи о Transformers. Модель ориентирована на статьи по математике, информатике, физике и смежным областям. Модель использует архитектуру BERT для классификации последовательностей, содержит 136,7 млн параметров и рассчитана на контекст до 512 токенов. Опубликована в формате PyTorch и распространяется по лицензии MIT. README не сообщает о точности и других результатах оценки модели.
NeuML/biomedbert-base-reranker — англоязычный биомедицинский кросс-энкодер, дообученный NeuML на базе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext с использованием библиотеки sentence-transformers. Модель принимает пары текстов и оценивает их сходство или релевантность; оценки подходят для ранжирования результатов семантического поиска по медицинской литературе. Обучающие пары сформированы из выборки заголовков и аннотаций PubMed, а также похожих заголовков. Модель основана на BERT с архитектурой BertForSequenceClassification, содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. В README описана оценка на наборах PubMed QA, PubMed Subset и PubMed Summary; кросс-энкодер показал преимущество над сравнивавшимися би-энкодерами и late-interaction моделями, но требует больше вычислений и подходит для обработки небольших наборов кандидатов. Лицензия — Apache-2.0.
llama-3-wissenschaft-8B-v2 — диалоговая языковая модель на архитектуре Llama 3, опубликованная nbeerbower. Это дообучение nbeerbower/llama-3-bophades-v3-8B на текстовой части набора ScienceQA; исходная модель основана на Llama 3 8B. Модель предназначена для генерации текста и ответов на вопросы по научным темам. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Нативная длина контекста — 8192 токена. В README указано, что дообучение выполнялось на A100 в Google Colab. Лицензия обозначена как other; README указывает на условия META LLAMA 3 COMMUNITY LICENSE AGREEMENT, поэтому использование регулируется этой лицензией.
Lloro — языковая модель Semantix Research Labs для анализа данных на Python по запросам на португальском языке. Это дообученная с помощью QLoRA модель CodeLlama-7b-Instruct на синтетическом наборе инструкций и примеров кода; архитектура — плотная LlamaForCausalLM, размер — 6,6 млрд параметров. Модель принимает текст и генерирует текст, включая Python-код. Метаданные указывают контекст до 16 384 токенов; в README для выпуска V3 указано увеличение контекста до 2 048 токенов. Lloro подходит для запросов о проведении анализа данных, написания и пояснения кода на Python в португалоязычных сценариях. README сообщает, что модель также понимает английский, но основной язык — португальский. Модель создана для генерации кода по текстовым инструкциям; качество ответов следует проверять на целевых данных и в исполняемой среде. Лицензия — Llama 2.