I.1Поиск и навигация по информации

Mizuiro-sakura/luke-japanese-base-finetuned-ner — японская модель распознавания именованных сущностей, созданная дообучением luke-japanese-base на японском датасете NER на основе Википедии. Она предназначена для извлечения из текста имен людей, событий и других сущностей; карточка приводит метрики precision, recall и F1 для нескольких категорий сущностей. Модель построена на архитектуре LUKE для классификации токенов, содержит 138,4 млн параметров и поддерживает контекст до 514 токенов. LUKE учитывает слова и сущности как отдельные токены и использует механизм внимания, учитывающий сущности. Для использования указаны Transformers и SentencePiece. Лицензия — MIT.

mljn/mdeberta-v3-base-finetuned-climate-vs-environment-classification — дообученная модель классификации текста на базе microsoft/mdeberta-v3-base от Microsoft. Она предназначена для различения текстов о климате и окружающей среде. В README приведены результаты на оценочном наборе: accuracy 0,9337 и macro F1 0,9322. Модель использует архитектуру DeBERTa V3 для классификации последовательностей, содержит 306 млн параметров и принимает текст длиной до 512 токенов. Базовая модель многоязычная, однако конкретные языки и обучающие данные для этой версии не описаны. Распространяется по лицензии MIT.

tartuNLP/mmBERT-small-m-edu-classifier — мультиязычный классификатор образовательного качества текстов, разработанный tartuNLP на основе энкодера ModernBERT. Модель присваивает документу одну из шести меток: проблемный контент, отсутствие образовательной ценности, минимальный, базовый, хороший или отличный уровень. Она обучена оценивать полные документы длиной до 8192 токенов на смешанном наборе FineWeb с образовательными аннотациями. Модель содержит 140,5 млн параметров и использует архитектуру ModernBertForSequenceClassification. Её назначение — фильтрация и ранжирование веб-документов по образовательной ценности, в том числе на разных языках. Метаданные перечисляют широкий набор языковых тегов, а базовая модель описана как мультиязычный энкодер более чем для 1800 языков; фактическую поддержку каждого языка для классификатора следует проверять отдельно. Модель распространяется под лицензией MIT. В README приведена оценка на отложенной выборке, где каждый язык представлен как минимум один раз, однако численные результаты в доступной карточке отсутствуют. Качество оценок на отдельных языках и перенос на данные вне обучающего набора могут различаться.

sdiazlor/modernbert-embed-base-biencoder-human-rights — англоязычная модель Sentence Transformers, дообученная на базе nomic-ai/modernbert-embed-base для поиска и сравнения фрагментов о правах человека. ModernBERT преобразует предложения и абзацы в нормализованные плотные векторы размерности 768; сходство между ними оценивается косинусной мерой. Максимальная длина входной последовательности — 8192 токена. Модель подходит для семантического поиска по документам о правах человека, сопоставления похожих фрагментов, поиска перефразировок, кластеризации и классификации текста. В README приведён результат cosine accuracy 0,9819 на оценке TripletEvaluator; оценочный набор содержит 166 примеров. Это значение относится к указанной оценке и не гарантирует такую же точность на других данных. Модель принимает текст и выдаёт эмбеддинги. Разработчик — пользователь Hugging Face sdiazlor; лицензия Apache-2.0 разрешает использование на её условиях.

Модель dilovancelik/multilingual-e5-base-danish-speeches-finetune — Sentence Transformer, дообученный на базе intfloat/multilingual-e5-base для представления текстов датских выступлений в виде плотных векторов. Архитектура включает XLM-RoBERTa, mean pooling и нормализацию; размер вектора — 768, максимальная длина последовательности — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель подходит для семантического поиска по выступлениям, сопоставления коротких запросов с фрагментами речи, поиска перефразировок, кластеризации и классификации текстов. В README приведены результаты оценки на датасете danish_embedding_validator: cosine accuracy 0,9837 и 0,9843. Модель обучалась на 48 914 примерах с парами и отрицательными примерами; метаданные указывают 305,2 млн параметров. Для её загрузки и применения используется библиотека Sentence Transformers. Модель ориентирована на датские тексты и может хуже работать на других языках или типах текста, чем многоязычная базовая модель. Лицензия в предоставленных сведениях не указана.

MyAwesomeModel — модель на базе BERT для извлечения признаков из текста, опубликованная на Hugging Face в формате, совместимом с библиотекой Transformers. В метаданных модель классифицирована для задачи feature extraction; размер, длина контекста и поддерживаемые естественные языки не указаны. README описывает обновлённую версию модели с заявленными улучшениями рассуждений, логического анализа, программирования, классификации, суммаризации, диалогов и function calling, однако эти возможности не подтверждены pipeline-тегом feature-extraction и приведёнными техническими характеристиками. На практике модель следует рассматривать прежде всего как источник векторных представлений текста для последующей обработки. Модель распространяется по лицензии MIT. Для прикладного использования необходимо отдельно проверить фактическую архитектуру, качество на нужном языке и совместимость заявленных в README сценариев с доступными весами и конфигурацией.

MyAwesomeModel — модель на базе BERT, опубликованная в репозитории D21WCXZ21/MyAwesomeModel-TestRepo и предназначенная для извлечения признаков из текста с использованием библиотеки Transformers и PyTorch. В метаданных Hugging Face для неё указан pipeline-тег feature-extraction, а лицензия — MIT. В README модель также описывается как система с улучшенными возможностями рассуждения, ответов на вопросы, классификации, анализа тональности, суммаризации, перевода, генерации кода и function calling. Однако эти заявления не согласуются с указанным в метаданных назначением feature-extraction и не подтверждены сведениями об архитектуре, размере, контексте или языках модели. Модель можно рассматривать для получения векторных представлений текста и последующего использования в задачах семантического поиска, классификации и других NLP-пайплайнах. Условия использования определяются лицензией MIT.

Nemotron-Mini-4B-Instruct — компактная языковая модель NVIDIA для генерации диалоговых ответов и выполнения инструкций. Это дообученная версия nvidia/Minitron-4B-Base, основанной на Nemotron-4 15B и сжатой с помощью прореживания, дистилляции и квантования. Модель содержит 4,3 млрд параметров и построена как авторегрессионный Transformer-декодер с Grouped-Query Attention и RoPE; принимает контекст до 4096 токенов. Модель предназначена для ролевых диалогов, ответов на вопросы по материалам в сценариях RAG и вызова функций. NVIDIA оптимизировала её для быстрого вывода и развёртывания на устройствах; карточка заявляет готовность к коммерческому использованию. Основной язык — английский. Указанная в метаданных лицензия — other, поэтому конкретные условия использования следует сверить с лицензией и условиями NVIDIA.

fangyuan/nq_extractive_compressor — модель Fangyuan Xu для извлечения и оценки предложений при сжатии найденных документов в системах поиска с дополненной генерацией (RAG). Она связана с проектом RECOMP, который исследует сжатие контекста и выборочное дополнение для языковых моделей. Модель использует архитектуру BERT: 12 слоёв, 768 скрытых размерностей и около 136,7 млн параметров; максимальная длина входа — 512 токенов. Карточка Hugging Face помечает её как feature-extraction и предоставляет загрузку через Transformers. В сценарии извлекающего компрессора модель присваивает предложениям оценки, позволяющие отобрать содержательные фрагменты из найденных документов для последующей генерации ответа. Это специализированный компонент конвейера, а не генератор текста. В доступных сведениях не указаны лицензия и языковая специализация; базовая конфигурация указывает на facebook/contriever-msmarco.

Orion-14B-Chat-Plugin — языковая модель OrionStarAI на архитектуре OrionForCausalLM с плотной архитектурой и 14,1 млрд параметров. Семейство Orion-14B обучено с нуля на многоязычном корпусе; эта версия дообучена для работы с плагинами и вызова функций, поэтому подходит для агентных сценариев, где модель выбирает и вызывает внешние инструменты. Модель принимает текст и генерирует текст. Для этой версии в метаданных указан контекст 4096 токенов; сведения о более длинном контексте в карточке относятся к отдельной версии Orion-14B-LongChat. Семейство поддерживает китайский, английский, японский и корейский языки. Модель распространяется в формате PyTorch. Лицензия в предоставленных данных не указана.

Карточка модели allenai/SAGE-MM-Qwen3-VL-8B-SFT на Hugging Face совпадает с карточкой allenai/SAGE-MM-Qwen2.5-VL-7B-SFT_RL, поэтому описание составлено по ней. SAGE-MM-Qwen2.5-VL-7B-SFT_RL — модель Allen Institute for AI на базе Qwen2.5-VL-7B, дообученная для мультимодального рассуждения о видео в системе SAGE. Она анализирует кадры и метаданные видео, решает, можно ли ответить сразу или нужно обратиться к инструментам, а затем объединяет полученные наблюдения в итоговый ответ. Модель может формировать JSON-действия для поиска в интернете, распознавания речи по фрагментам видео, определения временных границ событий, извлечения кадров или клипов и детального анализа медиа. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает контекст до 128 000 токенов. Для выполнения инструментальных действий ей требуется внешняя среда, которая разбирает JSON, запускает инструменты и возвращает их результаты. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка указывает английский язык; данных о других поддерживаемых языках нет.

sentence-embeddings-xllora-mmbert-ind — модель векторных представлений предложений на индонезийском языке, разработанная на основе mmBERT и дообученная методом XL-LoRA для обучения представлениям предложений в условиях нехватки языковых ресурсов. Она подходит для оценки семантического сходства, поиска похожих предложений, извлечения предложений по смыслу и кластеризации. Модель основана на архитектуре ModernBERT и содержит 306,9 млн параметров; для построения эмбеддингов объединяются первый и последний скрытые слои с равными весами, после чего применяется усреднение по токенам. Контекст — до 8192 токенов. Для воспроизведения результатов статьи следует использовать описанный способ pooling; стандартное усреднение по токенам тоже доступно, но может дать немного отличающиеся результаты. Модель ориентирована на индонезийский язык и исследования NLP для языков с ограниченными ресурсами. Лицензия — MIT.

WebOrganizer/TopicClassifier-NoURL — англоязычный классификатор веб-страниц по содержанию их текста, разработанный WebOrganizer. Он распределяет страницы по 17 тематическим категориям, не используя URL, поэтому подходит для сортировки и тематической организации веб-контента по самому тексту. Модель основана на энкодере Alibaba-NLP/gte-base-en-v1.5 и дообучена для классификации последовательностей. В README указано около 140 млн параметров, а метаданные каталога — 136,7 млн; контекст составляет до 8192 токенов. Для обучения использованы наборы WebOrganizer с аннотациями, созданными моделями Llama 3.1 8B и Llama 3.1 405B FP8. Для ускоренного вывода авторы рекомендуют реализацию gte-base-en-v1.5 с unpadding и эффективным attention, для чего требуется xformers. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных материалах отсутствуют.

Uzbek NER XLM-RoBERTa — модель распознавания именованных сущностей в узбекских текстах, созданная dashakoryakovskaya на основе дообучения FacebookAI/xlm-roberta-large. Она размечает токены по схеме BIO и выделяет организации (ORG), имена (NAME) и географические названия (GEO); предсказания для перекрывающихся окон объединяются по символьным смещениям. Модель построена на архитектуре XLM-RoBERTa large, содержит 658,7 млн параметров и обрабатывает до 514 токенов контекста; для длинных документов используются окна длиной до 512 токенов с шагом 128. Модель рассчитана на узбекские тексты; базовая XLM-RoBERTa мультиязычна, однако карточка не подтверждает качество разметки для других языков. Лицензия в предоставленных данных не указана.

cyhapun/vn-legal-embedding-v1 — модель Sentence Transformers, дообученная на основе BAAI/bge-m3 для векторного представления текстов по вьетнамскому законодательству. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 1024; сходство между ними оценивается косинусной мерой. Архитектура включает XLM-RoBERTa, пулинг по CLS-токену и нормализацию. Модель рассчитана на семантический поиск и сопоставление юридических текстов, а также может применяться для кластеризации, поиска перефразировок и классификации по эмбеддингам. В README указан максимальный размер последовательности 768 токенов; метаданные сообщают нативный контекст базовой модели 8194 токена, поэтому практический предел этой версии задаётся карточкой модели. Обучение включало наборы вопросов и ответов по вьетнамскому праву и датасет для оценки юридического поиска; в README приведены высокие значения cosine accuracy на legal-eval, но это не гарантирует аналогичного качества на других данных. Модель распространяется по лицензии MIT.

0sint-event-embedder — англоязычный энкодер предложений, разработанный для выделения сообщений об одном и том же реальном событии в шумном потоке OSINT. Модель дообучена на датасете allenborochin/0sint от sentence-transformers/all-MiniLM-L6-v2 с контрастивной функцией потерь MultipleNegativesRankingLoss и трудными отрицательными примерами. Это плотная BERT-модель на 25,9 млн параметров; она принимает текстовые сообщения и создает эмбеддинги для сравнения по косинусному сходству. Максимальная длина контекста — 512 токенов. Модель предназначена для кластеризации сообщений по идентичности события, поиска похожих событий в архиве и семантического поиска по новостной ленте, особенно когда разные происшествия имеют похожие место, время и формулировки. По README, производственная версия используется в системе триажа 0sint; описаны также результаты проверки на отложенных парах событий. Модель специализируется на англоязычных сообщениях в стиле Telegram и не является универсальным энкодером сходства. Репозиторий распространяется по лицензии MIT.

Модель OpenAlex разработана для классификации научных публикаций по заранее заданному набору тематик OpenAlex. Это дообученная многоязычная BERT-модель с архитектурой BertForSequenceClassification и 205,1 млн параметров; она принимает заголовок и аннотацию в заданном текстовом формате, а также может классифицировать текст только по заголовку или аннотации. Результат содержит тематическую метку OpenAlex и оценку модели для каждой темы. Модель предназначена для быстрого определения тематики научной работы по её заголовку и аннотации. Она может быть компонентом более полной системы классификации публикаций, где также учитываются сведения о журнале и цитировании. Контекст модели составляет до 512 токенов, поэтому длинный входной текст обрезается. Доступны веса в форматах safetensors и TensorFlow; модель распространяется по лицензии Apache 2.0. Это отдельная модель классификации текста, а не полная система OpenAlex для присвоения тем работам. Она обучена на размеченных данных CWTS; возможны смещения, унаследованные от базовой BERT-модели, а качество зависит от предобработки входа и соответствия тематики публикации фиксированному набору меток.

korruz/bge-base-financial-matryoshka — англоязычная модель Sentence Transformers, дообученная автором korruz на базе BAAI/bge-base-en-v1.5 для работы с финансовыми текстами. Она преобразует предложения и абзацы в плотные векторы для семантического поиска и сравнения текстов; также подходит для кластеризации, поиска перефразирований и классификации текстов. Модель построена на BERT с пулингом CLS-токена и нормализацией выходного вектора. Размер эмбеддинга — 768 измерений, максимальная длина входа — 512 токенов; сходство можно оценивать косинусной мерой. Matryoshka-обучение позволяет использовать сокращённые векторы размером 512, 256, 128 или 64 измерения с некоторым снижением качества поиска. В карточке приведены результаты оценки информационного поиска на наборах данных dim_768, dim_512, dim_256, dim_128 и dim_64. Модель предназначена прежде всего для английских финансовых текстов, включая поиск по финансовым документам и сопоставление вопросов с фрагментами документов. Лицензия — Apache-2.0. Контекст ограничен 512 токенами; данные оценки и обучения в карточке описаны лишь частично, поэтому приведённые метрики не гарантируют качество на других корпусах.

BLING-cerebras-1.3b-0.1 — компактная инструкционная языковая модель, разработанная llmware на базе Cerebras-GPT-1.3B. Модель относится к семейству GPT-2 и рассчитана на запуск на процессоре ноутбука без специальных оптимизаций квантования; объём контекста — 2048 токенов. В карточке заявлена поддержка английского языка. Модель предназначена для локального прототипирования и автоматизации узкого круга задач, особенно в сценариях RAG с чувствительными данными. Она умеет отвечать на вопросы по переданному текстовому контексту, извлекать значения и составлять краткие сводки. Лицензия — Apache 2.0. Модель компактна и ориентирована на фактические ответы по предоставленному контексту, однако, как и другие языковые модели, может выдавать неточную или неполную информацию. Результаты следует проверять; качество за пределами целевых инструкционных задач не гарантируется.

bling-sheared-llama-1.3b-0.1 — англоязычная инструктивная модель llmware для генерации текста и локальной автоматизации задач с документами. Это плотная авторегрессионная модель семейства Llama на 1,3 млрд параметров, дообученная на базе princeton-nlp/Sheared-LLaMA-1.3B с помощью дистиллированных инструктивных наборов данных. Контекст составляет 4096 токенов; модель работает в формате PyTorch и ориентирована на запуск на CPU-ноутбуке без специальных оптимизаций квантования. Модель рассчитана на локальное прототипирование и сценарии RAG с чувствительными корпоративными данными. Она выполняет ответы на вопросы по предоставленному контексту, извлечение ключ-значение и базовое экстрактивное суммирование; также предназначена для сфокусированных инструктивных задач. В указанном бенчмарке RAG-Instruct-Benchmark-Tester средний результат составил 84,5 из 100, при этом качество ответов на сложные вопросы было низким, а по математике и логике — слабым. Модель разработала llmware; лицензия Apache 2.0. Ответы могут быть неточными или неполными, поэтому их следует проверять, особенно в важных сценариях. README описывает поддержку английского языка.

almanach/camembertv2-base-pawsx — франкоязычная модель классификации текста на архитектуре RoBERTa, разработанная Виссамом Антуном из Almanach, Inria-Paris. Она дообучена на FLUE-PAWS-X для выявления парафраз: модель определяет, выражают ли два предложения одинаковый смысл. В карточке указана точность 0,92254 на этом наборе данных. Модель содержит 138,4 млн параметров, принимает текст и выдаёт метку класса. Заявленный язык — французский; максимальный контекст составляет 1025 токенов. Модель распространяется по лицензии MIT. Результаты могут зависеть от характеристик обучающих данных, а качество на других наборах данных и задачах может быть ниже.

OFA-Sys разработала крупную версию Chinese CLIP — модели, которая сопоставляет изображения и текст. Визуальный энкодер построен на ViT-L/14 с входным разрешением 336 пикселей, текстовый — на RoBERTa-wwm-base. Модель обучалась на наборе примерно из 200 миллионов китайских пар «изображение—текст». Репозиторий содержит веса PyTorch. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на целевых классах, а также для получения эмбеддингов изображений и текста и оценки их сходства. Это позволяет использовать её для поиска изображений по запросу и поиска текста по изображению. Карточка приводит результаты на наборах MUGE, Flickr30K-CN и COCO-CN. Основной язык модели — китайский. Лицензия в предоставленных данных не указана.

cupidon-mini-ro — компактная модель Sentence Transformers, дообученная на базе sentence-transformers/all-MiniLM-L6-v2 для кодирования предложений на румынском языке в плотные семантические векторы. Она предназначена для поиска по смыслу, сравнения текстов и кластеризации, в том числе для задач оценки семантического сходства предложений (STS). Модель содержит 25,9 млн параметров, имеет контекст до 512 токенов и доступна в форматах Safetensors, ONNX и OpenVINO; для использования через Transformers требуется применять pooling к контекстным эмбеддингам токенов. Компактный размер около 90 МБ и ориентация на румынский язык подходят для эффективного локального извлечения эмбеддингов. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов бенчмарков, поэтому качество для конкретной задачи следует оценивать на собственных данных.

Moritz Laurer дообучил DeBERTa-v3-base от Microsoft на 763 913 парах «посылка — гипотеза» из MultiNLI, Fever-NLI и Adversarial-NLI (ANLI). Это плотная модель DeBERTa-v2 для классификации последовательностей с 211,6 млн параметров и контекстом до 512 токенов; её основное применение — классификация текста без предварительно заданного набора классов, а также задачи вывода на естественном языке (NLI). Модель оценивает, следует ли гипотеза из текста, противоречит ему или не связана с ним, что позволяет сопоставлять текст с предложенными метками и ранжировать их. В карточке приведены результаты оценки на тестовых наборах MultiNLI и ANLI и на dev-наборе Fever-NLI; также заявлено преимущество на бенчмарке ANLI перед почти всеми крупными моделями. Поддерживается английский язык. Модель принимает текст и возвращает метки и оценки классов. Ограничения связаны с возможными смещениями, унаследованными от обучающих наборов. Карточка также отмечает, что для работы с DeBERTa-v3 может потребоваться Transformers версии 4.13 или новее и установленный SentencePiece. Лицензия — MIT.

Moritz Laurer разработал эту модель на базе DeBERTa-v3-base от Microsoft для классификации текстов методом zero-shot и решения задач логического вывода по тексту (NLI). Модель обучена на 1 279 665 парах «гипотеза — посылка» из восьми наборов данных, включая MultiNLI, Fever-NLI, LingNLI и DocNLI. Она предсказывает два класса: «следует из текста» и «не следует из текста»; в последнем объединены противоречие и нейтральный ответ. Модель подходит для классификации текста по заданным пользователем категориям без отдельного обучения на этих категориях, а также для проверки текстовых гипотез. Обучение на DocNLI помогает работать с длинными текстами и дальними зависимостями, но нативный контекст ограничен 512 токенами. Размер модели — 211,6 млн параметров; доступны веса PyTorch и Safetensors. Основной язык карточки — английский. По опубликованным оценкам точность на тестах MultiNLI составляет 0,935 и 0,933, на Fever-NLI — 0,897, на ANLI — 0,710, на LingNLI — 0,895. Возможны смещения, связанные с обучающими наборами и задачами NLI; автор рекомендует учитывать ограничения исходных исследований. Лицензия — MIT.

johngiorgi/declutr-sci-base — текстовая модель на архитектуре BERT, разработанная на основе allenai/scibert_scivocab_uncased. Она прошла дополнительное самоконтролируемое обучение на более чем 2 млн научных публикаций из S2ORC по стратегии DeCLUTR и предназначена для кодирования предложений в векторные представления, особенно научных текстов. Модель подходит для поиска и сравнения научных предложений по смыслу, кластеризации текстов и построения семантического поиска. Она содержит 137,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и поддерживает английский язык. Доступны веса в форматах PyTorch и Flax; лицензия — Apache-2.0. Модель специализируется на научном тексте, поэтому её пригодность для других предметных областей и языков может быть ниже. Это энкодер представлений, а не генеративная модель: она выдаёт векторы, а не связные ответы.

Модель Chandana Nuthangi на базе DistilBERT дообучена для распознавания именованных сущностей в текстах на телугу. Она выполняет токенную классификацию по BIO-схеме с семью метками: для персон, организаций и местоположений. Модель содержит 66 млн параметров, использует архитектуру DistilBERT и принимает контекст длиной до 512 токенов. Модель предназначена для извлечения имен людей, организаций и мест из текстов на телугу, например для индексирования новостей или подготовки данных для поиска. На тестовом наборе Naamapadam из 847 предложений автор сообщает F1 0,7803. Обучение проводилось на 50 тысячах предложений Naamapadam; данные набора автоматически спроецированы с английских новостей. Модель распространяется по лицензии MIT. Она может пропускать сущности из недостаточно представленных тематик, в частности технологий и космической отрасли; результат также зависит от домена текста.

varin/embeddinggemma-thai-law — дообученная модель Sentence Transformers на базе varin/embeddinggemma-thai-law, предназначенная для получения эмбеддингов тайскоязычных юридических текстов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и использует косинусное сходство для сравнения. В метаданных указана архитектура Gemma 3 Text, 302,8 млн параметров и контекст до 2048 токенов; карточка модели задаёт максимальную длину последовательности 256 токенов. Модель обучена на 20 750 примерах пар anchor/positive/negative с CachedMultipleNegativesRankingLoss. Её можно применять для семантического поиска по юридическим документам Таиланда, оценки сходства формулировок, поиска перефразировок, классификации и кластеризации текста. Лицензия в предоставленных данных не указана.

gte-micro-v3 — компактная модель эмбеддингов на базе архитектуры BERT, созданная как дистилляция gte-tiny. Разработчик позиционирует её для семантического автодополнения: модель преобразует текст в векторные представления, которые можно использовать для поиска подходящего продолжения или сопоставления фраз. Модель содержит 18,8 млн параметров, рассчитана на последовательности до 512 токенов и доступна в форматах Safetensors и ONNX. Модель работает только с английским текстом. Для получения представлений в Transformers после кодирования необходимо применить подходящую операцию pooling; также доступно использование через Sentence-Transformers. Лицензия — MIT. Данных о сравнительных показателях качества в карточке нет.

IndoBERT Base p2 uncased — предварительно обученная языковая модель для индонезийского языка, созданная командой IndoBenchmark на основе архитектуры BERT. Модель обучена на корпусе Indo4B объёмом 23,43 ГБ с задачами masked language modeling и next sentence prediction; версия Base содержит 124,5 млн параметров согласно README, а метаданные каталога указывают 151,6 млн параметров. Длина контекста — 512 токенов. Модель предназначена для извлечения контекстных представлений текста и может служить основой для построения или дообучения приложений NLP на индонезийском языке, включая классификацию текстов и поиск похожих текстов. Доступны реализации весов для PyTorch, TensorFlow и Flax. Лицензия — MIT.