I.11Классификация, ранжирование и сопоставление

llm-semantic-router/mmbert-embed-finance — дообученная модель Sentence Transformers на архитектуре ModernBERT с 306,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации. Модель рассчитана на работу с текстами до 32 768 токенов; сходство векторов можно оценивать косинусной мерой. Доступны веса Safetensors и формат ONNX. Модель ориентирована на финансовые тексты: примеры обучающих данных содержат вопросы и ответы о финансовой отчётности компаний. Она подходит для поиска по финансовым документам и группировки похожих запросов и фрагментов. Модель наследует мультиязычную основу mmbert-embed-32k-2d-matryoshka; в карточке не перечислены конкретные поддерживаемые языки. Лицензия в предоставленных данных не указана.

freelawproject/modernbert-embed-base_finetune_8192 — англоязычная модель эмбеддингов, дообученная Free Law Project на основе nomic-ai/modernbert-embed-base. Она преобразует тексты в плотные векторы размерностью 768 для семантического поиска, сравнения сходства, поиска парафраз, классификации и кластеризации. Модель рассчитана на последовательности до 8192 токенов; архитектура Sentence Transformers использует ModernBert, усреднение токенных представлений и нормализацию векторов. Сходство можно оценивать косинусной мерой. Дообучение выполнено на 351 триплете из набора Free-Law-Project/opinions-synthetic-query-8192: длинные судебные мнения сопоставлялись с короткими релевантными запросами и отрицательными примерами. Это делает модель подходящей для семантического поиска по судебным документам, в том числе по длинным текстам. В карточке приведена оценка cosine_accuracy 1.0 на dev, но данных о размере и независимости этой выборки недостаточно, чтобы считать её гарантией качества в реальном поиске. В метаданных указана лицензия CC0-1.0, тогда как README указывает Apache-2.0; перед использованием следует проверить лицензию репозитория и условия исходной модели. Модель выдаёт эмбеддинги, а не готовые ответы или юридические выводы.

AI Sweden выпустила эту модель как продолжение предобучения answerdotai/ModernBERT-large на скандинавских текстах из The Nordic Pile и SWEb. Это плотный двунаправленный энкодер ModernBERT с архитектурой ModernBertForMaskedLM и примерно 395 млн параметров; он сохраняет контекстное окно 8192 токена. Токенизатор обучен с нуля на подмножестве скандинавских данных, а продолжение предобучения выполнено на дополнительных данных объёмом около 1,2 трлн токенов. Модель предназначена прежде всего для заполнения пропусков, извлечения эмбеддингов и дообучения для NLP-задач на шведском, норвежском, датском и исландском языках. Её можно использовать как энкодер в стиле BERT для классификации, распознавания именованных сущностей и ответов на вопросы; в Transformers доступен сценарий fill-mask. Модель выпущена как исследовательский артефакт по лицензии Apache-2.0. Веб-данные могут содержать шум, стереотипы и чувствительный контент. Экстраполяция RoPE за пределы контекста в 8192 токена не проверена и может ухудшить качество.

ModernBERT-TR 1k — турецкая энкодерная модель на архитектуре ModernBERT, разработанная Besher Alkurdi, Himmet Toprak Kesgin, Muzaffer Kaan Yuce и Mehmet Fatih Amasyali. Это модель с маскированным языковым моделированием, предварительно обученная с нуля на 144,4 млрд токенов; она содержит 148,7 млн параметров и поддерживает контекст до 8192 токенов. Архитектура включает 22 слоя, скрытый размер 768, 12 голов внимания, RoPE, GLU и чередование локального и глобального внимания. Используется собственный токенизатор WordPiece на 50 тысяч токенов, оптимизированный для морфологии турецкого языка. Модель предназначена как базовый энкодер для турецких NLP-задач: заполнения пропусков, классификации текста, семантического сходства, распознавания текстовых отношений и поиска информации. В опубликованных авторами оценках она показала сильные результаты на наборах турецких задач, включая линейное зондирование и полное дообучение; для специализированных сценариев модель можно дообучать. Метаданные указывают формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

Jeevesh8/more_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_6 — модель классификации текста, размещённая пользователем Jeevesh8 на Hugging Face и основанная на BERT-base-uncased. По идентификатору и типу задачи видно, что она дообучена на QQP (Quora Question Pairs) для классификации пар вопросов, вероятно с целью определения их семантической эквивалентности или дубликатов. Модель предназначена для англоязычных текстов без учёта регистра и может применяться через Transformers как text-classification pipeline. В основе используется bidirectional Transformer-архитектура BERT-base; заявленная в идентификаторе длина последовательности — 128 токенов. Модель работает только с текстом и не является генеративной или мультимодальной. Существенные преимущества — готовая специализация на задаче QQP и совместимость с экосистемой Hugging Face Transformers. Ограничения включают привязку к английскому языку, ограничение длины входа и отсутствие на странице модели подробной карточки, описания меток, результатов оценки и анализа ошибок; поэтому точные показатели качества и детали процедуры дообучения неизвестны. Лицензия для этой конкретной модели на странице не указана.

morisien-embed-v1.5 — модель эмбеддингов предложений, разработанная для маврикийского креольского языка (Kreol Morisien, mfe). Она дообучена Singaraj на основе sentence-transformers/LaBSE и предназначена прежде всего для поиска соответствующих по смыслу текстов между креольским, английским и французским языками. Архитектура — плотная BERT-модель; число параметров — 498,1 млн, максимальная длина контекста — 512 токенов, а рабочая длина последовательности в указанной конфигурации — 256 токенов. Модель принимает текст и выдаёт векторные представления для сравнения семантической близости. На тестах для поиска переводных соответствий она немного превосходит исходную LaBSE, в том числе для направлений между креольским, английским и французским. Прирост невелик, а результаты зависят от тестового набора; модель может путать маврикийский и гаитянский креольские языки и плохо различает причинные отношения. Лицензия — MIT.

laion/mscoco_finetuned_CoCa-ViT-L-14-laion2B-s13B-b90k — модель LAION, основанная на архитектуре CoCa с визуальным энкодером ViT-L/14 и дообученная на MS COCO. Она предназначена для создания текстовых описаний изображений, а также может использоваться для классификации изображений без дообучения по текстовым меткам. Конфигурация задаёт размер изображения 224 пикселя и длину текстового контекста 76 токенов; модель доступна в формате safetensors и используется через OpenCLIP. Вход — изображение, выход — текст или представления для сопоставления изображений и текста. Карточка не уточняет языковой охват и ограничения качества. Лицензия — MIT.

jost/multilingual-e5-base-politics-de — дообученная на немецких политических данных модель эмбеддингов предложений на базе multilingual-e5-base. Она использует архитектуру XLM-RoBERTa и Sentence-Transformers, преобразуя предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу и кластеризации. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель предназначена для семантического поиска и сравнения немецкоязычных политических текстов, а также для группировки похожих предложений и абзацев. Обучение с MultipleNegativesRankingLoss и косинусным сходством нацелено на получение векторов, сохраняющих смысловое сходство. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

MyAwesomeModel — модель на базе архитектуры BERT, опубликованная в репозитории ASDASD12321WSX/MyAwesomeModel-TestRepo и предназначенная для извлечения признаков из текста. В метаданных Hugging Face указаны библиотеки Transformers и PyTorch, а также задача feature-extraction. Модель можно использовать для получения векторных представлений текста в задачах семантического поиска, кластеризации, сравнения текстов и построения прикладных классификаторов поверх эмбеддингов. README также содержит заявления о способностях к рассуждению, генерации кода, диалогу, суммаризации и другим задачам, однако эти возможности не подтверждены указанным pipeline-тегом и описанием архитектуры. Модель распространяется по лицензии MIT. Размер, длина контекста, поддерживаемые естественные языки и точные сведения о разработчике в доступных данных не указаны.

MyAwesomeModel — модель на базе Transformers с тегом архитектуры BERT, предназначенная для извлечения признаков из текста. В метаданных Hugging Face её основной pipeline отмечен как feature-extraction, поэтому модель может использоваться для получения векторных представлений текста в задачах последующей классификации, поиска сходства и семантического анализа. README также заявляет об улучшениях рассуждений, генерации, программировании, математике, диалоге, суммаризации и function calling, однако эти сведения не согласуются с указанным в метаданных pipeline feature-extraction и не подтверждают конкретную архитектуру, размер или контекст модели. Разработчик в предоставленных данных не идентифицирован. Модель распространяется под лицензией MIT и предназначена для использования с библиотекой Transformers и PyTorch.

MyAwesomeModel — модель из репозитория tool02/MyAwesomeModel-TestRepo, опубликованная для использования с библиотекой Transformers. Метаданные Hugging Face классифицируют её как BERT-модель для извлечения признаков и указывают реализацию на PyTorch. Лицензия — MIT. Модель предназначена прежде всего для получения векторных представлений текста, которые можно использовать в поиске по смыслу, классификации, кластеризации и других downstream-задачах обработки естественного языка. README также заявляет о возможностях рассуждения, генерации кода, ответов на вопросы, суммаризации, диалогов и function calling, однако эти характеристики не согласуются с pipeline-тегом feature-extraction и не сопровождаются техническими сведениями о конфигурации модели. Сильной стороной является совместимость с экосистемой Transformers и BERT-архитектурой, что упрощает интеграцию в существующие ML-пайплайны. Размер модели, поддерживаемые естественные языки и длина контекста в доступных данных не указаны.

MyAwesomeModel — модель из репозитория toola/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers и помеченная в метаданных как BERT-модель для извлечения признаков. Её основное заявленное назначение — преобразование текста в векторные представления, пригодные для последующей классификации, поиска похожих документов и других задач анализа текста. В README также заявлены возможности рассуждения, генерации кода и текста, ответов на вопросы, диалога, суммаризации, function calling и работы с файлами и веб-поиском. Однако эти сведения не согласуются с основным pipeline-тегом feature-extraction, поэтому генеративные и диалоговые сценарии следует считать заявленными в документации, а не подтверждёнными метаданными. Размер модели, длина контекста и поддерживаемые естественные языки не указаны. Модель распространяется по лицензии MIT.

MyAwesomeModel — модель на базе BERT для извлечения признаков из текста, опубликованная пользователем или организацией ZXC13ESDS на Hugging Face. Модель предназначена для получения векторных представлений текста, которые можно использовать в задачах семантического поиска, сравнения текстов, классификации и других downstream-сценариях обработки естественного языка. Для работы заявлена библиотека Transformers с поддержкой PyTorch. В README также заявлены возможности рассуждения, генерации кода, диалогов, суммаризации, function calling и работы с веб-поиском, однако эти сведения не согласуются с метаданными, где модель указана как feature-extraction с тегом BERT. Архитектура, число параметров, поддерживаемые естественные языки и длина контекста в доступных данных не указаны. Модель распространяется по лицензии MIT.

names-linking-model — модель эмбеддингов на базе MPNet, разработанная исследовательской группой Dell Research–Harvard и предназначенная прежде всего для связывания записей и сопоставления сущностей с помощью пакета LinkTransformer. Она дообучена на sentence-transformers/all-mpnet-base-v2 на данных об именах из связанных переписей населения США; при обучении использовались только имена и функция SupCon loss. Модель преобразует текст в плотные векторы размерности 768 и подходит для кластеризации, дедупликации, связывания и агрегирования записей, а также семантического поиска и задач сходства предложений. Архитектура — MPNet с усреднением токенных представлений и нормализацией; модель рассчитана на английский язык. Метаданные указывают контекст до 514 токенов, а конфигурация README задаёт максимальную длину последовательности 384 токена. Специализация на именах из переписей населения США может ограничивать качество сопоставления других типов записей и данных за пределами английского языка. Модель распространяется под лицензией, указанной в карточке Hugging Face.

NMIXX-BGE-M3 — модель SentenceTransformer на базе BAAI/bge-m3, дообученная командой NMIXX-Fin для семантического сопоставления корейских финансовых текстов. Она формирует векторные представления предложений и рассчитана прежде всего на оценку семантической близости в финансовом домене; поддерживает корейский и английский языки. Модель использует архитектуру XLM-RoBERTa, содержит 658,7 млн параметров и выдаёт эмбеддинги размерностью 1024. Максимальная длина последовательности — 8194 токена по метаданным; README указывает предел 8192 и отмечает, что стабильное качество гарантируется только до 2048 токенов. Модель обучена с triplet loss и подбором сложных негативных примеров на датасете NMIXX_train. Лицензия — Apache-2.0.

ENOSYS/Octen-Embedding-8B-750-v1-GGUF — квантизированная версия модели Octen/Octen-Embedding-8B в формате GGUF, подготовленная с использованием калибровочных данных на английском и русском языках. Репозиторий описывает экспериментальную квантизацию с настройками global target bits-per-weight и патчами для ответвления LLaMA C++; тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Модель предназначена для получения текстовых эмбеддингов, оценки семантического сходства и извлечения информации, в том числе в сценариях семантического поиска. Она основана на мультиязычной модели Octen на базе Qwen3 и распространяется по лицензии Apache-2.0. В README приведены метрики сравнения вариантов квантизации, но они показывают существенное ухудшение perplexity относительно исходного качества и не подтверждают пригодность каждого варианта для конкретного сценария. Для использования могут потребоваться совместимые инструменты и ветка LLaMA C++.

gechim/phobert-base-v2-finetuned — дообученная модель классификации последовательностей на основе PhoBERT-base-v2, вьетнамского RoBERTa-энкодера. Модель содержит 162,4 млн параметров, принимает текст и выдаёт метки классов. Максимальный указанный контекст — 258 токенов. Модель предназначена для классификации текстов на вьетнамском языке. На тестовой выборке указаны accuracy 0,9593 и F1 0,9594; набор данных и конкретная схема меток не описаны. Лицензия в предоставленных данных не указана.

OPI-PIB/pl-ModernBERT-large — крупный предварительно обученный энкодер ModernBERT для обработки польского языка, разработанный как часть семейства Polish ModernBERT. Это плотная модель с 28 слоями и размером скрытого представления 1 024; в репозитории указано около 474,5 млн параметров. Она принимает текст длиной до 8 194 токенов и предсказывает пропущенные токены, а после дообучения может использоваться как основа для классификации документов, разметки последовательностей, оценки сходства, поиска и переранжирования. Модель обучена примерно на 44,5 млрд польских токенов. Архитектура использует RoPE, GeGLU, предварительную нормализацию и чередование глобального и локального внимания; веса опубликованы в формате safetensors. В README приведены оценки на польских задачах NLU, включая KLEJ и LongContext, где модель показывает конкурентные результаты среди крупных польских энкодеров. Для перечисленных прикладных задач потребуется адаптация или дообучение под целевой сценарий. Лицензия — Apache-2.0. Модель предназначена прежде всего для польскоязычных задач; качество и применимость к другим языкам не подтверждены приведёнными сведениями.

shaunss/protestclaims_gbert — дообученная авторами модели BERT-модель для получения эмбеддингов немецких предложений и абзацев о протестах и требованиях протестующих. Она основана на deutsche-telekom/gbert-large-paraphrase-cosine и преобразует текст в плотные векторы размерностью 1024; модель имеет 434,5 млн параметров и контекст до 512 токенов. Модель обучена на вручную размеченных предложениях из немецких газет с помощью BatchSemiHardTripletLoss. Её можно использовать для семантического поиска и кластеризации материалов о протестах, а также для вычисления сходства между предложениями. Лицензия — MIT. Подробности применения описаны в работе о конвейере автоматизации анализа протестных событий PAPEA.

chancharikm/qwen2.5-vl-7b-cam-motion — дообученная модель Qwen/Qwen2.5-VL-7B-Instruct, созданная для распознавания движений камеры в видео и поиска видео по текстовым описаниям таких движений. Разработчики обучили её на общедоступном наборе данных CameraBench; карточка называет модель предварительной версией и заявляет лучшие на момент публикации результаты в классификации движений камеры и поиске видео по тексту с оценкой VQAScore. Модель основана на плотной мультимодальной архитектуре Qwen2.5-VL и содержит 7,1 млрд параметров. Она принимает видео и текстовые запросы, а также может генерировать текстовые ответы. Для оценки соответствия видео описанию в README рекомендован подход VQAScore через пакет t2v_metrics. Контекст модели — до 128 000 токенов. Модель подходит для классификации движений камеры в роликах и оценки соответствия видео текстовым подписям при поиске и ранжировании. Указана лицензия other; точные условия следует проверять в карточке репозитория и у базовой модели. Это предварительная версия, поэтому заявленные результаты могут не переноситься на другие наборы данных и сценарии.

KayaTechAI Qwen3-Telecom-Retrieval-Embedding — англоязычная модель Sentence Transformers, разработанная KayaTechAI и дообученная на базе Qwen/Qwen3-Embedding-0.6B на датасете технических телекоммуникационных документов. Архитектура основана на Qwen3Model с pooling по последнему токену и нормализацией; модель содержит 507,6 млн параметров и преобразует текст в плотные эмбеддинги размерностью 1024. Максимальная длина последовательности — 32 768 токенов, сходство оценивается косинусной мерой. Модель предназначена для семантического поиска и сопоставления запросов с техническими документами в телеком-сфере. Её также можно применять для поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценки поиска с усечением эмбеддингов до разных размерностей, однако они относятся к указанному датасету и не гарантируют качество на других данных. Лицензия — Apache-2.0.

thefloydd/qwen3-0.6b-rlcd — компактная модель оценки вариантов на 0,6 млрд параметров, созданная на базе Qwen3-0.6B-Base и опубликованная автором репозитория. Она принимает описание состояния и один или несколько типизированных вопросов с вариантами ответа и критериями, затем за один проход оценивает варианты и возвращает калиброванные вероятности, а также отдельную оценку уверенности в том, что правильный ответ вообще присутствует среди вариантов. Модель не генерирует текстовые токены и рассчитана на работу через Transformers, в том числе на CPU. Модель предназначена прежде всего для структурированных решений: применения правил к записям и документам, проверки утверждений, классификации по заданным вариантам и ситуаций, где полезно воздержаться от ответа при низкой уверенности. Вопросы обрабатываются независимо; поддерживается до 255 вариантов для вопроса типа choice и до 8192 токенов на запрос, хотя обучение проводилось на состояниях длиной до 2304 токенов. Модель обучена на английском языке. Базовая модель дообучена с LoRA, после чего адаптер слит с весами; лицензия репозитория — Apache-2.0. Наиболее сильные результаты показаны на структурированных задачах принятия решений. Качество обычной классификации текста, логического вывода, анализа журналов и многошаговых вопросов заметно ниже, калибровка зависит от области. Модель не может выбрать ответ вне предложенного списка: если верного варианта нет, следует ориентироваться на отдельную оценку confidence. Данные обучения включали источники с различными условиями лицензирования, в том числе некоммерческое обучение и исследовательское использование.

Qwen3-Embedding-0.6B-AWQ-INT4 — квантованная версия модели Qwen/Qwen3-Embedding-0.6B, опубликованная drawais. Это производный артефакт с 4-битным квантованием весов по схеме AWQ и размером около 0,5 ГБ на диске. Модель предназначена для эффективного запуска задач, основанных на текстовых представлениях, включая сценарии, где важны компактность и низкие требования к ресурсам. В README указана поддержка английского языка. Для запуска рекомендуется использовать vLLM; заявленная максимальная длина контекста составляет 32 768 токенов. Модель относится к текстовым и не поддерживает другие модальности согласно представленным данным. К сильным сторонам относятся малый размер, потенциально высокая скорость работы и возможность запуска на ограниченных ресурсах. При этом INT4-квантование может снижать точность по сравнению с исходной моделью, а сведения о конкретных результатах оценки, архитектуре, точных требованиях к видеопамяти и поддерживаемых сценариях применения не приведены. Модель распространяется по лицензии Apache License 2.0; для производного артефакта требуется учитывать атрибуцию исходной модели и материалы из LICENSE и NOTICE.

R3-Embedding-0.6B — текстовая модель эмбеддингов Tencent для извлечения навыков, подходящих запросам к LLM-агентам. Она выступает первым, bi-encoder этапом двухэтапного поиска R3-Skill: независимо кодирует запрос и описания навыков, после чего кандидаты ранжируются по косинусному сходству; для повторного ранжирования предусмотрена парная модель R3-Rerank-0.6B. Модель содержит 507,6 млн параметров, построена на архитектуре Qwen3 и принимает контекст длиной до 32 768 токенов. Доступна под лицензией Apache-2.0. Модель предназначена для поиска навыков агента с учётом конкретного запроса и формирования списка кандидатов для последующего reranking. Метаданные указывают поддержку задач feature extraction и sentence similarity. Карточка не сообщает отдельные языковые ограничения или результаты качества, поэтому их нельзя уточнить; применение к другим сценариям семантического поиска не подтверждено описанием модели.

RemBERT — мультиязычная языковая модель семейства BERT, представленная авторами статьи «Rethinking embedding coupling in pre-trained language models». Это чекпойнт для последующего дообучения под классификацию и другие задачи анализа текста. Модель содержит около 967,8 млн параметров, использует плотную архитектуру и рассчитана на контекст до 512 токенов; доступны веса PyTorch и TensorFlow. RemBERT предварительно обучена на многоязычных данных Википедии для 110 языков с задачей masked language modeling. В отличие от mBERT, входные и выходные эмбеддинги не связаны: входные эмбеддинги меньше, а выходные веса исключены из этого облегчённого чекпойнта, предназначенного для дообучения. В карточке указаны успешные применения для классификации, ответов на вопросы, распознавания именованных сущностей и разметки частей речи. Модель предназначена для общего анализа текста, а не для генерации. Для практических задач её нужно дообучить; контекст ограничен 512 токенами. Лицензия — Apache-2.0.

Модель Skeiceee/roberta-base-bne-platzi-project-nlp-con-transformers — дообученная для классификации текста версия PlanTL-GOB-ES/roberta-base-bne. Она использует архитектуру RoBERTa для классификации последовательностей; размер модели — 151,8 млн параметров, контекст — до 514 токенов. В карточке приведены результаты оценки: accuracy 0,858 и loss 0,4597. Модель предназначена для задач классификации текста, однако карточка не описывает метки классов, обучающий набор данных или конкретные сценарии применения. Распространяется в формате safetensors по лицензии Apache-2.0.

TalkTix разработала модель на базе RoBERTa для классификации обращений в службу поддержки по четырём уровням влияния сбоя на работу клиента: клиент может продолжать работу, не может работать, не может работать несколько сотрудников или не может работать отдел. Модель предназначена для сортировки обращений и оценки их приоритета при обработке службой поддержки. Это модель классификации последовательностей RobertaForSequenceClassification на PyTorch с 151,8 млн параметров и контекстом до 514 токенов. Она обучена на сбалансированном наборе из 28 000 анонимизированных обращений; карточка указывает английский язык. Лицензия — MIT. В опубликованной матрице ошибок заметны частые смешения категорий, особенно для случаев, затрагивающих нескольких сотрудников или отдел. В README также отмечено, что ошибка на валидации почти не менялась в ходе обучения; перед использованием для автоматической приоритизации стоит проверить качество на данных конкретной службы поддержки.

mnavas/roberta-finetuned-CPV_Spanish — модель на базе PlanTL-GOB-ES/roberta-base-bne, дообученная для классификации испанских документов о государственных закупках. Она предсказывает первые две цифры кодов CPV, относящие закупку к одной из товарных или сервисных категорий; обучение проводилось на наборе документов по закупкам за 2019 год. Модель построена на RoBERTa, содержит 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Модель предназначена для предварительной категоризации закупок по CPV, например, при обработке объявлений и документов закупочных процедур. Она классифицирует только уровень дивизионов по первым двум цифрам кода, поэтому не заменяет определение полного CPV-кода. Опубликована по лицензии Apache 2.0.

RelBERT — модель на архитектуре RoBERTa Large, дообученная из roberta-large библиотекой RelBERT на наборе relbert/semeval2012_relational_similarity. Она предназначена для получения признаковых представлений текста, которые помогают решать задачи понимания семантических отношений: определять аналогии, классифицировать лексические отношения и сопоставлять отношения между понятиями. Модель содержит 454,1 млн параметров, работает с текстом и имеет контекст до 514 токенов. В карточке приведены результаты на нескольких наборах для аналогий и классификации отношений, включая точность 0,946 на Google и F1 0,954 на K&H+. Использование описано через библиотеку RelBERT. Язык модели и лицензия в предоставленных данных не указаны.

RoBERT-base — румынская версия BERT, разработанная для работы с текстом на румынском языке. Это предварительно обученный энкодер с 12 слоями, скрытым размером 768 и 12 головами внимания; обучение проводилось с задачами masked language modeling и next sentence prediction. В карточке указано 114 млн параметров, а метаданные репозитория содержат 142,3 млн; длина контекста составляет 512 токенов. Модель uncased и доступна в форматах PyTorch, TensorFlow и Flax. RoBERT-base предназначена для последующей адаптации к задачам классификации текста, анализа тональности, определения диалекта и тематической классификации, а также восстановления диакритики. Обучение выполнено на подборке румынских корпусов Oscar, RoTex и RoWiki. В README приведены результаты для ряда задач, включая анализ тональности и классификацию молдавского и румынского вариантов языка. Это базовая предварительно обученная модель, поэтому для прикладных задач обычно требуется дообучение или отдельная модельная голова. Она рассчитана на румынский язык и ограничена контекстом в 512 токенов. Лицензия в предоставленных данных не указана.