I.11Классификация, ранжирование и сопоставление

deka-qwen3-emb-0.6b-weight-lawyer — тайская плотная модель эмбеддингов, созданная Anonymous Research путём полного дообучения Qwen/Qwen3-Embedding-0.6B для поиска дел Верховного суда Таиланда. Она сопоставляет запросы с текстами судебных дел в сценарии, где запросы обучались на текстах раздела fact, а документы относятся к регистру lawyer. Модель использует представление последнего токена с левым дополнением и L2-нормализацией; для запросов требуется префикс-инструкция, использованный при обучении, а документы подаются без него. Модель содержит 507,6 млн параметров, принимает текст и выдаёт векторы для семантического сходства и поиска. Максимальная длина контекста — 32 768 токенов, хотя при обучении использовались длины до 1300 токенов для документов и 256 для запросов. В тестах на полном корпусе чистых судебных релевантностей полнота на 10 для запросов регистра fact составила 32,86%, для lawyer — 26,67%, для user — 13,33%; качество заметно зависит от регистра запроса. Лицензия — Apache-2.0.

EmbeddingGemma-300m Legal Spanish — модель Sentence Transformers, разработанная Wilfredo Martel путём дообучения google/embeddinggemma-300m на наборе испанских юридических запросов и релевантных текстов. Она преобразует предложения и абзацы на испанском языке в плотные эмбеддинги размерностью 768 для семантического поиска по юридическим материалам, сопоставления сходства и извлечения релевантных документов. Модель основана на текстовой архитектуре Gemma 3, содержит 302,8 млн параметров и принимает последовательности длиной до 2048 токенов. Для сравнения векторов используется косинусное сходство. В README приведены результаты оценки поиска на испанских юридических наборах данных; модель также подходит для кластеризации и классификации текста. Лицензия — Apache-2.0. Модель рассчитана на испанские юридические тексты. Она выдаёт векторы признаков, а не готовые ответы или юридические заключения; качество вне юридического домена и испанского языка в предоставленных материалах не охарактеризовано.

Это дообученная модель эмбеддингов на базе Google EmbeddingGemma 300M, разработанная для поиска и сопоставления текстов о здоровье на норвежском языке. Она построена на архитектуре Gemma 3 Text и преобразует текст в векторы размерности 768; поддерживает контекст до 2048 токенов. Модель обучена на 330 120 триплетах из норвежских медицинских документов с CachedMultipleNegativesRankingLoss, объединяющим явные сложные негативные примеры и негативные примеры из пакета. Она предназначена для медицинского семантического поиска, информационного поиска и извлечения документов для RAG-систем и ответов на медицинские вопросы. Модель оптимизирована для норвежских медицинских текстов, поэтому её качество на других языках и в других предметных областях может быть ниже. Лицензия — Gemma.

Erlangshen-Roberta-330M-NLI — китайская модель классификации последовательностей из семейства Erlangshen, разработанная IDEA-CCNL. Это дообученная версия chinese-roberta-wwm-ext-large для задач естественного языкового вывода (NLI); она обучена на четырёх китайских наборах данных NLI общим объёмом около 1,01 млн примеров. Архитектура — RoBERTa на базе BERT с классификационной головой; в метаданных указано 424,3 млн параметров и контекст до 512 токенов. Модель предназначена для определения логического отношения между текстовыми посылками и гипотезами на китайском языке. В README приведены результаты на CMNLI, OCNLI и SNLI. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Erlangshen-Ubert-330M-Chinese — китайская модель семейства UBERT от проекта Fengshenbang-LM, разработанная для понимания языка и извлечения информации. В карточке Hugging Face указана архитектура BERT с головой BertForMaskedLM, 424,3 млн параметров и контекст до 512 токенов; README описывает UBERT как унифицированную многозадачную систему на основе MacBERT-Large, обученную на более чем 70 наборах данных с общим объёмом около 1,07 млн примеров. Модель предназначена для заполнения маскированных токенов и может применяться в задачах извлечения сущностей, понимания естественного языка и ответов на вопросы по тексту. В соревновании AIWIN 2022 по многозадачному пониманию небольших китайских страховых выборок решение заняло первое место в двух таблицах результатов. Модель принимает и выдаёт текст на китайском языке. Лицензия — Apache-2.0.

Fashion Image Search — модель поиска похожих товаров в каталоге одежды и аксессуаров по изображению, созданная автором shalev396. Изображение обрабатывает замороженная MobileNetV2 с весами ImageNet и 2 257 984 параметрами: она извлекает вектор признаков размерности 1280, который PCA-проекция сокращает до 256 измерений, после чего вектор нормализуется. Поиск точный, по косинусному сходству среди заранее проиндексированных 8 000 товаров; результаты включают ближайшие совпадения с названием, категорией и миниатюрой. Модель предназначена для визуального поиска по модному каталогу: пользователь загружает фотографию товара и получает визуально похожие позиции. На отложенной выборке из 500 изображений точность совпадения типа товара среди пяти ближайших результатов составила 72,8%, а совпадения главной категории — 97,0%. Репозиторий содержит TensorFlow/Keras-модель извлечения признаков, проекцию PCA и индекс каталога; README также описывает использование через Python, Gradio API и Hugging Face Inference Endpoints. Модель использует только изображения и не была дообучена на данных модной индустрии: ImageNet-признаки отражают формы и текстуры, поэтому поиск находит визуально похожие товары, а не обязательно товары того же бренда, цены или стиля. Индекс ограничен фиксированным каталогом Myntra из 8 000 товаров, в основном снятых на белом фоне; уличные снимки, необычные ракурсы, несколько объектов в кадре и редкие категории снижают качество. Изображение без кадрирования искажается при масштабировании до 224×224. Лицензия — MIT.

Finance Sentiment PL (base) — модель компании bards.ai для классификации тональности польских финансовых новостей. Она построена на базе allegro/herbert-base-cased и дообучена на польском переводе набора Financial PhraseBank. Архитектура — BERT с классификационной головой; модель содержит 151,6 млн параметров и принимает последовательности длиной до 514 токенов. Модель относит текст к одному из трёх классов: положительному, отрицательному или нейтральному. Её можно использовать для анализа новостных публикаций и тональности финансовых фраз. В README указаны macro F1 0,969, точность 0,971 и полнота 0,968; эти результаты получены при оценке на Financial PhraseBank. Модель распространяется по лицензии CC BY 4.0.

finbert-indonesia-finansial — модель классификации текста на основе BERT, дообученная EgoWidiarto от mdhugol/indonesia-bert-sentiment-classification. Она предназначена для классификации финансовых текстов на индонезийском языке; название указывает на финансовую специализацию, однако README не уточняет набор меток и состав обучающих данных. Модель содержит 151,6 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. В README указана точность 0,8083 и значение функции потерь 1,2178 на оценочном наборе, но его состав и методика оценки не описаны. Модель опубликована в формате safetensors для библиотеки Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Модель nickmuchi/finbert-tone-finetuned-finance-text-classification разработана как дообученная версия yiyanghkust/finbert-tone для классификации финансовых текстов. Это модель семейства BERT с архитектурой BertForSequenceClassification, содержащая 137 млн параметров и рассчитанная на контекст до 512 токенов. Модель обучена на объединённом наборе финансовых текстов, включающем financial_phrasebank, FinanceInc/auditor_sentiment и zeroshot/twitter-financial-news-sentiment. Её можно применять для классификации тональности и других меток в финансовых текстах. В карточке приведены результаты оценки: accuracy 0,9097 и F1 0,9102. Модель принимает текст и выдаёт метки классификации. Карточка указывает английский язык. Доступны веса PyTorch и Safetensors; лицензия в предоставленных данных не указана.

EIStakovskii/french_toxicity_classifier_plus_v2 — классификатор токсичности французского текста, разработанный на основе CamemBERT и дообученный для присвоения меток токсичности. Модель принимает текст и выдаёт результат классификации; её можно использовать через pipeline text-classification в Transformers. Архитектура — CamembertForSequenceClassification, размер — 137,8 млн параметров, контекст — до 514 токенов. Модель предназначена для выявления токсичных высказываний на французском языке, например при модерации пользовательских сообщений. В README приведены результаты проверки на двух наборах данных и сравнение с Perspective API; качество различалось в зависимости от набора. Лицензия указана как other, поэтому перед использованием следует проверить условия в репозитории модели.

predict2 — дообученная модель на основе InternLM2.5-1.8B-Chat, созданная автором репозитория для работы с расширенным набором данных. Это плотная авторегрессионная языковая модель на 1,7 млрд параметров с контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors и рассчитан на использование через Transformers. Модель поддерживает диалог и может применяться для генерации текста, классификации текста и извлечения признаков. Модель подойдёт для экспериментов и задач, где нужна компактная дообученная языковая модель. В README приведено значение loss 0,2200 на наборе оценки, но описание набора данных и методики оценки отсутствует, поэтому этот результат не позволяет судить о качестве на конкретных пользовательских задачах. Лицензия указана как other; условия использования следует сверить с карточкой модели и лицензией базовой модели.

kykim/funnel-kor-base — базовая модель Funnel Transformer для корейского языка. По README, её обучили на 70 ГБ корейских текстов с токенизатором на 42 000 подслов в нижнем регистре. Модель загружается через Transformers как FunnelModel и предназначена для извлечения признаков из текста; контекст составляет до 512 токенов. Полученные представления можно использовать как основу для последующих задач обработки корейского текста. В метаданных указаны реализации PyTorch и TensorFlow. Лицензия в предоставленных данных не указана.

gpt-alpha-bg-14m-onnx — небольшая языковая модель на 13,77 млн параметров, созданная glassbox с нуля для генерации болгарского текста и оценки его естественности. Она обучена на смешанном болгарском корпусе объёмом около 300 млн токенов и экспортирована в ONNX; динамическая квантизация int8 уменьшает размер графа до 17,3 МБ. Модель можно запускать локально в браузере через onnxruntime-web или использовать из Python с onnxruntime и tokenizers. Архитектура включает 6 слоёв, 6 голов внимания, размерность эмбеддингов 384 и контекст до 256 токенов; используются RoPE, RMSNorm, SwiGLU и связанные веса эмбеддингов. Модель подходит для генерации текста в заданном стиле и для сравнения кандидатов по языковой беглости, например при фильтрации результатов OCR, распознавания речи или машинного перевода. Модель не предназначена для извлечения фактов или следования инструкциям: её ответы могут быть грамматически правильными, но неверными, а контекст ограничен 256 токенами. На тестах знаний она не показывает надёжного результата; также она не является детектором транслитерации или бессмыслицы. Поддерживается только болгарский язык. Лицензия — MIT.

Mannas/legal-bge-in — англоязычная модель эмбеддингов для семантического поиска по решениям Верховного суда Индии и Высокого суда Дели. Это дообученная Mannas версия BAAI/bge-base-en-v1.5 на базе BERT с 136,7 млн параметров; модель создаёт нормализованные векторы размерности 768 для юридических текстов. При сравнении через скалярное произведение получается косинусное сходство. Контекст ограничен 512 токенами. Модель предназначена для поиска судебных решений по юридическим вопросам и ранжирования релевантных фрагментов: например, помогает различать дела о неоплате чека по §138 NI Act и мошенничестве по §420 IPC, а также запросы об anticipatory и regular bail. В описанной проверке на 447 синтетических вопросах по фиксированному набору кандидатов модель превзошла базовую BGE по Recall@10 и MRR@10; абсолютные оценки относятся к сокращённому набору, а вопросы сгенерированы ИИ, поэтому результаты не гарантируют такую же эффективность на реальных запросах. Обучение проводилось на парах вопросов и фрагментов публичных судебных решений без человеческой разметки. Лицензия — MIT.

Экспериментальный текстовый адаптер lilquail для LingBot-Vision-Giant, обученный связывать текстовые признаки Qwen3.5-0.8B с патч-признаками изображения. Обучалась только выравнивающая голова примерно на 1,58 млн параметров; признаки 2 048 тегов сохранены вместе с адаптером. Голова проецирует признаки изображения и текста в нормализованное 256-мерное пространство и оценивает сходство для каждого патча и тега. Модель предназначена для поиска тегов на изображении и получения пространственных карт отклика по запросам, например для определения областей, связанных с понятием «меч». Обучение проводилось с разметкой на уровне изображения на датасете Booru-Essence; доступны сохранённые запросы, а для новых текстовых запросов при инференсе требуется загрузить Qwen3.5-0.8B. Качество и пространственное поведение зависят от изображения, запроса и разрешения, а вне обученного словаря результаты могут быть ограничены. Адаптер распространяется по лицензии CC BY-NC-SA 4.0.

Это модель Longformer-base, дообученная на наборе данных Machine-Paraphrased Plagiarism Dataset для классификации текста при обнаружении плагиата, созданного машинным перефразированием. Она предназначена для проверки текстов на сходство с возможным источником плагиата и классификации таких случаев. Архитектура LongformerForSequenceClassification содержит 151,8 млн параметров и поддерживает контекст до 4098 токенов. Модель принимает текст и выдаёт метки классификации; карточка указывает английский язык. Веса доступны в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

LennartKeller дообучил Longformer на подвыборке из 500 млн токенов немецкой части корпуса OSCAR. Веса инициализированы немецкой моделью GottBERT, а архитектура Longformer использует локальное внимание с окном 512 токенов и поддерживает последовательности длиной до 8192 токенов; в метаданных указан контекст 8194 токена. Модель содержит 153,2 млн параметров. Модель предназначена для извлечения признаков из длинных немецкоязычных текстов и предсказания замаскированных токенов. В пользовательской оценке на собственном наборе данных указана потеря 1,4981. Доступны веса в форматах PyTorch и safetensors. Информация о лицензии в предоставленных данных отсутствует.

LT-MLKM-modernBERT — литовская маскированная языковая модель, разработанная Государственным агентством цифровых решений Литвы в рамках проекта по созданию корпуса и векторизованных языковых моделей. Она основана на ModernBERT-base и предназначена прежде всего для предсказания пропущенных фрагментов текста по контексту, а также как основа для дообучения под задачи обработки литовского языка. Модель содержит 159,4 млн параметров, использует архитектуру ModernBERT и токенизатор с литовским словарём на 64 000 токенов. Контекст составляет до 8 192 токенов. Предварительное обучение проводилось на литовском текстовом корпусе объёмом около 49 млрд токенов, включающем новости, юридические, академические и государственные тексты. В карточке приведены результаты оценки на задаче распознавания именованных сущностей после дообучения. Модель подходит для заполнения масок и как база для разработки классификаторов, систем распознавания сущностей и других приложений понимания литовского текста. Для специализированных задач требуется дообучение. Она не оптимизирована для свободной генерации или диалогов; при таком использовании ответы могут быть неполными или несогласованными. Лицензия — Apache-2.0.

ScriptEdgeAI/MarathiSentiment-Bloom-560m — модель классификации тональности текстов на маратхи, обученная Венкатешем Сони при содействии Раянша Сриваставы и под руководством Акшая Угале и Мадхукара Алхата. Это дообученная версия языковой модели bigscience/bloom-560m с архитектурой BLOOM и примерно 659,6 млн параметров. Модель предназначена для определения тональности маратхских текстов. В README приведена точность 76,0 на валидационной выборке; описание не уточняет набор классов и метрику для этого результата. Максимальная длина контекста — 2048 токенов. Модель принимает текст и выдаёт метку классификации. Указанная лицензия — CC BY-NC 4.0, поэтому коммерческое использование не разрешено. Опубликованный результат относится к валидационной выборке и сам по себе не гарантирует аналогичное качество на других данных.

MEL (Modelo de Español Legal) — энкодерная модель на архитектуре XLM-RoBERTa-large от IIC, адаптированная для работы с испанскими юридическими текстами. Модель продолжительно предобучена с целевой функцией masked language modeling на корпусе из 5,52 млн документов, включая публикации BOE, парламентские стенограммы, судебные решения и законодательные тексты. Размер модели — 658,7 млн параметров, контекст — 514 токенов. MEL предназначена для извлечения признаков из испанских юридических текстов и может служить основой для дообучения классификаторов и других прикладных моделей. В карточке приведены результаты классификации юридических документов, в том числе F1 0,8025 на Multieurlex и 0,9260 на закрытом наборе данных. Модель поддерживает испанский язык; лицензия указана как other, поэтому условия использования следует проверять в репозитории модели.

MFANNv0.8 — дообученная модель семейства Llama, разработанная netcat420 на датасете MFANN. Она предназначена для генерации текста и ответов в формате чата; метаданные также относят её к классификации текста. В README указано, что модель основана на Llama 3 8B и обучена на версии датасета MFANN от 5 мая 2024 года. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM, принимает текст и поддерживает контекст до 8192 токенов. В README приведены результаты на наборах ARC, HellaSwag, MMLU, TruthfulQA, WinoGrande и GSM8K, включая среднее значение 68,52; методика оценки и шкала не описаны. Модель распространяется под лицензией Llama 3. Карточка не уточняет ограничения применимости и не приводит рекомендации по использованию.

mLUKE-base — базовая мультиязычная модель семейства LUKE, разработанная Studio Ousia. Это плотная трансформерная модель для предсказания замаскированных токенов; её можно использовать как основу для языкового моделирования и адаптации к задачам, связанным с сущностями и отношениями. Модель имеет 12 слоёв и скрытый размер 768; в метаданных указано 305,2 млн параметров, а README приводит оценку 585 млн с учётом эмбеддингов сущностей. Контекст — до 514 токенов. Модель инициализирована весами XLM-RoBERTa-base и обучена на данных Википедии за декабрь 2020 года на 24 языках. В карточке перечислена поддержка арабского, бенгальского, немецкого, греческого, английского, испанского, финского, французского, хинди, индонезийского, итальянского, японского, корейского, нидерландского, польского, португальского, русского, шведского, тайского и китайского; README сообщает о 24 языках, не перечисляя их все. Архитектура LUKE поддерживает работу с представлениями сущностей, а предобученные веса включают параметры entity-aware attention, отключённого по умолчанию в стандартной конфигурации. Модель подходит для продолжения предобучения и последующей настройки под задачи извлечения информации, например распознавание сущностей и классификацию отношений. Лицензия — Apache-2.0. Результаты для конкретных downstream-задач зависят от дополнительной настройки; предел контекста составляет 514 токенов.

Модель разработана участниками магистерской работы по науке о данных в Мадридском университете Комплутенсе. Это бинарный классификатор испанских заголовков, дообученный на базе jhu-clsp/mmBERT-base — многоязычного энкодера ModernBERT. Он относит заголовки к классам clickbait и no_clickbait и предназначен для выявления сенсационных или вводящих в заблуждение заголовков в цифровых СМИ. Модель можно применять для предварительной фильтрации новостных заголовков и анализа сенсационности контента на испанском языке. В карточке указаны accuracy 97% и F1 89% при пороге 0,6758; эти показатели относятся к проведённой авторами оценке и не гарантируют такого же качества на других данных. Доступ ограничен академической оценкой, коммерческое использование и распространение третьим лицам запрещены условиями карточки. Лицензия указана как other; подробности ограничений приведены авторами в README.

allenai/multicite-multilabel-scibert — модель AllenAI для многометочной классификации научных цитат. Она основана на SciBERT и предназначена для определения нескольких меток текста цитирования. Модель использует архитектуру BERT, содержит 137,1 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель подходит для классификации цитат в научных текстах и автоматической разметки корпусов научных публикаций. Она опубликована в формате PyTorch под лицензией MIT. Карточка не описывает точный набор меток и показатели качества, поэтому пригодность для конкретной схемы разметки следует проверять отдельно.

NightJar — разработанная Shuu12121 модель-энкодер на базе ModernBERT, предварительно обученная на исходном коде и естественно-языковых описаниях к нему. Это маскированная языковая модель с 109,5 млн параметров, 12 слоями трансформера и контекстом до 8192 токенов; для работы с кодом используется ByteLevel BPE-токенизатор с размером словаря 50 368 и специальными токенами для структуры кода и пробелов. Модель предназначена как основа для последующего обучения и применения в поиске кода, классификации, обнаружении похожих фрагментов и ранжировании. Она поддерживает предсказание скрытых токенов, но не является причинной языковой моделью и не предназначена прежде всего для автодополнения или диалоговой генерации кода. Для практического поиска автор рекомендует дополнительно обученные конфигурации SentenceTransformer или ColBERT. Обучение включало корпуса пар кода с описаниями, программные файлы GitHub и материалы StarCoder2 Extras; данные охватывают несколько языков программирования и английский текст. Модель распространяется по лицензии Apache-2.0.

OPOD-Qwen2.5-Omni-3B — модель Tung111, полученная постобучением Qwen/Qwen2.5-Omni-3B методом On-Policy Omni Distillation (OPOD). Это плотная мультимодальная модель семейства Qwen2.5-Omni с 3 млрд параметров, предназначенная для задач рассуждения по тексту, изображениям, аудио и видео. Она объединяет возможности нескольких модальных учителей в одной модели; в оценке авторов средний результат на 12 бенчмарках составил 46,2, что на 5,5 пункта выше базовой модели. Модель подходит для ответов на вопросы и проверяемых задач рассуждения, включая понимание изображений, диаграмм и аудио. README описывает её как замену базовой модели с теми же архитектурой и процессором; метаданные указывают поддержку английского и китайского языков. Контекст в карточке не указан. Для ожидаемого формата ответа рекомендуется задавать системную инструкцию с тегами рассуждения и финального ответа. Постобучение затрагивало путь обработки текста и рассуждений. Генерация речи унаследована от базовой модели, но не оптимизировалась и не оценивалась; в задачах рассуждения авторы рекомендуют отключать аудиовыход. Оценивание сосредоточено на проверяемых рассуждениях: свободный диалог, длинная генерация и синтез речи не входят в проверенную область, а результаты по конкурсной математике AIME остаются низкими. Лицензия указана как other, поэтому конкретные условия использования следует сверить с карточкой модели и условиями базовой модели.

Qwen3-1.7B Teacher Note Severity — дообученная с помощью LoRA модель на базе Qwen/Qwen3-1.7B, разработанная jeremierostan для классификации заметок учителей о поведении и учебных результатах учащихся. Модель принимает отдельную заметку или последовательный журнал и генерирует JSON с категорией «поощрение», «нарушение поведения» или «учебная проблема», оценкой серьёзности и признаком необходимости эскалации администрации. Модель использует плотную архитектуру Qwen3ForCausalLM с 1,7 млрд параметров и контекстом до 40 960 токенов. Она предназначена для структурированной разметки заметок и выделения случаев, требующих внимания: согласно карточке, серьёзность от 60 означает эскалацию, а поощрения получают отрицательные значения. Обучение проводилось на синтетических данных; на тесте из 200 синтетических примеров указаны точность категории 0,995, точность диапазона серьёзности 0,910 и полностью разбираемый JSON, но эти результаты не подтверждают качество на реальных школьных записях. Модель принимает текст и выдаёт текст с результатами классификации в JSON. В карточке указана лицензия Apache-2.0. Языки и переносимость результатов на реальные данные в карточке не описаны.

mp-juuuns/qwen35-standalone4l-classification-base — компактная текстовая основа для создания пользовательских классификаторов, опубликованная mp-juuuns на базе Qwen3.5-0.8B. Это плотная четырёхслойная модель Qwen3.5TextModel с чередованием линейного и полно-внимательного слоёв; она принимает текст и выдаёт представления, но не содержит классификационной головы и готовых меток. Для классификации нужно добавить голову и дообучить модель на размеченных данных. Веса получены дистилляцией и сокращением глубины исходной модели, а затем выполнено сопоставление токенизатора с уменьшенным словарём на 128 000 токенов. Модель рассчитана на многоязычный ввод, однако качество классификации на других языках, кроме английского, не проверено. Контекстное окно составляет 262 144 токена. В README приведены результаты на одной задаче и одном наборе условий; они исследовательские и не подтверждают качество в других сценариях. Лицензия — Apache-2.0.

timm/regnety_2560.seer_ft_in1k — модель классификации изображений на архитектуре RegNetY-256GF. Она предварительно обучена компанией Meta с помощью самообучения SwAV на наборе из 2 млрд случайных интернет-изображений, а затем дообучена авторами статьи на ImageNet-1k. Модель содержит около 1,283 млрд параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. В README также отмечены возможности реализации timm, включая stochastic depth и gradient checkpointing. Модель распространяется по лицензии SEER от Meta Platforms с ограничениями на использование и распространение, включая некоммерческий характер лицензии. Высокая вычислительная сложность — 747,8 GMACs — может ограничивать её применение на устройствах с ограниченными ресурсами.

RoBERTa-large-ca-v2 — трансформерная языковая модель с архитектурой RoBERTa Large, разработанная подразделением Text Mining Unit (TeMU) Барселонского суперкомпьютерного центра в рамках Projecte AINA. Модель предназначена для каталонского языка: она предсказывает пропущенные слова в тексте и может служить основой для дообучения под задачи классификации текста, распознавания именованных сущностей и ответов на вопросы. Модель содержит 454,1 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Она обучена на корпусах каталонского веб-текста и открытых источниках, включая Википедию и DOGC. В бенчмарке CLUB показала результаты для ряда задач понимания каталонского языка, в том числе NER, POS-теггинга, классификации, текстового следования, семантического сходства и ответов на вопросы. Для этих прикладных задач потребуется дообучение модели. Возможны смещения, унаследованные от обучающих данных, собранных из веб-источников; систематическая оценка таких смещений не проводилась. Лицензия — Apache License 2.0.