I.11Классификация, ранжирование и сопоставление

ValkB/all-MiniLM-L12-v2_HazMiner_nonevents — модель классификации текста, созданная на основе sentence-transformers/all-MiniLM-L12-v2 с помощью SetFit. Разработчик карточки использовал обучение с малым числом примеров: дообучил Sentence Transformer контрастивным методом, а затем обучил классификационную голову LogisticRegression. Модель содержит около 40 млн параметров, поддерживает последовательности длиной до 512 токенов по метаданным; в README указана максимальная длина 128 токенов. Классификатор различает два класса: сообщения о событиях и сообщения без событий, в частности в примерах речь идёт о наводнениях и других опасных явлениях. Модель предназначена для отбора и категоризации текстовых сообщений по наличию события, например для мониторинга сообщений об угрозах и происшествиях. Она принимает текст и выдаёт метку класса. Базовая модель описана как компактная англоязычная модель эмбеддингов; примеры и обучающие данные в карточке англоязычные. Репозиторий использует PyTorch и библиотеку SetFit. Лицензия — Apache-2.0.

BEiT-v2 Base — модель классификации изображений и визуальный backbone из библиотеки timm. Она обучена на ImageNet-1k с помощью самоконтролируемого masked image modeling: VQ-KD-энкодер, использующий визуальный токенизатор на основе учителя OpenAI CLIP B/16, формирует целевые представления. Затем модель дообучена на ImageNet-22k и ImageNet-1k. Модель содержит 86,5 млн параметров, использует архитектуру Vision Transformer с патчами 16×16 и рассчитана на изображения 224×224. Основной сценарий — классификация изображений; представления модели также можно использовать как визуальные эмбеддинги для downstream-задач компьютерного зрения. В карточке приведены код для классификации и извлечения эмбеддингов. Модель работает с изображениями и не предназначена для обработки естественного языка или генерации контента. Результаты зависят от соответствия входных изображений обучающим данным и настроек предобработки. Лицензия — Apache-2.0.

RetrievaBERT — предварительно обученный энкодерный Transformer от Retrieva, Inc., созданный на основе архитектуры MegatronBERT и предназначенный прежде всего для японского языка. Модель содержит 1,3 млрд параметров, 48 слоёв, скрытый размер 1536 и контекст до 2048 токенов. В архитектуре используются PreNorm, SwiGLU и Grouped-Query Attention; при предобучении применялась только задача Masked Language Modeling, без Next Sentence Prediction. Модель можно использовать для заполнения масок, а также дообучать для классификации текста, разметки токенов, ответов на вопросы и других downstream-задач. В карточке приведены оценки дообученных вариантов на JGLUE, но они не являются оценками исходного чекпойнта. Модель поддерживает японский и, дополнительно, английский язык; файлы опубликованы в формате Safetensors. Лицензия — Apache 2.0.

MayaGalvez/bert-base-multilingual-cased-finetuned-nli — модель классификации текстовых последовательностей на основе BERT, дообученная на наборе данных XNLI. Она предназначена для задач естественного логического вывода, например определения отношения между посылкой и гипотезой. В карточке указана точность 0,8157 на оценочной выборке. Модель содержит 205,1 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Поддерживает многоязычный сценарий благодаря базовой модели bert-base-multilingual-cased. Доступна в формате PyTorch и распространяется по лицензии Apache-2.0.

Legal BERTimbau — модель на архитектуре BERT, разработанная в рамках Project IRIS для семантического поиска по материалам Верховного суда Бразилии. Она дообучена методом masked language modeling на юридических предложениях из примерно 30 000 документов и основана на BERTimbau large. Модель преобразует предложения и абзацы в плотные векторы размерностью 1024. Её можно применять для семантического поиска и кластеризации юридических текстов; также доступны заполнение пропусков в тексте и получение эмбеддингов. Контекст ограничен 512 токенами, основной язык — португальский. Репозиторий содержит веса PyTorch и Safetensors, объём модели — 433,2 млн параметров. Лицензия — MIT. Описание указывает на обучение и проверку в системе семантического поиска, но не приводит количественных результатов или подробных оценок качества.

aired/bge-base-financial-matryoshka — англоязычная модель Sentence Transformers, дообученная на 6 300 парах текстов финансовой тематики на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 и поддерживает сравнение по косинусному сходству. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; длина последовательности — до 512 токенов. Модель подходит для семантического поиска по финансовым текстам, подбора релевантных фрагментов для RAG, поиска перефразировок, кластеризации, классификации и оценки сходства предложений. Благодаря Matryoshka-обучению эмбеддинги можно сокращать до 512, 256, 128 или 64 измерений с некоторой потерей качества. Выпущена под лицензией Apache-2.0.

dariolopez/bge-m3-es-legal-tmp-5 — модель Sentence Transformers, дообученная на базе BAAI/bge-m3 для работы с испанскими текстами юридической тематики. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, нормализует их и сравнивает с помощью косинусного сходства. Максимальная длина входа — 8192 токена; архитектура основана на XLM-RoBERTa. Модель подходит для семантического поиска и сравнения юридических текстов, поиска перефразирований, кластеризации и классификации. В README приведены результаты оценки поиска при разных размерностях векторов, от 64 до 1024; качество зависит от выбранной размерности и набора данных. Лицензия — Apache-2.0.

BidirLM-0.6B-Base — промежуточная модель семейства BidirLM, созданная командой BidirLM на основе Qwen3-0.6B-Base. Авторы преобразовали причинное внимание базовой модели в двунаправленное, обучили её методом Masked Next Token Prediction на 30 млрд токенов из многопрофильного корпуса и объединили полученные веса с исходными весами Qwen3 в пропорции 50/50. Модель содержит около 508 млн параметров, имеет плотную архитектуру BidirLMForMaskedLM и контекст до 40 960 токенов. Модель предназначена для заполнения пропусков и как промежуточная основа для дообучения под последующие задачи обработки текста. Для получения общих эмбеддингов авторы рекомендуют вариант BidirLM-0.6B-Embedding с дополнительным контрастивным обучением. Метаданные также отмечают возможности классификации текста и токенов, а также интерфейсы чата и вызова инструментов. Модель поддерживает многоязычный текст; среди языков карточки указаны арабский, болгарский, бенгальский, китайский? Нет, карточка перечисляет языки, включая английский, немецкий, французский, испанский, японский, корейский и хинди. Для загрузки требуется Transformers с trust_remote_code=True; исходная версия обучалась на Transformers 4.57.6, а текущая версия карточки адаптирована для Transformers 5 и выше. Лицензия — Apache-2.0.

Blending Embedder — модель SentenceTransformer, разработанная sowthri-industrial-ai и дообученная на базе intfloat/e5-base-v2. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 768 и предназначена для семантического поиска и извлечения релевантных фрагментов. Архитектура состоит из BERT, среднего pooling и нормализации; сходство векторов можно оценивать косинусной мерой. Модель принимает текстовые последовательности длиной до 512 токенов. Примеры обучающего набора показывают пары запросов и текстовых фрагментов о возобновляемом дизельном топливе, его свойствах, стандартах и применении в двигателях, поэтому модель может быть полезна для поиска по подобной технической документации. Лицензия в предоставленных данных не указана.

BusinessBERT — англоязычная модель на основе двунаправленного энкодера BERT, разработанная для NLP-задач в бизнес-сфере. Она предварительно обучена на корпусах деловой коммуникации общим объёмом 2,23 млрд токенов: годовой отчётности компаний, содержимом корпоративных сайтов и научной литературе. Помимо masked language modeling, при обучении использовалась классификация отрасли документа. Модель содержит 135,8 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch по лицензии CC BY 4.0. BusinessBERT предназначена для дообучения на классификации текстов, распознавании именованных сущностей, анализе тональности и ответах на вопросы о бизнес-документах. В карточке приведены результаты оценки на финансовых и деловых наборах данных для этих задач. Метаданные Hugging Face указывают pipeline-задачу fill-mask; модель также можно применять для заполнения маскированных токенов. Для прикладных задач из README может потребоваться дообучение.

Aratako разработал c4ai-command-r-v01-japanese-instruct — японскую инструктивную донастройку модели Cohere c4ai-command-r-v01 с использованием набора ichikara-instruction. Это плотная авторегрессионная языковая модель CohereForCausalLM на 35 млрд параметров; в репозитории представлены веса Safetensors. Контекст модели составляет 8192 токена, а в обучении использовалась максимальная длина последовательности 2048 токенов. Модель предназначена для генерации ответов и выполнения инструкций на японском языке. Автор приводит оценки на японских наборах JSQuAD, JCommonsenseQA, JNLI и MARC-ja: средний результат вырос с 0,783 у исходной модели до 0,806. В тесте Japanese MT-Bench средняя оценка немного снизилась — с 7,35 до 7,15; автор также отмечает, что в проверенных ответах стало меньше примесей английского. Английский язык также указан среди поддерживаемых языков. Модель распространяется по лицензии CC-BY-NC-SA 4.0; README также указывает на применимость политики допустимого использования C4AI. Она не предназначена для коммерческого использования в рамках указанной лицензии.

cyberagent/ca-reward-3b-ja — CyberAgent разработала эту японскую модель вознаграждения для оценки предпочтительности ответа на инструкцию. Она классифицирует ответы и количественно оценивает, насколько они предпочтительны; её можно использовать для сравнения вариантов ответа и оценки диалоговых моделей. Модель основана на SB Intuitions Sarashina 2.2 3B Instruct и дообучена полным обновлением параметров на 601 348 примерах с псевдометками предпочтений, созданными с помощью LLM-as-a-judge. Архитектура — плотная Llama для классификации последовательностей; число параметров — 3,1 млрд, контекст — до 8192 токенов. README описывает оценку на японских примерах HelpSteer3 и llm-jp-chatbot-arena; на этих наборах точность составила 0,7032 и 0,5366 соответственно. Модель выпущена в 2025 году под лицензией Apache-2.0. Часть обучающих ответов взята из набора cyberagent/calm2-7b-chat-dpo-experimental с лицензией CC-BY-4.0.

convnext_large_mlp.clip_laion2b_soup_ft_in12k_320 — визуальная модель семейства ConvNeXt, опубликованная Ross Wightman в timm. Это визуальная башня CLIP, предварительно обученная OpenCLIP на наборе LAION-2B, а затем адаптированная для классификации изображений на ImageNet-12k. Модель содержит 216,8 млн параметров и рассчитана на изображения размером 320 × 320 пикселей. Модель предназначена для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Такие представления можно использовать как основу для переноса обучения и других задач компьютерного зрения. В README не указаны языки, поскольку модель обрабатывает изображения и не принимает текст. Репозиторий распространяется по лицензии Apache-2.0. Объём вычислений составляет 70,2 GMACs; для работы с изображениями требуется учитывать вычислительные затраты модели.

CPUBone B3 — модель классификации изображений и извлечения признаков из семейства CPUBone, разработанная авторами соответствующей научной работы и преобразованная в формат state-dict библиотеки timm. Архитектура сочетает варианты grouped MBConv, уменьшенные свёрточные ядра и механизм внимания LowFormer в двух последних стадиях. Модель обучена на ImageNet-1k и принимает изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по классам ImageNet-1k, получения эмбеддингов и извлечения многомасштабных карт признаков. CPUBone спроектирована для эффективного вывода на CPU: она балансирует небольшое число операций с производительностью исполнения на аппаратуре с ограниченными возможностями параллелизма. Чекпойнт содержит 40,7 млн параметров и требует 4,1 GMACs. Качество и задержка на CPU зависят от оборудования, среды выполнения, способа экспорта и размера пакета; приведённые в карточке измерения относятся к конкретной методике и устройствам. Лицензия — Apache 2.0.

DeepX Embedding v1.0 — плотная модель эмбеддингов от DXTech Asia для поиска по вьетнамским юридическим документам. Она преобразует текст в векторы для поиска похожих документов и извлечения релевантных материалов. По карточке модели, архитектура сочетает линейное внимание Gated DeltaNet-2 с повторным использованием весов Hyperloop; также заявлены Matryoshka-эмбеддинги размерностью от 256 до 1536 и ColBERT-выход для дополнительного ранжирования по векторам токенов. Метаданные каталога указывают 946,8 млн параметров, карточка README — 772 млн; размер модели указан противоречиво.

Luwayy разработал модель классификации изображений последствий стихийных бедствий на основе Vision Transformer ViT. Это дообученная версия google/vit-base-patch16-224-in21k с архитектурой ViTForImageClassification и примерно 113,2 млн параметров; модель обрабатывает изображения размером 224×224 и относит их к одному из шести классов: повреждённая инфраструктура, пожар, ущерб людям, наземное бедствие, отсутствие ущерба или водное бедствие. Она предназначена для сортировки и первичной оценки снимков при анализе последствий чрезвычайных ситуаций. Модель распространяется в формате safetensors; сведения о лицензии отсутствуют.

zeromodels/electra_base_discriminator — конверсия базового энкодера ELECTRA от Google в формате Keras 3 для zeromodels. Это двунаправленный Transformer-энкодер в стиле BERT, предварительно обученный различать исходные и заменённые токены; репозиторий содержит backbone для последующей настройки, а не генератор ELECTRA. Реализация работает с TensorFlow, PyTorch и JAX и использует WordPiece-токенизатор. Модель предназначена для извлечения текстовых представлений и подготовки энкодера к downstream-задачам. С добавлением или дообучением подходящей головы её можно применять для классификации последовательностей и токенов, например NER и разметки частей речи; карточка также указывает на использование дискриминаторных чекпойнтов для вопросов и ответов. Головы задач, отсутствующие в чекпойнте, инициализируются случайно и требуют настройки. Базовая модель ориентирована на английский язык. Лицензия — Apache 2.0.

EmbeddingGemma-300m Legal Spanish — модель Sentence Transformers, созданная дообучением google/embeddinggemma-300m на 300 тысячах пар запросов и релевантных документов из испаноязычного юридического датасета. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и сравнения текстов; сходство оценивается косинусной мерой. Модель принимает текст, поддерживает испанский язык и обрабатывает последовательности длиной до 2048 токенов. Модель предназначена прежде всего для поиска релевантных юридических документов на испанском языке. В README приведены результаты оценки поиска на двух наборах legal-spanish-eval; такие показатели относятся к указанным тестовым наборам и не гарантируют качество на других данных. Модель выпущена под лицензией Apache-2.0.

hfl/english-pert-base — англоязычная модель семейства BERT от hfl для извлечения признаков из текста. Она подходит для получения векторных представлений токенов и текста в задачах, где требуется использовать признаки BERT как вход для последующей обработки. Модель содержит 136,7 млн параметров, использует архитектуру BertModel и принимает последовательности длиной до 512 токенов. Английские модели этого семейства не учитывают регистр: текст приводится к нижнему регистру. Доступны веса PyTorch и TensorFlow. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные работы на тех же условиях с ограничением некоммерческого использования.

EvoQuality — модель оценки качества изображений без эталонного изображения, разработанная ByteDance. Она поддерживает оценку отдельного изображения по шкале от 1 до 5 и попарное сравнение изображений, позволяя ранжировать их по воспринимаемому качеству. Модель основана на плотной мультимодальной архитектуре Qwen2.5-VL-7B с 7,1 млрд параметров и контекстом до 128 000 токенов; принимает изображения и текстовые инструкции, выдаёт текстовые оценки или выбор лучшего изображения. Веса получены полным дообучением Qwen2.5-VL-7B методом GRPO с псевдометками предпочтений, сформированными голосованием самой модели. В описанных zero-shot испытаниях EvoQuality улучшила корреляцию с человеческими оценками относительно базовой модели на нескольких наборах данных и показала перенос на разные искажения и AI-сгенерированные изображения. Модель подходит для исследовательской оценки, ранжирования и фильтрации изображений, а также как вспомогательный сигнал при очистке данных. Оценки отражают субъективное восприятие качества и могут зависеть от домена, формулировки запроса и способа генерации ответа. Самостоятельные псевдометки могут наследовать предпочтения и слепые зоны базовой модели; для медицинских, спутниковых и промышленных изображений возможен сдвиг домена. Не следует использовать результат как единственное основание для решений с высокими последствиями. Лицензия — Apache-2.0.

Fleet Semantic 4B — экспериментальная языковая модель проекта Fleet на базе Qwen/Qwen3-4B-Instruct-2507. Это причинная модель с архитектурой FleetForCausalLM, в которой семантическая маршрутизация к специалистам встроена в генерацию: модель может задействовать одного или двух специалистов либо оставить запрос базовой модели. В опубликованный чекпойнт входят backbone и параметры Fleet; отдельно загружать Qwen для инференса не требуется. Модель содержит специалистов по количественным рассуждениям, медицинским рассуждениям, узкому извлечению юридической информации, классификации намерений, вызову функций и структурированному выводу. Архитектура допускает динамическую установку совместимых пакетов специалистов формата .fleet. Модель принимает текст и генерирует текст; размер по метаданным — 3,7 млрд параметров, контекст — до 262 144 токенов. README описывает проект как исследовательский прототип: проверены загрузка, генерация и операции с экспертами, но пока не установлено, что Fleet улучшает результаты на всех задачах относительно базовой Qwen. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория и базовой модели.

Карточка модели isahsn/FoodExtract-gemma-3-270m-fine-tune-v1 на Hugging Face совпадает с карточкой adodabele/FoodExtract-gemma-3-270m-fine-tune-v1, поэтому описание составлено по ней. FoodExtract-v1 — компактная текстовая модель для извлечения сведений о еде и напитках из произвольного текста. Её разработчик дообучил Gemma 3 270M Instruct (257 млн параметров) на 1400 примерах набора FoodExtract-1k; примеры включают текст и структурированные результаты, подготовленные с помощью gpt-oss-120b. Модель классифицирует текст как связанный или не связанный с едой и напитками, назначает тематические теги и извлекает съедобные продукты и напитки в виде списков. Её можно применять для фильтрации больших коллекций подписей к изображениям и другого текста, а также для подготовки данных о продуктах и ингредиентах. Это текстовая модель на базе Gemma 3, доступная в формате safetensors, с контекстом до 32 768 токенов. Модель предназначена для специализированного извлечения, а не для общей генерации ответов. Её обучение опирается на небольшой набор из 1400 примеров, поэтому полноту и точность извлечения на иных типах текста следует проверять. Лицензия — Gemma; использование регулируется её условиями.

Onyx Information Content Model — модель классификации текстовых фрагментов, разработанная для системы Onyx Enterprise Search. Она определяет, содержит ли короткий фрагмент информацию, полезную саму по себе для ответа на вопрос в RAG-сценарии. Модель построена на SetFit: дообученный методом контрастивного обучения Sentence Transformer на базе sentence-transformers/paraphrase-mpnet-base-v2 формирует признаки, а классификатор LogisticRegression относит текст к одному из двух классов. Модель предназначена для английского языка; максимальная длина последовательности составляет 512 токенов. В метаданных указано 136,7 млн параметров и формат safetensors. Она подходит для отбора информативных фрагментов в корпоративном поиске и подготовке контекста для ответов на вопросы. Классификация ограничена двумя классами и короткими текстовыми фрагментами; качество для других языков и сценариев не заявлено. Лицензия в предоставленных данных не указана.

deliciouscat/kf-deberta-base-cross-nli — модель классификации последовательностей на базе DeBERTa-v2, опубликованная пользователем deliciouscat на Hugging Face. Она дообучена на корейских наборах kor-nli и klue-nli для определения отношений между посылкой и гипотезой в формате NLI; карточка приводит точность 0,889667 на тесте KLUE-NLI. Модель содержит 213,1 млн параметров, использует Transformers и принимает пары текстов с контекстом до 512 токенов. Её можно применять для классификации текстовых пар и zero-shot-классификации, задавая кандидаты гипотез. Лицензия — MIT. Указанная в README настройка токенизатора обрезает вход до 128 токенов.

axondendriteplus/Legal-Embed-bge-base-en-v1.5 — англоязычная модель эмбеддингов, дообученная на базе BAAI/bge-base-en-v1.5 для поиска по юридическим документам и систем RAG. Она использует плотную архитектуру BERT и SentenceTransformers, содержит 136,7 млн параметров и принимает текст длиной до 512 токенов. Модель преобразует юридические тексты в векторы для семантического поиска и подбора фрагментов к вопросам. Обучение с MatryoshkaLoss рассчитано на использование эмбеддингов разных размерностей: в README приведены результаты для 768, 512 и 256 измерений, а также варианты 128 и 64 измерения с меньшими требованиями к хранилищу. В опубликованной оценке на юридическом наборе тонкая настройка улучшила NDCG@10 относительно базовой модели. Разработчик — axondendriteplus. Модель распространяется по лицензии Apache-2.0. Она предназначена для английского языка и сама по себе не генерирует ответы: для RAG её эмбеддинги нужно использовать вместе с поисковым индексом и генеративной моделью. Заявленные метрики относятся к оценке из карточки и не гарантируют качество на других коллекциях юридических текстов.

nishp24/legalmind-embedder-v2 — дообученный Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2 для получения семантических векторов предложений и абзацев. Модель кодирует текст в плотные векторы размерности 384 и предназначена для поиска и сравнения фрагментов по косинусному сходству; в архитектуре используются BertModel, усредняющий pooling и нормализация. В карточке приведён пример обучения на 5 993 парах текстов, связанных с законодательством, что указывает на специализацию для поиска по правовым материалам. Модель принимает только текст. Метаданные указывают 25,9 млн параметров и лимит контекста 512 токенов, а README сообщает максимальную длину последовательности 256 токенов. Базовая модель англоязычная, и примеры обучающих данных также на английском, поэтому применение ориентировано прежде всего на английские юридические тексты. Лицензия в предоставленных данных не указана.

Llama-3.1-Tulu-3-8B-DPO-RM-RB2 — англоязычная модель оценки предпочтений, разработанная Allen Institute for AI и выпущенная в наборе из семи серий reward-моделей для RewardBench 2. Это классификатор последовательностей на архитектуре Llama, дообученный на бинарных данных предпочтений; в метаданных указано 7,5 млрд параметров и контекст до 131 072 токенов. Модель присваивает оценку тексту или ответу, помогая сравнивать варианты и выбирать более предпочтительный. Модель предназначена для ранжирования ответов и исследований методов обучения с подкреплением по предпочтениям, включая оценку Best-of-N и PPO. Для основной версии в README приведены результаты RewardBench 2; также доступны ревизии с разными обучающими данными и гиперпараметрами. Указанные обучающие наборы включают llama-3.1-tulu-3-8b-preference-mixture и Skywork-Reward-Preference-80K-v0.2. Модель принимает текст и выдаёт классификационную оценку, а не готовый ответ пользователю. В README и метаданных указан английский язык. Репозиторий использует PyTorch и формат Transformers; лицензия — Llama 3.1 Community License Agreement.

Seraphic663 разработал полно-параметрический чекпойнт LRAT Qwen3-Embedding-0.6B, дообученный на базе Qwen/Qwen3-Embedding-0.6B для соревнования CCIR LRAT. Модель преобразует текстовые запросы и фрагменты документов в нормализованные эмбеддинги для поиска релевантных пассажей по запросу. Используется архитектура Qwen3 с 507,6 млн параметров; заявленная длина контекста — 32 768 токенов. Для обучения применялись только официальные пары LRAT, два этапа обучения и пулинг последнего токена. Модель предназначена для извлечения признаков и семантического поиска, в частности для подбора фрагментов, отвечающих на веб-поисковые запросы. В README приведены высокие метрики Recall и MRR на диагностической выборке, однако все 500 запросов этой выборки встречались в обучении, поэтому результаты не являются оценкой на отложенных данных и не подтверждают качество на лидерборде. В метаданных указан английский язык. Лицензия в предоставленных данных не указана.

LUKE — предварительно обученная контекстная модель понимания языка, разработанная для представления слов и сущностей. Она основана на трансформере и использует механизм entity-aware self-attention, учитывающий, является ли токен словом или сущностью. Версия luke-base содержит 12 слоёв со скрытым размером 768; в метаданных указано 151,9 млн параметров, контекст — до 514 токенов. README приводит другое число параметров — 253 млн. Модель обучена на версии Википедии за декабрь 2018 года. Её представления применимы в задачах заполнения масок, распознавания именованных сущностей, типизации сущностей, классификации отношений и извлечения ответов на вопросы. В README приведены результаты LUKE на нескольких языковых бенчмарках, но не все результаты относятся именно к luke-base. Модель рассчитана на английский язык и распространяется по лицензии Apache 2.0.

LUKE-large — предварительно обученная модель понимания языка, разработанная исследователями, представившими LUKE (Language Understanding with Knowledge-based Embeddings). Она использует трансформер с механизмом entity-aware self-attention: слова и сущности в тексте рассматриваются как отдельные токены, а их типы учитываются при вычислении внимания. Модель содержит 454,1 млн параметров по метаданным; в README указано 483 млн. Архитектура включает 24 слоя со скрытым размером 1024, а базовое обучение проводилось на англоязычной Википедии за декабрь 2018 года. Основная задача в карточке Hugging Face — заполнение пропусков в тексте. Представления LUKE также применялись для извлечения ответов на вопросы, распознавания именованных сущностей, классификации отношений и определения типов сущностей; README приводит результаты на SQuAD, CoNLL-2003, ReCoRD, TACRED и Open Entity. Модель ориентирована на английский язык и имеет контекст до 514 токенов. Доступна в формате PyTorch по лицензии Apache-2.0.