I.11Классификация, ранжирование и сопоставление

ai4data/devdata-search-noinstruct-small-cmnrl — компактная двунаправленная модель-энкодер для семантического поиска по структурированным статистическим метаданным из семейства DevData Search. Она создана командой ai4data дообучением avsolatorio/NoInstruct-small-Embedding-v0 на DevDataBench с функцией потерь cmnrl. При обучении использовались полная сериализация схемы, перестановка порядка полей и исключение части полей, чтобы модель связывала смысл с названиями полей, а не с порядком их представления. Модель кодирует текстовые запросы и описания записей в эмбеддинги для последующего поиска и сравнения семантической близости. Она рассчитана на сценарии, где пользователь ищет статистические показатели по естественно-языковому описанию; префиксы для запросов и документов не требуются. Модель содержит около 40 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. Модель предназначена для получения эмбеддингов и не является готовым размещённым поисковым сервисом. Карточка не заявляет поддержку конкретных естественных языков. Распространяется по лицензии Apache-2.0.

Dialog2Flow single target model (DSE-base) — модель эмбеддингов предложений, представленная Серхио Бурдиссо как вариант D2F_single из работы Dialog2Flow, опубликованной на EMNLP 2024. Она использует дообученную основу aws-ai/dse-bert-base и библиотеку Sentence Transformers; модель преобразует предложения и абзацы в плотные векторы размерности 768 для поиска и кластеризации. Модель ориентирована на извлечение потоков диалога и представление фраз в задачах, связанных с диалогами. Она обучалась на наборах sergioburdisso/dialog2flow-dataset и Salesforce/dialogstudio, а контекст ограничен 512 токенами. Для работы с Transformers требуется применить соответствующую операцию pooling к контекстным векторам слов. Модель поддерживает английский язык и распространяется по лицензии MIT. Указанные в статье результаты показывают улучшение относительно варианта на BERT-base, однако качество зависит от задачи и способа формирования представлений; README не приводит подробных результатов или рекомендаций по эксплуатации.

DistilBERT multilingual cased — трансформерная языковая модель, разработанная Виктором Саном, Лисандром Дебю, Жюльеном Шомоном и Томасом Вольфом из Hugging Face. Это дистиллированная версия многоязычной BERT base модели, обученная на объединённых данных Википедии на 104 языках. Архитектура включает 6 слоёв, размер скрытого представления 768, 12 голов внимания и 134 млн параметров; модель различает регистр букв и обрабатывает последовательности до 512 токенов. Основная задача модели — предсказывать замаскированные токены в тексте. Её можно применять для заполнения пропусков и дообучать для классификации последовательностей, классификации токенов и ответов на вопросы. По данным разработчиков, в среднем она работает примерно вдвое быстрее mBERT-base, сохраняя мультиязычность при меньшем размере. Модель не предназначена для генерации текста и не гарантирует фактическую достоверность ответов. Её предсказания могут отражать вредные стереотипы и смещения; результаты на приведённых разработчиками тестах XNLI ниже, чем у mBERT-base. Лицензия — Apache 2.0.

Это модель классификации текста на базе DistilBERT, дообученная автором репозитория srmjfba. Она предназначена для отнесения текстовых последовательностей к классам; README сообщает точность 0,9184 и loss 0,8018 на тестовой выборке, но не раскрывает набор классов или датасет. Модель использует архитектуру DistilBertForSequenceClassification, сохранена в формате safetensors и принимает текст с контекстом до 512 токенов. Базовая модель — distilbert/distilbert-base-uncased. Подходит для классификации пользовательских запросов и других коротких текстов в приложениях на базе Transformers. Английское uncased-основание не различает регистр. Лицензия — Apache-2.0.

Erlangshen-UniMC-RoBERTa-110M-Chinese — китайская языковая модель семейства RoBERTa от команды Fengshenbang. Модель с архитектурой BERT и 129,5 млн параметров обучена по подходу UniMC: задачи понимания языка преобразуются в формат выбора из нескольких вариантов, что позволяет применять её для zero-shot и few-shot сценариев. Модель предназначена для классификации текста, анализа тональности, рассуждений на основе здравого смысла, разрешения кореференции и других задач понимания китайского языка. В репозитории она представлена как masked language model с задачей fill-mask; контекст — до 512 токенов. Доступны веса PyTorch и Safetensors. Подход UniMC позволяет формулировать разные задачи как выбор ответа и снижает потребность в большом числе параметров. Качество зависит от формулировки вариантов и предметной области; в описании приведены результаты бенчмарков, но гарантии качества для прикладных данных не заявлены. Модель распространяется по лицензии Apache-2.0.

ERNIE-Gram-zh — китайская языковая модель семейства ERNIE-Gram, представленная в виде PyTorch-чекпойнта для извлечения признаков и задач понимания естественного языка. Архитектура основана на BERT: 12 слоёв, размер скрытого состояния 768 и 12 голов внимания; всего 127,1 млн параметров, контекст — до 512 токенов. Модель предназначена для получения контекстных представлений китайского текста, которые можно использовать в прикладных системах понимания языка. Чекпойнт преобразован из официально выпущенной модели ERNIE на PaddlePaddle в PyTorch; автор README сообщает о проверках точности преобразования. Лицензия в предоставленных источниках не указана.

facebook/fasttext-de-vectors — предварительно обученные векторные представления немецких слов на основе fastText, разработанного Facebook. Модель предназначена для получения векторов слов и использования их в задачах извлечения признаков, классификации текста и определения языка. fastText работает на обычных многоядерных процессорах; обучение и применение не требуют специализированного оборудования. Векторы размерности 300 обучены методом CBOW с весами позиций, символьными n-граммами длины 5, окном 5 и 10 отрицательными примерами. Обучающие данные взяты из Common Crawl и Википедии. Лицензия — CC BY-SA 3.0. Модель может наследовать смещения обучающих данных; сходство векторов не гарантирует семантической эквивалентности.

facebook/fasttext-fr-vectors — предварительно обученная модель векторных представлений французских слов на основе библиотеки fastText, разработанной Facebook. Она предназначена для получения векторов слов и использования их в задачах классификации текста и определения языка, а также для оценки сходства слов по косинусной близости. Модель построена на архитектуре CBOW с позиционными весами, использует символьные n-граммы длиной 5 и выдаёт векторы размерности 300. Обучение проводилось на данных Common Crawl и Википедии. fastText рассчитан на работу на стандартном оборудовании и может применяться в прототипах и производственных системах. Модель поддерживает французский язык; описание семейства сообщает о моделях fastText для 157 языков. Возможны смещения в предсказаниях, а качество и охват представлений зависят от обучающих корпусов. Лицензия модели — CC BY-SA 3.0.

facebook/fasttext-zh-vectors — предварительно обученные китайские векторные представления слов на основе fastText, разработанные Facebook. Модель предназначена для получения векторов слов и использования их в задачах классификации текста и определения языка. Она построена на архитектуре CBOW с позиционными весами, размерность векторов — 300; для обработки слов используются символьные n-граммы длиной 5. Обучающие данные для китайской модели взяты из Common Crawl и Wikipedia, а для сегментации использовался Stanford word segmenter. Модель рассчитана на работу на обычном оборудовании и может применяться для экспериментов, прототипирования и прикладных сценариев с текстовыми векторами. Лицензия — CC BY-SA 3.0. Векторы могут отражать смещения обучающих данных, поэтому сходство и классификационные результаты требуют осторожной интерпретации.

Это модель SentenceTransformer, дообученная Bofandra на основе Bofandra/fine-tuning-use-cmlm-multilingual-quran-translation. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости; сходство оценивается косинусной мерой. Архитектура основана на BERT с усреднением токенных представлений и нормализацией векторов. В метаданных указан размер 498,1 млн параметров и контекст до 512 токенов; в README для конфигурации Sentence Transformers указан максимум 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, в том числе вариантов переводов аятов Корана. Её также можно применять для поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. README описывает обучение на 609 парах предложений, связанных с переводами Корана; метаданные указывают библиотеку sentence-transformers и формат safetensors. Модель принимает текст и выдаёт векторы признаков, поэтому для поиска по коллекции потребуется индексировать эмбеддинги, а для классификации — использовать отдельный классификатор или процедуру кластеризации. Лицензия в предоставленных данных не указана.

Карточка модели DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_30000 на Hugging Face совпадает с карточкой DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000, поэтому описание составлено по ней. FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000 — модель Sentence-Transformers на архитектуре BERT с 433,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. В README указано обучение с MarginDistillationLoss; модель принимает текст и выдаёт эмбеддинги. Контекст ограничен 512 токенами. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой sentence-transformers. Карточка не указывает базовую модель или лицензию, поэтому их нельзя надёжно определить. Название и описание обучения указывают на экспериментальную модель, связанную с GPL и F R Pile; качество и применимость за пределами описанных задач не подтверждены.

Карточка модели DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_40000 на Hugging Face совпадает с карточкой DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000, поэтому описание составлено по ней. FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000 — модель Sentence-Transformers на архитектуре BERT с 433,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. В README указано обучение с MarginDistillationLoss; модель принимает текст и выдаёт эмбеддинги. Контекст ограничен 512 токенами. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой sentence-transformers. Карточка не указывает базовую модель или лицензию, поэтому их нельзя надёжно определить. Название и описание обучения указывают на экспериментальную модель, связанную с GPL и F R Pile; качество и применимость за пределами описанных задач не подтверждены.

FTFM-1 — табличная foundation-модель для классификации строк по контексту, разработанная авторами репозитория josifgrabocka/ftfm. При fit она использует размеченную таблицу поддержки, а затем присваивает оценки новым строкам через predict; градиентное дообучение и настройка под отдельный датасет не требуются. Поддерживается только классификация, веса для регрессии не выпущены. Модель содержит 121 635 840 параметров и использует архитектуру из 16 факторизованных блоков строк и столбцов с шириной 512 и 8 головами. Представления строятся через контекстные латентные переменные строк и столбцов, а не через внимание между ячейками. Контекст поддержки вычисляется один раз и кэшируется; строки запросов можно обрабатывать произвольными пакетами. По умолчанию используется ансамбль из восьми представлений. Обучение проходило в три этапа на синтетических и реальных табличных эпизодах. Для применения нужны размеченные строки поддержки и новые строки в совместимом табличном формате. Размер контекста ограничен памятью устройства, занятой таблицей поддержки. Авторы сообщают, что фильтр обучающих таблиц по именам пропустил небольшое число таблиц из бенчмарков, поэтому результаты на этих таблицах следует интерпретировать с осторожностью. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое использование.

gte-micro-v2 — компактная модель эмбеддингов на архитектуре BERT, опубликованная пользователем Mihaiii. Это дистиллят gte-tiny, предназначенный прежде всего для семантического автодополнения: модель преобразует текст в векторные представления, которые можно использовать для оценки смыслового сходства. Размер модели — 18,8 млн параметров, контекст ограничен 512 токенами; для работы указана библиотека Sentence Transformers, а веса доступны в форматах ONNX и safetensors. Модель рассчитана исключительно на английские тексты. Длинные входы усекаются до 512 токенов, поэтому она не подходит для прямого сравнения полного текста, превышающего это ограничение. Лицензия — MIT.

gte-multilingual-mlm-base — многоязычный текстовый энкодер серии mGTE, разработанный Institute for Intelligent Computing группы Alibaba. Модель предназначена для представления текста и задач поиска и ранжирования; вариант MLM обучен восстанавливать замаскированные токены и также может применяться в задачах понимания текста. Энкодер построен на базе Transformer++ — сочетания BERT, RoPE и GLU — и использует словарь XLM-R. В модели около 305 млн параметров, максимальная длина контекста составляет 8192 токена. В README заявлена поддержка 75 языков; среди кодов языков в метаданных указаны, в частности, русский и английский. Модель показала результаты выше XLM-R-base того же размера на GLUE и XTREME-R. Лицензия — Apache-2.0. Это базовый MLM-энкодер, поэтому для прикладных задач классификации, извлечения сущностей или ранжирования может потребоваться соответствующая настройка и подходящая обвязка; карточка не содержит сведений о генерации текста.

Модель National Institute for Health and Care Research (NIHR) присваивает кодам исследовательской деятельности HRCS один или несколько классов по названию и аннотации исследовательского гранта. Это многометочный классификатор на базе BiomedBERT-large: энкодер дообучен на текстах заявок и затем настроен на размеченных данных HRCS от нескольких фондов. Для каждого кода модель выдаёт вероятность; длина входа ограничена 512 токенами, длинный текст обрезается. Модель предназначена для анализа портфелей финансирования, массовой разметки грантов и изучения направлений биомедицинских исследований, а также для поддержки рабочего процесса кодирования HRCS. На тестовых данных микро-F1 составил 0,60 для отдельных кодов и 0,71 для агрегированных групп кодов. Результаты зависят от сходства новых данных с обучающей выборкой; редкие и неоднозначные категории распознаются хуже, а пороги вероятностей могут требовать перенастройки. Модель поддерживает экспертную проверку, но не предназначена для её полной замены. Распространяется по лицензии MIT.

Модель sampathkethineedi/industry-classification разработана для отнесения описания бизнеса к одной из 62 отраслевых меток. Это классификатор текста на архитектуре DistilBERT, обученный на 7000 примерах описаний компаний в Индии. Модель принимает текст и возвращает отраслевую категорию; длина контекста составляет 512 токенов. Доступны версии для PyTorch и TensorFlow. Модель подходит для автоматической категоризации компаний по текстовым описаниям, например, при создании отраслевых каталогов или классификации бизнес-профилей. Обучающие данные охватывают только индийские компании, поэтому точность на описаниях бизнесов из других стран или отраслей может быть ниже. Лицензия в предоставленных данных не указана.

IndustryLLM — открытая по весам языковая модель команды Multimodal and Industrial AI Team компании Alibaba, дообученная на базе Qwen/Qwen3.5-35B-A3B-Base для промышленной закупки и инженерных запросов. Архитектура Qwen3.5 MoE содержит около 35,95 млрд параметров, из которых на каждом токене активируется примерно 3 млрд. Модель использует Transformers и веса safetensors; лицензия — Apache-2.0. Модель предназначена для интерпретации запросов покупателей, извлечения и нормализации характеристик, распознавания разговорных обозначений и опечаток, дополнения сокращённых кодов стандартов и выявления противоречий в спецификациях. Для сложных аналитических задач доступен режим рассуждения Think, а для быстрых ответов — No-Think. Контекстное окно архитектуры составляет 262 144 токена, однако обучение проводилось на последовательностях длиной 12 288 токенов. Адаптация ориентирована на текстовые инженерные рассуждения: мультимодальные компоненты базовой модели заморожены, а изображения, чертежи, CAD-файлы и фотографии дефектов не оценивались. Ответы о пригодности товара не заменяют проверку доказательств и сертификатов; для опасного оборудования необходима независимая экспертная проверка.

serdarakyol/interpress-turkish-news-classification — модель классификации турецких новостных текстов на основе BERT. Она обучена на 108 тысячах примеров из набора данных Interpress; автор сообщает точность 97% на обучающей и валидационной выборках при разделении данных 80/20. Модель предназначена для отнесения новостных текстов к категориям в приложениях на PyTorch, TensorFlow или Flax. Число параметров составляет 137,8 млн, максимальная длина контекста — 512 токенов; карточка указывает поддержку турецкого языка. Лицензия в предоставленных данных не указана.

Jev-Omni — мультимодальная модель-классификатор решений, созданная независимым разработчиком на основе Gemma 4 12B IT и дообученная на 30 000 вопросах. Она принимает вопрос и варианты ответа и выдаёт вероятность для каждого варианта, а не текстовое объяснение. Модель предназначена для классификации и выбора ответа по тексту, изображениям, аудио и видео. По данным карточки, модель построена на архитектуре Gemma4 Unified; веса опубликованы в формате safetensors. Разработчик сообщает результаты на DecisionBench, JevBench и MMAU, а также оценку калибровки вероятностей. Для запуска требуется CUDA GPU; веса FP32 занимают около 50 ГБ до учёта накладных расходов среды. Аудиовход требует ffmpeg. Наиболее надёжно использовать до 20 вариантов ответа: хотя классификационная голова принимает до 256, качество при большем числе вариантов не подтверждено. Модель выдаёт вероятности и не генерирует объяснения. Лицензия — Apache-2.0.

Kev-0.8B — компактная модель принятия решений из семейства Kev, опубликованная Jared Palmer. Она построена как LoRA-адаптер с pointer head поверх Qwen/Qwen3.5-0.8B-Base и предназначена для работы с контрактом TypeSafe /v1/systemone. В отличие от генеративных моделей, она не создает текст: получает один документ или состояние и набор типизированных вопросов, а возвращает распределение вероятностей по вариантам ответа за один проход. Модель ориентирована на классификацию, задачи выбора и оценки уверенности, включая multiple-choice, калибровку вероятностей, анализ политик и составных правил. Обучение проводилось на наборах Banking77, BoolQ, AG News, MultiNLI, SST-5, Yelp, TREC, DBpedia-14, Amazon Reviews и IMDB. Адаптер использует LoRA с r=16 и содержит 11,3 млн обучаемых параметров; базовая модель имеет размер 0,8 млрд параметров. Поддерживаются англоязычные данные и текстовая модальность. Для работы требуются transformers версии не ниже 5.17 и peft не ниже 0.21. На внутридоменном наборе модель показывает точность 0,825, а на вне-доменном — 0,652; на независимом locked-тесте эти показатели составляют 0,834 и 0,684 соответственно. Она значительно экономичнее по памяти, чем варианты Kev-4B и Kev-9B, но уступает им по обобщению, особенно на знаниях, перефразировании и сложной композиции правил. На Mac работает относительно медленно из-за отсутствия MPS-реализации ядер DeltaNet; на CUDA с flash-linear-attention производительность выше. Вероятности следует считать надежными преимущественно внутри домена: вне домена возможны уверенные ошибки. Модель распространяется по лицензии Apache-2.0.

KoMiniLM — компактная корейскоязычная модель семейства BERT, разработанная BM-K для снижения задержки и затрат памяти при дообучении и онлайн-инференсе. В метаданных указано 26,4 млн параметров; README также описывает версию KoMiniLM-23M. Модель основана на дистилляции KLUE-BERT: в студенческую модель переносились распределения self-attention и отношения значений внимания на нескольких слоях. Модель предназначена для извлечения признаков из корейского текста и может служить основой для задач понимания языка, включая анализ тональности, распознавание сущностей, определение сходства и перефразирования предложений, а также ответы на вопросы после дообучения. Контекст ограничен 512 токенами. README сообщает об экспериментах дообучения на корейских наборах данных, но численные результаты таблицы представлены не полностью. Файлы доступны в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

adeshkin/labse-kjh-ru-mnrl-1 — модель Sentence Transformers, дообученная автором на параллельном хакасско-русском корпусе khakas-russian-parallel-corpus. Она основана на многоязычной BERT-модели LaBSE и преобразует предложения и абзацы на хакасском и русском языках в плотные векторы размерности 768 для поиска и сравнения текстов по смыслу. Для сопоставления векторов используется косинусное сходство; модель подходит для двуязычного поиска и извлечения соответствий между хакасскими и русскими текстами. В README приведена средняя точность 0,9529 на оценке перевода, но это значение относится к указанному набору оценки и не гарантирует такое же качество на других данных. Модель принимает текст и выдаёт векторные представления. В метаданных указано максимальное контекстное окно 512 токенов, тогда как README модели сообщает ограничение 256 токенов; фактический лимит может зависеть от конфигурации, поэтому длинные тексты следует разбивать на части. Веса опубликованы в формате safetensors, библиотека — sentence-transformers. Лицензия в предоставленных сведениях не указана.

macavaney/laff — модель, разработанная Sean MacAvaney для оценки обучаемого сходства между парами документов в задачах информационного поиска. Она используется в PyTerrier Adaptive и связана с подходом Quam: Adaptive Retrieval through Query Affinity Modelling, где оценки близости помогают строить граф связей между документами и выполнять адаптивное переранжирование результатов поиска. Модель основана на архитектуре BERT и имеет около 136,7 млн параметров; максимальная длина входного контекста составляет 512 токенов. По связанным материалам она дообучена на англоязычных данных MS MARCO и предназначена для вычисления affinity score между двумя текстами документов. Сильная сторона модели — применение семантической близости документов в графовых и адаптивных поисковых системах. Она не является универсальной генеративной моделью, не предназначена для диалога или генерации текста, а её оценки зависят от домена и качества входных документов. В доступных источниках лицензия самой модели не подтверждена.

spraxx/legal-bert-ecthr-biencoder — англоязычная модель Sentence Transformers, дообученная spraxx на базе nlpaueb/legal-bert-base-uncased для поиска и сравнения юридических текстов. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними можно оценивать по косинусному сходству. Архитектура состоит из BERT и среднего pooling, максимальная длина входа — 512 токенов, библиотека — Sentence Transformers. Модель подходит для семантического поиска и извлечения релевантных юридических фрагментов, а также для ранжирования текстов по смысловому сходству. Обучение описано на выборке из 12 180 примеров с функцией MultipleNegativesRankingLoss. Вход и результат — текст и его векторное представление. Модель ориентирована на английские юридические тексты; лицензия в предоставленных данных не описана.

Карточка модели Monad-dz/legal-embedding-model-V3 на Hugging Face совпадает с карточкой Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2, поэтому описание составлено по ней. Arabic-Triplet-Matryoshka-V2 — модель эмбеддингов арабского языка от Omartificial-Intelligence-Space, созданная на базе Sentence Transformers и дообученная на aubmindlab/bert-base-arabertv02. Это плотная BERT-модель с 162,4 млн параметров и контекстом до 512 токенов; она преобразует предложения и абзацы в векторы размерностью 768. Обучение с MatryoshkaLoss формирует вложенные представления, рассчитанные на работу с эмбеддингами разной размерности. Модель предназначена для оценки семантического сходства, поиска и извлечения информации, поиска перефразирований, кластеризации и классификации арабских текстов, а также для использования в системах вопросов и ответов. В README приведены результаты на бенчмарках STS17 и STS22-v2. Модель ориентирована на арабский язык и не заявлена как многоязычная. Качество может снижаться на узкоспециализированных текстах и различаться между диалектами и региональными вариантами арабского языка. Для задач за пределами семантического сходства может потребоваться дополнительная настройка. Лицензия — Apache-2.0.

Карточка модели Monad-dz/legal-embedding-model-V6 на Hugging Face совпадает с карточкой Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2, поэтому описание составлено по ней. Arabic-Triplet-Matryoshka-V2 — модель эмбеддингов арабского языка от Omartificial-Intelligence-Space, созданная на базе Sentence Transformers и дообученная на aubmindlab/bert-base-arabertv02. Это плотная BERT-модель с 162,4 млн параметров и контекстом до 512 токенов; она преобразует предложения и абзацы в векторы размерностью 768. Обучение с MatryoshkaLoss формирует вложенные представления, рассчитанные на работу с эмбеддингами разной размерности. Модель предназначена для оценки семантического сходства, поиска и извлечения информации, поиска перефразирований, кластеризации и классификации арабских текстов, а также для использования в системах вопросов и ответов. В README приведены результаты на бенчмарках STS17 и STS22-v2. Модель ориентирована на арабский язык и не заявлена как многоязычная. Качество может снижаться на узкоспециализированных текстах и различаться между диалектами и региональными вариантами арабского языка. Для задач за пределами семантического сходства может потребоваться дополнительная настройка. Лицензия — Apache-2.0.

LinkBERT-large — англоязычный BERT-подобный трансформерный энкодер, разработанный Michiyasunaga и соавторами и представленный в статье LinkBERT: Pretraining Language Models with Document Links (ACL 2022). Модель предварительно обучена на статьях английской Википедии с учётом гиперссылок между документами, чтобы усваивать связи и знания, распределённые по нескольким текстам. Модель предназначена для дообучения под задачи классификации текста и последовательностей, ответов на вопросы, разметки токенов, чтения и поиска информации между документами. Её также можно использовать как энкодер для извлечения признаков и представлений текста. LinkBERT-large содержит 432,3 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате PyTorch. Учёт связей между документами может быть полезен для задач, требующих объединения сведений из разных источников. Модель не является готовой системой для конкретной задачи: для прикладного использования её обычно требуется дообучить. Лицензия — Apache-2.0.

LLM2CLIP-Llama-3-8B-Instruct-CC-Finetuned — текстовый энкодер семейства Llama, разработанный Microsoft совместно с исследователями из Университета Тунцзи. Это компонент подхода LLM2CLIP: энкодер дообучен на подписях к изображениям с помощью контрастивного обучения, чтобы получать текстовые эмбеддинги, лучше различающие содержание длинных и сложных описаний. В README указаны обучающие данные CC3M, CC12M, YFCC15M и подмножество Recap-DataComp-1B. Модель предназначена для сопоставления текстов с изображениями и поиска по изображениям или текстовым описаниям. Веса опубликованы в формате safetensors; метаданные указывают 7,5 млрд параметров, контекст до 8192 токенов и лицензию Apache-2.0. README сообщает об улучшениях в межъязыковом поиске и задачах retrieval в составе LLM2CLIP, но отмечает, что результаты PyTorch могут отличаться от результатов версии Hugging Face.

M-BERT Base ViT-B — многоязычная текстовая модель проекта Multilingual-CLIP, основанная на BERT-base-multilingual и настроенная так, чтобы представления текста соответствовали пространству эмбеддингов текстового энкодера CLIP для ViT-B/32. Она предназначена для получения текстовых признаков, которые можно сопоставлять с визуальными представлениями CLIP, например для поиска изображений по запросу на разных языках. По карточке, обучение охватывало 69 языков: использовались пары предложений и переводов, составленные из описаний GCC, MSCOCO и VizWiz. Модель содержит 205,1 млн параметров и принимает последовательности длиной до 512 токенов; метаданные указывают реализации в PyTorch, TensorFlow и Flax. Для использования вместе с исходным визуальным энкодером CLIP требуются код и дополнительные линейные веса из репозитория Multilingual-CLIP. Карточка отмечает, что качество использованных AWS Translate переводов не оценивалось и может различаться между языками; сведения о лицензии в предоставленных данных отсутствуют.