I.11Классификация, ранжирование и сопоставление

LCO-Embedding-Omni-3B — мультимодальная модель эмбеддингов из семейства LCO-Embedding, разработанная авторами работы «Scaling Language-Centric Omnimodal Representation Learning», принятой на NeurIPS 2025. Она использует компонент thinker модели Qwen2.5 Omni без компонента talker и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для получения векторных представлений текста, изображений, аудио, видео и документов, сочетающих несколько модальностей. Эмбеддинги подходят для поиска и сопоставления материалов по смыслу; в README приведены сценарии текстового, визуального, аудио- и видеопоиска. Авторы сообщают о результатах уровня state of the art на MIEB и MAEB; аудиоданные при этом не использовались для обучения модели. В карточке описаны мультимодальная архитектура и возможности эмбеддингов, но не приведены точное число параметров и длина контекста. Модель выдаёт векторные представления, а не аудио или видео. README не уточняет ограничения применимости и языковой охват; среди заявленных сценариев есть поиск по визуальным документам на языках Юго-Восточной Азии.

LENS-d8000 — модель эмбеддингов на основе большой языковой модели, представленная в проекте LENS. Она формирует лексиконные представления текста: каждая из 8000 размерностей связана с кластером семантически близких токенов. Модель предназначена для извлечения признаков из текста и получения векторных представлений, которые можно использовать для поиска и сравнения текстов по смыслу. Модель имеет плотную архитектуру семейства Mistral и содержит 7,1 млрд параметров. Максимальный контекст составляет 32 768 токенов. Веса опубликованы в формате safetensors под лицензией Apache-2.0. В README приведено название технического отчёта о методе LENS, но сведения о поддерживаемых языках и результатах оценки не описаны.

mesolitica/llama2-embedding-1b-8k — текстовая модель для получения эмбеддингов, разработанная Mesolitica на основе архитектуры Llama 2. Она предназначена для извлечения признаков из текста и обучена на малайскоязычных текстах с длиной контекста обучения до 8 тысяч токенов; при инференсе может обрабатывать контекст до 32 768 токенов. Модель содержит около 940,6 млн параметров и распространяется в формате safetensors. Модель подходит для построения векторных представлений текстов, например, для поиска по смыслу, ранжирования и кластеризации. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным установить нельзя.

Llama-3.1-Tulu-3-8B-RM — англоязычная модель AI2 для оценки текста, дообученная на основе allenai/Llama-3.1-Tulu-3-8B-SFT. Это плотная модель семейства Llama с 7,5 млрд параметров; она загружается через Transformers как модель классификации последовательностей и доступна в форматах PyTorch и Safetensors. Для неё заявлено контекстное окно до 131 072 токенов. Модель предназначена для классификации и оценки текстовых последовательностей; её можно применять в сценариях сравнения ответов и поддержки отбора предпочтительных вариантов. В карточке также описано семейство Tülu 3 как следующее инструкциям и решающее разнообразные задачи, но назначение именно этой версии — оценка текста. Основной язык — английский. Модель обучена на смеси общедоступных, синтетических и созданных людьми данных. Карточка предупреждает об ограниченном обучении безопасности: без дополнительной фильтрации возможны проблемные выводы. Лицензия — Llama 3.1 Community License Agreement.

Llama-Bi-JP-0.5B-PT-stage2 — двунаправленный энкодер семейства Llama, созданный на основе iamtatsuki05/Llama-JP-0.5B-PT-stage2 с применением подхода LLM2Vec. Модель разработана для семантического поиска и извлечения релевантных текстов на японском языке; её векторное представление имеет размерность 1280. В модели 661,9 млн параметров, контекст — до 8192 токенов, позиционное кодирование — RoPE, токенизатор — SentencePiece с размером словаря 102 400. Модель принимает текст и выдаёт векторные представления для задач семантического сходства и поиска. В метаданных также указаны text-classification и text-generation как поддерживаемые задачи, однако основное назначение карточки — sentence similarity. Модель распространяется в формате safetensors через Transformers по лицензии MIT.

LLM2CLIP-Openai-B-16 — модель семейства CLIP, опубликованная Microsoft и исследователями из Tongji University. Это визуальный бэкбон для сопоставления изображений и текста: модель преобразует изображения и текстовые описания в эмбеддинги, которые можно использовать для поиска и классификации без отдельного обучения на каждом наборе классов. Подход LLM2CLIP переносит языковые возможности большой языковой модели в текстовые представления CLIP с помощью контрастивного обучения и использует её как учителя для визуального энкодера. В README описаны улучшения поиска по коротким и длинным текстам, а также многоязычного поиска. Модель подходит для поиска изображений по текстовому запросу и zero-shot-классификации изображений по заданным текстовым меткам. В качестве обучающих данных использовались CC3M, CC12M, YFCC15M и подмножество Recap-DataComp-1B. Репозиторий содержит веса safetensors и лицензирован по Apache-2.0. Авторы предупреждают, что результаты статьи получены на PyTorch-весах и производительность версии Hugging Face может отличаться.

LongCLIP-B — модель семейства LongCLIP, представленная в репозитории creative-graphic-design. Она расширяет возможности CLIP для сопоставления изображений и текста: текстовый энкодер принимает до 248 токенов вместо 77 у исходного CLIP, что помогает учитывать подробные описания. Вариант Base использует 12-слойный текстовый энкодер размерности 512 и 12-слойный визуальный энкодер размерности 768; в README для него указано около 150 млн параметров. Веса размещены в формате safetensors. Модель предназначена прежде всего для классификации изображений по текстовым описаниям без дополнительного обучения и для поиска соответствий между изображениями и длинными подписями. Её также можно использовать как основу для мультимодального поиска и оценки качества автоматических подписей; README упоминает интеграцию с генерацией изображений и визуальными вопросами, но не приводит подробностей реализации этих сценариев. Карточка заявляет прирост Recall@5 на задачах поиска по длинным подписям и на обычном поиске. Модель связана с OpenAI CLIP и описана как совместимая замена CLIP в существующих сценариях. Лицензия — MIT. По карточке и метаданным основной язык — английский. В оценках и применении следует учитывать, что приведённые показатели относятся к retrieval-бенчмаркам, а поддержка визуальных вопросов и генерации не подтверждена отдельными данными в карточке.

zer0int выпустил дообученную версию Long-CLIP ViT-L/14 с обучением на основе разреженного автоэнкодера (SAE) и состязательных примеров. Это модель семейства CLIP для сопоставления изображений с текстовыми описаниями и классификации изображений без примеров для заданных классов. Увеличенная длина текстового ввода позволяет лучше работать с длинными описаниями и следовать сложным промптам; автор также рекомендует её для использования с HunyuanVideo через специальный узел ComfyUI. Модель принимает изображения и текстовые описания, кодирует их для сопоставления и выдаёт оценки соответствия. Она рассчитана на сценарии zero-shot-классификации и поиска изображений по тексту, а также может служить текстовым энкодером в генеративных видеопроцессах. Опубликована в формате safetensors. Лицензия в предоставленных данных не указана.

96abhishekarora/lt-kn-en_familyname-linkage — модель LinkTransformer на базе sentence-transformers, разработанная для связывания записей о людях по фамилиям на каннада и английском языках. Она дообучена на bert-base-multilingual-cased с контрастивной функцией потерь SupCon на наборе из 12 105 132 записей; половина имён в данных транслитерирована. Архитектура BERT формирует плотные векторы размерности 768 с усреднением токенных представлений, а максимальная длина последовательности составляет 512 токенов. Модель подходит для сопоставления сущностей, кластеризации и удаления дубликатов, объединения связанных записей и семантического поиска. Её можно применять и к другим задачам сходства предложений через Sentence Transformers. Модель выдаёт эмбеддинги, поэтому для принятия решения о совпадении записей требуется отдельная логика сравнения или порог. Лицензия в предоставленных данных не указана.

Mizuiro-sakura/luke-japanese-base-finetuned-jstsは、LUKE日本語版をYahoo! JAPANのJGLUEベンチマークに含まれるJSTSデータセットでファインチューニングした文章類似度モデルです。LUKEはTransformerベースの言語表現モデルで、単語とエンティティを別々のトークンとして扱い、エンティティを考慮した自己注意機構を用います。モデルは約138.4 млн параметров, принимает текст и выдаёт оценку сходства предложений по шкале, где 5 — максимальное сходство. Максимальная длина контекста — 514 токенов. Модель предназначена для сравнения японских предложений, ранжирования похожих формулировок и поиска семантически близких текстов. В README приведено значение корреляции Пирсона 0,8971. Это специализированная модель сходства предложений, поэтому её не следует считать универсальной разговорной моделью или использовать для генерации текста. Распространяется по лицензии MIT.

MalayalamSBERT — модель семейства BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP и дообученная на наборе данных NLI на базе l3cube-pune/malayalam-bert. Она создаёт векторные представления предложений на малаяламском языке для сравнения семантической близости и поиска похожих фраз. Модель можно применять в семантическом поиске, группировке предложений и других сценариях, где требуется оценивать сходство текстов. Модель имеет архитектуру BertModel, содержит около 264,8 млн параметров и поддерживает контекст до 512 токенов. Для получения представления предложения README рекомендует использовать sentence-transformers либо применить подходящую операцию pooling к контекстным представлениям токенов. Распространяется в формате PyTorch по лицензии CC BY 4.0.

xmanii/maux-gte-persian — модель Sentence Transformers, дообученная на базе Alibaba-NLP/gte-multilingual-base для работы с персидским языком (фарси). Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения текстов. Архитектура включает трансформерный энкодер, пулинг по CLS-токену и нормализацию; сходство оценивается косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации персидских текстов. Она обучена на 2000 парах персидских предложений, переведённых с английского с помощью GPT-4, поэтому качество может зависеть от охвата и особенностей этого набора данных. Опубликована в формате safetensors; условия лицензии в предоставленных данных не описаны.

atasoglu/mbert-base-cased-nli-stsb-tr — модель Sentence Transformers на основе многоязычного BERT, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель основана на google-bert/bert-base-multilingual-cased и обучена на наборах данных nli_tr и emrecan/stsb-mt-turkish. Она предназначена прежде всего для работы с турецким языком. Архитектура — BERT, число параметров — 205,1 млн, максимальный контекст — 512 токенов. Модель подходит для поиска смыслово близких текстов и группировки предложений. В карточке приведены результаты оценки на тестовой части STS-b, но конкретные значения здесь не представлены. Распространяется по лицензии Apache-2.0.

zeromodels/metaclip2_mt5_worldwide_s16_224 — конверсия MetaCLIP 2 от Meta в формате Keras 3, подготовленная проектом zeromodels. Это модель с архитектурой CLIP и двумя энкодерами, предназначенная для классификации изображений по текстовым описаниям без обучения на целевых метках: она сопоставляет изображение с предложенными пользователем классами и оценивает соответствие каждого описания. Вариант worldwide обучен на многоязычных данных; текстовый энкодер использует SentencePiece, а промпты можно задавать на разных языках без отдельного мультиязычного чекпойнта. Модель поддерживает zero-shot классификацию изображений. Реализация Keras 3 работает с бэкендами TensorFlow, PyTorch и JAX; в репозитории представлены веса TensorFlow. Лицензия CC-BY-NC-4.0 разрешает использование на некоммерческих условиях. Для работы нужно подавать изображение и текстовые описания классов; качество зависит от формулировок промптов и языка. README не приводит подробных результатов оценки или ограничений по размеру изображения.

Distilled MetaCLIP 2 ViT-B/16 (worldwide) — модель семейства MetaCLIP 2, представленная авторами работы «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-B-16-worldwide оригинальной реализации и предназначен для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах: пользователь задаёт варианты меток, а модель сопоставляет с ними изображение. Модель мультимодальная: принимает изображения и текстовые описания и оценивает их соответствие. В карточке указано применение через Transformers; веса опубликованы в формате safetensors. Языковая метка — multilingual, поэтому модель рассчитана на многоязычные текстовые запросы. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение. Размер модели и длина контекста в предоставленных данных не указаны. Это дистиллированный чекпойнт, поэтому его результаты могут отличаться от исходной модели; README не приводит количественных оценок качества или подробных ограничений по языкам.

Это конверсия MetaCLIP 2 от zeromodels: мультимодальный двухэнкодерный чекпойнт архитектуры CLIP для классификации изображений без обучения на конкретном наборе классов. Базовая модель — facebook/metaclip-2-worldwide-b16; версия подготовлена в формате Keras 3 и работает с TensorFlow, Torch и JAX. Модель сопоставляет изображение с текстовыми описаниями классов и подходит для классификации по пользовательским меткам. Вариант worldwide обучен на многоязычном распределении данных и использует словарь XLM-RoBERTa на 901 тыс. токенов, поэтому запросы-классы можно задавать на разных языках без отдельного мультиязычного чекпойнта. Для обработки рекомендуется использовать совместимый с вариантом процессор, который задаёт размер изображения и токенизатор. Модель распространяется по лицензии CC-BY-NC-4.0, допускающей использование на некоммерческих условиях. Качество зависит от формулировки текстовых меток и соответствия изображения обучающим данным; README не приводит количественных оценок качества или ограничений по разрешению.

MetaCLIP 2 (worldwide) — мультимодальная модель семейства MetaCLIP 2, представленная Meta в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-bigG-14-worldwide и предназначен для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах: пользователь задаёт возможные категории или подписи, а модель оценивает их соответствие изображению. Модель принимает изображения и текстовые описания и сопоставляет их в общем пространстве представлений. Карточка указывает на мультиязычную направленность; конкретные поддерживаемые языки и размер модели в предоставленных данных не уточнены. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Это конверсия MetaCLIP 2 Worldwide Giant от команды zeromodels в формат Keras 3, основанная на facebook/metaclip-2-worldwide-giant. Модель использует архитектуру CLIP с двумя энкодерами: один обрабатывает изображение, другой — текстовое описание, после чего система сопоставляет их представления для классификации изображений по категориям, заданным текстовыми подсказками. Модель предназначена для zero-shot классификации изображений без отдельного дообучения на выбранных категориях. Подсказки можно задавать на разных языках; вариант Worldwide обучен на многоязычных данных и использует словарь XLM-RoBERTa на 901 тысячу токенов. Реализация Keras 3 может работать с TensorFlow, PyTorch и JAX. Для обработки изображений и текста рекомендуется использовать соответствующий модели Processor. Это крупная модель, и некоторые варианты могут конвертировать веса из upstream-репозитория при загрузке, если готовых весов zeromodels нет. Лицензия CC-BY-NC-4.0 разрешает использование только на некоммерческих условиях.

MetaCLIP 2 (worldwide) — модель Meta, соответствующая чекпойнту ViT-bigG-14-378-worldwide из оригинальной реализации MetaCLIP 2. Она предназначена для классификации изображений по текстовым описаниям без дообучения на конкретных метках: пользователь задаёт варианты классов, а модель оценивает соответствие изображения каждому из них. Модель имеет архитектуру MetaClip2Model и доступна в формате safetensors; для работы в карточке указана библиотека Transformers. Модель рассчитана на многоязычное применение и может использоваться для поиска изображений по категориям и быстрой разметки изображений заданным набором текстовых меток. Репозиторий опубликован по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

Это конверсия MetaCLIP 2 Worldwide Giant 378 от zeromodels на основе модели Meta AI facebook/metaclip-2-worldwide-giant-378. Модель с архитектурой CLIP использует два энкодера — для изображений и текста — и предназначена для классификации изображений по текстовым меткам без специального обучения на этих метках. Подходит для оценки соответствия изображения текстовым описаниям и сравнения нескольких вариантов подписи. Worldwide-вариант обучен на многоязычных данных и использует словарь XLM-RoBERTa на 901 тысячу токенов, поэтому текстовые метки и запросы могут быть на разных языках, включая английский, французский, испанский и немецкий. Реализация на Keras 3 работает с TensorFlow, PyTorch и JAX. Репозиторий содержит веса в формате TensorFlow. Лицензия CC-BY-NC-4.0 разрешает использование только на некоммерческих условиях.

Это конверсия мультиязычной модели MetaCLIP 2 ViT-S/16, подготовленная zeromodels в формате Keras 3 на основе facebook/metaclip-2-worldwide-s16. Она использует архитектуру CLIP с двумя энкодерами для сопоставления изображений и текстовых описаний и классификации изображений без дополнительного обучения. Модель рассчитана на zero-shot классификацию: пользователь задаёт текстовые варианты классов, и модель оценивает их соответствие изображению. Текстовые запросы могут быть на разных языках благодаря мультиязычному распределению обучения и словарю XLM-RoBERTa. Реализация работает с TensorFlow, Torch и JAX. Модель принимает изображения и текстовые описания и выдаёт оценки соответствия. Лицензия CC-BY-NC-4.0 разрешает использование только на некоммерческих условиях.

Модель zeromodels/metaclip2_worldwide_s16_384 — конверсия на Keras 3 модели MetaCLIP 2 Worldwide от Meta, разработанной авторами MetaCLIP 2. Это двухэнкодерная модель архитектуры CLIP для классификации изображений без примеров: она сопоставляет изображение с текстовыми описаниями классов и оценивает их соответствие. Вариант Worldwide обучен на многоязычных данных и использует словарь XLM-RoBERTa примерно на 901 тысячу токенов, поэтому запросы-классы можно задавать на разных языках без отдельного мультиязычного чекпойнта. Репозиторий содержит конверсию для Keras 3, работающую с TensorFlow, PyTorch и JAX. Модель подходит для классификации изображений по заданным текстовым меткам, в том числе с формулировками на нескольких языках. Качество зависит от описаний классов и соответствия изображения обучающим данным; это не универсальная система распознавания объектов с фиксированным перечнем классов. Лицензия CC-BY-NC-4.0 разрешает использование на некоммерческих условиях.

Англоязычный кросс-энкодер-реранкер Hyperakan, дообученный на microsoft/MiniLM-L12-H384-uncased с использованием библиотеки Sentence Transformers и данных MS MARCO. Модель совместно обрабатывает запрос и текстовый фрагмент и выдаёт оценку релевантности, пригодную для повторного ранжирования результатов поиска и семантического поиска. Архитектура — BertForSequenceClassification с одним выходным значением; размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель принимает текст и выдаёт оценки для пар текстов. В README приведены результаты оценки на небольших наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; показатели заметно различаются между наборами. Модель рассчитана на английский язык. Лицензия — Apache-2.0. Результаты на приведённых наборах ограничены их небольшим размером, поэтому качество для других данных и сценариев следует проверять отдельно.

MiniMind-Embedding-Dense — плотная модель текстовых эмбеддингов на основе MiniMind-3, разработанная в проекте minimind-embedding. Это причинный Transformer-декодер с 63,9 млн параметров и размером скрытого слоя 768; вектор текста формируется по последнему токену EOS. Обучение использует контрастивную функцию InfoNCE с маскированием вероятных ложных негативов и Matryoshka Representation Learning, поэтому эмбеддинг можно сокращать до 64, 128, 256 или 512 измерений для более быстрого поиска. Максимальная длина контекста — 32 768 токенов. Модель предназначена для получения векторов текста, поиска семантически близких предложений и извлечения релевантных документов по запросу. В карточке показаны оценки на китайских наборах ATEC, BQ и LCQMC; заявленная область применения — прежде всего китайские тексты, также указана поддержка английского. Карточка отмечает, что качество ограничивают небольшой словарь в 6400 токенов и сравнительно малый объём первого этапа обучения. Модель дообучена на jingyaogong/minimind-3 и распространяется по лицензии Apache-2.0.

mist-reranker-150m — англоязычный кросс-энкодерный реранкер от Olaverse на базе answerdotai/ModernBERT-base, дообученный на наборе olaverse/reranker-general-en-llm-judged. Модель содержит около 149 млн параметров и принимает пару «запрос — кандидатный фрагмент», выдавая единственную оценку релевантности для переупорядочивания результатов поиска. Она предназначена для второго этапа конвейера поиска и RAG: уточняет ранжирование верхних результатов, полученных, например, с помощью BM25 или биэнкодера. В описанной оценке NanoBEIR модель показала близкие к другим реранкерам результаты на QA и поиске фактов; для аргументативного поиска результаты были слабее. Контекст составляет до 8192 токенов. Модель обучалась на размеченных LLM оценках релевантности; данные карточки указывают английский язык. Распространяется по лицензии Apache-2.0. Оценки производительности приведены для указанных тестов и не гарантируют аналогичного качества на других наборах данных или языках.

Карточка модели avsolatorio/MixEmbed-base-20240110021715-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122145230-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

mmBERT-32K-YaRN — многоязычная модель семейства ModernBERT, разработанная для Semantic Router и семейства Mixture-of-Models проекта vLLM. Она расширяет jhu-clsp/mmBERT-base с 8 192 до 32 768 токенов контекста с помощью масштабирования RoPE методом YaRN. Модель содержит около 307 млн параметров и использует архитектуру ModernBERT с Flash Attention 2; доступны веса Safetensors и экспорт ONNX. Модель предназначена для понимания длинных документов, классификации запросов для семантической маршрутизации, классификации документов, поиска информации и других многоязычных NLP-задач с длинным контекстом. В README заявлена поддержка более 1 800 языков; метаданные перечисляют английский, немецкий, французский, испанский, китайский, японский, русский, арабский, корейский и португальский. Обучение продолжения на CC-100 описано как работа с последовательностями длиной 32 768 токенов. Для длинных фрагментов точность извлечения снижается при расстоянии свыше 2 048 токенов. Обучающие данные собраны из веб-страниц и могут содержать связанные с ними смещения; для обработки полного контекста 32K README указывает потребность примерно в 180 ГБ GPU-памяти при batch size 1. Лицензия — MIT.

Fremtind/mmBERT-base-norwegian — модель Sentence Transformer, разработанная Fremtind и дообученная на базе многоязычного энкодера ModernBERT jhu-clsp/mmBERT-base. Она преобразует предложения и абзацы на норвежском языке в плотные векторы размерностью 768 для сравнения смысловой близости, семантического поиска, классификации и кластеризации текста. Модель использует архитектуру ModernBERT с 306,9 млн параметров и формат safetensors. Для дообученного Sentence Transformer стандартная максимальная длина последовательности составляет 75 токенов; базовая модель допускает контекст до 8192 токенов. Модель оценивали на норвежских задачах классификации и кластеризации из MTEBv2. Модель распространяется по лицензии MIT. Она предназначена прежде всего для норвежского языка; результаты README указывают на оценивание по ограниченному набору задач, поэтому качество на других языках и сценариях этими данными не подтверждено.

Typeform разработала MobileBERT, дообученную на наборе Multi-Genre Natural Language Inference (MNLI) для классификации без примеров. Модель сопоставляет текст с заданными пользователем категориями и оценивает, какая из них лучше подходит; её можно применять для разметки текстов по произвольному набору меток без отдельного обучения на этих метках. Это англоязычная модель семейства MobileBERT с архитектурой MobileBertForSequenceClassification и 59,7 млн параметров. Она принимает текст, поддерживает контекст длиной до 512 токенов и выдаёт оценки классов. Веса доступны в форматах PyTorch и Safetensors. Модель может воспроизводить вредные стереотипы о защищённых группах и социальных характеристиках, поэтому результаты требуют проверки. В карточке указано, что для лицензии нужно уточнение; условия использования по имеющимся данным определить нельзя.