II.6Документация и сопровождение разработки

DeUnCaser — модель pere для восстановления пунктуации и капитализации в тексте, например в расшифровках автоматического распознавания речи. Это последовательностная модель на базе mT5, дообученная на корпусах OSCAR: обучение длилось 130 000 шагов, использовалось до миллиона примеров на каждый из 42 языков с латинским алфавитом. Модель добавляет знаки препинания, заглавные буквы в начале предложений и именах собственных, а также может расставлять дефисы и скобки, если это помогает прояснить смысл. Модель содержит около 608,4 млн параметров; в репозитории представлены форматы Flax и PyTorch. Она предназначена прежде всего для постобработки неотформатированных речевых транскрипций. Карточка не приводит оценок качества или подробностей ограничений. Лицензия — CC BY 4.0.

Это GGUF-версия мультиязычной модели распознавания речи NVIDIA Parakeet TDT 0.6B v3, подготовленная автором репозитория из официальных контрольных точек NeMo PyTorch. Модель предназначена для локальной транскрипции аудио с автоматическим определением языка; для работы в parakeet-cli требуется декодер TDT. Архитектура Token-and-Duration Transducer предсказывает текстовые токены и длительность их звучания, что позволяет эффективнее проходить аудиопоследовательность. Модель содержит около 600 млн параметров, представлена в GGUF F32 и рассчитана на запуск через parakeet.cpp и движок ggml. Поддерживаются 25 европейских языков, включая русский, английский, украинский, французский, немецкий, испанский и итальянский. Версия ориентирована на офлайн-транскрипцию на локальном оборудовании; README приводит оценки потребления памяти около 2,8 ГБ RAM и 2,6 ГБ VRAM. Лицензия — CC BY 4.0, требуется атрибуция.

Модель PII_DETECTION_MODEL разработана Betterdata.ai для обнаружения и разметки персональных и конфиденциальных данных в тексте. Это дообученная версия декодерного трансформера Qwen2-0.5B с 494 млн параметров; модель принимает текст и выдаёт текст с метками классов для найденных данных. Заявлены 29 классов PII и поддержка английского, испанского, шведского, немецкого, итальянского, нидерландского и французского языков. Контекст модели составляет до 131 072 токенов. Модель предназначена для маскирования PII перед отправкой текста во внешние языковые сервисы, а также для защиты данных в документах и приложениях. Разработчик отмечает, что модель компактна и рассчитана на работу с длинными документами, в том числе на CPU. Лицензия — Apache-2.0. Точность не гарантируется: по данным карточки, модель лучше справляется с именами, адресами электронной почты и телефонами, а распознавание API-ключей, CVV и банковских счетов требует улучшения. Результаты следует проверять перед использованием в критичных сценариях.

Qwen3.6-27B-MTP-pi-reasoning-GGUF — дообученная версия Qwen3.6-27B, опубликованная bytkim и распространяемая в формате GGUF. Модель настроена методом QLoRA и supervised fine-tuning на образцах рассуждений и успешных траекторий агентной работы, связанных с датасетом bytkim/deepseek-v4-pro-pi-reasoning-sample-traces. Базовая модель разработана командой Qwen. Модель предназначена прежде всего для локальных coding- и DevOps-агентов в стиле Pi: анализа репозитория, планирования исправлений, выполнения команд, редактирования файлов, запуска тестов, отладки и проверки результата. Она ориентирована на задачи, где агент может работать в итеративном цикле с инструментами, включая использование функций и tool calling. Заявлена поддержка текстовых и визуально-текстовых сценариев; для работы с изображениями может требоваться совместимый vision sidecar. Указан протестированный контекст до 128 тысяч токенов. Ключевые характеристики — 27 миллиардов параметров, формат GGUF, совместимость с llama.cpp, обучение рассуждениям и поддержка Multi-Token Prediction (MTP) для speculative decoding. Сильными сторонами являются планирование перед выполнением действий, рассуждения при программировании и verifier-driven debugging с повторной проверкой через тесты. В README приведён результат 40,45% pass@1 на Terminal-Bench 2.0 для задачи Pi agentic coding. Ограничения включают зависимость производительности от используемой квантизации, инфраструктуры запуска и инструментов агента; конкретные языки и точный набор поддерживаемых модальностей не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-Embedding-0.6B-GGUF — набор GGUF-квантизаций модели Qwen/Qwen3-Embedding-0.6B, подготовленный mradermacher. Модель предназначена для получения текстовых эмбеддингов, оценки семантического сходства предложений, поиска и других задач feature extraction. В метаданных указано, что базовая модель относится к семейству Qwen и поддерживает английский язык. Размер базовой модели составляет 0,6 млрд параметров. Доступны варианты в форматах Q2_K, Q3_K, IQ4_XS, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и f16; размер файлов — примерно от 0,4 до 1,3 ГБ. Квантизации позволяют выбирать компромисс между требованиями к ресурсам, скоростью и качеством: Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как быстрый вариант с наилучшим качеством среди перечисленных. Для некоторых низкобитных вариантов качество ниже. В README не указаны архитектурные детали, максимальная длина контекста, перечень дополнительных языков и точные показатели качества, поэтому эти характеристики нельзя подтвердить. Файлы распространяются по лицензии Apache License 2.0; README описывает именно квантизированные GGUF-файлы, а не исходную модель.

roberta-large-entity-linking — модель GlassLewis на архитектуре RoBERTa-large, дообученная как биэнкодер для связывания упоминаний сущностей с соответствующими страницами или описаниями в базе знаний. Она отдельно кодирует контекст с упоминанием и описание сущности, чтобы находить подходящие совпадения по сходству; для выделения упоминаний рекомендуется обрамлять их специальным токеном [ENT], а кандидатов можно предварительно находить с помощью модели распознавания именованных сущностей. Модель предназначена для связывания сущностей с концепциями Википедии, поиска по базе знаний без специального обучения на целевой задаче и построения баз знаний. Её можно использовать как извлекатель top-k кандидатов, передавая финальную дизамбигуацию более мощному классификатору. В описанном тесте Zero-Shot Entity Linking она показала Recall@64 80,29%; результат BLINK на том же тесте составлял 82,06%, но BLINK обучалась на тренировочной выборке. Модель содержит 454,1 млн параметров, принимает текст с контекстным окном до 514 токенов и распространяется в формате Safetensors. Лицензия — BigScience OpenRAIL-M.

sat-12l-sm — модель семейства Segment Any Text для сегментации текста на предложения, разработанная для использования с библиотекой wtpsplit. Она определяет границы предложений на уровне токенов и построена на архитектуре XLM с 12 слоями Transformer; размер модели — 305,2 млн параметров, контекст — 514 токенов. В карточке заявлено качество уровня state of the art. Метаданные указывают поддержку множества языков, включая английский, арабский, китайский и другие; лицензия — MIT.

Spec-T1-RL-7B — языковая модель компании SVECTOR с 7 млрд параметров, предназначенная для математических и алгоритмических рассуждений, генерации кода и выполнения структурированных технических инструкций. Модель построена на трансформерной архитектуре и поддерживает контекст до 32 768 токенов; в README также описаны MoE, SwiGLU и RMSNorm. Метаданные указывают поддержку диалогового режима и интерфейса вызова инструментов. Модель рассчитана на решение задач по математике и логике с пошаговыми выводами, проектирование и анализ алгоритмов, а также генерацию кода. По README, обучение включало специализированное предварительное обучение, инструкционное дообучение и выравнивание с подкреплением с проверкой математических решений и кода. Основной указанный язык — английский. Модель распространяется в формате safetensors по лицензии MIT. README приводит высокие результаты на математических и кодовых бенчмарках, однако эти заявления приведены разработчиком; независимая проверка результатов в предоставленных материалах отсутствует. Для запуска указаны CUDA-совместимый GPU и от 16 ГБ видеопамяти.

Модель optimum-intel-internal-testing/stsb-bert-tiny-safetensors — это модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторные представления размерностью 128. В README указано, что модель предназначена для задач сравнения предложений, кластеризации и семантического поиска. Разработчик явно не указан; модель опубликована под идентификатором optimum-intel-internal-testing/stsb-bert-tiny-safetensors. Архитектура включает BERT в конфигурации BertModel с максимальной длиной последовательности 512 токенов и mean pooling, учитывающим attention mask. Модель работает с текстом и использует режим без принудительного приведения к нижнему регистру. Языки и точный размер базовой BERT-модели в README не указаны. Обучение выполнялось с CosineSimilarityLoss в течение 10 эпох с размером пакета 16. Сильная сторона модели — компактное 128-мерное представление, удобное для хранения и быстрого поиска, а также готовая интеграция с библиотеками sentence-transformers и Hugging Face Transformers. Ограничения заключаются в отсутствии сведений о поддерживаемых языках, качестве на конкретных бенчмарках, составе обучающих данных и сравнении с другими моделями. Лицензия в README не указана.

Xenova/trocr-small-printed — веб-совместимая версия модели microsoft/trocr-small-printed, подготовленная с весами в формате ONNX для работы через Transformers.js. Модель предназначена для распознавания печатного текста на изображениях и преобразования его в текст, поэтому подходит для сценариев OCR в браузерных и JavaScript-приложениях. Из доступных данных известно, что модель относится к семейству TrOCR и имеет вариант small; поддерживает задачу image-to-text и распространяется с ONNX-весами. Сведения о точной архитектуре, количестве параметров, поддерживаемых языках, размере контекста и конкретных показателях качества в карточке не указаны. Лицензия также не указана; условия использования следует уточнять в исходном репозитории microsoft/trocr-small-printed.

Модель nezahatkorkmaz/turkce-embedding-bge-m3 — турецкоязычная версия BAAI/bge-m3, доработанная для семантического сходства, поиска по текстам и RAG. Она построена на XLM-RoBERTa с pooling и нормализацией и преобразует предложения и абзацы на турецком языке в плотные векторы размерности 1024. В метаданных указаны 658,7 млн параметров и контекст длиной до 8194 токенов; модель распространяется в формате safetensors и рассчитана на работу через sentence-transformers. По оценке на турецком наборе STS модель показала корреляцию Пирсона 0,9096 против 0,8535 у базовой BAAI/bge-m3; корреляция Спирмена составила 0,6839 против 0,6814. Это делает её подходящей для сравнения смысловой близости турецких фрагментов, поиска релевантных документов и ранжирования кандидатов по сходству. Лицензия в предоставленных данных не указана.

Карточка модели Alibaba-NLP/UEmbed-2B на Hugging Face совпадает с карточкой Alibaba-NLP/UEmbed-4B, поэтому описание составлено по ней. UEmbed-4B — мультимодальная модель эмбеддингов от Alibaba-NLP на архитектуре Qwen3.5 с примерно 4 млрд параметров. Она принимает текст, изображения, видео и их сочетания, а за один проход формирует плотные векторы и разреженные SPLADE-представления для поиска и сопоставления содержимого. Модель предназначена для семантического и мультимодального поиска, включая поиск по визуальным документам. Плотные векторы подходят для поиска по смыслу, а разреженные активации связаны с терминами словаря и могут использоваться в индексах обратных списков. Модель доступна в формате safetensors и работает через Transformers. Модель обучена на публичных наборах данных для текстового и мультимодального поиска. Лицензия — CC BY 4.0. В README не приведены сведения о длине контекста или результаты, специфичные именно для версии 4B.

wtp-bert-mini — компактная символьная модель BERT для классификации токенов, опубликованная пользователем benjamin на Hugging Face для проекта wtpsplit. Она предназначена для восстановления границ предложений и связанных задач сегментации текста. Модель содержит около 12 млн параметров, принимает текстовые последовательности длиной до 512 токенов и поддерживает множество языков; репозиторий включает веса PyTorch и ONNX. Карточка модели распространяется по лицензии MIT.

severinsimmler/xlm-roberta-longformer-base-16384 — версия модели hyperonym/xlm-roberta-longformer-base-16384 в формате PyTorch, опубликованная без изменений исходных весов. Это мультиязычный Longformer, инициализированный весами XLM-RoBERTa без дополнительного предварительного обучения; модель предназначена для дообучения под конкретные задачи и извлечения признаков из текста. Она содержит 305,2 млн параметров и поддерживает контекст до 16 386 токенов. Модель подходит для анализа длинных документов на разных языках, когда требуется получить контекстные представления текста. Репозиторий использует форматы PyTorch и Safetensors и распространяется по лицензии MIT. Карточка не сообщает результатов оценки качества на прикладных задачах; для целевого применения потребуется дообучение.

ZwZ-4B — мультимодальная модель для детального восприятия изображений, разработанная inclusionAI на основе Qwen3-VL-4B-Instruct. Это плотная модель семейства Qwen3-VL с 4 млрд параметров, предназначенная для ответов на вопросы об изображениях и распознавания мелких визуальных деталей. Обучение сочетает дистилляцию Region-to-Image и обучение с подкреплением на наборе ZwZ-RL-VQA из 74 тысяч примеров. Модель обрабатывает изображение за один проход без увеличения отдельных областей во время вывода и без вызовов инструментов. Авторы сообщают о высоких результатах на тестах детального восприятия и улучшениях в визуальном рассуждении, сценариях GUI-агентов и обнаружении изображений, созданных ИИ. Доступны веса Safetensors для Transformers; лицензия — Apache-2.0.

Карточка модели avsolatorio/00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130201355-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

bahith-arabic-retrieval-4b — текстовая модель эмбеддингов для поиска релевантных арабских фрагментов по запросу, созданная дообучением Qwen/Qwen3-Embedding-4B. Она предназначена для семантического поиска, извлечения документов и построения RAG-систем на арабских корпусах. В карточке приведены результаты оценки на арабских задачах поиска: модель показывает nDCG@10 0,7971 на MIRACLRetrievalHardNegatives и поддерживает сравнение эмбеддингов по косинусному сходству. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров и контекст до 40 960 токенов по метаданным. README указывает максимальную длину последовательности 512 токенов и размер эмбеддинга 2560 измерений; благодаря Matryoshka Representation Learning вектор можно сокращать до 1024, 512, 256 или 128 измерений. Встроенный инструктивный шаблон применяется для запросов, а для документов отдельный шаблон не задан. Модель рассчитана прежде всего на современный стандартный арабский язык; диалекты представлены ограниченно. Лицензия — Apache-2.0.

Это пакет слоёв модели DeepSeek-R1-Distill-Qwen-32B в формате GGUF Q4_K_M, подготовленный Mesh LLM для распределённого запуска. Он сохраняет разбиение исходного GGUF на отдельные артефакты по слоям и предназначен для инференса на локальном кластере из нескольких машин, когда полной модели недостаточно разместить на одном узле. Пакет подходит для приватного локального чата и для работы через локальный API Mesh LLM с совместимым с OpenAI интерфейсом chat completions. Репозиторий указывает исходную модель unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF и вариант квантования Q4_K_M. Сведения об архитектуре, контекстном окне, языках и условиях лицензии следует сверять с карточкой исходной модели; в предоставленных данных они не раскрыты.

emirhanyac/e5-small-msmarco-tr — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-small, предназначенная для поиска релевантных текстов. Она использует архитектуру BERT с mean pooling и нормализацией, преобразует предложения и абзацы в плотные векторы размерности 384 и сравнивает их по косинусному сходству. В метаданных указано 124,3 млн параметров и контекст до 512 токенов; карточка модели заявляет максимальную длину последовательности 256 токенов. Модель дообучена на 10 000 пар запрос–положительный документ из msmarco-tr. Она рассчитана на извлечение документов по запросу и семантическое сопоставление текстов на турецком языке. В README приведены результаты оценки на msmarco-tr-eval, включая cosine_accuracy@1 0,833 и ndcg@10 0,8841. Для использования нужны текстовые запросы и документы; результатом служат эмбеддинги, подходящие для векторного поиска и ранжирования по близости. Лицензия в предоставленных данных не указана.

howey/electra-large-mnli — англоязычная модель классификации текста на базе архитектуры ELECTRA-Large, опубликованная пользователем howey и предназначенная для задач, связанных с MultiNLI. ELECTRA разработана Google как Transformer-энкодер; данная версия дообучена для классификации отношений между парами текстов, например определения entailment, contradiction и neutral. Модель содержит около 433,9 млн параметров и поддерживает контекст до 512 токенов. Она работает с текстом, использует библиотеку Transformers и доступна через PyTorch. Модель подходит для классификации текстовых пар и zero-shot-подобных сценариев при передаче подходящих гипотез, но не является генеративной моделью и не предназначена для свободного создания текста. В карточке модели лицензия не указана, поэтому условия коммерческого и производного использования следует уточнять у владельца репозитория и в файлах модели.

EmbeddingGemma-Scandi-300m — плотная модель эмбеддингов на базе Sentence Transformers, дообученная на скандинавских текстовых данных DDSC разработчиком репозитория с использованием google/embeddinggemma-300m. Она преобразует предложения и абзацы в векторы размерности 768 и предназначена для семантического поиска, сравнения текстов, поиска перефразирований, классификации и кластеризации. Модель построена на архитектуре Gemma 3 Text, содержит 302,8 млн параметров и обрабатывает последовательности длиной до 2048 токенов. Она рассчитана на датский, норвежский и шведский языки; карточка также указывает шведскую разновидность языка в списке кодов. Для сравнения векторов используется косинусное сходство. Доступна по лицензии Apache-2.0. Опубликованные в карточке результаты оценки поиска показывают низкую cosine_accuracy@1 на указанных наборах данных, поэтому качество для конкретного корпуса и сценария следует проверять отдельно. Модель выдаёт эмбеддинги, а не готовые ответы на вопросы или сгенерированный текст.

GLiNER-large-v2 — англоязычная модель для распознавания именованных сущностей, разработанная Уршаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарнуа. Она использует двунаправленный BERT-подобный трансформер и библиотеку GLiNER для извлечения сущностей из текста по заданным пользователем типам, поэтому подходит для гибкой разметки без ограничения фиксированным набором классов. Модель обучена на датасете NuNER и содержит 459 млн параметров. Её можно применять для извлечения сущностей из документов и текстовых коллекций, когда требуются настраиваемые типы сущностей и более компактный вариант по сравнению с крупными языковыми моделями. Репозиторий распространяется по лицензии Apache-2.0.

urchade/gliner_large-v2.1 — модель распознавания именованных сущностей из семейства GLiNER, разработанного Urchade Zaratiana, Nadi Tomeh, Pierre Holat и Thierry Charnois. Она использует двунаправленный трансформерный энкодер типа BERT и позволяет извлекать из текста сущности типов, заданных пользователем, в том числе за пределами фиксированного набора меток обычных NER-моделей. Модель предназначена для извлечения имен и других сущностей из текста с помощью библиотеки GLiNER. Версия large-v2.1 содержит 459 млн параметров; карточка указывает английский язык, а версия multilingual-v2.1 представлена отдельно. Модель распространяется под лицензией Apache-2.0.

Grok 4.20 Multi-Agent — вариант модели Grok 4.20 от SpaceXAI для совместных сценариев с несколькими агентами. Несколько агентов работают параллельно, проводят углублённое исследование, координируют использование инструментов и объединяют полученные сведения. Данных о размере, архитектуре, модальностях, языках, длине контекста и лицензии в предоставленных источниках нет.

Ming-flash-omni 2.0 — мультимодальная модель компании InclusionAI на архитектуре Ling-2.0 с механизмом Mixture-of-Experts: 100 млрд параметров всего и 6 млрд активных. Она принимает изображения, текст, видео и аудио, а генерирует текст, изображения и аудио. Модель предназначена для мультимодального понимания и генерации, включая анализ визуальных объектов и культурных объектов, потоковый диалог по видео, распознавание речи, синтез речи и музыки, а также генерацию и редактирование изображений. Среди заявленных возможностей — клонирование голоса без дополнительного обучения, управление характеристиками аудио, такими как эмоция и тембр, и удаление объектов с изображений с сохранением согласованности текстур и глубины сцены. В метаданных указаны архитектура BailingMM2NativeForConditionalGeneration и форматы PyTorch, Safetensors, ONNX, Flax и TensorFlow. Модель выпущена под лицензией MIT. В карточке не приведены длина контекста и языки аудио- или текстовых задач; английский указан среди языковых тегов.

Mike0307/multilingual-e5-language-detection — модель классификации текста для определения языка. Она разработана на основе multilingual-e5-base и дообучена на наборе данных common_language; архитектура — XLM-RoBERTa для классификации последовательностей, размер — 305,2 млн параметров. Модель поддерживает определение 45 языков и принимает текст длиной до 514 токенов. Модель подходит для автоматической разметки языка коротких сообщений и документов, маршрутизации текста по языковым конвейерам и предварительной фильтрации многоязычных корпусов. В README заявлена общая точность 98,37% на тестовой части common_language; результаты зависят от данных и условий оценки. Распространяется по лицензии Apache-2.0.

MyAwesomeModel — модель на базе архитектуры BERT, доступная через библиотеку Transformers и предназначенная для извлечения признаков из входных данных. Репозиторий также описывает улучшения в рассуждениях, математике, программировании, классификации, суммаризации и работе с диалогами, однако метаданные Hugging Face классифицируют модель как feature-extraction. Модель может использоваться для преобразования текста в векторные представления, последующей классификации, поиска семантически похожих документов и других задач, основанных на признаках из Transformer-моделей. В README заявлены сниженная частота галлюцинаций и поддержка function calling, но подробные сведения о размере модели, контекстном окне, языках и точном формате запуска отсутствуют. Модель распространяется по лицензии MIT.

Nautilus — небольшая языковая модель Loke-60000 для составления команд по запросам на естественном языке. Она предназначена для помощи с терминалом в Linux и macOS, а также с PowerShell в Windows. Модель формирует один ответ за ход: команду для выполнения задачи, `ANSWER:` если задача завершена или требуется объяснение, либо `UNCLEAR:` если запрос неоднозначен или предположение может быть опасным. После передачи вывода команды может предложить следующий шаг. В метаданных указаны архитектура Qwen3.5 Text, класс Qwen3_5ForCausalLM, 581,4 млн параметров и контекст 262 144 токена; карточка округляет размер до 0,8 млрд параметров. Репозиторий содержит веса safetensors, а варианты GGUF доступны в отдельном репозитории. Модель рассчитана на английский язык и имеет интерфейс чата, но не является универсальным собеседником: она не выполняет команды, не предназначена для написания произвольного текста и может ошибаться в редких флагах. Лицензия — Apache-2.0.

synapti/nci-ner-v2 — модель распознавания именованных сущностей, дообученная Synapti на основе synapti/nci-ner-v2-stage-a. Она использует архитектуру RoBERTa для классификации токенов; содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. Репозиторий включает веса Safetensors и формат ONNX. Модель предназначена для выделения и классификации сущностей в тексте. В приведённой оценке на тестовой выборке получены precision 0,8651, recall 0,9020 и F1 0,8832. Языки и прикладная область в доступных сведениях не описаны. Лицензия — MIT.

NeoBERT — англоязычная encoder-модель для получения представлений текста, разработанная chandar-lab и обученная с нуля на наборе RefinedWeb. Она содержит 287,7 млн параметров по метаданным Hugging Face; в README указано 250 млн. Архитектура имеет глубину 28 слоёв и ширину 768, использует активацию SwiGLU и поддерживает контекст до 4 096 токенов. Модель предназначена для извлечения признаков и представлений текста, а также может служить базовой моделью для задач классификации и заполнения пропусков. Авторы позиционируют её как замену существующим encoder-моделям и сообщают о результатах на бенчмарке MTEB, превосходящих ряд сопоставимых моделей при одинаковых условиях дообучения. Модель распространяется под лицензией MIT. Она ориентирована на английский текст; результаты и сведения о производительности приведены авторами и зависят от задачи и условий применения.