II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейZurichNLP/swissbert-ner — модель ZurichNLP для распознавания именованных сущностей, дообученная на наборе WikiNEuRal. Она выполняет токеновую классификацию и выделяет сущности в немецком, французском и итальянском текстах; для ретороманского языка Grischun заявлена работа в режиме zero-shot. Модель построена на архитектуре X-MOD, содержит 151,8 млн параметров и поддерживает контекст до 514 токенов. Модель подходит для автоматической разметки имен людей, организаций и других сущностей в многоязычных текстах на языках Швейцарии. В README показано применение через pipeline Transformers с простой агрегацией меток. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
SynapseLLM 7B Mistral v0.4 Preview3 — языковая модель WebraftAI, дообученная на Mistral-7B-v0.1. Это плотный декодерный трансформер с 7,1 млрд параметров и контекстом до 32 768 токенов; веса доступны в формате safetensors для Transformers. Модель принимает текст и генерирует текст, поддерживает диалоговый формат Mistral Instruct и ориентирована на английский язык. Модель предназначена для ответов на вопросы, математических инструкций и генерации кода, включая Python. Дообучение выполнено на ограниченном наборе данных из 770 тысяч примеров с помощью QLoRA; опубликованная модель объединена с обученными адаптерами. Разработчик предупреждает, что ответы могут содержать фактические ошибки, модель может не следовать системным инструкциям и иногда ошибочно представляться как GPT. Лицензия — Apache 2.0.
Это дообученная модель обнаружения объектов на основе Table Transformer, опубликованная пользователем nsugianto. Она предназначена для распознавания элементов структуры таблиц на изображениях документов; в метаданных указана задача object-detection и архитектура TableTransformerForObjectDetection. Модель содержит 6,3 млн параметров, использует формат safetensors и имеет контекстное окно 1024 токена. Карточка не описывает обучающие данные, качество распознавания, поддерживаемые языки или конкретные классы объектов. Модель распространяется по лицензии MIT. Она может быть полезна как компонент конвейера разбора табличных документов, но её точность и пригодность для конкретных документов следует оценить отдельно.
Модель powerwook/xlm-roberta-base-finetuned-panx-de-fr — дообученная версия XLM-RoBERTa-base для классификации токенов. Она предназначена для разметки последовательностей, в частности для распознавания именованных сущностей в немецком и французском текстах; на указанном в карточке наборе оценки достигла F1 0,8593. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и принимает последовательности длиной до 514 токенов. Модель подходит для извлечения сущностей из текстов на немецком и французском языках. Она распространяется в формате safetensors по лицензии MIT. В карточке не раскрыты подробности обучающего набора и метки классов, поэтому качество для конкретных типов сущностей и других языков не установлено.
Arcee-Maestro-7B-Preview — языковая модель Arcee с 7,1 млрд параметров, созданная на базе DeepSeek-R1-Distill-Qwen-7B. Модель семейства Qwen2 дообучена с помощью обучения с подкреплением по алгоритму GRPO на проверенных математических задачах и примерах программирования; выпущена как предварительная версия. Модель предназначена для многошаговых рассуждений, решения математических задач и помощи в программировании. Она принимает текст и генерирует текст, поддерживает диалог и имеет интерфейс для вызова инструментов. Заявленная длина контекста — 131 072 токена. В карточке сообщается об улучшениях в математике и программировании, но количественные результаты оценок не приведены. Модель распространяется под лицензией Apache-2.0. Среди ограничений указаны возможные предвзятые или вредоносные ответы и срез знаний, не отражающий события после июня 2024 года. Поскольку это Preview-релиз, качество и стабильность могут отличаться от окончательной версии.
ctrlbuzz/bert-addresses — модель на базе BERT, дообученная разработчиком ctrlbuzz для распознавания имен людей, организаций и адресов в тексте. Она присваивает метки токенам: O, B-ORG, I-ORG, B-PER, I-PER, B-addr и I-addr; для обучения использовались объединенные данные CoNLL, OntoNotes 5 и созданный автором набор адресов. Модель предназначена для извлечения сущностей из текста, в частности адресов в США, а также имен и организаций. Модель имеет 135,5 млн параметров, архитектуру BertForTokenClassification и принимает текстовые последовательности длиной до 512 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
ArBert/bert-base-uncased-finetuned-ner — модель BERT для распознавания именованных сущностей, созданная дообучением bert-base-uncased. Она классифицирует токены входного текста, например, чтобы выделять сущности в последовательности. Архитектура — BertForTokenClassification, размер — 136,7 млн параметров, контекст — до 512 токенов. В карточке приведены результаты оценки: F1 0,9133, точность 0,9068, полнота 0,9200 и accuracy 0,9787. Название и базовая модель указывают на uncased-вариант BERT; подробности о классах сущностей и языке обучающего набора не приведены. Лицензия — Apache-2.0.
Модель sakib078/bert-finetuned-ner — версия BERT base cased, дообученная для классификации токенов, в частности для распознавания именованных сущностей. Она может размечать последовательность текста по классам токенов. В README приведены результаты на оценочной выборке: F1 0,9434, точность 0,9353, полнота 0,9515 и accuracy 0,9865. Модель построена на архитектуре BERT, содержит 135,5 млн параметров и принимает контекст до 512 токенов. Данные обучения и наборы меток не описаны, поэтому применимость к конкретным типам сущностей и языкам следует проверять на целевых данных. Распространяется по лицензии Apache-2.0.
Модель разработана авторами NLP Odyssey (Matteo Grella и Marco Nicola) на основе bert-base-multilingual-uncased и дообучена для географической классификации новостных заголовков. Она принимает текст заголовка и предсказывает код страны по стандарту ISO 3166-1 alpha-3. Модель предназначена для автоматической маркировки новостей по стране, о которой говорится в заголовке, в том числе для работы с многоязычными текстами. Это BERT для классификации последовательностей с 194,6 млн параметров; максимальная длина контекста — 512 токенов. Распространяется в форматах PyTorch и Safetensors. Модель подходит для тематической сортировки новостных лент и предварительной разметки заголовков для последующего анализа. Качество и набор распознаваемых стран в README не описаны; лицензия Apache-2.0 допускает использование, изменение и распространение на её условиях.
Chonky distilbert base (uncased) v1 — модель на архитектуре DistilBERT, разработанная автором репозитория mirth для семантического разбиения текста на связные фрагменты. Она предназначена для подготовки документов к поиску и генерации с дополненной выборкой (RAG): полученные фрагменты можно передавать в системы эмбеддингового поиска или языковые модели. Модель дообучена на DistilBERT базового размера и обучалась разделять абзацы из BookCorpus. Для работы автор предлагает библиотеку chonky. В README приведены F1 0,7, точность 0,79 и полнота 0,63; базовая модель имеет контекст до 512 токенов. Репозиторий содержит веса в формате Safetensors, библиотека для загрузки — Transformers. Модель ориентирована на английский текст и доступна по лицензии MIT. Метрики указывают на компромисс между точностью и полнотой границ сегментов; качество на других типах документов и языках в карточке не подтверждено.
Карточка модели CollectionStudio/chronos-t5-base на Hugging Face совпадает с карточкой amazon/chronos-t5-base, поэтому описание составлено по ней. Chronos-T5 Base — предварительно обученная модель прогнозирования временных рядов, разработанная Amazon. Она преобразует числовые наблюдения в токены с помощью масштабирования и квантования, а затем использует архитектуру T5 для авторегрессионного построения прогнозов. По нескольким сгенерированным траекториям можно получить вероятностное распределение будущих значений. Модель предназначена для прогнозирования временных рядов по их историческим значениям. Она обучена на общедоступных рядах и синтетических данных, созданных с помощью гауссовских процессов. Архитектура — T5ForConditionalGeneration; размер — 102,2 млн параметров, окно контекста — 512 токенов. Входом служит временной ряд, выходом — числовые прогнозы и выборки будущих траекторий. Репозиторий использует safetensors и библиотеку chronos-forecasting. Модель подходит для прикладного прогнозирования и вероятностной оценки будущих значений по временным данным. README отмечает, что более новая линейка Chronos-Bolt быстрее и экономнее по памяти и показывает меньшую ошибку по сравнению с исходными моделями Chronos того же размера. Лицензия — Apache-2.0.
Карточка модели CollectionStudio/chronos-t5-small на Hugging Face совпадает с карточкой amazon/chronos-t5-small, поэтому описание составлено по ней. Chronos-T5 Small — модель прогнозирования временных рядов из семейства Chronos, разработанного Amazon. Она преобразует числовые ряды в последовательности токенов с помощью масштабирования и квантования, а затем autoregressive-модель на архитектуре T5 генерирует возможные продолжения ряда. Выборка нескольких траекторий позволяет получить вероятностный прогноз и оценить распределение будущих значений. Модель предназначена для прогнозирования на основе исторических наблюдений и может применяться к различным временным рядам. Она обучалась на общедоступных данных временных рядов и синтетических данных, созданных с помощью гауссовских процессов. В README для варианта Small указано 46 млн параметров, тогда как метаданные репозитория сообщают 24,1 млн; поэтому размер модели противоречив. Указанный в метаданных контекст составляет 512 токенов. Лицензия — Apache-2.0.
Cisco Time Series Model 1.0 — разработанная Cisco модель временных рядов общего назначения для прогнозирования без примеров на целевом ряду (zero-shot). Архитектура основана на decoder-only Transformer и использует многомасштабный контекст: грубый ряд имеет шаг в 60 раз больше тонкого. Каждый контекст может содержать до 512 точек; также доступны средства подготовки такого входа из ряда одной частоты длиной до 30 720 точек. Модель выдаёт прогноз на 128 точек тонкой частоты и соответствующие квантильные оценки. Модель предназначена для прогнозирования одномерных временных рядов, в том числе метрик наблюдаемости: загрузки CPU, времени ответа серверов и интернет-трафика. В README заявлены улучшенные результаты на бенчмарке GIFT-EVAL и в задачах наблюдаемости. Обучение включает внутренние ряды Splunk Observability Cloud, публичные наборы GIFT-EVAL и Chronos, а также синтетические данные. Размер по метаданным — 286,7 млн параметров; веса представлены в safetensors, библиотека — Transformers. Лицензия Apache-2.0. Для пропусков рекомендуется заполнение последним известным значением; при заполнении более 30% разреженного ряда качество прогноза снижается. Для модели обычно полезно предоставить больше истории на грубом временном масштабе.
Salesforce CodeGen2-1B_P — авторегрессионная языковая модель семейства CodeGen2 с плотной архитектурой CodeGenForCausalLM и примерно 1 млрд параметров. Она предназначена прежде всего для генерации программного кода по текстовым подсказкам на английском языке, продолжения фрагментов кода и заполнения пропусков внутри кода. Модель поддерживает несколько языков программирования, включая Python, JavaScript, Java, C++, Go, Rust и SQL; длина контекста — 2048 токенов. Модель обучена на разрешённой для использования под permissive-лицензиями части дедуплицированного набора Stack v1.1 и оценивалась на HumanEval и HumanEval-Infill. Она подходит для генерации и дополнения кода, но результаты требуют проверки на корректность, безопасность и соответствие задаче. Разработчик указывает исследовательское назначение выпуска; лицензия репозитория — Apache-2.0.
CodeNinja — дообученная методом supervised fine-tuning модель beowolx на базе OpenChat 3.5-1210, предназначенная для помощи в программировании. Она обучалась на наборах glaiveai/glaive-code-assistant-v2 и TokenBender/code_instructions_122k_alpaca_style, включающих около 400 тысяч инструкций по коду. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель генерирует ответы и код по запросам на естественном языке, помогает с дополнением кода и повседневными задачами разработки. В README перечислены Python, C, C++, Rust, Java и JavaScript, а метаданные указывают английский язык. Контекст составляет 8192 токена; для диалогов используется формат запросов OpenChat 3.5. Модель доступна в формате safetensors, распространяется по лицензии MIT. Качество и полнота поддержки отдельных языков программирования могут различаться.
Это 4-битная версия модели DeepSeek-Coder-V2-Lite-Instruct, подготовленная сообществом mlx-community и преобразованная в формат MLX из deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct с помощью mlx-lm 0.25.2. Модель предназначена для генерации и дополнения кода, а также диалоговых ответов по программированию. В метаданных указаны архитектура DeepSeek V2, 2,5 млрд параметров и контекст до 163 840 токенов. Веса квантизованы методом AWQ с параметрами 4 бита; README также приводит параметры квантизации и отмечает использование собственного калибровочного набора. Репозиторий рассчитан на запуск в MLX. Лицензия указана как other; конкретные условия следует сверить с лицензией базовой модели и репозитория. Карточка описывает преобразование весов и квантизацию, поэтому выводы о качестве кода стоит проверять на целевых задачах.
Document Image Transformer (DiT) base — модель Microsoft для анализа изображений документов. Это энкодер Transformer с архитектурой, идентичной BEiT; версия base содержит 119,5 млн параметров. Модель предварительно обучена на 42 млн изображений документов из IIT-CDIP с самоконтролируемой задачей предсказания визуальных токенов для замаскированных участков изображения. DiT преобразует изображения документов в признаки и предназначена прежде всего для дообучения под прикладные задачи: классификацию документов, обнаружение таблиц и анализ структуры страницы. Для непосредственного использования модель может кодировать изображения документов в векторное пространство. Веса доступны в формате PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.
FMMB-BE (Fairly Multilingual ModernBERT Embedding Model, Belgian Edition) — модель эмбеддингов на базе ModernBERT-Embed-Base от Nomic AI, дообученная автором карточки на параллельных предложениях. Она предназначена для преобразования текстов на французском, нидерландском, немецком и английском языках в плотные векторы, выровненные между языками. Модель использует архитектуру ModernBERT с усреднением токенных представлений и выдаёт векторы размерности 768. Для каждого текста автоматически выбирается подходящий языковой токенизатор; тексты на разных языках можно обрабатывать в одном пакете. Максимальная длина входа — 8192 токена. Модель подходит для семантического поиска, сравнения предложений, поиска перефразировок, классификации и кластеризации текстов. Карточка отмечает, что модель обучена без учителя на параллельном корпусе и рекомендует дообучить её под конкретный сценарий. Заявленная лицензия — Apache-2.0.
facebook/fasttext-de-vectors — предварительно обученные векторные представления немецких слов на основе fastText, разработанного Facebook. Модель предназначена для получения векторов слов и использования их в задачах извлечения признаков, классификации текста и определения языка. fastText работает на обычных многоядерных процессорах; обучение и применение не требуют специализированного оборудования. Векторы размерности 300 обучены методом CBOW с весами позиций, символьными n-граммами длины 5, окном 5 и 10 отрицательными примерами. Обучающие данные взяты из Common Crawl и Википедии. Лицензия — CC BY-SA 3.0. Модель может наследовать смещения обучающих данных; сходство векторов не гарантирует семантической эквивалентности.
Это предварительно обученная модель векторных представлений fastText для эстонского языка, опубликованная Facebook. Она предназначена для преобразования слов и текстовых фрагментов в векторы, которые можно использовать в классификации текста, определении языка и вычислении семантического сходства. Модель построена на fastText и обучена методом CBOW с позиционными весами на корпусах Common Crawl и Wikipedia. Векторы имеют размерность 300; используются символьные n-граммы длиной 5, окно контекста 5 и 10 отрицательных примеров. fastText работает на обычном процессоре и подходит для прототипирования и применения в продукционных системах. Модель предназначена для работы с текстом на эстонском языке. В README отмечено, что предсказания могут отражать смещения, присутствующие в обучающих данных. Лицензия — CC BY-SA 3.0.
FlashModel-Qwen3.5-9B — текстовая причинная языковая модель, дообученная flashback2k на базе Qwen/Qwen3.5-9B методом LoRA с последующим объединением весов. Модель содержит около 7,2 млрд параметров, использует архитектуру Qwen3_5ForCausalLM и формат Safetensors; заявленная длина контекста — 262 144 токена. В отличие от мультимодальной базовой модели, этот вариант предназначен только для работы с текстом и не содержит компонента зрения. Модель ориентирована на рассуждения, решение математических задач, генерацию кода, следование инструкциям и вызов инструментов в диалоговых сценариях. Обучение включало англоязычные примеры из наборов Nemotron по математике, соревновательному программированию, агентным задачам, инструкциям и науке; для получения обучающих ответов использовались несколько открытых моделей-учителей. Модель распространяется под лицензией Apache-2.0. Сравнительных бенчмарков пока нет, поэтому качество относительно исходной Qwen3.5-9B не установлено. Обучающие данные были англоязычными, и на запросах на других языках модель может рассуждать по-английски; примеры по математике и коду длиннее 16 тысяч токенов исключались из обучения. Эффект специальных тегов бюджета рассуждений не измерен.
Gemma-2B-Finetuned-Python-Model — дообученная модель на архитектуре Gemma-2B, представленная suriya7. Она предназначена для помощи с Python-кодом: продолжения фрагментов, исправления синтаксиса, поиска потенциальных ошибок и предложений по улучшению читаемости и эффективности. Модель содержит 2,5 млрд параметров, использует плотную архитектуру GemmaForCausalLM и принимает текст с контекстом до 8192 токенов, выдавая текстовые ответы и код. Карточка указывает датасет Vezora/Tested-143k-Python-Alpaca и английский язык. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Модель рассчитана на программирование на Python, но качество рекомендаций и корректность сгенерированного кода требуют проверки.
GetCode-slerp — объединённая языковая модель для генерации кода, созданная с помощью LazyMergekit на основе CodeLlama-7b-Instruct-hf и CodeGen2.5-7B-Multi. Она предназначена для генерации и дополнения кода по текстовым запросам; архитектура — плотная LlamaForCausalLM, размер — 6,6 млрд параметров, контекст — до 16 384 токенов. Модель принимает текст и выдаёт текст. В README указано слияние методом slerp с настройками, различающимися для слоёв self-attention и MLP. Репозиторий содержит веса safetensors, а лицензия — Apache-2.0. Базовая CodeLlama рассчитана на генерацию, дополнение и объяснение кода; для этой конкретной объединённой модели README прямо подтверждает происхождение, но не приводит отдельных результатов оценки качества.
GLiClass-small-v1.0 — компактная модель классификации последовательностей от разработчиков семейства GLiClass, вдохновлённого GLiNER. Она выполняет классификацию текста без предварительного обучения на конкретных целевых наборах данных: пользователь задаёт категории, а модель оценивает, к каким из них относится текст. Модель содержит 144 млн параметров и использует архитектуру GLiClassModel; доступны форматы Safetensors и ONNX. Модель предназначена для тематической классификации, анализа тональности и переоценки релевантности текстов в RAG-сценариях. По описанию авторов, классификация выполняется за один прямой проход, что делает модель вычислительно эффективнее cross-encoder. В карточке приведены результаты zero-shot-тестирования на нескольких наборах данных, но они не гарантируют аналогичного качества для любых категорий и языков. Указан английский язык; сведения о длине контекста не приводятся. Модель обучена на синтетических данных и распространяется под лицензией Apache-2.0; авторы отмечают возможность коммерческого применения. Для специализированных задач качество может потребовать проверки на собственных данных.
GNER-T5-xxl — модель для генеративного распознавания именованных сущностей, разработанная авторами работы «Rethinking Negative Instances for Generative Named Entity Recognition». Она основана на архитектуре T5 и содержит 5,8 млрд параметров; модель дообучена с использованием отрицательных примеров для повышения качества распознавания сущностей, в том числе в ранее не встречавшихся областях. Предназначена для извлечения сущностей из текста и сценариев zero-shot NER. В карточке описаны результаты семейства GNER на базе Flan-T5, однако отдельные численные результаты именно для версии xxl не приведены. Модель распространяется в формате safetensors по лицензии Apache-2.0.
GoLLIE-34B — языковая модель для извлечения информации, разработанная исследователями HiTZ Basque Center for Language Technology и Университета Страны Басков. Модель дообучена на базе CODE-LLaMA2 и использует архитектуру LLaMA с 33,5 млрд параметров и контекстом до 16 384 токенов. GoLLIE обучена следовать подробным инструкциям и схемам аннотации, заданным пользователем, включая определения меток. Она предназначена для извлечения сущностей, отношений и событий из текста; схема может задаваться для конкретной задачи, что позволяет применять модель в zero-shot сценариях и к задачам, не встречавшимся при обучении. В карточке указаны результаты на наборах задач по извлечению информации, где версия 34B показала лучший среди представленных размеров результат. Основной язык — английский. Для запуска доступны веса PyTorch; модель предназначена для генерации текста, структурированного по заданной схеме. Используется лицензия LLaMA 2, условия которой следует соблюдать при применении и распространении.
Grug-35b — дообученная модель семейства Qwen3.5 MoE от ProCreations, созданная на основе deepreinforce-ai/Ornith-1.0-35B. Это чат-модель для генерации текста, написания кода и работы в роли агента с вызовами инструментов. По README, разработчик восстановил исходный шаблон чата без стилевых инструкций и дообучил веса, чтобы лаконичный стиль Grug и рассуждения проявлялись при обычных запросах и агентских сценариях с инструментами. Модель хранится в формате SafeTensors и использует архитектуру Qwen3_5MoeForConditionalGeneration; README описывает BF16 LoRA-дообучение с замороженными MoE-экспертами. В README приведены результаты локальных тестов: 80,5% на HumanEval, 88% на MBPP и до 95% правильных действий в широком тесте выбора инструментов. Автор отмечает компромисс: после корректировки стиля результат HumanEval снизился, а MBPP и выбор инструментов улучшились. Лицензия — MIT. Длина контекста и список естественных языков в доступных данных не указаны.
HikmaAI DistilBERT PII NER — модель HikmaAI на базе DistilBERT, дообученная для обнаружения персональных данных в тексте. Она выполняет токенную классификацию с BIO-разметкой и распознаёт 17 типов сущностей, включая имена, фамилии, даты рождения, финансовые и контактные данные. Модель обучена на датасете ai4privacy/pii-masking-400k для английского, итальянского, французского, немецкого, испанского и нидерландского языков; максимальная длина последовательности — 512 токенов. Модель подходит для локального выявления PII в системах защиты данных и шлюзах безопасности ИИ. Она выделяет фрагменты и типы сущностей, а прикладная система может использовать результаты для подсчёта, маскирования или фильтрации данных. Доступны веса safetensors и формат ONNX; README описывает динамическую INT8-квантизацию для ONNX Runtime. Лицензия — Apache-2.0. Ограничения: качество для языков, кроме шести языков обучения, не проверено; тексты длиннее 512 токенов нужно делить на фрагменты. Для хорошо структурированных значений, например адресов электронной почты, телефонов и номеров карт, регулярные выражения могут быть эффективнее; INT8-квантизация может немного снизить точность на сложных примерах.
Locutusque/Hyperion-3.0-Yi-34B — языковая модель Locutusque, дообученная на 150 000 примерах набора Hyperion-v3.0. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, предназначенная для диалогов, ответов на вопросы и генерации кода; в карточке также заявлены математические и логические рассуждения, а также понимание медицинских и научных текстов. Модель рассчитана прежде всего на англоязычные запросы и охватывает задачи программирования, медицины, математики и научных рассуждений. Её можно применять в учебных помощниках, технических чат-ботах и инструментах поддержки специалистов. Контекст составляет 4096 токенов; веса опубликованы в формате safetensors для Transformers. Автор README указывает лицензию Yi NC, тогда как метаданные Hugging Face содержат лицензию other; условия использования следует сверять с файлами лицензии в репозитории. Карточка предупреждает о возможной непоследовательности ответов из-за качества и разнообразия данных, а также о высокой склонности модели выполнять запросы; результаты оценки в README не приведены.
Карточка модели mdizak/infoxlm-large-sentence-embeddings-rust на Hugging Face совпадает с карточкой KnutJaegersberg/infoxlm-large-sentence-embeddings, поэтому описание составлено по ней. KnutJaegersberg/infoxlm-large-sentence-embeddings — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 1024. Она основана на XLM-RoBERTa и предназначена для поиска семантически близких текстов, кластеризации и семантического поиска. В обучении использовалась функция TripletLoss с евклидовой метрикой расстояния. Модель содержит 658,7 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. В карточке указаны форматы PyTorch и safetensors. Лицензия в предоставленных данных не приведена.