II.8Инженерия данных и аналитика

DeQA-Doc-Overall — модель компьютерного зрения и языка из семейства DeQA-Doc, основанного на проекте Junjie Gao и коллег, для оценки общего визуального качества сканов и фотографий документов. Она анализирует изображение и выдаёт оценку по шкале от 1 (плохое качество) до 5 (отличное), которую можно использовать для контроля сканирования, оцифровки архивов и предварительной фильтрации перед OCR. Модель дообучена полным fine-tuning на наборах данных качества документов и основана на mPLUG-Owl2: языковой модели LLaMA 2 и визуальном энкодере CLIP ViT-L/14 с Visual Abstractor. Изображения масштабируются до 448×448 с сохранением пропорций. В карточке указано около 7,2 млрд параметров, а метаданные каталога — 6,6 млрд; заявленный контекст составляет 2048 токенов. Репозиторий использует PyTorch, библиотека загрузки — Transformers, лицензия — Apache-2.0. Модель предназначена для изображений документов, например форм, писем и отчётов, и может помогать выявлять сканы для повторной съёмки или восстановления. Она может хуже работать с обычными фотографиями и художественными изображениями; оценка субъективна и зависит от распределения обучающих данных. Для эффективного вывода требуется значительный объём видеопамяти.

DS RAG Embedder v1 — англоязычная модель эмбеддингов Digvijay Waghela для поиска документации по Data Science и машинному обучению в RAG-системах. Она дообучена на базе BAAI/bge-small-en-v1.5 на более чем 600 фрагментах материалов о метриках, утечках данных, кросс-валидации, дисбалансе классов, MLOps, RAG, глубоком обучении, развёртывании и планировании экспериментов. Модель построена на архитектуре BERT, содержит около 40 млн параметров, создаёт векторы размерности 384 и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска по документации, ноутбукам и инструкциям команд по работе с данными; её также можно сочетать с BM25 для гибридного поиска. Для запросов требуется префикс «Represent this Data Science question for retrieving relevant documentation: », который автоматически добавляет метод encode_queries() из описанного в README пакета. В приведённом бенчмарке DS RAG Eval v1 модель показала Recall@1 0,851 и Recall@5 1,000; эти результаты относятся к указанному набору оценки. Доступна по лицензии Apache-2.0. README не рекомендует применять её для общего веб-поиска, а также в юридических и медицинских сценариях без отдельной оценки или для полностью автоматизированных решений с высокими ставками.

hfl/english-pert-base — англоязычная модель семейства BERT от hfl для извлечения признаков из текста. Она подходит для получения векторных представлений токенов и текста в задачах, где требуется использовать признаки BERT как вход для последующей обработки. Модель содержит 136,7 млн параметров, использует архитектуру BertModel и принимает последовательности длиной до 512 токенов. Английские модели этого семейства не учитывают регистр: текст приводится к нижнему регистру. Доступны веса PyTorch и TensorFlow. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные работы на тех же условиях с ограничением некоммерческого использования.

facebook/fasttext-en-vectors — англоязычная модель векторных представлений слов на базе библиотеки fastText, разработанной Meta. Предобученные векторы предназначены для извлечения признаков из текста и могут применяться в классификации текста, определении языка и оценке сходства слов по косинусной близости. Модель обучена на данных Common Crawl и Википедии с помощью CBOW с позиционными весами. Размерность векторов — 300; используются символьные n-граммы длины 5, окно контекста 5 и 10 отрицательных примеров. fastText рассчитана на работу на обычных процессорах и подходит как для прототипирования, так и для производственных сценариев. Векторы представляют английский язык. Возможны смещения в предсказаниях, связанные с обучающими данными. Лицензия — CC BY-SA 3.0.

DataSign разработала gliner-ja-pii-v1 — модель GLiNER для обнаружения и извлечения персональных данных в японском тексте. Она дообучена на синтетических японских данных на базе urchade/gliner_multi_pii-v1 и поддерживает NER с задаваемыми естественным языком метками сущностей. Модель ищет восемь категорий: имена, телефоны, адреса, адреса электронной почты, даты, URL, номера счетов и секреты, включая пароли, API-ключи и коды аутентификации. Модель предназначена для выявления чувствительной информации в японских документах и текстах. В README приведена оценка на 600 синтетических примерах; результаты зависят от метки и порога обнаружения. Для японского текста требуется предварительная сегментация с помощью Janome и специального splitter, исключающего токены только из пробелов; стандартный whitespace splitter применять не следует. Максимальная длина входа — 160 токенов, более длинные тексты нужно разбивать. Лицензия — Apache-2.0.

grug-35b-v2 — разговорная модель для генерации текста и диалогов, разработанная ProCreations на базе Ornith-1.0-35B от DeepReinforce. Это дообученная модель семейства Qwen3.5 MoE; по карточке, обучение использовало LoRA для attention, DeltaNet и общие пути, затем веса были объединены в bf16 и продолжено дообучение на данных для длинных агентных сессий и сложных рассуждений. Метаданные указывают формат safetensors и поддержку чата. Модель формирует внутренние рассуждения в стиле grug между специальными разделителями, а итоговые ответы — на обычном английском. Она предназначена для генерации кода и решения математических задач с меньшим расходом токенов, а также для агентных сценариев с вызовом инструментов. В README приведены результаты HumanEval, MBPP, GSM8K и MATH-500, а также сравнительные замеры числа токенов; это результаты автора и они зависят от использованного тестового окружения. В описании отмечены снижение точности относительно базовой модели на HumanEval и MBPP, а также меньшая частота выбора вызова инструмента: при сделанном вызове автор сообщает о высокой корректности аргументов и выбора инструмента. Указана лицензия Apache-2.0. Для запуска автор приводит пример с vLLM и ограничением контекста в 32768 токенов; это параметр команды запуска, а не заявленная максимальная длина контекста модели.

Locutusque/hyperion-small-preview — диалоговая языковая модель, опубликованная M4-ai и дообученная на наборе данных Hyperion на основе Qwen/Qwen1.5-1.8B. Это плотная модель семейства Qwen2 с 1,5 млрд параметров, поддержкой контекста до 32 768 токенов и форматом весов safetensors. Модель предназначена для ответов на сложные вопросы и ведения диалога, в том числе по научным и техническим темам. В карточке заявлены помощь в обучении естественным и медицинским наукам, математике и информатике, понимание медицинских текстов, генерация кода, а также математические и логические рассуждения. Основной заявленный язык — английский. Разнообразие обучающих данных и различия в их форматировании и качестве разметки могут приводить к непоследовательным ответам. Результаты оценки в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

Kai-30B-Instruct — инструктивно дообученная языковая модель NoesisLab на 30B параметров, крупнейшая в семействе Kai. Она основана на архитектуре Qwen2ForCausalLM и предназначена для диалогов, рассуждений, математических задач и генерации кода. Для дообучения применён метод ADS (Adaptive Dual-Search Distillation), который меняет функцию потерь, не модифицируя архитектуру модели. Модель принимает текст и генерирует текст; заявлены контекст до 32 768 токенов и поддержка английского языка. В карточке приведены результаты нескольких тестов рассуждений и здравого смысла, но они не подтверждают качество во всех сценариях. Для запуска требуются значительные вычислительные ресурсы из-за размера модели. Лицензия — Apache-2.0.

Модель SpeechBrain предназначена для определения языка по коротким речевым записям. Она обучена на датасете CommonLanguage и распознаёт 45 языков, включая русский, английский, арабский, китайский, японский и другие. Система сочетает ECAPA-TDNN, статистический pooling и классификатор, обученный с categorical cross-entropy. Обучающие записи имеют частоту дискретизации 16 кГц и один канал; при использовании classify_file SpeechBrain автоматически приводит аудио к нужному формату. Для другой частоты дискретизации или числа каналов входной тензор нужно подготовить самостоятельно при использовании encode_batch и classify_batch. Точность на тестовом наборе CommonLanguage указана как 85%. Модель подходит для классификации языка в речевом аудио. SpeechBrain предупреждает, что качество на других датасетах не гарантируется. Распространяется по лицензии Apache-2.0.

hmart824 выпустил эту модель как дообученную версию hmart824/layoutlmv3-finetuned_0.1 для классификации токенов в документах. Она построена на архитектуре LayoutLMv3 и содержит 151,8 млн параметров; формат весов — safetensors. README сообщает значение loss 0,0014 на оценочном наборе, но не описывает набор данных, метрики подробнее или целевые метки. Модель предназначена для разметки токенов с учётом текста и структуры документа. Лицензия CC BY-NC-SA 4.0 требует указания авторства, ограничивает коммерческое использование и распространяет производные материалы на тех же условиях.

LiLT-InfoXLM — базовая модель SCUT-DLVCLab, созданная объединением предварительно обученных InfoXLM и Language-Independent Layout Transformer (LiLT). Архитектура сочетает языковой RoBERTa-энкодер с лёгким трансформером разметки страницы; модель содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Веса доступны в форматах PyTorch и Safetensors, лицензия — MIT. Модель предназначена для извлечения признаков и дообучения на задачах понимания структурированных документов: классификации изображений документов, разбора документов и ответов на вопросы по ним. LiLT позволяет сочетать трансформер разметки с предварительно обученными RoBERTa-энкодерами для разных языков. В карточке указаны InfoXLM как языковой компонент и поддержка обработки изображений; отдельные языки и готовые пользовательские сценарии не перечислены.

EpistemeAI/MathCoder-Llama3.1-8B — плотная авторегрессионная языковая модель семейства Llama, разработанная EpistemeAI и дообученная на базе EpistemeAI/Math-Code-Llama3.1-8B. Она предназначена для генерации текста, решения математических задач и помощи с кодом. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст. Метаданные указывают контекст длиной до 131 072 токенов и поддержку английского языка. Для обучения использовались Unsloth и библиотека Hugging Face TRL; веса доступны в форматах PyTorch и safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или конкретных ограничений, поэтому способности к математике и программированию не следует считать гарантией правильности ответов.

Карточка модели NostraEmpire/mirror-deepseek-r1-distill-qwen-14b на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Nondzu/Mistral-7B-codealpaca-lora — адаптер LoRA для Mistral-7B, разработанный для помощи в программировании. Модель генерирует код и ответы на инструкции по шаблону Alpaca; карточка связывает обучение с набором theblackcat102/evol-codealpaca-v1 и приводит результаты оценки HumanEval+. Архитектура — плотная MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов; метаданные указывают форматы PyTorch и safetensors и лицензию Apache-2.0. Модель подходит для генерации и дополнения кода, ответов на вопросы разработчиков и решения задач программирования в диалоговом интерфейсе. Опубликованные результаты оценки свидетельствуют о проверке на задачах HumanEval+, но карточка не описывает подробные условия тестирования или гарантии качества. Для запуска адаптера может потребоваться совместимая базовая модель.

Модель NYTK/named-entity-recognition-nerkor-hubert-hungarian — венгерская модель распознавания именованных сущностей, разработанная NYTK. Она основана на SZTAKI-HLT/hubert-base-cc и дообучена на наборе NYTK-NerKor. Модель размечает текст по категориям PER (люди), LOC (места), MISC (прочие сущности) и ORG (организации). Модель предназначена для извлечения имен людей, географических названий и организаций из венгерского текста, например из новостей и документов. Архитектура — BERT для классификации токенов; в метаданных указан размер 137,8 млн параметров и контекст до 512 токенов. В карточке модели приведён максимальный размер последовательности 128 токенов и F-score 90,18%. Модель распространяется по лицензии Apache-2.0. Указанный в карточке предел последовательности в 128 токенов требует разбивать более длинные тексты на фрагменты перед обработкой.

ScandiNER — модель распознавания именованных сущностей, разработанная на базе NbAiLab/nb-bert-base и дообученная для скандинавских языков. Она размечает в тексте имена людей, географические названия и организации, возвращая метки сущностей и оценки уверенности. Модель поддерживает датский, норвежский букмол и нюнорск, шведский, исландский и фарерский языки; также, по данным карточки, неплохо работает с английскими предложениями. Она основана на архитектуре BERT, содержит 205,1 млн параметров, принимает текст с контекстом до 512 токенов и распространяется под лицензией MIT. В карточке приведены результаты оценки на скандинавских наборах тестов и отмечены высокая точность, скорость и меньший размер по сравнению с указанными предыдущими системами. Результаты могут зависеть от языка и данных; модель предсказывает только три типа сущностей — людей, места и организации.

synapti/nci-ner-v1 — модель RoBERTa, дообученная разработчиком synapti на базе FacebookAI/roberta-base для классификации токенов. Она предназначена для задач разметки последовательностей, включая распознавание именованных сущностей. Архитектура — RobertaForTokenClassification; модель содержит 151,8 млн параметров и принимает текст с контекстом до 514 токенов. В README приведены результаты на оценочной выборке: precision 0,8854, recall 0,9097 и F1 0,8974. Датасет и типы сущностей не описаны, поэтому область применения и языковую поддержку уточнить нельзя. Модель распространяется по лицензии MIT.

Raveenasen/ner_model — дообученная на неизвестном наборе данных модель DistilBERT для классификации токенов. Она предназначена для задач разметки последовательностей, например распознавания именованных сущностей, однако карточка не уточняет набор меток и целевую задачу. Модель основана на distilbert/distilbert-base-uncased, использует архитектуру DistilBertForTokenClassification и формат весов safetensors. Контекст составляет до 512 токенов; лицензия — Apache-2.0. В README приведены метрики на оценочной выборке: loss 0,1098, accuracy 0,9780, precision 0,8828, recall 0,9028 и F1 0,8927. Эти результаты относятся к указанной выборке; без сведений о данных и метках нельзя оценить качество на других текстах. Базовая модель англоязычная, поэтому модель рассчитана прежде всего на английский текст.

Карточка модели Kukedlc/NeuralExperiment-7b-MagicCoder-v7 на Hugging Face совпадает с карточкой Kukedlc/NeuralExperiment-7b-MagicCoder-v7.5, поэтому описание составлено по ней. Kukedlc разработал экспериментальную языковую модель NeuralExperiment-7b-MagicCoder-v7.5 на архитектуре Mistral с 7,1 млрд параметров. Это дообученная версия Kukedlc/NeuralExperiment-7b-dare-ties: автор обучал модель, начиная с последнего слоя, на данных по математике, программированию и логическим задачам. В метаданных указан контекст до 32 768 токенов. Модель предназначена для генерации текста, в частности для ответов на математические задачи, решения логических головоломок и генерации или понимания кода. Автор сообщает о предварительных обнадёживающих результатах на математических задачах с неочевидными условиями, но отмечает, что оценка влияния обучения ещё продолжается. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

NeuralMonarchCoderPearlBeagle — объединённая авторская модель на базе Mistral, созданная с помощью LazyMergekit методом TIES из abideen/MonarchCoder-7B и eldogbbhed/NeuralPearlBeagle. По описанию автора, эксперимент проверяет, можно ли усилить навыки программирования и математики модели NeuralBeagle14-7B, сохранив её способности к диалогу. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации кода и текста, диалогов, математических задач и рассуждений. Автор характеризует слияние как экспериментальное и несколько хаотичное, поэтому качество на конкретных задачах может быть нестабильным. Репозиторий распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

MikhailRepkin/news_classifier — дообученная модель на базе Sentence RuBERT, созданная для бинарной классификации русскоязычных публикаций в Telegram: новость или не новость. Она предназначена, например, для отбора новостных сообщений в сервисе-агрегаторе. Модель использует архитектуру BERT для классификации последовательностей, содержит около 205,1 млн параметров и принимает текст длиной до 512 токенов. По данным карточки, обучение проводилось на русскоязычных постах из Telegram; метрики на оценке составили 0,95 accuracy и 0,89 Matthews correlation. Результат выдаётся в виде метки класса: LABEL_1 означает новость, LABEL_0 — не новость. Модель распространяется по лицензии MIT. Оценка качества относится к указанным данным и метрикам; перенос на другие источники публикаций может потребовать отдельной проверки.

Open-MOPD-SmolLM3-3B-MixSFT — языковая модель на архитектуре SmolLM3ForCausalLM, подготовленная командой Open-MOPD как начальный чекпойнт для последующего обучения специализированных RL-моделей и итоговой модели-дистиллята. Она создана дообучением HuggingFaceTB/SmolLM3-3B-Base на математических задачах, коде и данных для следования инструкциям; параметры обучения сбалансированы по числу токенов ответов. Модель содержит около 3,1 млрд параметров, распространяется в формате safetensors и рассчитана на генерацию текста и диалоговое применение. Метаданные указывают контекст до 65 536 токенов; в описанном обучении и оценке использовалась максимальная длина последовательности 32 768 токенов. Карточка приводит результаты на математических, кодовых и инструкционных тестах, но не уточняет методику их интерпретации для практических сценариев. Указанный в метаданных язык — английский. Лицензия Apache-2.0.

Карточка модели Openintelligent123/Phi-4-reasoning на Hugging Face совпадает с карточкой microsoft/Phi-4-reasoning, поэтому описание составлено по ней. Phi-4-reasoning — открытая по весам языковая модель Microsoft Research, дообученная на базе Phi-4 с помощью supervised fine-tuning на примерах цепочек рассуждений и обучения с подкреплением. Она предназначена для диалоговых генеративных приложений, где важны рассуждения и логика, а также ограничены вычислительные ресурсы или допустимая задержка. Основные области обучения и оценки — математика, наука и программирование; модель рассчитана прежде всего на английский язык. Модель использует плотный декодерный Transformer архитектуры Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. При инференсе рекомендуется ChatML-шаблон; для более сложных запросов авторы советуют выделять больше токенов на генерацию. Модель может ошибаться и не проходила оценку для всех прикладных сценариев, поэтому ответы следует проверять, особенно при использовании в задачах с высокими последствиями. Лицензия — MIT.

Sheltron Privacy Filter Ettin 32M — компактная модель Sheltron для обнаружения фрагментов текста, содержащих приватные данные и секреты. Это классификатор токенов на базе ModernBERT, дообученный на jhu-clsp/ettin-encoder-32m; модель содержит около 31,9 млн параметров и поддерживает контекст до 7999 токенов по метаданным. README указывает, что обучение и оценка проводились на последовательностях длиной 512 токенов, поэтому более длинный текст рекомендуется обрабатывать перекрывающимися окнами по 512 токенов с шагом 128. Модель размечает восемь категорий: номера счетов, адреса, даты, электронную почту, имена людей, телефонные номера, URL и секреты. Она предназначена для быстрого скрининга электронной почты, сообщений, переписок и команд, а её выход совместим по формату с OpenAI Privacy Filter. Доступны контрольная точка Safetensors FP32 и варианты ONNX, включая FP16; для ONNX нужен ONNX Runtime. Лицензия — Apache-2.0. Для воспроизведения метрик и корректного декодирования README предписывает применять ограниченный алгоритм Viterbi с калибровкой из viterbi_calibration.json, а не выбирать метки для каждого токена независимо. Базовая модель — англоязычный энкодер; в метаданных указан английский язык.

tmickleydoyle/Python-Code-Completer — дообученная модель для генерации и дополнения кода Python. Она создана разработчиком tmickleydoyle на основе unsloth/qwen2.5-coder-1.5b-bnb-4bit и обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель построена на плотной архитектуре Qwen2 и содержит 1,5 млрд параметров; заявленный контекст — до 32 768 токенов. Модель подходит для продолжения фрагментов Python-кода и помощи при написании кода по текстовым запросам. В карточке указаны английский язык и лицензия Apache-2.0. README не приводит результатов оценки качества или подробностей обучающих данных, поэтому надёжность генерации и охват конкретных библиотек по доступным сведениям оценить нельзя.

Agnuxo/Qwen2-1.5B-Instruct_MOE_CODE_assistant-GGUF_16bit — локальная чат-модель для генерации и помощи с программным кодом, опубликованная независимым исследователем Francisco Angulo de Lafuente. Это конверсия Qwen2-1.5B-Instruct в формат GGUF с точностью F16; в карточке заявлено 1,5 млрд параметров. Модель предназначена для работы через Ollama или Transformers и ориентирована на написание кода на Python, JavaScript, TypeScript, Rust, Go и C++, а также на задачи научных вычислений и машинного обучения. Модель принимает текст и генерирует текст; метаданные указывают архитектуру Qwen2, чат-возможности и английский и испанский языки карточки. README также заявляет навыки координации агентов и интеграции MCP и A2A. Репозиторий распространяется под лицензией Apache-2.0. Заявления README о наградах и результатах связанных проектов не подтверждают качество этой модели и не использованы как гарантии её возможностей.

Qwen2idae-16x14B-v1.0 — разговорная языковая модель от авторов проекта Parameter-Efficient Sparsity Crafting. Она преобразует плотные модели в разреженную архитектуру Mixture-of-Experts с помощью эффективного дообучения, включая QLoRA и адаптеры. По карточке модели, версия выпущена в марте 2024 года. Модель предназначена для диалогов и инструкций, особенно для задач математики и программирования. В метаданных указаны 13,4 млрд параметров, архитектура Qwen2ForCausalLM типа MoE, контекст до 32 768 токенов и библиотека Transformers; в README заявлено 15 млрд активируемых параметров. Для работы доступны веса Safetensors. Модель поддерживает английский язык. Лицензия — Apache-2.0. README приводит оценки на бенчмарках для серии Camelidae, но не содержит результатов Qwen2idae-16x14B-v1.0, поэтому качество именно этой версии по этим данным оценить нельзя.

Qwen3.5-9B-DS-v4-Flash-v3.0 — экспериментальная плотная модель на 9 млрд параметров от prithivMLmods, дообученная на базе prithivMLmods/Q3.5-9B-DS-v4-Flash-v2.0, построенной на Qwen/Qwen3.5-9B. Модель использует архитектуру Qwen3.5ForConditionalGeneration и предназначена для диалогов с текстом и изображениями; основное обучение было направлено на рассуждения, математику, научный анализ, программирование и следование инструкциям. Автор описывает многоэтапное обучение примерно на 3,5 тыс. отфильтрованных примеров с трассами рассуждений DeepSeek V4 Flash и на дополнительных наборах данных. Модель подходит для экспериментов с многошаговыми и длинными рассуждениями, решения задач и локального запуска через Transformers. В карточке указан формат safetensors и лицензия Apache-2.0. Это экспериментальный выпуск: в сложных задачах возможны ошибочные промежуточные шаги и выводы, а поведение может отличаться от базовой модели. Качество зависит от охвата и особенностей обучающих данных.

llamafy/Qwen-Qwen2.5-Coder-1.5B-Instruct-llamafied — конвертированная версия модели Qwen/Qwen2.5-Coder-1.5B-Instruct, опубликованная llamafy. Репозиторий заявляет преобразование в формат Llama для совместимости с программами, поддерживающими этот формат; метаданные указывают на дообучение относительно базовой модели и архитектуру LlamaForCausalLM. Модель предназначена для генерации кода в диалоговом формате и может применяться для ответов на вопросы о коде, его анализа и исправления. Она содержит 1,5 млрд параметров, принимает текст и имеет контекст длиной 4096 токенов. В качестве основного языка указать нельзя: сведения о языках в данных отсутствуют. Веса представлены в формате Safetensors. Лицензия в предоставленных данных не указана.

deepvk/roberta-base — предварительно обученный двунаправленный энкодер RoBERTa от deepvk, ориентированный преимущественно на русский язык. Модель обучена на задаче masked language modeling на корпусе примерно из 500 ГБ текстов: в него входят Википедия, книги, комментарии в соцсетях, художественная проза, субтитры и новостные сайты. В архитектуре 12 слоёв энкодера, 12 голов внимания и размерность представлений 768; всего около 151,8 млн параметров. Модель принимает текст и выдаёт контекстные векторные представления токенов; максимальный контекст составляет 514 токенов. В репозитории доступны веса PyTorch и safetensors. Энкодер не содержит предварительно обученной выходной головы, поэтому для классификации и других прикладных задач потребуется подходящая голова или дополнительное дообучение. Карточка приводит результаты оценки на dev-наборе Russian SuperGLUE. Лицензия — Apache 2.0.