II.8Инженерия данных и аналитика

Модель lucky377/emotion_classifier — дообученная версия DistilBERT для классификации эмоций в английском тексте. Она присваивает тексту один из шести классов: грусть, радость, любовь, гнев, страх или удивление. В карточке указаны архитектура DistilBERT, базовая модель distilbert-base-uncased и обучение на наборе dair-ai/emotion из 20 000 размеченных текстовых фрагментов. Модель принимает текст и возвращает метки классов с оценками; максимальная длина контекста — 512 токенов. Модель подходит для анализа эмоциональной окраски коротких текстов, например сообщений и пользовательских отзывов. Она рассчитана на английский язык, поэтому качество на других языках не подтверждено. Лицензия — Apache 2.0.

teckedd/gha-whisper-small-twi-v6 — дообученная модель распознавания речи на архитектуре Whisper Small, разработанная для Ghana Health AI. Она преобразует аудио в текст и ориентирована на разговоры о здоровье на языках тви (акан) и английском в Гане; в карточке также указаны коды языков tw и ak. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors через Transformers. Модель предназначена для распознавания речи в продукте Ghana Health AI и для исследований речи на низкоресурсных языках Ганы. Валидационные метрики из карточки: WER 0,2970 и CER 0,1031. Лицензия — Apache-2.0. Модель не предназначена для клинической диагностики или самостоятельного принятия медицинских решений.

LLaDA-8B full-sequence SFT with code-target continuation — экспериментальный чекпойнт диффузионной языковой модели LLaDA, разработанный albertge для контрольного сравнения в исследовании dLLM Registers. Модель дообучена от albertge/llada-8b-full-sft-mix60k-4pass на подмножестве OpenCodeInstruct из набора mix60k-math-code-sft; целевые ответы содержат исходный код Python. Архитектура — плотная LLaDA с 8 млрд параметров, веса сохранены в safetensors и предназначены для работы через Transformers. Модель генерирует продолжения кода. В обучении использовались полные последовательности с диффузионной функцией потерь; длина генерации при обучении ограничивалась 1024 токенами. В ограниченной оценке с очисткой текста на границах блоков результат составил 19/164 на HumanEval и 61/257 на MBPP. Эти результаты относятся к описанному протоколу и не гарантируют качество на других задачах. Лицензия в предоставленных данных не указана.

lyfi-expert-classification — дообученная модель классификации текста на основе bert-base-multilingual-cased. Она предназначена для отнесения текстов к классам; конкретная схема меток и целевая область применения в карточке не раскрыты. Модель использует архитектуру BERT, содержит 205,1 млн параметров и принимает последовательности длиной до 512 токенов. Базовая модель многоязычная, но конкретные языки, проверенные для этой версии, не перечислены. В README указана точность 1,0 и потеря 0,0000 на оценочном наборе, однако датасет не назван, а описание обучения и оценки отсутствует, поэтому эти результаты не позволяют судить о качестве на новых данных. Модель распространяется под лицензией Apache-2.0.

Модель khadija69/mdebertaV3_BIES_stem_1K_4 — дообученная версия khadija69/mdebertaV3_BIES_stem_1K_3 на архитектуре DeBERTa V2. Она предназначена для классификации токенов, например для разметки последовательностей текста. Модель содержит 306 млн параметров, принимает текст с контекстом до 512 токенов и опубликована в формате TensorFlow. В README приведены результаты обучения за 5 эпох: точность на обучающей выборке 0,6271 и на валидационной выборке 0,5913. Датасет и конкретные типы меток не описаны, поэтому применимость к определённой задаче разметки оценить нельзя. Лицензия — MIT.

spamfighters/modernbert-spam-classifier — дообученный классификатор спама на базе русскоязычного энкодера deepvk/RuModernBERT-base. Модель относится к семейству ModernBERT, использует плотную архитектуру ModernBertForSequenceClassification и содержит 149 млн параметров. Она предназначена для классификации текстов; контекст модели составляет до 8192 токенов. Модель можно применять для автоматического выявления спама в сообщениях и текстовых потоках. В README указаны результаты на оценочной выборке: accuracy 0,9963 и F1 0,9963, однако набор данных обозначен как None, а его состав и методика оценки не раскрыты. Модель распространяется по лицензии Apache-2.0.

Motif-Audio — универсальная аудиомодель, разработанная Motif Technologies и распространяемая по лицензии MIT. Это автоэнкодер с двумя потоками: семантический кодирует содержание, акустический — тембр и спектральные детали; механизм cross-attention объединяет их в непрерывное латентное представление, а декодер восстанавливает звуковую волну. Модель содержит 726 млн параметров, принимает монофонический звук с частотой 16 кГц и формирует реконструированное аудио с той же частотой. Модель предназначена для реконструкции и сжатия аудио, а также для получения семантических представлений речи, музыки и звуков окружающей среды. Непрерывное латентное пространство можно использовать как основу для генеративных моделей, обученных создавать аудио в этом представлении. Для работы требуются входы в формате mono 16 кГц и bfloat16; длину входа следует дополнить до совместимого числа мел-кадров и обрезать выход до исходной длины. Реконструкция с потерями: возможны тонкие артефакты, а частота 16 кГц ограничивает представление частот диапазоном до 8 кГц. Сильно зашумлённые, повреждённые и неаудиовходы могут давать артефакты. Модель не принимает текстовое условие, не предназначена для синтеза речи по тексту и не выдаёт дискретные аудиотокены.

MSP-AVSR — мультимодальная модель распознавания речи из семейства Multimodal Speech Perception (MSP). Она объединяет аудиопредставления Wav2Vec2 из MSP-ASR и визуальные представления AV-HuBERT из MSP-VSR с помощью двунаправленного перекрёстного внимания и предсказывает английскую расшифровку через CTC. Модель принимает синхронизированные монофоническое аудио с частотой 16 кГц и видео говорящего; при оценке также поддерживается обработка только аудио или только видео через соответствующую предварительно обученную ветвь. Архитектура использует отдельные аудио- и видеоэнкодеры, проекции в общее пространство размерности 768 и двунаправленное перекрёстное внимание с 12 головами и масками заполнения. Видеопредставления приводятся к частоте аудиокадров, после чего объединённые признаки обрабатываются полносвязным блоком и общей CTC-головой. В опубликованных оценках WER на чистом тесте LRS2 составил 3,93%; результаты на шумных данных и AVCocktail заметно хуже и зависят от сегментации и декодирования. Модель предназначена для распознавания речи с использованием аудио и видео говорящего, в том числе при акустических помехах. Для декодирования с поиском по 3-граммной языковой модели README указывает отдельный процессор MSP-Processor-With-LM и зависимости pyctcdecode и kenlm. Данные карточки указывают базовые модели MSP-ASR и MSP-VSR и лицензию Apache-2.0.

Open-Dcoder-0.5B-MDLM-OpenCodeInstruct — дообученная Шуибаємоделью Shuibai12138 компактная языковая модель для генерации и исправления кода по текстовым инструкциям. Она продолжает обучение fredzzp/open-dcoder-0.5B на датасете NVIDIA OpenCodeInstruct в течение 2 000 шагов с целью masked diffusion language modeling; архитектура — плотная Qwen2 с двунаправленным вниманием. Размер модели составляет 494 млн параметров, контекст — 32 768 токенов. Модель предназначена для экспериментов и оценки генерации кода с нуля, а также локализации и исправления ошибок в коде. Это контрольная модель для сравнения с вариантом CDLM; README отдельно подчёркивает, что она не является моделью из статьи Corrective Diffusion Language Models и её результаты не следует считать результатами статьи. Для запуска нужны инструменты и оценочные скрипты проекта CDLM; загрузка через AutoModelForCausalLM приводит к неверным результатам, поскольку модель использует маскированную диффузию. Лицензия — MIT. В README также описана ошибка в обратном проходе используемой функции потерь: фактические градиенты не соответствуют заявленным весам отдельных токенов, поэтому обучение могло отличаться от задуманной процедуры. Модель обучена на коде и гиперпараметрах этого запуска; README не приводит отдельной оценки качества.

OpenMath-Llama-2-70b-hf — языковая модель NVIDIA для решения математических задач. Она дообучена методом instruction tuning на базе meta-llama/Llama-2-70b-hf с использованием набора OpenMathInstruct-1, содержащего 1,8 млн пар математических задач и решений. Модель генерирует текстовые рассуждения и блоки кода, предназначенные для выполнения в интерпретаторе Python. Это подходит для решения задач по математике, где полезны пошаговое объяснение и вычисления с помощью кода. Архитектура — плотная LlamaForCausalLM, размер — 68,7 млрд параметров; контекст — 2048 токенов. В карточке указан английский язык. Модель распространяется в формате safetensors по лицензии Llama 2. Её математические ответы и сгенерированный код следует проверять; код может содержать ошибки, а контекст ограничивает длину задачи и решения.

Это модель извлечения признаков изображений на основе визуального энкодера Qwen3.5-4B, преобразованного в формат timm. Она предназначена для получения векторных представлений изображений и промежуточных карт признаков, которые можно использовать в последующих задачах компьютерного зрения или дообучить для классификации. Веса визуальной части не дообучались: классификационная голова отсутствует, поэтому для классификации её нужно обучить отдельно. Модель содержит 332,7 млн параметров; ширина визуального backbone — 1024, проекции — 2560. Она принимает RGB-изображения, поддерживает прямоугольные размеры, использует абсолютные позиционные эмбеддинги и двумерный RoPE. Размер каждой стороны изображения должен делиться на 16, а для вариантов с объединением патчей 2×2 — на 32. Для стандартной обработки указаны изображения 768 × 768. Реализация рассчитана только на изображения и не содержит языковых весов Qwen. Модель разработана на основе визуальных весов Qwen3.5-4B и опубликована в репозитории timm; лицензия — Apache 2.0. Она выдаёт эмбеддинги и карты признаков, но не готовые классы изображений. Средняя операция для получения вектора сворачивает пространственные токены, поэтому детальные пространственные признаки следует получать через промежуточные карты или токены.

RECCON — модель для извлечения из реплик диалога короткого фрагмента текста, который служит причиной или триггером заданной эмоции. Разработчик в карточке не назван; модель подготовлена для развёртывания на Hugging Face Inference Endpoints. Она решает задачу извлекающего вопросно-ответного поиска: на вход подаются текст высказывания и метка эмоции, на выходе — соответствующий текстовый фрагмент. В README указана база SpanBERT, а метаданные классифицируют веса как BERT-модель с 135,5 млн параметров и контекстом до 512 токенов. Модель обучалась на наборе RECCON, созданном на основе DailyDialog, и предназначена для анализа эмоциональных причин в диалогах. README описывает постобработку, которая ограничивает ответ коротким фрагментом, проверяет его наличие в исходном тексте и удаляет дубликаты пересекающихся фрагментов. В README есть расхождение: в описании базы указана SpanBERT, тогда как логика обработчика упоминает RoBERTa; архитектура в метаданных указана как BERT. Лицензия в предоставленных данных не приведена.

QuantFactory/rho-math-1b-interpreter-v0.1-GGUF — квантованная версия языковой модели Rho-Math-1B-Interpreter-v0.1, разработанной Microsoft и преобразованной QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и решения математических задач, включая сценарии с интерпретатором кода и инструментально интегрированным рассуждением. Модель основана на Rho-1 и использует Selective Language Modeling (SLM) — подход к предобучению, при котором обучение сосредоточено на информативных и качественных токенах. Размер исходной модели составляет около 1,1 млрд параметров. Модель относится к текстовым causal language models, ориентирована на английский язык; поддерживаемые модальности — текстовые. Размер контекстного окна в README не указан. К сильным сторонам относятся специализация на математическом рассуждении и высокая эффективность для компактной модели: заявлено более 40% точности на датасете MATH, а версия Rho-Math-1B показывает 36,2% на GSM8K и 15,6% на MATH в few-shot оценивании. Ограничения включают небольшой размер по сравнению с крупными моделями, ориентацию преимущественно на английский язык, зависимость качества от формата запросов и инструментов исполнения кода, а также отсутствие в README подробностей о квантовании, контекстном окне и характеристиках инференса. Модель распространяется по лицензии MIT.

Koichi Yasuoka разработал эту модель на основе японской RoBERTa, предварительно обученной на текстах 青空文庫. Модель дообучена для морфосинтаксического анализа японского текста: она размечает части речи и зависимости между словами, используя схему goeswith для связи подслов. Модель предназначена для анализа японских предложений в NLP-конвейерах. В карточке Hugging Face указаны архитектура RoBERTa, около 305,5 млн параметров и контекст до 512 токенов; модель доступна в формате PyTorch и использует датасет Universal Dependencies. Лицензия — CC BY-SA 4.0.

nfliu/roberta_books_wiki_bpe_32k — языковая модель на архитектуре RoBERTa, опубликованная Nelson Liu. Она предназначена для задачи fill-mask: восстановления пропущенных токенов в тексте на основе окружающего контекста. Модель содержит около 137,8 млн параметров и поддерживает контекст длиной до 514 токенов. В метаданных указаны библиотеки PyTorch и Transformers, а также тег CamemBERT; отдельные коды поддерживаемых естественных языков не приведены. Модель подходит для автодополнения и анализа текста с маскированными фрагментами, но не предназначена для свободной генерации длинных текстов, диалогов или прямого распознавания речи. Лицензия в доступных данных не указана.

robert-large-ro-re — румынская монолингвальная модель-классификатор для извлечения отношений между сущностями. Её разработали Dragoș Mitruț Vasile, Elena-Simona Apostol, Stefan-Adrian Toma, Adrian Paschke и Ciprian-Octavian Truică; модель дообучена на readerbench/RoBERT-large, архитектура — BERT-large с классификационной головой. В метаданных указаны 441,4 млн параметров и контекст до 512 токенов. Модель принимает предложение с двумя выделенными сущностями и предсказывает одну из 19 направленных меток отношений, которые соответствуют 10 укрупнённым классам SemEval-2010 Task 8. На тестовом наборе задачи для румынского языка указана macro F1 0,844. Обучение проводилось на автоматически переведённом наборе данных с автоматической постпроверкой, а не на эталонной разметке, проверенной людьми; поэтому качество перевода может влиять на результаты. Лицензия — MIT.

SSLAM Pretrain — предварительно обученная модель извлечения аудиопризнаков, выпущенная в рамках работы SSLAM, представленной на ICLR 2025. Чекпойнт ViT Base обучен 15 эпох и использует архитектуру EAT в реализации для Hugging Face Transformers. Модель предназначена для получения представлений аудио, в том числе полифонических сцен с несколькими одновременно звучащими источниками. Её можно использовать как основу для аудио-LLM, обнаружения звуковых событий и общего анализа аудио. Обучение на аудиосмесях и функция потерь source retention ориентированы на сохранение информации об отдельных источниках в смешанных звуковых сценах. Весовые файлы представлены в формате safetensors. Лицензия — MIT. Число параметров и длина контекста в предоставленных данных не указаны.

ULTRA 3G — модель-основа для рассуждений по графам знаний, разработанная авторами проекта ULTRA. Она предсказывает связи: для запроса вида «сущность — отношение — ?» ранжирует сущности-кандидаты. Модель рассчитана на запуск без дообучения на графах с разными словарями сущностей и отношений; при необходимости её можно дообучить на конкретном графе. Архитектура использует графовые нейронные сети и модифицированные версии NBFNet. Вместо отдельных эмбеддингов сущностей и отношений для каждого графа ULTRA формирует переносимые представления отношений на основе их взаимодействий. В этом чекпойнте около 169 тысяч параметров; он предварительно обучен на трёх графах. Доступен в формате Safetensors, лицензия — MIT. Модель предназначена для дополнения графов знаний и оценки кандидатов на отсутствующие связи, в том числе в сценариях zero-shot. README сообщает о результатах на наборе более чем из 50 графов, но не приводит в предоставленной карточке полные сравнительные таблицы; результат зависит от графа и протокола оценки.

UMLS-ED-Bioformer-8L-V-1.25 — модель Sentence Transformer на базе BERT, дообученная pankajrajdeo для сопоставления медицинских терминов и текстов. Она преобразует предложения и абзацы в плотные векторы размерности 512; сходство между ними можно оценивать по косинусной мере. Модель предназначена для семантического поиска, сравнения формулировок и поиска парафраз, а также может применяться для кластеризации и классификации текстов. Обучение описано как контрастное обучение на триплетах: в карточке приведён набор из примерно 187,5 млн примеров с медицинскими терминами и формулировками на разных языках. Архитектура использует BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Репозиторий распространяет веса в формате safetensors. Языки специально не перечислены, однако примеры обучающих данных показывают многоязычные медицинские тексты. Модель подходит для поиска связанных медицинских понятий и нормализации различающихся формулировок. Качество для отдельных языков, клинических сценариев и конкретных задач оценки в карточке не приведено; в медицинском применении результаты следует проверять на соответствующих данных. Условия лицензирования в предоставленных сведениях не указаны.

Это модель семантической сегментации изображений семейства U-Net++, опубликованная в формате safetensors и предназначенная для использования с библиотекой segmentation-models-pytorch. По названию репозитория можно предположить, что в качестве энкодера используется TU-ResNet18, однако README не раскрывает параметры и метрики модели. Модель принимает изображения и выдаёт разметку по пикселям. README не сообщает, на каком наборе данных модель обучена, поэтому её точность и пригодность для конкретных изображений по карточке оценить нельзя. Лицензия модели — MIT.

UnihanLM — маскированная языковая модель для китайского и японского языков, разработанная для использования общих знаний о сходных иероглифах. Она обучена в два этапа: сначала похожие по морфологии символы объединяются в кластеры для грубого предобучения, затем заменяются исходными символами для обучения более точным представлениям. Модель построена на архитектуре XLM и предназначена для извлечения признаков и представлений текста в моноязычных и межъязыковых задачах NLP для китайского и японского языков. Контекст — до 512 токенов; веса доступны в форматах PyTorch и TensorFlow. Модель обучена на китайской и японской Википедии и оценивалась на соответствующих NLP-бенчмарках. Из-за источника обучающих данных она может хуже работать с неформальным текстом; английские слова токенизируются посимвольно. Лицензия — Apache-2.0.

CrabInHoney/urlbert-tiny-v6 — компактный энкодер URL на архитектуре ModernBERT, разработанный CrabInHoney для извлечения признаков и выявления вредоносных ссылок, включая фишинговые. Модель насчитывает около 2,03 млн параметров, имеет размерность скрытого представления 128 и контекст до 8192 токенов. Она предназначена исключительно для обработки строк URL. Энкодер выдаёт контекстные представления токенов; для последующих задач автор рекомендует объединять представление CLS со средним представлением токенов. В репозитории также есть десять предварительно обученных классификационных голов для наборов данных по кибербезопасности. По описанному автором тесту на JPxxx/url-benchmark-dataset модель показала высокие результаты при обнаружении вредоносных URL, однако качество на других источниках данных может отличаться. Модель опубликована под лицензией Apache-2.0.

VideoMAE Base — модель классификации видео, разработанная командой MCG-NJU. Она основана на архитектуре Vision Transformer, адаптированной для видео: кадры разбиваются на патчи размером 16×16, а видеопоследовательность обрабатывается трансформерным энкодером. Модель предварительно обучалась 1600 эпох без учителя и затем дообучалась с учителем на наборе Kinetics-400; в ней около 113,2 млн параметров. Модель предназначена для отнесения видео к одному из 400 классов Kinetics-400 и может использоваться для распознавания действий и классификации видеоклипов. На тестовой выборке Kinetics-400 указаны точность top-1 80,9% и top-5 94,7%. Для других наборов классов может потребоваться дополнительное обучение. Репозиторий содержит веса PyTorch и safetensors; лицензия CC BY-NC 4.0 разрешает использование на её условиях, включая ограничения на коммерческое применение.

timm/vit_large_patch16_dinov3_qkvb.sat493m — визуальный энкодер на архитектуре DINOv3 ViT-L/16, разработанный для библиотеки PyTorch Image Models (timm). Модель содержит 303,1 млн параметров и принимает изображения размером 256 × 256 пикселей. Она дистиллирована на наборе спутниковых изображений SAT-493M из DINOv3 ViT-7B. Модель преобразует изображения в признаки и эмбеддинги, которые можно использовать для классификации, сегментации и других задач компьютерного зрения. Результаты на GEO-Bench показывают применимость к геопространственным изображениям, в том числе для классификации и сегментации спутниковых данных. Вариант qkvb сохраняет включённые QKV-проекции с нулевыми смещениями, чтобы соответствовать поведению исходной реализации и Transformers. В timm RoPE-периоды создаются в float32 вместо persistent-буфера bfloat16 исходной модели, что может приводить к небольшим численным различиям. Лицензия обозначена как DINOv3; точные условия следует сверять с лицензией проекта.

Это визуальный энкодер DINOv3 ViT-L/16, опубликованный в библиотеке timm и разработанный на основе модели DINOv3 ViT-7B. Энкодер содержит 303,1 млн параметров, обрабатывает изображения размером 256 × 256 и предназначен для извлечения признаков и эмбеддингов; его веса дистиллированы на наборе спутниковых изображений SAT-493M. Модель можно использовать как основу для классификации изображений, сегментации и других задач компьютерного зрения, в том числе для анализа спутниковых снимков. В README приведены результаты на геопространственных классификационных и сегментационных наборах. Это энкодер изображений: он принимает изображения и выдаёт признаки, а не готовые текстовые ответы. Карточка указывает лицензию DINOv3, а метаданные Hugging Face обозначают её как other; точные условия лицензии следует сверить с лицензией DINOv3. README отмечает нюансы совместимости: в timm отключён QKV bias, поскольку исходные значения были нулевыми, а представление периодов RoPE может вызывать небольшие численные различия с оригиналом.

Это V-JEPA 2 ViT-L с головой классификации видео, подготовленной FAIR при Meta и дообученной на наборе Something-Something-V2. Модель содержит 402,7 млн параметров и предназначена для классификации видеороликов; она распространяется в формате Safetensors и используется через библиотеку Transformers. Модель подходит для распознавания действий и событий в видео, в том числе сцен с взаимодействием человека с объектами. Базовая модель V-JEPA 2 разработана FAIR при Meta для понимания и представления видео и изображений. Для этой версии указана лицензия MIT. Карточка не сообщает контекст обработки и поддерживаемые естественные языки.

Модель chin-may/wav2vec2-audio-emotion-classification — дообученная версия facebook/wav2vec2-base для классификации аудио по эмоциональным категориям. Она принимает аудио и выдаёт метки классов; архитектура основана на Wav2Vec2ForSequenceClassification и содержит 113,3 млн параметров. Модель подходит для анализа эмоциональной окраски речи в аудиозаписях. В README приведены результаты на наборе оценки: accuracy 0,7398 и loss 0,9518. Модель распространяется по лицензии Apache-2.0.

Это японская модель распознавания речи на основе WavLM-Base-Plus, разработанная автором репозитория TylorShine. В ней используется энкодер WavLM и две CTC-головы: одна выводит хирагану, другая — фонемы. Модель содержит 113,3 млн параметров и рассчитана на аудио с частотой 16 кГц. Модель предназначена для преобразования японской речи в последовательности хираганы и фонем, включая студийную запись, речь разных дикторов и шёпот. По описанию автора, отсутствие авторегрессионного декодера помогает избежать повторяющихся галлюцинаций, а вывод ограничен хираганой и фонемами. В тестах на JSUT-BASIC5000 и наборах JVS сообщаются ошибки KER от 3,97% до 11,6% и PER от 3,33% до 7,51% в зависимости от условий записи. Репозиторий использует пользовательскую архитектуру DualCTCModel и библиотеку Transformers; для загрузки требуется разрешить выполнение кода из репозитория через trust_remote_code=True. Модель распространяется по лицензии CC BY-SA 3.0.

ZR1-1.5B — компактная языковая модель Zyphra на архитектуре Qwen2 с 1,5 млрд параметров, дообученная на DeepSeek-R1-Distill-Qwen-1.5B с помощью обучения с подкреплением PRIME и процессных наград. Она предназначена для генерации ответов с рассуждениями, особенно при решении задач по математике и программированию; в обучающую выборку вошли проверенные математические задачи и примеры кода из нескольких наборов данных. Модель поддерживает контекст до 131 072 токенов и рассчитана на англоязычные запросы. В README приведены результаты оценок по математике и программированию, включая pass@1 на задачах GPQA-Diamond, LeetCode и других тестах. Эти показатели получены на конкретных бенчмарках и режимах генерации и не гарантируют аналогичного качества на произвольных задачах. Модель распространяется в формате Safetensors под лицензией MIT.

AlbaSocialXLM-R — модель XLM-RoBERTa, разработанная для работы с албанскими текстами из социальных сетей. Она основана на FacebookAI/xlm-roberta-base и продолжительно обучена предсказывать замаскированные токены на корпусе примерно из 400 тысяч албанских комментариев, включая исходные и контролируемые синтетические варианты. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате safetensors под лицензией MIT. Это masked language model, а не готовый классификатор. Её можно использовать для предсказания замаскированных слов или дообучать с классификационной головой для анализа тональности, эмоций, позиции, токсичности и диалектных вариантов в комментариях и других неформальных албанских текстах. Модель специально адаптирована к шумному письму, региональным формам и тексту без диакритических знаков. В описанной оценке адаптация улучшила результаты на задачах анализа тональности, выявления языка вражды и определения диалектов. Поскольку обучающие данные происходят из соцсетей, модель может отражать их предубеждения, оскорбительную лексику и региональные особенности; для чувствительной модерации нужны отдельная оценка и контроль человека.