I.12Рекомендации и персонализация
В разделе собраны самостоятельные задачи, где AI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 627 моделейЭто плотная языковая модель Qwen3 с 507,9 млн параметров, дообученная командой Utah NLP в рамках Tevatron-Elastic для поиска релевантных документов. Чекпойнт поддерживает эластичное сжатие токенов M-LTC: из одной модели можно выбирать разные коэффициенты сохранения токенов и настраивать точку работы через Tevatron-Elastic. Модель предназначена для получения представлений запросов и документов и их сопоставления в информационном поиске. В README указаны обучающие данные rlhn/rlhn-680K, максимальная длина при обучении 512 токенов и префиксы `query:` и `passage:`. Для полной конфигурации приведён результат 0,511 nDCG@10 на BEIR-15. Это ресурс для воспроизводимости экспериментов, а не заявление о превосходстве над современными моделями. Базовая модель имеет нативный контекст 32 768 токенов; лицензия — Apache-2.0.
tifilBERT-Base — турецкий энкодер предложений и экстрактор признаков, разработанный Şuayp Talha Kocabay в AI-клубе TÜBİTAK Science High School (TFLai). Это дообученная версия jhu-clsp/mmBERT-small на архитектуре ModernBERT с 140,5 млн параметров; модель предназначена прежде всего для получения семантических представлений предложений и оценки их сходства. Карточка сообщает о языковой адаптации и контрастивном выравнивании, а метаданные указывают контекст до 8192 токенов. Для обучения и оценки использовались, в частности, турецкие данные NLI и набор OPUS-100; автор приводит результаты на задачах классификации, NLI и QA. Модель рассчитана главным образом на короткие и средние турецкие тексты и может служить основой для дообучения под классификацию, распознавание сущностей и другие NLP-задачи. Контрастивное обучение усиливает семантическое сходство, но может ухудшать оценку грамматической приемлемости. README указывает практический предел около 512 токенов и предупреждает о возможных предвзятостях данных из Википедии, новостей и интернета; это расходится с контекстом 8192 токена в метаданных. Лицензия модели — MIT.
TIPSv2 SO400m/14 — контрастивная модель компьютерного зрения и языка из семейства TIPSv2, предназначенная для сопоставления изображений с текстовыми описаниями. Вариант SO400m/14 разработан Google и содержит визуальный энкодер ViT на 412 млн параметров и текстовый энкодер Transformer на 448 млн параметров; размер совместного пространства эмбеддингов — 1152 измерения. Модель подходит для классификации изображений по текстовым меткам без дообучения, извлечения согласованных текстовых и визуальных признаков, а пространственно насыщенные представления могут использоваться в сценариях сегментации. Визуальный и текстовый энкодеры имеют по 27 слоёв; изображения можно подавать с разным разрешением после преобразования значений пикселей в диапазон [0, 1], а текст обрабатывается SentencePiece-токенизатором с ограничением в 64 токена. Модель принимает изображения и текст и выдаёт эмбеддинги и оценки соответствия. Репозиторий распространяется по лицензии Apache-2.0. Для текстового ввода указана предварительная обработка в нижний регистр и максимум 64 токена; характеристики качества на конкретных наборах данных в карточке не приведены.
ykilcher/totally-harmless-model — обычная модель DistilBERT в формате PyTorch, предназначенная для извлечения признаковых представлений текста. Её можно загрузить через Transformers с помощью AutoModel. Модель принимает текст и выдаёт векторные представления токенов. Контекст ограничен 512 токенами; в метаданных указан английский язык. Карточка не описывает специальную предметную область или дополнительные возможности. Лицензия в предоставленных данных не указана.
X-CLIP Base Patch16 — видеоязычная модель Microsoft для распознавания действий и классификации видео. Это расширение CLIP, обученное контрастивно на парах видео и текста и полностью под надзором на датасете Kinetics-400. Модель обрабатывает 16 кадров видео с разрешением 224×224; в репозитории представлены веса PyTorch. Модель подходит для классификации видео zero-shot, few-shot и с обучением на размеченных примерах, а также для поиска соответствия между видео и текстом. Её можно применять для оценки того, насколько описание подходит к видеоролику. На Kinetics-400 указаны точность top-1 84,7% и top-5 96,8%. Лицензия — MIT. Модель обучалась на Kinetics-400; её результаты и применимость могут зависеть от сходства целевых видео с обучающими данными и от предварительной обработки кадров.
aajrami/bert-mlm-small — компактная языковая модель семейства RoBERTa, разработанная для извлечения признаков из текста. В README модель описана как BERT-подобная модель малого размера, предварительно обученная с целью masked language modeling (MLM); размер составляет 42,5 млн параметров, длина контекста — 514 токенов. Модель предназначена для получения контекстных представлений текста, которые можно использовать в последующих NLP-системах. Она поддерживает входной текст и выдаёт векторные представления токенов или последовательностей. Веса доступны в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0. Карточка не описывает отдельную специализацию по языкам или прикладным областям; название и описание не дают достаточных оснований приписать модели конкретный основной язык.
bert-sr-base — языковая модель семейства BERT, разработанная aajrami и предназначенная для извлечения признаков из текста. Модель использует архитектуру RoBERTa; в карточке она описана как BERT base с предобучением по целевой функции shuffle + random. Число параметров — около 151,8 млн, длина контекста — 514 токенов. Модель подходит для получения векторных представлений текста и использования в качестве основы для последующих задач обработки языка. В репозитории указаны форматы PyTorch и Safetensors. Лицензия — CC BY 4.0. README не уточняет языки обучения и ограничения по применению.
CLIP-fa-text — текстовый энкодер персидской версии CLIP, созданной разработчиком Sajjad Ayoubi. Модель дообучена на 400 тысячах пар «изображение — текст»; в качестве текстового энкодера использована RoBERTa-fa Фарахани. Архитектура — RoBERTa, около 145,5 млн параметров, контекст — 514 токенов. Репозиторий содержит веса PyTorch. Модель преобразует персидский текст в векторы размерности 768, сопоставимые с векторами изображений, получаемыми парным визуальным энкодером CLIP-fa. Это позволяет искать изображения по персидскому запросу и находить текстовые описания, близкие к изображению, в системах поиска и сопоставления мультимодальных данных. В карточке показан текстовый компонент; сам он принимает текст и выдаёт векторные признаки. Разработчик отмечает, что для обучения использовано меньше пар, чем для исходного CLIP, поэтому качество зависит от задачи и набора изображений. Лицензия в предоставленных сведениях не указана.
decider-0.8b — дообученная модель Mapika на базе Qwen/Qwen3.5-0.8B-Base, предназначенная для классификации и принятия решений по заданному состоянию. Она принимает текст или значение JSON и набор типизированных вопросов, а за один проход возвращает вероятности вариантов Choice, уровней Score или ответа «да/нет» Noul. Модель не генерирует свободный текст и не требует декодирования или разбора ответа; заявленный контекст составляет 262144 токена, число параметров — 581,4 млн. Модель рассчитана на маршрутизацию запросов, классификацию, оценочные суждения и поиск по JSON-данным. На коротких состояниях её результаты по маршрутизации и простым суждениям близки к более крупной версии decider-2b, но она слабее на задачах, требующих широких знаний, тонких различий между метками или многошагового рассуждения. Обучение выполнено в один этап на смеси из 1,47 млн примеров; обучающие данные, составленные учителем Qwen3.5-27B, могут переносить его смещения. Модель предназначена для английского языка и распространяется по лицензии Apache-2.0.
jjzha/jobbert_skill_extraction — модель на базе BERT для извлечения навыков из текста с разметкой отдельных токенов. Она предназначена для обнаружения в тексте навыков, включая soft skills и прикладные навыки; карточка также упоминает отдельную модель для извлечения знаний. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт токенные метки. Доступны веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
Это корейский Cross-Encoder на базе klue/roberta-small, дообученный с помощью библиотеки Sentence Transformers. Модель оценивает пару текстов одним числовым баллом, который можно использовать для ранжирования результатов поиска и оценки семантической релевантности. Модель содержит 81,2 млн параметров, использует архитектуру RoBERTa и принимает последовательности длиной до 514 токенов. В README приведены результаты оценки корреляции: Pearson 0,986 и Spearman 0,866; обучающая выборка насчитывает 35 108 пар текстов. Примеры и базовая модель указывают на работу с корейским языком. Лицензия в предоставленных данных не описана.
Ruri-Reranker-Small — японская модель-переранжировщик на основе Sentence Transformers и архитектуры DistilBERT, разработанная cl-nagoya. Она дообучена на базе cl-nagoya/ruri-pt-small и предназначена для повторного ранжирования результатов поиска: модель оценивает релевантность пары запроса и документа, чтобы поднять наиболее подходящие результаты выше. Размер модели — около 68 млн параметров; максимальная длина последовательности — 512 токенов. Модель рассчитана на японский язык и показывает результаты в бенчмарках JQaRA, JaCWIR и MIRACL. Лицензия Apache 2.0. Модель специализируется на ранжировании японского текста; качество для других языков не подтверждено. В README приведены сравнительные результаты на бенчмарках, но они не гарантируют аналогичную точность на других наборах данных.
ruri-v3-30m (ONNX) — это ONNX-версия модели cl-nagoya/ruri-v3-30m, опубликованная пользователем sirasagi62. Исходную модель разработала исследовательская группа CL Research Group in Nagoya, Japan. Модель предназначена для построения векторных представлений японских текстов и задач семантического поиска, сравнения сходства, классификации, кластеризации и retrieval. Модель основана на архитектуре ModernBERT-Ja и оформлена как Sentence Transformer с mean pooling. Она содержит около 37 млн параметров, формирует embeddings размерностью 256 и поддерживает последовательности до 8192 токенов. Основной язык — японский. Для разных сценариев предусмотрены префиксы для обычного семантического кодирования, тематического анализа, поисковых запросов и документов. ONNX-репозиторий содержит варианты модели с разными форматами и уровнями квантования, включая FP16, INT8, UINT8 и Q4. Сильные стороны модели — небольшой размер, длинный контекст, высокая специализация на японских текстах и возможность локального запуска через ONNX Runtime или Transformers.js. Ограничение состоит в том, что это не генеративная языковая модель и она ориентирована прежде всего на японский язык; для многоязычных корпусов её пригодность может быть ниже. Модель и ONNX-версия распространяются по лицензии Apache 2.0.
m3/sscd-copy-detection — модель извлечения признаков изображений для поиска копий и визуально похожих изображений. Пример в карточке показывает загрузку изображений через Transformers pipeline и сравнение полученных векторов с помощью косинусного сходства. Модель относится к архитектурному семейству SSCD Copy Detection и выдаёт векторные представления изображений. Такой подход подходит для поиска дубликатов в коллекциях и оценки сходства пары изображений. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
tevatron-elastic-bert-retriever-depth — модель поиска по тексту, дообученная Utah NLP на основе google-bert/bert-base-uncased с помощью Tevatron-Elastic. Она кодирует запросы и документы для информационного поиска; один чекпойнт поддерживает несколько вариантов глубины: ранний выход позволяет выбирать число слоёв и балансировать скорость и качество. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и предназначена для работы с префиксами query: и passage:. В тесте BEIR-15 модель показала nDCG@10 0,453 на полном режиме. Это ресурс для воспроизводимости результатов исследования Tevatron-Elastic; показатель не заявлен как превосходство над современными моделями. Для использования требуется фреймворк Tevatron-Elastic. Лицензия — Apache-2.0. Модель основана на англоязычном BERT и ориентирована на поиск по англоязычным текстам.
X-CLIP Base Patch16 — видеоязыковая модель Microsoft, обученная с учителем на наборе Kinetics-600. Это расширение CLIP для понимания видео: модель сопоставляет видеокадры и текст в общем пространстве признаков и подходит для классификации видео с нулевым или малым числом примеров, а также для поиска соответствий между видео и текстом. Вариант обучен на 8 кадрах каждого видео с разрешением 224 × 224 пикселя; архитектура использует патчи размером 16 пикселей. Модель может оценивать соответствие текста видео и классифицировать видео по текстовым описаниям или размеченным категориям. На Kinetics-600 указаны точность top-1 85,3% и top-5 97,1%. Доступны веса в формате PyTorch. Модель распространяется по лицензии MIT. Результаты зависят от предобработки кадров и набора классов или текстовых описаний. Обучение на Kinetics-600 и использование 8 кадров могут ограничивать качество на видео, сценах и действиях, отличных от обучающих данных; карточка не приводит подробных ограничений и оценки переноса на другие домены.
ARA-Reranker-V1 — модель Omartificial-Intelligence-Space для переранжирования результатов поиска на арабском языке. Она оценивает пару «запрос — фрагмент документа» и выдаёт оценку релевантности, по которой можно упорядочить кандидатов; в отличие от моделей эмбеддингов, она не формирует векторы для сравнения. Оценку можно преобразовать функцией sigmoid в диапазон от 0 до 1. Модель основана на XLM-RoBERTa и использует архитектуру классификации последовательностей; размер — 658,7 млн параметров, длина контекста — 8194 токена. Она обучалась на парах запросов и фрагментов с положительными и трудными отрицательными примерами. README приводит оценку на наборе из 3000 примеров, но таблица результатов для этой модели в предоставленном тексте неполна. Модель подходит для переранжирования результатов арабского поиска и отбора документов для систем вопросно-ответного поиска. Лицензия — Apache-2.0. Данные подтверждают поддержку арабского языка; о поддержке других языков сведений нет.
jsgao/bert-eli5c-retriever — модель извлечения признаков на основе BERT, представленная как Document Retriever для набора данных ELI5-Category. Для работы требуется дополнительный проекционный слой, описанный в связанном репозитории GitHub. Модель предназначена для получения текстовых представлений документов, которые можно использовать в сценариях поиска и извлечения документов. Она содержит 98,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch и Safetensors; язык модели — английский. Лицензия в предоставленных данных не указана.
lyeonii/bert-mini — преобразованная в PyTorch версия компактной англоязычной модели BERT-Mini без учёта регистра, первоначально выпущенной Google Research. Это плотный энкодер BERT примерно на 12 млн параметров с контекстом до 512 токенов; он выдаёт векторные представления текста и подходит для извлечения признаков в NLP-системах. В карточке приведены результаты оценки на задаче MRPC, но модель не описана как специально дообученная для неё. Модель принимает текст на английском языке и формирует контекстные представления токенов. Весами можно пользоваться на условиях лицензии MIT. Это конверсия исходных весов TensorFlow в формат PyTorch.
lealdaniel/comp-embedding-matching — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2 для сопоставления названий профессий и связанных с ними категорий. Она преобразует предложения и короткие тексты в плотные векторы размерности 768, нормализует их и позволяет сравнивать косинусное сходство. Архитектура включает MPNet, усредняющий пулинг токенов и нормализацию; README указывает максимальную длину последовательности 384 токена, а метаданные — контекст 514 токенов. Модель подходит для семантического поиска и ранжирования соответствий между формулировками должностей и профессиональными категориями, а также для сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В примерах обучающих и оценочных данных встречаются английские и португальские названия профессий и категорий. На тестовой выборке в README приведены значения cosine_accuracy@1 0,3202, @3 0,4547 и @5 0,5224; качество следует проверять на данных целевого сценария. Лицензия в предоставленных данных не указана.
DynamicRAG-7B — англоязычная модель на основе Llama 2, выпущенная авторами проекта DynamicRAG для динамического ранжирования документов в системах генерации с дополненным поиском (RAG). Она адаптирует порядок и количество найденных документов для каждого запроса, используя обратную связь от языковой модели. Обучение включает поведенческое клонирование экспертных траекторий и оптимизацию с подкреплением по обратной связи LLM. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 4096 токенов; опубликована в формате safetensors и рассчитана на английский язык. В проекте её применяют для переупорядочивания и отбора найденных документов, чтобы улучшить ответы RAG-систем. Карточка описывает исследовательские эксперименты и оценивание на нескольких бенчмарках; для обучения авторы указывают требование не менее восьми GPU A100-80G. Лицензия — Apache 2.0.
Eddy-VL Embedding 1.9B — мультимодальная модель эмбеддингов, разработанная лабораторией Urock-AI. Это дообученная и уменьшенная версия Qwen/Qwen3-VL-Embedding-2B: модель отображает текст, изображения, видео и страницы документов в общее векторное пространство для поиска и сопоставления по смыслу. Веса содержат около 1,93 млрд параметров; заявлена работа на периферийных устройствах и скорость примерно в 1,1 раза выше базовой модели. Модель предназначена для мультимодального поиска, в том числе в цифровой криминалистике: например, для поиска изображений или документов по текстовому запросу в автономной среде. Внутренние оценки Urock-AI на MMEB-V2 показывают результат 63,2 против 68,9 у повторно оценённой базовой модели; на ряде тестов тонкого сопоставления результаты близки к базовой модели. Лицензия — Apache 2.0. Eddy-VL формирует эмбеддинги и не выполняет переранжирование найденных результатов. В README отмечено, что качество немного ниже, чем у полной базовой модели; отдельно не оценены многоязычные и специализированные доменные сценарии. Модель предназначена для поиска кандидатов и не должна быть единственным основанием для решений с высокими ставками.
ESCOXLM-R — языковая модель Mike Zhang, Rob van der Goot и Barbara Plank, представленная в статье ACL 2023. Она основана на XLM-R large и прошла доменное адаптивное предварительное обучение на таксономии ESCO — европейской классификации навыков, компетенций, квалификаций и профессий. Модель содержит 658,7 млн параметров, поддерживает контекст до 514 токенов и доступна в форматах PyTorch, Safetensors и ONNX под лицензией Apache-2.0. Модель предназначена для задач, связанных с рынком труда и описаниями вакансий: например, для извлечения навыков и профессий, классификации текстов и разметки последовательностей. В предварительном обучении использовались динамическое маскирование языковой модели и дополнительная цель для изучения многоязычных связей таксономии ESCO. В статье сообщается о лучших результатах на шести из девяти наборов данных для шести задач разметки последовательностей и трёх задач классификации; это результаты оценки, а не гарантия качества на новых данных. Метаданные указывают хорватский язык, а обучение охватывало 27 языков.
mDenseOn-unsupervised — многоязычная плотная модель для поиска по LightOn, полученная на первом этапе обучения семейства mDenseOn. Это энкодер Sentence Transformers на базе ModernBERT с 306,9 млн параметров: он кодирует запросы и документы в векторы размерности 768, используя CLS-пулинг и косинусное сходство. Для запросов и документов предусмотрены префиксы `query:` и `document:`, максимальная длина последовательности — 8192 токена. Модель предварительно обучена контрастивным методом на корпусе примерно из 2,8 млрд пар «запрос—документ» на английском, французском, немецком, итальянском, испанском, португальском, шведском, норвежском и арабском языках; около четверти пар являются межъязыковыми. Чекпойнт подходит для экспериментов с многоязычным поиском, дообучения на собственных данных и дистилляции. Для большинства производственных сценариев авторы рекомендуют полностью обученную mDenseOn, поскольку этот чекпойнт ещё не прошёл этап настройки на отобранных сложных негативных примерах. Лицензия — Apache 2.0.
OpenSearch Contributors разработали opensearch-neural-sparse-encoding-v1 — модель на базе BERT для извлечения обучаемых разреженных представлений запросов и документов. Она кодирует текст в разреженные векторы размерности 30 522: индексы соответствуют токенам словаря, а значения отражают их важность. Модель содержит 136,7 млн параметров, принимает текст длиной до 512 токенов и распространяется в форматах PyTorch и Safetensors; для работы используется библиотека Sentence Transformers. Модель предназначена для поиска по документам и запросам, включая семантический поиск и расширение запросов или документов. Она обучена на MS MARCO и может применяться в OpenSearch с инвертированным индексом Lucene. В сравнении на подмножестве BEIR для версии v1 указано среднее значение NDCG@10 0,524; релевантность и эффективность зависят от набора данных. Лицензия — Apache-2.0.
PreFLMR_ViT-G — мультимодальная модель поиска документов семейства PreFLMR, разработанная LinWeizheDragon. Она принимает текстовый запрос, изображение или их сочетание и извлекает релевантные документы из предварительно индексированного корпуса; модель также подходит как поисковый компонент для систем retrieval-augmented generation и визуальных вопросно-ответных систем с опорой на знания. Архитектура — FLMRModelForRetrieval с визуальным энкодером ViT-G и текстовым энкодером Base-v2; в README для этого варианта указано 2,1 млрд параметров. Модель обучалась на задачах поиска «изображение—текст», «вопрос—текст» и «изображение и вопрос—текст», включая наборы WIT, MSMARCO, OKVQA и другие. Модель рассчитана на англоязычные запросы и мультимодальный поиск, а в карточке приведены результаты оценки на WIT, LLaVA, OVEN, KVQA, IGLUE, Infoseek, E-VQA, OKVQA и MSMARCO. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — MIT. Для работы требуется подготовленный корпус и индекс, а сама модель извлекает документы, но не генерирует итоговые ответы; приведённые результаты относятся к указанным тестовым наборам.
mahiyama/splade-ja-310m-v2 — японская модель разреженного поиска SPLADE, разработанная на основе sbintuitions/modernbert-ja-310m. Это дообученный ModernBERT с MLM-головой и max-пулингом SPLADE: он преобразует запросы и документы в разреженные векторы по словарным токенам, которые сравниваются скалярным произведением. Модель предназначена для семантического поиска и извлечения документов; один и тот же энкодер используется для запросов и документов. Обучение включает дистилляцию оценок реранкера и последующую краткую адаптацию на данных административных FAQ, викторин, академических текстов и длинных документов. Модель содержит около 314,6 млн параметров и поддерживает контекст до 8192 токенов. Разреженные представления подходят для инвертированных индексов и позволяют анализировать, какие токены влияют на поиск. В карточке приведена оценка на 11 задачах retrieval JMTEB v2; длина входа при оценке ограничивалась ресурсами GPU и различалась по задачам. Лицензия — MIT.
SPLADE-Mini — компактная модель разреженного поиска по тексту от rasyosef. Она основана на BERT-Mini и дообучена с дистилляцией Cross-Encoder ms-marco-MiniLM-L6-v2 на данных MS MARCO. Модель содержит около 12 млн параметров, принимает последовательности длиной до 512 токенов и формирует разреженные векторы размерности 30 522, которые сравниваются скалярным произведением. Модель предназначена для поиска релевантных документов по запросу и ранжирования результатов в информационно-поисковых системах. По карточке, на MS MARCO она достигает MRR@10 34,1 и рассчитана на запуск без GPU на коллекциях в несколько тысяч документов. Поддерживаемый язык — английский. Модель распространяется по лицензии MIT. Результаты оценки относятся к MS MARCO; качество на других коллекциях и языках карточкой не подтверждено.
Это PyTorch-порт VideoPrism LVT Base от Google DeepMind, подготовленный автором репозитория sposiboh на основе google/videoprism-lvt-base-f16r288. Он переносит модель из исходного релиза с весами JAX/Flax в PyTorch и, согласно карточке, даёт численно эквивалентные исходной реализации выходы. Модель предназначена для извлечения признаков из видео и получения векторных представлений, которые можно использовать в последующих задачах анализа видео. Архитектура — VideoPrism LVT Base; репозиторий содержит веса safetensors и используется через Transformers AutoModel и AutoProcessor. Суффикс f16r288 входит в название версии, но карточка не поясняет его значение. Лицензия — Apache-2.0. README указывает, что для загрузки требуется trust_remote_code=True.
Shekar AI разработала персидскую версию ALBERT, дообученную на корпусе Naab с задачей masked language modeling. Модель предназначена для предсказания пропущенных токенов в персидском тексте, а также может служить энкодером для получения векторных представлений предложений и дальнейшего дообучения для классификации, разметки и синтаксического анализа. В метаданных указаны архитектура ALBERT, 137,8 млн параметров и контекст до 512 токенов; README приводит другие сведения о размере модели — 11,5 млн параметров, 12 слоёв, размер скрытого состояния 768 и размер эмбеддинга 128. Особенность словаря SentencePiece — явная обработка символа ZWNJ, важного для написания персидских составных слов. README сообщает о точности top-1 49,1% на задаче предсказания замаскированных токенов. Модель компактна по замыслу, но не является источником фактических знаний: она слаба в фактическом дополнении предложений. Обучающие данные отражают возможные смещения персидских веб-текстов и новостей. Лицензия — MIT.