III.2Исследование рынка и маркетинг
В разделе собраны самостоятельные задачи, где AI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 594 моделиLatensis Sentiment — модель классификации тональности турецкого текста, разработанная командой Latensis и дообученная на базе Latensis RoBERTa Base. Модель использует архитектуру RoBERTa с примерно 211,6 млн параметров и токенизатор Hecemen Unigram 128k; максимальная длина контекста составляет 514 токенов. Модель относит текст к одному из двух классов: отрицательному или положительному. Она предназначена для анализа отзывов, сообщений и других турецкоязычных текстов. В README приведены результаты на двух тестовых наборах: accuracy и macro-F1 0,9027 и 0,9026 на TRSAv1, а также accuracy 0,8534 на Winvoker. Указана лицензия MIT.
Модель agentlans/multilingual-e5-small-aligned-sentiment разработана на основе multilingual-e5-small-aligned и дообучена для оценки тональности текста на нескольких языках. Это плотная модель семейства BERT с архитектурой BertForSequenceClassification, содержащая 124,3 млн параметров и принимающая текст длиной до 512 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для определения тональности многоязычных текстов, фильтрации контента и сравнительного анализа корпусов на разных языках. В карточке описана проверка на примерах на английском, арабском, китайском, французском, русском и испанском языках; обучающие данные включают параллельные предложения и дополнительные метрики тональности. Лицензия MIT.
Многоязычная модель Tabularis для многометочной классификации эмоций в тексте. Она дообучена на FacebookAI/xlm-roberta-base и присваивает тексту ноль, одну или несколько из 11 меток: гнев, презрение, отвращение, страх, фрустрация, благодарность, радость, любовь, нейтральность, грусть и удивление. Для каждой метки применяется отдельный порог 0,5. Модель предназначена для анализа эмоций в публикациях соцсетей, отзывах и сообщениях клиентов, мониторинга бренда и отслеживания эмоциональной окраски диалогов. Заявлена поддержка 23 языков. В README приведены результаты на отложенном мультиязычном наборе из 11 500 примеров: micro-F1 0,840, macro-F1 0,839 и sample Jaccard 0,794. Обучающие данные синтетические, поэтому показатели на тестовом наборе не гарантируют качество на реальных текстах и разных культурных контекстах. Предсказания следует считать вероятностными сигналами, а не достоверным определением внутреннего состояния человека; перед применением в значимых сценариях нужна проверка на целевых данных. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и запрещает коммерческое использование.
NuSentiment — дообученная Numind версия e5-v2 на размеченной выборке C4. Это модель эмбеддингов для задач анализа тональности: она преобразует текст в векторные представления, которые можно использовать напрямую или дополнительно дообучить на специализированных данных. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Карточка указывает английский язык; лицензия — MIT.
roberta-large-multilingual-sentiment — многоязычная модель классификации тональности из коллекции Multilingual-Sentiment, разработанная clapAI. Она дообучена на датасете clapAI/MultiLingualSentiment от FacebookAI/xlm-roberta-base и предназначена для определения тональности текстов, в том числе отзывов о товарах и местах. Модель использует архитектуру XLM-RoBERTa для классификации последовательностей, содержит 658,7 млн параметров и принимает текст с контекстом до 514 токенов. Модель поддерживает 16 языков, включая английский, китайский, вьетнамский, корейский, японский, арабский, немецкий, испанский, французский, хинди, индонезийский, итальянский, малайский, португальский, русский и турецкий. В README приведены результаты оценки на тестовой части датасета, но указанная там таблица относится к другим моделям коллекции и не позволяет установить результат этой модели. Для запуска нужна библиотека Transformers; лицензия — Apache-2.0.
seara/rubert-tiny2-russian-sentiment — модель RuBERT-tiny2, дообученная для классификации тональности коротких русскоязычных текстов. Это компактная модель семейства BERT с 29 млн параметров и контекстом до 2048 токенов; она выдаёт один из трёх классов: нейтральный, положительный или отрицательный. Модель подходит для автоматической разметки отзывов, новостей и других коротких сообщений по тональности. Для обучения использовалось объединение датасетов RuReviews, RuSentiment, Linis Crowd 2015 и 2016, а также Kaggle Russian News Dataset. На тестовом разбиении автор сообщает macro F1 0,75; для положительного класса F1 составляет 0,83, для нейтрального — 0,72, для отрицательного — 0,71. Модель принимает текст и возвращает классификацию. Репозиторий распространяется по лицензии MIT. Результаты на тестовом разбиении не гарантируют такую же точность на данных другой тематики или формата.
sbcBI/sentiment_analysis_model — модель классификации английских текстов по тональности, созданная дообучением bert-base-uncased. В метаданных архитектура указана как DistilBertForSequenceClassification семейства DistilBERT; доступный формат весов — PyTorch, максимальный контекст — 512 токенов. README описывает обучение на размеченном наборе данных, который обозначен в метаданных как Confidential. Модель предназначена для определения тональности текста и уже настроена на эту задачу; автор README не рекомендует использовать её для дальнейшего дообучения под другие задачи. Подходит для классификации англоязычных отзывов, комментариев и коротких сообщений. Лицензия — Apache-2.0.
SiEBERT — модель анализа тональности английского текста, разработанная как дообученный чекпойнт RoBERTa-large. Она классифицирует текст по двум меткам: положительная и отрицательная тональность. Модель обучали и оценивали на 15 наборах данных из разных источников, включая отзывы и твиты, чтобы повысить качество на текстах, отличающихся от обучающих примеров. Модель предназначена для классификации отзывов, публикаций и других англоязычных текстов, а также может служить отправной точкой для дальнейшего дообучения на пользовательских данных. Архитектура — RoBERTa для классификации последовательностей, размер — 454,1 млн параметров, максимальный контекст — 514 токенов. Доступны версии для PyTorch, TensorFlow и Flax. В описанных оценках модель показала более высокую точность на разнородных наборах данных, чем модель DistilBERT, дообученная только на SST-2. Точность на конкретных данных может отличаться; README рекомендует проверить качество на вручную размеченной выборке для целевого сценария. Лицензия в предоставленных данных не указана.
tidarat/tidarat-jiewhwan — дообученная модель XLM-RoBERTa для классификации тональности текста, основанная на cardiffnlp/twitter-xlm-roberta-base-sentiment. Она предназначена для определения тональности коротких текстов, в частности сообщений в социальных сетях. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForSequenceClassification и принимает текст с контекстом до 514 токенов. Базовая модель многоязычная, но языки, на которых дообучали эту версию, не уточнены. Репозиторий содержит веса в формате safetensors. Лицензия не указана в доступных данных.
Это англоязычная модель RoBERTa-base для классификации тональности публикаций в Twitter на отрицательную, нейтральную и положительную. Репозиторий содержит версию весов исходной модели Cardiff NLP `cardiffnlp/twitter-roberta-base-sentiment-latest`, преобразованную в формат safetensors; архитектура и поведение модели не менялись, переобучения не было. Модель подходит для определения тональности англоязычных твитов и анализа настроений в коротких сообщениях. Она построена на архитектуре RoBERTa для классификации последовательностей, содержит около 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Обучение исходной модели связано с набором TweetEval и примерно 124 млн твитов за 2018–2021 годы. Лицензия репозитория — CC BY 4.0. Модель ориентирована на англоязычные публикации в Twitter; результаты на других языках и типах текста могут быть менее надёжными. Преобразование в safetensors само по себе не меняет точность или область применения исходной модели.
Многоязычная модель Cardiff NLP на архитектуре XLM-RoBERTa-base для определения тональности сообщений в Twitter и других коротких текстов. Модель обучена примерно на 198 млн твитов и дообучена для классификации тональности на восьми языках: арабском, английском, французском, немецком, хинди, итальянском, испанском и португальском. Авторы указывают, что она может применяться и к другим языкам. Модель содержит 305,2 млн параметров, принимает текст и выдаёт метку класса тональности. Максимальная длина контекста — 514 токенов. Подходит для анализа тональности публикаций и коротких сообщений; качество за пределами восьми языков дообучения может быть ниже. В карточке указаны форматы PyTorch и TensorFlow. Лицензия в предоставленных данных не указана.
BERT-Emotions-Classifier — дообученная модель на архитектуре BERT, разработанная Ayoub Kirouane для многометочной классификации эмоций в тексте. Она принимает строку и возвращает одну или несколько меток эмоций с оценками: гнев, ожидание, отвращение, страх, радость, любовь, оптимизм, пессимизм, грусть, удивление и доверие. Модель подходит для анализа эмоциональной окраски публикаций в социальных сетях и отзывов, а также для рекомендаций с учётом эмоционального контекста. Она обучена на наборе данных SemEval 2018 Task 1, содержит 136,7 млн параметров, использует библиотеку Transformers и обрабатывает контекст длиной до 512 токенов. Поддерживается английский язык. Лицензия в предоставленных данных не указана.
AssemblyAI дообучила DistilBERT-Base-Uncased для анализа тональности на наборе Stanford Sentiment Treebank v2 (SST-2), входящем в бенчмарк GLUE. Модель построена на архитектуре DistilBERT и предназначена для классификации тональности текста. Её можно использовать для определения тональности коротких текстовых фрагментов, например отзывов или комментариев. Контекст модели составляет до 512 токенов. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
3liel разработал арабоязычный классификатор тональности публикаций в Twitter/X на основе дообученной модели UBC-NLP/MARBERTv2. Он относит текст к одной из трёх категорий: отрицательной, нейтральной или положительной; подходит для анализа мнений в арабоязычных сообщениях и оценки тональности публикаций.
Модель j-hartmann/purchase-intention-english-roberta-large — англоязычная модель классификации текста на основе RoBERTa, разработанная Йоханнесом Хартманном. Она определяет, выражает ли публикация в социальных сетях намерение совершить покупку: модель относит текст к одному из двух классов — «намерение купить» или «намерения купить нет». Модель дообучена на 2 000 вручную размеченных публикаций; в README указана точность 95% на отложенной выборке при случайном базовом уровне 50%. Для вывода доступны оценки обоих классов. Модель содержит 454,1 млн параметров, использует архитектуру RobertaForSequenceClassification и принимает текст с контекстным окном 514 токенов. Она предназначена для анализа англоязычных публикаций и других текстов, в которых выражено или не выражено покупательское намерение. Результат следует интерпретировать с учётом ограниченного объёма обучающей выборки и ориентации на тексты из социальных сетей. Сведения о лицензии в предоставленных данных отсутствуют.
blanchefort/rubert-base-cased-sentiment — русскоязычная модель классификации тональности коротких текстов, созданная на базе DeepPavlov/rubert-base-cased-conversational и дообученная на агрегированном корпусе из 351 797 текстов. Она присваивает тексту одну из трёх меток: нейтральная, положительная или отрицательная тональность. Модель построена на архитектуре BERT и предназначена для анализа коротких сообщений и отзывов на русском языке, включая публикации в соцсетях, отзывы о товарах и медицинских учреждениях. Контекст ограничен 512 токенами; для работы доступны версии в форматах PyTorch, TensorFlow и Flax, включая веса Safetensors. Обучение использовало RuTweetCorp, RuReviews, RuSentiment и отзывы о медицинских учреждениях. Это специализированный классификатор тональности, поэтому его метки не заменяют подробный анализ мнений, аспектов или сарказма; качество на длинных и иных тематических текстах может отличаться. Условия лицензии в предоставленных источниках не описаны.
RuBERT-Base-ru-sentiment-RuSentiment — русскоязычная модель классификации текста на основе архитектуры BERT, разработанная путём дообучения RuBERT на наборе RuSentiment. Датасет содержит публикации общего характера из социальной сети ВКонтакте, поэтому модель предназначена для анализа тональности русскоязычных постов и похожих текстов. Модель насчитывает 205,1 млн параметров и принимает последовательности длиной до 512 токенов. Она выдаёт результат классификации текста; доступны версии в форматах PyTorch и Flax. Карточка приводит методику сравнения результатов на RuSentiment и других наборах, но в предоставленном фрагменте нет конкретных оценок качества. Лицензия в предоставленных данных не указана.
Модель j-hartmann/sentiment-roberta-large-english-3-classes — англоязычный классификатор тональности на базе RoBERTa, разработанный J. Hartmann и дообученный на 5 304 вручную размеченных публикациях из социальных сетей. Она относит текст к одному из трёх классов: положительная, нейтральная или отрицательная тональность. Модель подходит для анализа отзывов, сообщений и публикаций на английском языке, в том числе для автоматической разметки тональности в потоках пользовательского контента. Это плотная архитектура RoBERTa с классификационной головой, около 454,1 млн параметров и контекстом до 514 токенов. В README указана точность 86,1% на отложенной выборке. Модель принимает текст и выдаёт метки классов с оценками. Обучающие данные ограничены небольшим набором вручную размеченных публикаций в социальных сетях, поэтому точность на других жанрах и предметных областях может отличаться. Репозиторий распространяет веса в формате PyTorch; лицензия в предоставленных данных не указана.
Tanaos разработала эту компактную модель классификации тональности на базе microsoft/Multilingual-MiniLM-L12-H384 и дообучила её с помощью библиотеки Artifex на синтетических размеченных текстах. Модель относит текст к одному из пяти классов: очень негативный, негативный, нейтральный, позитивный или очень позитивный; нейтральный класс предназначен для фактических текстов и случаев без явно выраженной тональности. Модель подходит для анализа отзывов о товарах и фильмах, публикаций в социальных сетях и отзывов клиентов. Она использует архитектуру BERT для классификации последовательностей, содержит 124,3 млн параметров и принимает текст длиной до 512 токенов. Карточка заявляет английский язык, хотя базовая модель многоязычная. Модель распространяется по лицензии MIT. Синтетические данные обучения и ограниченная специализация могут снижать качество на технических и узкоспециализированных текстах; для таких сценариев README рекомендует дополнительное дообучение.
cardiffnlp/twitter-roberta-base-sentiment-latest — модель Cardiff NLP на архитектуре RoBERTa-base, дообученная для анализа тональности на бенчмарке TweetEval. Базовая RoBERTa обучалась примерно на 124 млн сообщений Twitter за период с января 2018 по декабрь 2021 года; размер модели — 151,8 млн параметров, контекст — до 514 токенов. Модель классифицирует англоязычные тексты, в том числе публикации в социальных сетях, по трём категориям: отрицательная, нейтральная и положительная тональность. Её можно применять для анализа мнений и мониторинга тональности сообщений; доступны веса PyTorch и TensorFlow. Модель предназначена для английского языка и обучена на данных Twitter, поэтому её результаты могут быть менее надёжны на других языках, в иных жанрах текста и вне распределения обучающих данных. Лицензия — CC BY 4.0.
5CD-ViSoBERT — модель 5CD-AI для классификации тональности вьетнамских текстов. Она основана на предварительно обученной 5CD-AI/visobert-14gb-corpus и дообучена на 120 тысячах примеров комментариев и отзывов из интернет-магазинов, социальных сетей и форумов. Архитектура — XLM-RoBERTa для классификации последовательностей, около 124,8 млн параметров; модель принимает текст с контекстом до 514 токенов и выдаёт оценки для трёх классов: отрицательный, положительный и нейтральный. Модель предназначена для анализа отзывов и комментариев на вьетнамском языке, в том числе текстов с эмодзи. Её можно применять для мониторинга реакции пользователей в соцсетях, анализа отзывов о товарах и категоризации пользовательских сообщений по тональности. Модель распространяется в формате safetensors и работает с библиотекой Transformers. Лицензия в предоставленных данных не указана. Обучающие данные включают датасеты SA-VLSP2016, AIVIVN-2019, UIT-VSFC, UIT-VSMEC, UIT-ViCTSD, UIT-ViOCD, UIT-ViSFD, Vi-amazon-reviews и Tiki-reviews; некоторые наборы были перемечены с помощью Gemini 1.5 Flash из-за неоднозначности меток. В данных могут встречаться оскорбительные, непристойные или негативные высказывания о компаниях, а неоднозначность тональности и особенности домена могут влиять на точность классификации.
Модель Cardiff NLP — дообученная версия XLM-RoBERTa-base для классификации тональности многоязычных твитов. Она относит текст к одной из категорий тональности и подходит для анализа сообщений в социальных сетях. Обучение проводилось на наборе cardiffnlp/tweet_sentiment_multilingual, а настройки подбирались на валидационной выборке. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. На тестовой выборке указаны micro F1 0,666, macro F1 0,663 и точность 0,666. Лицензия в предоставленных данных не указана.
Belall87 разработал эту модель, дообучив aubmindlab/bert-base-arabertv02 для бинарной классификации тональности арабского текста. Она относит текст к положительной или отрицательной тональности и предназначена, в частности, для анализа отзывов, сообщений в соцсетях и обратной связи клиентов. Архитектура — BERT для классификации последовательностей; в метаданных указаны 162,4 млн параметров и контекст до 512 токенов. Модель распространяется в формате safetensors по лицензии MIT. В README заявлены точность и F1-score 92,87% на использованном наборе данных. При обучении нормализовали варианты написания арабских букв, удаляли диакритические знаки и фильтровали URL, упоминания и хештеги. Модель обучалась на смеси современного литературного арабского и диалектов; README рекомендует подавать тексты короче 256 токенов. Классификация ограничена двумя метками, а на специализированной лексике качество может снижаться.
Модель ahs95/banglabert-sentiment-analysis разработана на основе csebuetnlp/banglabert и дообучена на наборе SentiGOLD для пятиуровневого анализа тональности текстов на бенгальском языке. Она относит текст к одному из классов: очень негативный, негативный, нейтральный, позитивный или очень позитивный. Модель построена на архитектуре ELECTRA, содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для анализа публикаций в социальных сетях, отзывов о товарах и клиентских комментариев. В README указана поддержка формального и неформального бенгальского текста; перед подачей рекомендуется нормализация с помощью Bangla Normalizer. В тестировании на SentiGOLD заявлены macro F1 0,666 и точность 0,667. Качество может снижаться на текстах со смешением бенгальского и английского языков, а также при сарказме и сильно контекстных выражениях. Для критически важных решений требуется проверка человеком. Лицензия модели — Apache-2.0.
mdhugol/indonesia-bert-sentiment-classification — модель классификации тональности индонезийского текста, созданная на основе предобученной IndoBERT Base Model (phase1, uncased) и дообученная на наборе данных Prosa sentiment. Она предназначена для определения тональности текста; архитектура — BERT для классификации последовательностей, число параметров — 151,6 млн, максимальная длина контекста — 512 токенов. Модель опубликована в формате PyTorch и рассчитана на индонезийский язык. Лицензия в предоставленных данных не указана.
taufiqdp/indonesian-sentiment — модель классификации тональности на основе IndoBERT Base Uncased, дообученная автором репозитория на данных indonlu (SmSA) и Indonesian_sentiment. Она относит индонезийские комментарии и отзывы к одному из трёх классов: отрицательный, нейтральный или положительный. Модель построена на архитектуре BERT с головой классификации последовательностей, содержит 137,8 млн параметров и принимает текст длиной до 512 токенов. Она предназначена для анализа тональности индонезийских отзывов и комментариев. Распространяется по лицензии MIT.
agentlans/mdeberta-v3-base-sentiment — многоязычная модель классификации тональности, разработанная на основе microsoft/mdeberta-v3-base и дообученная автором репозитория. Она оценивает текст и возвращает числовую оценку, соответствующую положительной, нейтральной или отрицательной тональности. Модель содержит 306 млн параметров, использует архитектуру DeBERTa V3 для классификации последовательностей и обрабатывает до 512 токенов контекста. Модель предназначена для анализа тональности текстов на языках, поддерживаемых базовой DeBERTa, в том числе для проверки сходства оценок переведённых текстов. При обучении использован датасет из 48 900 размеченных английских переводов; в карточке приведён пример проверки на английском, арабском, китайском, французском, русском и испанском. На отложенной выборке указана RMSE 0,4177. Это числовой показатель ошибки, поэтому его не следует трактовать как точность в процентах. Оценки могут хуже работать на текстах, отличающихся от обучающих данных, и не учитывают культурный контекст или знакомство читателя с темой. Результат может не совпадать с человеческим суждением и отражать смещения данных; модель не рекомендуется использовать как единственный критерий пригодности текста. Лицензия — MIT.
APauli/Persuasive_language_in_pairs — модель на базе DeBERTa-v2 для оценки относительной убедительности языка в паре текстов. Она принимает пару предложений или фрагментов текста и сравнивает, какой из них использует более убедительную формулировку. Модель ориентирована на анализ и сопоставление персуазивного языка. Модель содержит около 533,8 млн параметров, работает с текстом и имеет контекст до 512 токенов. В карточке указан английский язык и датасет APauli/Persuasive-Pairs. Для обучения, оценки и примеров использования автор отсылает к сопутствующей научной статье. Репозиторий содержит веса в формате safetensors и распространяется по лицензии CC BY-NC 4.0.
spacesedan выпустил дообученную модель Longformer для классификации тональности текста по пяти категориям — от очень негативной до очень позитивной. Модель предназначена для анализа длинных пользовательских текстов, в частности публикаций Reddit, отзывов и сообщений на форумах. Она использует архитектуру LongformerForSequenceClassification, содержит 151,8 млн параметров и поддерживает контекст длиной до 4098 токенов. Модель обучена на данных GoEmotions, Amazon Reviews и наборах анализа тональности Twitter и Reddit; 27 эмоциональных меток GoEmotions преобразованы в пятибалльную шкалу. В карточке приведены результаты оценки: accuracy 0,671, macro F1 0,642 и weighted F1 0,673. Модель работает с английским текстом и распространяется под лицензией, указанной в метаданных Hugging Face; лицензия в предоставленных данных не приведена.
rmihaylov/roberta-base-sentiment-bg — модель XLM-RoBERTa Base, дообученная для классификации тональности текстов на болгарском языке. Она предназначена для определения тональности текста и подходит для анализа болгарских отзывов, публикаций и других коротких текстов. Модель чувствительна к регистру букв и содержит около 124,5 млн параметров; максимальная длина контекста — 514 токенов. Модель разработал пользователь Hugging Face rmihaylov; для дообучения использован частный набор данных для анализа тональности. В метаданных также перечислены OSCAR, Chitanka и Wikipedia. Модель распространяется по лицензии MIT.