II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейtwitter-roberta-base-emotion-multilabel-latest — англоязычная модель Cardiff NLP для многометочной классификации эмоций в сообщениях Twitter. Она дообучена на основе cardiffnlp/twitter-roberta-base-2022-154m на наборе SemEval 2018 Task 1 Affect in Tweets, подзадача E-c. Модель принимает текст и может присваивать сообщению несколько эмоциональных меток одновременно. Модель построена на архитектуре RoBERTa и содержит 151,8 млн параметров; нативная длина контекста — 514 токенов. Для тестовой выборки указаны micro-F1 0,7169, macro-F1 0,5464 и средний Jaccard Index 0,5970. Метаданные указывают форматы PyTorch и TensorFlow. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Модель senlou/weibo-sentiment-chinese-bert разработана для анализа тональности коротких сообщений в Weibo. Это дообученная для классификации последовательностей китайская BERT-модель hfl/chinese-bert-wwm-ext размером 129,5 млн параметров; она присваивает тексту одну из трёх меток: отрицательная, положительная или нейтральная. Модель принимает текст длиной до 512 токенов и предназначена для анализа китайских публикаций и агрегирования настроений в системах мониторинга общественного мнения. Обучение проводилось на наборе weibo_senti_100k из 100 тысяч сообщений. Нейтральные примеры были добавлены к исходному набору с положительными и отрицательными метками по правилам. В README указаны точность 87,79% и Macro F1 0,8783 для стандартного режима; эти результаты относятся к описанному авторами эксперименту и могут не переноситься на другие данные. Модель распространяется в формате Safetensors по лицензии Apache 2.0.
Модель Sumair-Parveiz — дообученная версия XLM-RoBERTa base для определения языка на уровне токенов в текстах, где смешаны романизированный урду и английский. Она присваивает каждому токену одну из меток: URD для Roman Urdu, ENG для английского или MIX для смешанного, гибридного либо локализованного токена. Модель подходит для анализа переключения языков и разметки смешанного текста. В README приведены метрики на тестовых токенах: F1 0,99 для URD, 0,98 для ENG и 0,84 для MIX; показатели для смешанных токенов ниже. Архитектура — XLM-RoBERTa для классификации токенов, размер — 305,2 млн параметров, контекст — 514 токенов. Лицензия — Apache 2.0.
Модель Zainab Binte Khalid из Code Saviours (SI-26) — дообученная версия XLM-RoBERTa Base для определения языка каждого токена в предложениях на романизированном урду и английском с переключением языков. Архитектура — XLMRobertaForTokenClassification, около 305,2 млн параметров; контекст — до 514 токенов. Для каждого слова модель предсказывает один из классов: урду (URD), английский (ENG) или гибридное слово (MIX). Модель предназначена для языковой разметки неформальных сообщений и комментариев, а также для подготовки текста к последующему анализу тональности, переводу и проверке орфографии. В оценке на тестовой выборке F1 составил 0,967 для URD и 0,947 для ENG; класс MIX практически не освоен: в обучающих данных было только 2 таких токена из 21 368. Обучение проводилось на 1 901 вручную размеченном предложении из WhatsApp-сообщений и комментариев. Модель может хуже работать с формальными или специализированными текстами и вариантами написания, отсутствовавшими в обучающей выборке; стандартизированной орфографии романизированного урду нет. Репозиторий распространяется по лицензии CC BY 4.0.
Карточка модели YuzuSolutions/tabfm-1.0.0-pytorch на Hugging Face совпадает с карточкой google/tabfm-1.0.0-pytorch, поэтому описание составлено по ней. TabFM 1.0.0 — табличная foundation-модель Google Research для классификации и регрессии на структурированных данных. Эта версия содержит веса PyTorch и использует библиотеку tabfm. Модель работает с числовыми и категориальными столбцами, принимает обучающие примеры как контекст и выдаёт прогноз за один проход без дообучения на конкретном наборе данных и подбора гиперпараметров. Архитектура сочетает внимание между столбцами и строками с 24-блочным причинным ICL-трансформером; в карточке также указана размерность эмбеддингов 256. TabFM предназначена для бинарной и многоклассовой классификации до 10 классов, а также регрессии. Данные можно передавать в виде pandas DataFrame или массивов NumPy. Модель обучалась на синтетических наборах, сгенерированных структурными причинными моделями; оценка на TabArena охватывала 51 набор данных. Лицензия указана как other, а README исключает коммерческое использование. Модель не предназначена для изображений, аудио, видео и текста; качество на конкретных предметных областях и редких распределениях не полностью охарактеризовано.
XLM-V-Tuktuk-HIEN-LID — модель Анша Шармы для распознавания языка на уровне отдельных токенов в текстах из социальных сетей, где смешаны хинди и английский. Это дообученный для токеновой классификации энкодер XLM-V/XLM-RoBERTa на базе facebook/xlm-v-base; в метаданных указано 805,7 млн параметров и контекст до 514 токенов. Модель присваивает каждому токену одну из меток: английский, хинди, именованная сущность или прочее. Она принимает текст латиницей на хинглише и выдаёт метки токенов; заявленные языки — английский и хинди. Модель предназначена для предварительной разметки хинглиш-текста, например для маршрутизации токенов в монолингвальные инструменты анализа тональности или токсичности, подготовки текста к машинному переводу и отбора токенов для NER или POS-разметки. На внешнем тесте LINCE авторы сообщают macro F1 0,87; результат на внутреннем holdout отражает согласие с псевдоразметкой, а не независимую проверку. Модель обучалась на данных с разметкой ансамблем моделей, а не людьми; хуже распознаёт редкий класс «прочее». Она не предназначена для классификации целых предложений, формального текста, письма деванагари и других пар смешения языков. Лицензия — Apache 2.0.
ByT5 Base — предварительно обученная без токенизатора модель Google на архитектуре T5, работающая непосредственно с последовательностями байтов UTF-8. Она содержит около 595 млн параметров и обучалась на mC4 с задачей восстановления замаскированных фрагментов; для прикладных задач модель нужно дообучить. Модель подходит для сценариев с шумным текстом, где важны опечатки, написание и произношение, а также может обрабатывать текст на разных языках без отдельного токенизатора. Модель предназначена для последующей адаптации к задачам преобразования текста, например ответам на вопросы и исправлению ошибок. Байтовое представление повышает устойчивость к шуму, но последовательности байтов длиннее токенных, что может замедлять обработку и расходовать больше контекста. Репозиторий содержит варианты для PyTorch, TensorFlow и Flax. Лицензия — Apache 2.0.
ByT5-large — предварительно обученная модель Google на архитектуре T5, работающая непосредственно с последовательностями UTF-8 байтов без токенизатора. Модель содержит около 1,2 млрд параметров и обучалась на mC4 с задачей маскирования фрагментов; supervised-обучение для прикладных задач не проводилось, поэтому перед использованием её нужно дообучить под целевую задачу. Модель предназначена для дообучения на задачах преобразования текста, особенно когда данные содержат опечатки, шум или нестандартное написание. Она поддерживает многоязычный текст и может быть полезна в сценариях, чувствительных к орфографии и произношению; в карточке отмечено превосходство над mT5-large на TweetQA. Работа с байтами избавляет от отдельного токенизатора, но последовательности обычно длиннее токенизированных, что может повышать вычислительные затраты. Лицензия — Apache-2.0.
ufal/byt5-small-multilexnorm2021-es — официальная испаноязычная версия ByT5-small, дообученная командой UFAL для нормализации лексики в рамках соревнования W-NUT 2021 MultiLexNorm. Модель преобразует отдельные токены с неформальными или шумными написаниями в нормализованную форму; она обучалась на синтетических данных, а затем на примерах нормализации из MultiLexNorm. В карточке заявлены лучшие результаты среди участников соревнования во внутренней оценке и оценке по влиянию на синтаксический разбор зависимостей. Модель построена на байтовой архитектуре encoder-decoder ByT5 — варианте T5 без токенизатора, который работает с байтовыми представлениями текста и подходит для шумных текстовых данных. Размер — 364,6 млн параметров. Она рассчитана на испанский язык и формат «токен на входе — нормализованный токен на выходе», а не на стандартное преобразование целых предложений. Доступна под лицензией Apache-2.0. Для применения следует учитывать специализированный формат входных данных и сценарий использования, описанные для MultiLexNorm.
kjanh/detect_english — модель токен-классификации, опубликованная пользователем Khanh (kjanh) на Hugging Face. По идентификатору модели она предназначена для определения английского языка в текстовых данных. Модель относится к семейству DistilBERT и использует библиотеку Transformers; в метаданных указано около 0,1 млрд параметров и контекст до 512 токенов. Поддерживаемые модальности — текстовые данные, а задача классификации выполняется на уровне токенов. Сведения о лицензии, точном наборе языков, датасете, метриках и конкретных метках классификации в доступных источниках не установлены. Результаты следует проверять на собственных данных, особенно для коротких, смешанных, многоязычных или нестандартных текстов.
Карточка модели Mattral/tabfm-1.0.0-pytorch на Hugging Face совпадает с карточкой google/tabfm-1.0.0-pytorch, поэтому описание составлено по ней. TabFM 1.0.0 — табличная foundation-модель Google Research для классификации и регрессии на структурированных данных. Эта версия содержит веса PyTorch и использует библиотеку tabfm. Модель работает с числовыми и категориальными столбцами, принимает обучающие примеры как контекст и выдаёт прогноз за один проход без дообучения на конкретном наборе данных и подбора гиперпараметров. Архитектура сочетает внимание между столбцами и строками с 24-блочным причинным ICL-трансформером; в карточке также указана размерность эмбеддингов 256. TabFM предназначена для бинарной и многоклассовой классификации до 10 классов, а также регрессии. Данные можно передавать в виде pandas DataFrame или массивов NumPy. Модель обучалась на синтетических наборах, сгенерированных структурными причинными моделями; оценка на TabArena охватывала 51 набор данных. Лицензия указана как other, а README исключает коммерческое использование. Модель не предназначена для изображений, аудио, видео и текста; качество на конкретных предметных областях и редких распределениях не полностью охарактеризовано.
Модель anton-l/xtreme_s_xlsr_300m_fleurs_langid_quicker_warmup — дообученная на наборе XTREME-S модель классификации аудио на базе facebook/wav2vec2-xls-r-300m. Она предназначена для определения языка по аудиозаписи. В метаданных указаны архитектура Wav2Vec2ForSequenceClassification и 402,7 млн параметров; репозиторий содержит веса PyTorch. Модель опубликована под лицензией Apache-2.0. В README приведён результат оценки на тестовой выборке: точность 0,6199 при значении функции потерь 1,9765. Описание модели, обучающих данных и ограничений в карточке не раскрыто, поэтому её качество на других данных и набор поддерживаемых языков по имеющимся сведениям установить нельзя.
Terminal-datascience — дообученная диалоговая модель на базе Qwen3-8B с 7,6 млрд параметров. Она предназначена для генерации текста в задачах анализа данных и обучена на наборах nemotron_easy_data_science, nemotron_medium_data_science и nemotron_mixed_data_science. Модель использует архитектуру Qwen3ForCausalLM и принимает текстовые запросы, выдавая текстовые ответы. Указанная длина контекста — 40 960 токенов; формат весов — safetensors, для работы заявлена библиотека Transformers. Базовая Qwen3-8B поддерживает несколько языков, однако языки и качество именно этой дообученной версии в карточке не уточнены. Лицензия указана как other, без конкретных условий в предоставленных данных. Карточка не содержит сведений об оценке качества и ограничениях применения.
Magneto Schema Retriever - GDC — модель VIDA Lab при NYU, созданная дообучением sentence-transformers/all-mpnet-base-v2 для сопоставления схем в биомедицинских и геномных данных, ориентированных на стандарт Genomic Data Commons (GDC). Она кодирует описания столбцов в плотные векторы: модель учитывает название столбца и примеры его значений, чтобы находить семантически подходящие поля, даже если их названия различаются. Архитектура основана на MPNet, содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. Модель рассчитана на англоязычные данные. Основной сценарий — первый этап поиска кандидатов при сопоставлении столбцов исследовательских таблиц со схемой GDC, в том числе для гармонизации данных онкологических исследований и построения конвейеров интеграции геномных данных. Обучение проводилось контрастивным методом с triplet loss на синтетических вариантах целевой схемы GDC; качество оценивали на GDC-SM, содержащем реальные таблицы биомедицинских исследований. В описанном двухэтапном конвейере список кандидатов затем уточняет LLM-реранкер. Модель распространяется по лицензии Apache-2.0. Модель специализирована на биомедицинской терминологии и стандарте GDC; на других предметных областях её качество может снижаться. Она предназначена для поиска соответствий между столбцами, а не для общей оценки семантического сходства, и не обучалась на исходных таблицах. Результаты для новых вариантов названий могут быть ограничены разнообразием синтетических примеров; для наилучшего качества рекомендуется последующее ранжирование кандидатов.
MyAwesomeModel — модель на базе BERT для извлечения признаков из текста, опубликованная на Hugging Face в формате, совместимом с библиотекой Transformers. В метаданных модель классифицирована для задачи feature extraction; размер, длина контекста и поддерживаемые естественные языки не указаны. README описывает обновлённую версию модели с заявленными улучшениями рассуждений, логического анализа, программирования, классификации, суммаризации, диалогов и function calling, однако эти возможности не подтверждены pipeline-тегом feature-extraction и приведёнными техническими характеристиками. На практике модель следует рассматривать прежде всего как источник векторных представлений текста для последующей обработки. Модель распространяется по лицензии MIT. Для прикладного использования необходимо отдельно проверить фактическую архитектуру, качество на нужном языке и совместимость заявленных в README сценариев с доступными весами и конфигурацией.
Harvinder6766/news_sentiment_sentence_v1 — модель классификации текста на основе DistilBERT, дообученная для анализа тональности новостных предложений. Она принимает текст и относит его к классам тональности; размер контекста составляет 512 токенов. Модель сохранена в формате Safetensors и распространяется по лицензии Apache-2.0. На указанной в карточке оценочной выборке модель достигла accuracy 0,7785 и loss 0,5339. Датасет, состав классов, языки и подробные сценарии применения в карточке не раскрыты, поэтому эти результаты не позволяют судить о качестве на других данных.
Карточка модели MertOezberk95/tabfm-1.0.0-pytorch на Hugging Face совпадает с карточкой google/tabfm-1.0.0-pytorch, поэтому описание составлено по ней. TabFM 1.0.0 — табличная foundation-модель Google Research для классификации и регрессии на структурированных данных. Эта версия содержит веса PyTorch и использует библиотеку tabfm. Модель работает с числовыми и категориальными столбцами, принимает обучающие примеры как контекст и выдаёт прогноз за один проход без дообучения на конкретном наборе данных и подбора гиперпараметров. Архитектура сочетает внимание между столбцами и строками с 24-блочным причинным ICL-трансформером; в карточке также указана размерность эмбеддингов 256. TabFM предназначена для бинарной и многоклассовой классификации до 10 классов, а также регрессии. Данные можно передавать в виде pandas DataFrame или массивов NumPy. Модель обучалась на синтетических наборах, сгенерированных структурными причинными моделями; оценка на TabArena охватывала 51 набор данных. Лицензия указана как other, а README исключает коммерческое использование. Модель не предназначена для изображений, аудио, видео и текста; качество на конкретных предметных областях и редких распределениях не полностью охарактеризовано.
Bert Emotion Classifier — англоязычный классификатор эмоций, разработанный автором репозитория на основе BERT-base-uncased и дообученный на наборе GoEmotions. Модель выполняет многометочную классификацию текста по 28 эмоциям: одному комментарию могут соответствовать несколько меток с оценками вероятности. Архитектура — BertForSequenceClassification; метаданные указывают 136,7 млн параметров и контекст до 512 токенов. В README описана настройка с максимальной длиной входа 128 токенов, поддерживаются веса Safetensors и формат ONNX. Модель предназначена прежде всего для анализа коротких англоязычных комментариев в стиле Reddit: определения эмоций в пользовательских сообщениях, исследования тональности общения и построения аналитики по эмоциональным реакциям. Для версии с оптимизированными порогами автор сообщает Micro F1 0,6006 и Macro F1 0,5390 на тестовой выборке. Модель распространяется по лицензии MIT. Качество может снижаться на текстах, отличающихся от комментариев Reddit, а редкие эмоции распознаются хуже из-за малого числа примеров. Для воспроизводимых предсказаний следует применять описанную предобработку: заменять упоминания, названия сообществ и URL, преобразовывать эмодзи в текст и переводить текст в нижний регистр.
beto-emotion-analysis — модель классификации текста, разработанная на основе BETO, испаноязычной версии BERT. Она дообучена на корпусе TASS 2020 Task 2 для распознавания эмоций в текстах на испанском языке. Модель содержит 137,1 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Модель подходит для автоматической разметки эмоциональной окраски испаноязычных текстов, например сообщений и публикаций. Доступны веса в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
distil-qwen3-1.7b-posthog-extractor — специализированная языковая модель на 1,7 млрд параметров, разработанная Distil Labs на базе Qwen3-1.7B. Она принимает краткое описание поведения пользователя и возвращает только JSON с обнаруженными ошибками и пробелами пользовательского опыта: указывает тип находки и серьёзность от 1 до 5. Для чистой сессии модель должна вернуть пустой список находок. Модель предназначена для извлечения продуктовых наблюдений из пользовательских сессий в составе аналитического конвейера PostHog. Модель представляет собой дообученную плотную авторегрессионную архитектуру Qwen3ForCausalLM; поддерживает текстовый ввод и генерацию текста, имеет контекст 40 960 токенов. В карточке указаны форматы safetensors и GGUF F16. Дообучение выполнено на платформе Distil Labs на синтетических примерах, расширенных из 25 подготовленных вручную пар; README сообщает о результате 80% на отложенной оценке платформы и о путанице между ошибкой и пробелом UX в неоднозначных случаях. Лицензия — Apache-2.0.
DriveSignal DistilBERT — дообученный классификатор текстов на основе distilbert-base-uncased, созданный для проекта DriveSignal. Он относит свободные описания событий, когда автономное транспортное средство передало управление водителю, к одной из 10 категорий безопасности: сбой восприятия или прогнозирования, удержание полосы, торможение, нежелательный манёвр, дорожные условия или строительные работы, превентивное отключение, аппаратный сбой, локализация и картографирование либо прочее. Модель обучена на 14 800 описаниях из отчётов DMV Калифорнии за 2022–2024 годы, включая отчёты Waymo и других производителей. Большинство обучающих меток получено эвристическим классификатором по ключевым словам и регулярным выражениям. На отдельной вручную размеченной выборке из 250 примеров точность составила 80%; это совпало с точностью эвристического базового метода в той же оценке. Модель принимает текст и выдаёт категорию классификации. Контекст — до 512 токенов. Лицензия — Apache-2.0. Модель может пропускать редкие категории, недостаточно представленные в обучающих данных, и хуже работать с описаниями, сформулированными иначе, чем отчёты DMV Калифорнии.
Gender-Classifier-Mini — модель классификации изображений, созданная prithivMLmods на основе дообучения google/siglip2-base-patch16-224. Она использует архитектуру SiglipForImageClassification и относит изображение к одному из двух классов: Female или Male. Модель предназначена для автоматической разметки изображений по этим двум классам, например при анализе распределения меток в наборах данных. В README указаны accuracy и F1 0,972 на тестовой выборке из 5000 примеров; эти показатели относятся к приведённой оценке и не гарантируют такую же точность на других данных. Модель принимает изображения и выдаёт метку класса. Распространяется по лицензии Apache-2.0.
Модель ayeshayasir7543458/results — версия DistilBERT, дообученная на датасете отзывов о фильмах IMDB для классификации тональности на положительную и отрицательную. Она принимает текст отзыва и возвращает метку класса; архитектура — DistilBertForSequenceClassification, формат весов — safetensors. Модель предназначена для анализа англоязычных отзывов о кино; заявленная длина контекста — 512 токенов. В README приведены метрики на оценивании: accuracy 0,893, precision 0,8699, recall 0,9180 и F1 0,8933. Модель выпущена под лицензией Apache-2.0. Результаты относятся к задаче и данным IMDB; качество на других жанрах текста или языках не подтверждено.
Модель nahiar/spam-detection-xlm-roberta-v2 разработана на базе XLM-RoBERTa и дообучена для бинарной классификации текстов социальных сетей на спам и обычные сообщения. Она рассчитана на модерацию публикаций и комментариев в Twitter/X, Instagram, TikTok, Facebook и на форумах, а также на предварительную фильтрацию текста перед анализом тональности или тем. Архитектура — XLMRobertaForSequenceClassification, размер — 305,2 млн параметров, контекст — до 514 токенов. Модель принимает текст и выдаёт метку класса; README заявляет поддержку индонезийского и английского языков и приводит метрики на отложенной выборке: accuracy 0,9645 и macro F1 0,9639. Модель предназначена для готового применения через Transformers pipeline. Она классифицирует только спам и обычные сообщения, не оптимизирована для формального текста, может хуже работать на очень коротких или неоднозначных сообщениях и сохраняет риск смещения. Лицензия — Apache-2.0.
vit-mini-explicit-content — модель классификации изображений, дообученная разработчиком prithivMLmods на базе Vision Transformer ViT-Base/16. Она использует архитектуру ViTForImageClassification и относит изображение к одному из пяти классов: аниме, чувственное содержание, хентай, порнография или безопасный для просмотра контент. Модель предназначена для фильтрации и модерации изображений, проверки наборов данных и настройки поиска по наличию контента для взрослых. Модель принимает изображения и выдаёт метку класса. Размер составляет 113,2 млн параметров; карточка указывает библиотеку Transformers и формат Safetensors. В тегах указан английский язык, но модель классифицирует изображения, а не обрабатывает текстовые запросы. Лицензия — Apache-2.0. Классификация может ошибаться, поэтому результаты не следует использовать для автоматических решений без проверки человеком; особенно важно учитывать риск неверной маркировки.
Bernice — мультиязычный предварительно обученный энкодер семейства RoBERTa, разработанный исследователями Университета Джонса Хопкинса и представленный в статье EMNLP 2022 года. Модель обучена с нуля исключительно на данных Twitter: 2,5 млрд твитов на 66 языках, с токенизатором, адаптированным к твитам, эмодзи и хештегам. В репозитории представлена версия XLM-RoBERTa для заполнения пропусков, содержащая около 305 млн параметров; формат — PyTorch и safetensors, контекст — 130 токенов. Модель предназначена для получения представлений твитов и как основа для задач анализа публикаций в социальных сетях. Авторы оценивали её на наборах TweetEval, UMSAB и Multilingual Hate Speech; результаты показывают сильные показатели в мультиязычном анализе тональности и токсичности, хотя на TweetEval Bernice уступает BERTweet. Лицензия — MIT. Качество может быть ниже для малоресурсных языков, поскольку в обучающих данных они представлены менее разнообразно. Корпус также может содержать спам и язык ненависти; модель не является готовым детектором таких материалов без дополнительной настройки.
BERTweet.BR — языковая модель семейства RoBERTa, разработанная авторами карточки модели для работы с португалоязычными твитами. Модель обучена с нуля по процедуре предварительного обучения RoBERTa на корпусе примерно из 100 миллионов твитов объёмом около 9 ГБ. Она содержит 162,4 млн параметров и принимает последовательности длиной до 130 токенов. Модель предназначена для восстановления скрытых токенов в тексте и получения контекстных представлений португалоязычных публикаций в социальных сетях. Токенизатор нормализует твиты, включая обработку упоминаний, URL и эмодзи. Весовые файлы доступны в формате PyTorch; лицензия — Apache-2.0. Карточка демонстрирует извлечение скрытых представлений, но не приводит оценки качества и не описывает специализированную настройку для отдельных задач.
Google Safesearch Mini V2 — классификатор изображений для выявления откровенного контента, разработанный Fred Zhang. Модель построена на архитектуре InceptionResNetV2 и обучена на наборе примерно из 3,4 миллиона изображений из Google Images, Reddit, Kaggle и Imgur; часть данных была создана аугментацией. Карточка сообщает о точности 97% на обучающей и валидационной выборках. Модель предназначена для фильтрации изображений в социальных сетях и наборах данных по признаку безопасного или откровенного содержания. Автор отмечает, что классификатор ошибочно принимал шерсть коричневой кошки за человеческую кожу и дообучал его на дополнительных наборах данных. Заявленная точность относится к указанным выборкам и не гарантирует такой же результат на новых данных. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
ayameRushia/indobert-base-uncased-finetuned-indonlu-smsa — модель на базе BERT, дообученная на датасете IndoNLU для классификации текста на индонезийском языке. Она предназначена для анализа тональности и классификации коротких сообщений; в README приведены результаты на тестовой выборке: accuracy 0,9302 и F1 0,9066. Модель содержит 137,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и Safetensors. Лицензия — MIT.
SweatyCrayfish/Linux-CodeLlama-2-7B — дообученная текстовая модель на архитектуре Llama, основанная на Llama 2 Chat 7B и обученная на Ubuntu Dialogue Corpus. Она предназначена для получения текстовых представлений и может применяться в задачах извлечения признаков из текстов диалогов об Ubuntu и Linux. Модель содержит 6,6 млрд параметров, использует формат PyTorch и поддерживает контекст до 16 384 токенов; в метаданных указан английский язык. README сообщает, что для базовой модели использована лицензия Meta и упоминает доступность отдельной коммерческой лицензии, но не приводит её условий. В метаданных репозитория указана лицензия MIT; условия использования базовой модели и производной модели следует сверять отдельно. Обучающие данные — Ubuntu Dialogue Corpus.