I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейHPLT Bert for Belarusian — одноязычная модель-кодировщик проекта HPLT для белорусского языка, выпущенная как часть набора из 75 моделей. Она основана на архитектуре LTG-BERT и обучена как masked language model: по окружающим словам модель предсказывает замаскированные токены. Модель имеет около 124,3 млн параметров, 12 слоёв, 12 голов внимания, размер скрытого состояния 768 и словарь из 32 768 токенов; контекст составляет до 512 токенов. Для неё используется отдельный токенизатор, обученный на белорусских данных HPLT. Модель подходит для восстановления пропущенных слов и может служить основой для задач классификации текста, разметки токенов, ответов на вопросы и multiple-choice после соответствующей настройки. Это энкодер, а не генеративная чат-модель. Для загрузки в Transformers требуется пользовательская обёртка LTG-BERT и параметр trust_remote_code=True. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
ICD-10-Coder — дообученная AmareshHebbar модель на базе unsloth/qwen2.5-7b-instruct для кодирования клинических описаний по ICD-10 и пояснения классификации. Она предназначена для страховых агентов, больничных отделов биллинга и других специалистов, которым нужно сопоставлять диагнозы с кодами и получать предварительные оценки страхового покрытия. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. По карточке, она принимает клинические описания и сценарии пациентов, поддерживает английский язык и генерирует текст с кодами, объяснениями и оценками покрытия. Обучение проведено с помощью Unsloth и TRL; лицензия — Apache-2.0. Модель охватывает основные главы ICD-10 и заявляет поддержку сценариев с несколькими диагнозами, сопутствующими состояниями и осложнениями. Оценки покрытия основаны на стандартах WHO, а не на правилах конкретных страховых компаний; результаты носят ориентировочный характер и не заменяют профессиональное медицинское кодирование или юридически значимое решение по страховому возмещению.
scholarly360/Indian-Annual-Report-SBERT-Bert — модель на базе BERT, обученная разработчиком как Sentence Transformers на годовых отчётах индийских компаний. Она предназначена для получения векторных представлений предложений и оценки их семантического сходства, в частности для анализа и поиска информации в таких отчётах. Модель содержит 135,5 млн параметров, работает с текстом и имеет контекстное окно до 512 токенов. В карточке указана связь с исследованием «Indian Annual Report Assessment Using Large Language Models». Модель подходит для построения семантического поиска и сравнения фрагментов годовых отчётов; точные результаты для иных типов текстов по имеющимся сведениям не установлены. Опубликована в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
faidrama/indobert_lr3e-05_ep4 — дообученная модель классификации текста на базе indobenchmark/indobert-base-p1, разработанной для индонезийского языка. Архитектура — BERT для классификации последовательностей, размер — 151,6 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для отнесения текста к классам; назначение конкретной классификации и набор меток в карточке не описаны. На оценочном наборе указаны Loss 0,8057 и Macro F1 0,6836. Эти результаты относятся к набору, не названному в карточке, поэтому их нельзя переносить на другие данные. Модель распространяется по лицензии MIT.
iTab-LLM — плотная авторегрессионная модель семейства Llama, разработанная на основе Llama 2 7B и дополнительно предобученная на большом количестве таблиц. Она предназначена для прогнозных задач на табличных данных: модель можно адаптировать для классификации и регрессии, а также использовать для предсказаний без дополнительного обучения. Модель содержит 6,6 млрд параметров, принимает текстовые входы и имеет контекст до 4096 токенов. В карточке описаны сценарии обучения классификатора и регрессора через Transformers, а также zero-shot предсказания. Проверки проводились на английском языке; точность и безопасность результатов для конкретной задачи следует оценить отдельно. Данные предобучения в основном собраны с Kaggle: при использовании необходимо соблюдать условия и лицензии соответствующих наборов данных и требования лицензии Llama 2.
KooBERT — многоязычная модель BERT, разработанная совместно Koo India и AI4Bharat и предварительно обученная на публикациях Koo, коротких микроблогах длиной до 400 символов. Модель обучалась на задаче masked language modeling на данных платформы за период с января 2020 по ноябрь 2022 года; архитектура — BertForMaskedLM, размер — 211,6 млн параметров, словарь содержит 128 тысяч токенов, максимальная длина последовательности — 128 токенов. Основная задача модели — предсказывать замаскированные токены в текстах на английском и индийских языках. Её также можно дообучать для классификации публикаций и выявления токсичности, а с sentence-transformers использовать для построения многоязычных векторных представлений. Модель выпущена по лицензии MIT. Обучение на публикациях одной социальной платформы может ограничивать переносимость на другие жанры и предметные области, а особенности данных могут влиять на предсказания. В карточке указано, что модель ещё не прошла бенчмаркинг; качество для конкретной задачи следует оценивать отдельно.
SushantGautam/LogClassification — дообученная модель Google CANINE-c для классификации текстов. Она предназначена для присвоения меток текстовым последовательностям; набор меток и конкретная область применения в карточке не описаны. Модель содержит 113,2 млн параметров, использует архитектуру CanineForSequenceClassification и распространяется в формате PyTorch. Указанное окно контекста — 16 384 токена. Модель основана на google/canine-c и выпущена по лицензии Apache-2.0. Данных о качестве, обучающем наборе и известных ограничениях нет, поэтому пригодность для конкретных типов логов или иных текстов следует проверять на соответствующих данных.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_12 — модель пользователя Jeevesh8, опубликованная на Hugging Face. Это модель для классификации текста на базе BERT, доступная для использования через Transformers и JAX. В карточке модели отсутствует подробное описание разработчика и назначения. Название и метаданные указывают, что модель основана на bert-base-uncased и дообучена на задаче QQP (Quora Question Pairs), вероятно для классификации пар вопросов, например определения их семантической эквивалентности. Также из идентификатора следует ограничение длины последовательности 128 токенов. Модель работает с текстовыми данными и не предназначена для генерации текста или обработки изображений. Архитектура, точный размер, языки, значения меток, метрики, сильные стороны, ограничения и лицензия в доступной карточке явно не указаны. Поэтому её следует рассматривать как специализированный экспериментальный классификатор для задач, связанных с QQP, а не как универсальную языковую модель.
LongformerZH — разработанная ValkyriaLenneth предобученная китайская языковая модель на архитектуре Longformer с 129,5 млн параметров. Она использует локальное оконное и глобальное внимание, чтобы обрабатывать длинные последовательности с контекстом до 4096 токенов при линейной сложности по длине последовательности. Модель построена на основе Roberta_zh_mid и обучена с Whole-Word Masking на смеси китайских корпусов; для работы с ней автор рекомендует PyTorch и библиотеку Transformers. Модель предназначена для извлечения признаков из длинных китайских текстов и как основа для дообучения под задачи обработки длинных документов. В карточке приведены результаты оценки на китайском анализе тональности и машинном чтении: для CMRC указаны F1 86,15 и EM 66,84. Модель выпущена в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
luke-japanese-base-lite — облегчённая японская версия LUKE, разработанная для контекстных представлений слов и сущностей. Модель основана на Transformer и обучена с учётом знаний о сущностях; она обрабатывает слова и сущности как отдельные токены и формирует их контекстуализированные представления. В этой облегчённой версии отсутствуют эмбеддинги сущностей Википедии. Модель содержит 138,4 млн параметров, поддерживает контекст до 514 токенов и распространяется в формате PyTorch. В метаданных для неё указана задача fill-mask; результаты на dev-наборе JGLUE показывают оценки для классификации тональности, семантического сходства, вывода и вопросов на здравый смысл. Для сценариев, где на вход подаются сущности Википедии, README рекомендует полную версию LUKE. Лицензия — Apache 2.0.
Manifesto Project выпустил классификатор на основе XLM-RoBERTa-large, дообученный на примерно 1,7 млн размеченных высказываний из Manifesto Corpus версии 2024a. Модель относит текст к одной из 56 политических тем по кодировочной схеме Manifesto Project, Handbook 4. Модель предназначена для тематической классификации политических текстов на языках, поддерживаемых предобученной XLM-RoBERTa; наилучшие результаты ожидаются для 38 языков корпуса Manifesto. Контекстная версия модели показала accuracy 0,64 и macro-F1 0,53 на тестовой выборке из 200 920 высказываний; для версии без контекста показатели составили 0,57 и 0,45 соответственно. В репозитории указаны 658,7 млн параметров, контекст до 514 токенов и форматы PyTorch и Safetensors. Модель принимает текст и выдаёт метку класса. Лицензия — BigScience OpenRAIL-M; качество может быть ниже на языках вне обучающего корпуса, а результаты следует интерпретировать с учётом метрик тестирования.
minhthuan77f1/medical_embedding_vietnamese — модель Sentence Transformer, дообученная на медицинских парах предложений и абзацев на вьетнамском языке. Она основана на hiieu/halong_embedding с архитектурой XLM-RoBERTa и преобразует текст в нормализованные плотные векторы размерностью 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска медицинских сведений, сравнения вопросов и ответов, поиска перефразирований, кластеризации и классификации текста. В README приведены результаты оценки поиска с векторами размерностью от 64 до 768 на обучающем наборе из 1 421 пары. Модель ориентирована на вьетнамский медицинский текст; основание для применения к другим языкам или областям не приведено. Это модель эмбеддингов, она выдаёт векторы, а не готовые ответы или диагнозы. Лицензия — Apache-2.0.
datalama/mmBERT-small — мультиязычный чекпойнт энкодера ModernBERT, перенесённый из модели jhu-clsp/mmBERT-small и подготовленный для Transformers v5. Модель содержит 140,5 млн параметров, имеет 22 слоя и скрытый размер 384; контекст — до 8192 токенов. В метаданных основная задача указана как fill-mask, а базовая модель описана как компактный мультиязычный энкодер для заполнения пропусков и создания контекстных представлений более чем на 1800 языках. Чекпойнт подходит для восстановления замаскированных токенов и получения контекстных представлений текста в мультиязычных сценариях. Разработчик карточки выполнил перенос весов из pytorch_model.bin в safetensors и добавил настройки RoPE для совместимости с Transformers v5; в README указано, что все 138 тензоров после конвертации побитово совпадают с оригиналом, а различие выходов при проверке на четырёх многоязычных предложениях было небольшим. Лицензия — Apache-2.0. Подробности обучения и бенчмарки следует смотреть в карточке исходной модели.
RS-course/model-safety-W1 — модель классификации текста на базе DistilBERT, дообученная на наборе данных tweet_eval. Она предназначена для отнесения коротких текстов, в частности сообщений в Twitter, к классам соответствующей задачи классификации. В README указана точность 0,7772 на оценочной выборке; контекст модели составляет 512 токенов. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Подробности о классах меток и конкретных сценариях использования в карточке не описаны.
Jeevesh8/more_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_4 — модель, опубликованная пользователем Jeevesh8 на Hugging Face и предназначенная для классификации текста. По идентификатору и метаданным это дообученная на задаче QQP (Quora Question Pairs) версия BERT-base-uncased, то есть модель для определения, являются ли два вопроса семантически эквивалентными или дублирующимися. Она рассчитана на задачи классификации пар предложений и доступна для использования через Transformers; карточка модели отсутствует, поэтому сведения о конкретной процедуре обучения, метриках и разметке классов ограничены. Базовая архитектура BERT разработана Google Research: Transformer-энкодер с 12 слоями, размером скрытого представления 768, 12 attention heads и примерно 110 млн параметров. Вариант uncased приводит текст к нижнему регистру и использует WordPiece-токенизацию; исходная модель ориентирована прежде всего на английский язык. Из названия производной модели следует ограничение длины последовательности 128 токенов. Сильная сторона — специализация на сопоставлении вопросов и совместимость с экосистемой Transformers; ограничения — узкая целевая задача, отсутствие подтверждённых автором метрик и документации, а также вероятное ухудшение качества на языках и сценариях, отличных от английских пар вопросов. Лицензия именно этой производной модели не указана.
MrBERT-es — двуязычная языковая модель на архитектуре ModernBERT, разработанная лабораторией Language Technologies Lab Барселонского суперкомпьютерного центра. Это encoder-модель с 149,6 млн параметров, обученная предсказывать замаскированные токены; она принимает текст и подходит для заполнения пропусков, а также может служить основой для задач анализа испанского и английского текста. Контекст модели составляет до 8192 токенов. Модель инициализирована весами MrBERT с адаптацией матрицы эмбеддингов для различий между токенизаторами, а затем продолжительно предобучена на сбалансированном англо-испанском корпусе объёмом 615 млрд токенов. В карточке приведены результаты оценки испанского языка на задачах разметки частей речи, распознавания сущностей и семантического сходства. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель предназначена прежде всего для испанского и английского языков. Как masked language model, она не является генеративным чат-ассистентом и сама по себе не выдаёт готовые метки для прикладных задач без соответствующей настройки. Авторы предупреждают о возможных смещениях и искажениях в результатах.
MyAwesomeModel — модель на базе архитектуры BERT, предназначенная для извлечения признаков из текста через библиотеку Transformers и PyTorch. В метаданных Hugging Face для неё указан pipeline_tag feature-extraction, поэтому модель может использоваться как источник векторных представлений для последующей обработки текста. README также описывает заявленные авторами улучшения рассуждений, логического вывода, генерации кода, ответов на вопросы, суммаризации и function calling, однако эти сведения не согласуются с основным pipeline-тегом feature-extraction и не сопровождаются проверяемыми сведениями о размере модели, поддерживаемых языках или контекстном окне. Разработчик в предоставленных данных не указан. Модель распространяется по лицензии MIT. Для практического применения следует учитывать несоответствие между описанием README и метаданными, а также самостоятельно проверить фактическое назначение и совместимость конкретных файлов модели.
MyAwesomeModel — модель на базе BERT, опубликованная в репозитории D21WCXZ21/MyAwesomeModel-TestRepo и предназначенная для извлечения признаков из текста с использованием библиотеки Transformers и PyTorch. В метаданных Hugging Face для неё указан pipeline-тег feature-extraction, а лицензия — MIT. В README модель также описывается как система с улучшенными возможностями рассуждения, ответов на вопросы, классификации, анализа тональности, суммаризации, перевода, генерации кода и function calling. Однако эти заявления не согласуются с указанным в метаданных назначением feature-extraction и не подтверждены сведениями об архитектуре, размере, контексте или языках модели. Модель можно рассматривать для получения векторных представлений текста и последующего использования в задачах семантического поиска, классификации и других NLP-пайплайнах. Условия использования определяются лицензией MIT.
MyAwesomeModel — модель на базе архитектуры BERT, опубликованная для библиотеки Transformers и реализованная на PyTorch. В метаданных Hugging Face для неё указан pipeline-тег feature-extraction, поэтому основное назначение модели — получение векторных представлений текста для последующего анализа и машинного обучения. В README также заявлены улучшенные способности к рассуждению, пониманию языка, генерации кода, суммаризации, диалогу, переводу и function calling, однако эти характеристики не согласуются с указанным pipeline-тегом feature-extraction и не сопровождаются подробностями об архитектуре, размере или процедуре обучения. Модель можно рассматривать для экспериментов с извлечением признаков и задачами, где требуются текстовые эмбеддинги. Модель распространяется по лицензии MIT. В доступных материалах отсутствуют подтверждённые сведения о разработчике, поддерживаемых естественных языках, длине контекста и количестве параметров.
MyAwesomeModel — модель из репозитория sdafafw22/MyAwesomeModel-TestRepo, опубликованная в формате Transformers для PyTorch. В метаданных Hugging Face она классифицирована как модель извлечения признаков с тегом BERT и библиотекой transformers. Разработчик или организация, стоящие за моделью, в доступных материалах не названы. README описывает обновлённую версию модели с заявленными улучшениями рассуждений, вывода, математики, программирования, логики, генерации текста, function calling и снижением галлюцинаций. Также заявлены результаты на внутренних или нераскрытых бенчмарках, включая AIME 2025, однако эти сведения не согласуются с метаданными feature-extraction и не сопровождаются достаточными техническими подробностями для независимой проверки. Модель распространяется по лицензии MIT. Доступные материалы не содержат подтверждённых сведений о размере, длине контекста, поддерживаемых естественных языках или точной архитектуре за пределами тега BERT, поэтому применять её следует с учётом возможного расхождения между описанием и классификацией на Hugging Face.
MyAwesomeModel — модель из репозитория xcc12ds21313/MyAwesomeModel-TestRepo, предназначенная для извлечения признаков из текста и работы с языковыми задачами. В README заявлены улучшенные способности к рассуждению и выводу, обработка математических, программных и логических задач, ответы на вопросы, классификация, анализ тональности, суммирование, перевод, диалоговая генерация и вызов функций. Разработчик в предоставленных материалах не назван. Модель распространяется через библиотеку Transformers и использует PyTorch; в метаданных указана архитектурная принадлежность к BERT и задача feature extraction. README также содержит результаты внутренних сравнений и рекомендации по системному промпту и температуре, однако сведения о размере модели, длине контекста, поддерживаемых языках и точной конфигурации не приведены. Лицензия — MIT. Заявленные сильные стороны включают работу со сложными рассуждениями, генерацией текста, сниженный уровень галлюцинаций и поддержку function calling. При этом описание не предоставляет подтверждённых сведений о датасетах, методике обучения, воспроизводимости бенчмарков или фактической совместимости заявленных генеративных возможностей с указанным pipeline-тегом feature-extraction.
Nawah-RuleCheck-v2 — небольшая арабоязычная модель oddadmix для проверки, соответствует ли текст заданному правилу на естественном арабском языке. Она принимает текст и формулировку правила и относит пару к одному из двух классов: «مطابق» (соответствует) или «مخالف» (не соответствует). Модель построена на архитектуре Llama и использует классификационную голову; содержит 51,8 млн параметров, а длина контекста составляет 2048 токенов. Модель предназначена для проверки правил, которые можно определить по самому тексту, например наличия даты, числа или URL, а также для фильтрации коротких арабских объявлений, обращений в поддержку, вакансий и других деловых текстов. В оценке она лучше обобщала правила, сформулированные в знакомом обучающем стиле, чем новые разговорные формулировки; подсчёт слов оказался слабым типом правил. Обучение охватывает 19 правил и короткие тексты из нескольких арабских регионов, поэтому результаты не следует переносить на длинные документы, правила, требующие знаний о мире, суждений или многошаговых выводов. Модель дообучена на oddadmix/50M-2048-Emhotob на наборе oddadmix/arabic-rule-checking. Лицензия — Apache-2.0.
Neurobinary — модель классификации текста на базе microsoft/deberta-v3-base, дообученная автором репозитория ajrayman. Она содержит около 211,6 млн параметров, использует архитектуру DeBERTa V2 и принимает текстовые последовательности длиной до 512 токенов. В метаданных Hugging Face задача указана как text-classification; конкретные классы и прикладная область в карточке не описаны. На тестовой выборке автор сообщает Accuracy 0,746, Precision 0,7184, Recall 0,8080, F1 0,7606 и AUC 0,8251. Данные обучения обозначены как None, а подробности о наборе данных и сценариях применения отсутствуют, поэтому результаты нельзя уверенно переносить на другие данные. Модель распространяется по лицензии MIT.
PrefMatcher-7B — дообученная командой kixlab языковая модель для оценки совпадения предпочтений с пунктами контрольного списка. Она принимает описание предпочтения и чек-лист, затем определяет, соответствует ли каждый пункт предпочтению или охватывается им. Модель создана на основе Qwen2.5-7B-Instruct: её дообучили методом QLoRA в течение одной эпохи на 4 тысячах синтетических примеров для бенчмарка CUPID. В метаданных указаны архитектура Qwen2, 7,1 млрд параметров, контекст до 32 768 токенов и библиотека Transformers. Модель предназначена прежде всего для автоматического оценивания на бенчмарке CUPID и может служить судьёй при сопоставлении предпочтений и критериев оценки. В README сообщается о Krippendorff’s alpha 0,748 относительно человеческих аннотаций. Модель ориентирована на английский язык; её лицензия — Apache 2.0. Результат оценки совпадения может зависеть от формулировок предпочтения и пунктов чек-листа; опубликованная оценка качества относится к данным и условиям CUPID.
ClimateBERT renewable — модель на базе RoBERTa, дообученная для классификации предложений, связанных с возобновляемой энергетикой. Она использует классификационную голову и обучена на размеченном людьми наборе данных; базой послужила climatebert/distilroberta-base-climate-f. Модель подходит для отбора предложений о возобновляемой энергетике в текстах. Она содержит 95,4 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch по лицензии Apache-2.0.
PeytonT/repo-paper-alignment — дообученная энкодерная модель на базе sentence-transformers/all-MiniLM-L6-v2 для сопоставления научных статей с репозиториями и их реализационными артефактами. Она кодирует пары текстов и оценивает их соответствие; модель содержит 25,9 млн параметров, использует архитектуру BERT и поддерживает контекст до 512 токенов. Модель предназначена для ранжирования кандидатов на связь статьи с репозиторием, поиска подтверждающих файлов и фрагментов кода, построения связей «статья—код» и подготовки обоснованных объяснений в системе Repository Library. Карточка сообщает о скромном качестве на текущей отложенной выборке: ROC AUC около 0,542 и точность пары около 0,484; результат зависит от качества формирования пар и отрицательных примеров, поэтому модель требует проверки в целевом процессе. Это экспериментальный компонент исследовательской системы, а не готовый бенчмарк. Лицензия в предоставленных данных не указана.
Finnish-NLP/roberta-large-finnish-v2 — крупная предобученная языковая модель RoBERTa, разработанная командой Finnish-NLP для обработки финского текста. Это версия предыдущей Finnish-NLP/roberta-large-finnish, обученная с теми же гиперпараметрами на более тщательно очищенном корпусе; по приведённым в карточке оценкам очистка не дала заметного улучшения результатов. Модель содержит 454,1 млн параметров, использует архитектуру RobertaForMaskedLM и доступна в форматах PyTorch и Flax. Модель обучалась на финских текстах из mC4, Википедии, новостных архивов Yle и STT, а также корпуса Suomi24. Она чувствительна к регистру, использует BPE-токенизацию и принимает последовательности до 514 токенов по метаданным. Основное прямое применение — восстановление замаскированных токенов; также модель предназначена для дообучения на классификации последовательностей и токенов, а также на ответах на вопросы. Для генерации текста она не предназначена. Лицензия — Apache-2.0. Корпуса включают неотфильтрованный интернет-контент, поэтому предсказания модели могут отражать его предвзятость; качество на конкретных задачах зависит от последующего дообучения.
Nelera/ru-toxicity-detection — модель классификации текста, разработанная на основе ai-forever/ru-en-RoSBERTa с использованием PyTorch Lightning. Она выполняет бинарную классификацию русскоязычных текстов: относит безопасные и нейтральные сообщения к классу 0, а токсичные — к классу 1. Модель подходит для модерации пользовательских сообщений, выявления оскорблений и фильтрации токсичных комментариев. Это RoBERTa-классификатор объёмом около 503,5 млн параметров с контекстом до 514 токенов. В README приведены высокие метрики на тестовой выборке: accuracy и F1 — 0,9967, ROC AUC — 0,9997, MCC — 0,9934. Модель принимает текст и выдаёт метку класса токсичности. Указанные результаты относятся к тестовой выборке; качество на других данных может отличаться. Лицензия в предоставленных данных не указана.
SmqBERT 100M Kazakh — энкодерная языковая модель с 100,1 млн параметров, разработанная автором репозитория salyamq и предварительно обученная на казахском корпусе salyamq/kk-corpus-v1. Она предназначена для предсказания замаскированных токенов и как предварительно обученный энкодер для последующей настройки под задачи NLP на казахском языке. Модель использует архитектуру SmqBERT с 16 слоями Transformer, скрытым размером 768 и словарём SentencePiece на 32 000 токенов. Контекст — до 8 192 токенов; внимание сочетает локальные окна и глобальные слои. Это не чат-модель и не модель авторегрессионной генерации текста. Модель подходит для контекстных представлений, извлечения признаков и дообучения для классификации, разметки токенов и поиска на казахском языке. Качество для других языков может снижаться; карточка не приводит результатов бенчмарков, а предсказания MLM не являются проверенными фактами. Для запуска с Transformers требуется пользовательский код модели и параметр trust_remote_code=True. Лицензия — Apache-2.0.
Это модель классификации текста на базе T5-base, дообученная lukeleeai на наборе GLUE. Она предназначена для классификации текстовых последовательностей; в карточке приведены результаты оценки на тестовом наборе: loss 0,5187 и accuracy 0,8351. Модель содержит 123,8 млн параметров, использует архитектуру T5ForSequenceClassification и принимает контекст до 512 токенов. Модель сохранена в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не уточняет отдельные сценарии применения и ограничения качества, поэтому результаты оценки не следует считать гарантией для произвольных задач классификации.