I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейjkhan447/sarcasm-detection-RoBerta-base — модель классификации текста на основе RoBERTa, дообученная для распознавания сарказма. Она предназначена для определения саркастических высказываний в текстах. Модель содержит 151,8 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch по лицензии MIT. В README указана точность 0,7273 на оценочном наборе данных, однако описание обучающего набора отсутствует, а значение loss составляет 2,8207. Эти результаты не дают полной картины качества и могут не отражать работу на других типах текстов.
SauerkrautLM-ColMinistral3-3b-v0.1 — экспериментальная мультимодальная модель VAGOsolutions для визуального поиска по документам. Она основана на Ministral и использует визуальный энкодер Pixtral; модель обучена для извлечения документов и представления страниц в виде многовекторных эмбеддингов размерности 128 с поздним взаимодействием в стиле ColBERT. Параметры модели — 3 млрд. Модель принимает изображения страниц и текстовые запросы, чтобы находить релевантные документы с учётом структуры макета, таблиц, форм и графиков. Заявлена поддержка английского, немецкого, французского, испанского, итальянского и португальского языков. В README приведены результаты на ViDoRe и MTEB; авторы отмечают, что модель уступает более новым вариантам для retrieval и рекомендуют её для экспериментов, а не для производственного развёртывания. Лицензия — Apache-2.0.
scotus-v10 — компактная модель классификации последовательностей на базе BERT, дообученная автором репозитория raminass на nlpaueb/legal-bert-small-uncased. Она предназначена для классификации текстов; название указывает на связь с решениями Верховного суда США, однако README не подтверждает конкретную схему меток или сценарий применения. Модель содержит 40,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт метки классов. Базовая модель предварительно обучена на юридических текстах на английском языке. На указанном в карточке наборе оценки модель достигла accuracy 0,8842 и loss 0,7971. Данные обучения в README обозначены как None, поэтому область применимости этих результатов оценить нельзя. Модель распространяется по лицензии CC BY-SA 4.0.
kennethge123/superglue_rte-gpt2 — модель классификации текста на основе GPT-2, дообученная на наборе SuperGLUE для задачи RTE (Recognizing Textual Entailment). Она предназначена для классификации пары текстов по наличию логического следования: определения, следует ли гипотеза из исходного утверждения. Модель построена на GPT2ForSequenceClassification, использует веса PyTorch и имеет контекстное окно 1024 токена. На evaluation set указаны accuracy 0,5435 и loss 4,4821, поэтому качество на этой оценке ограничено. Для модели указана лицензия MIT. README не описывает дополнительные сценарии применения или ограничения.
kktoto/tiny_focal_ckpt — модель для классификации токенов на основе архитектуры BERT, обученная разработчиком с нуля. Она содержит 12,6 млн параметров и обрабатывает последовательности длиной до 512 токенов. Метрики на оценочном наборе: F1 — 0,6446, точность — 0,9516, полнота — 0,6366. Модель предназначена для задач разметки отдельных токенов во входном тексте. Данные обучения неизвестны, поэтому нельзя определить конкретную схему разметки или область применения. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют.
Модель разработана автором репозитория ariyul и дообучена на базе dbmdz/bert-base-turkish-cased для бинарной классификации токсичности турецких текстов. Она относит текст к токсичному или нетоксичному классу и подходит для предварительной модерации пользовательских сообщений и анализа турецкого контента. Модель основана на BERT, имеет около 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Обучение проводилось на очищенных и сбалансированных примерах датасета Overfit-GM/turkish-toxic-language; в описанной предобработке текст приводится к нижнему регистру, удаляются ссылки, упоминания и часть специальных символов. Автор сообщает F1-score 0,96 для обоих классов на своей оценке. Модель работает с турецким текстом. Результаты могут зависеть от соответствия текста обучающим данным и предобработке; удаление эмодзи, ссылок и упоминаний может терять контекст, а метрики README не гарантируют аналогичного качества на других данных. Лицензия — MIT.
TURNA — турецкоязычная модель, разработанная лабораторией TABILAB кафедры компьютерной инженерии Университета Богазичи. Это трансформерная encoder-decoder модель на основе UL2 с архитектурой T5; в README указано 1,1 млрд параметров, тогда как метаданные Hugging Face указывают 561,4 млн. Модель предназначена для понимания и генерации текста на турецком языке и может дообучаться для пользовательских задач. В экспериментах модель сравнивали на задачах генерации и понимания турецкого языка: перефразировании, суммаризации, создании заголовков, распознавании именованных сущностей, разметке частей речи, семантическом сходстве, выводе на естественном языке и классификации текста. README сообщает, что на ряде задач понимания TURNA превосходила несколько многоязычных моделей и конкурировала с турецкоязычными моделями. Доступ предоставляется только для некоммерческих академических исследований; модель не проверялась в реальных приложениях и не оценивалась на предвзятость и безопасность.
Модель Hate-speech-CNERG/urdu-abusive-MuRIL разработана для выявления оскорбительной речи на урду. Это дообученная на наборе данных для распознавания оскорбительной речи модель MuRIL с архитектурой BERT для классификации последовательностей; она относит текст к классу «нормальный» или «оскорбительный». Модель рассчитана на классификацию текста на урду, имеет 264,8 млн параметров и контекст до 512 токенов. Модель подходит для автоматической фильтрации оскорбительных высказываний и анализа пользовательских текстов на урду, в том числе в условиях ограниченных данных для этого языка. Она описана в работе о методах расширения данных для выявления оскорбительной речи в индийских языках. Лицензия — AFL-3.0; при публикации результатов с использованием ресурса авторы просят цитировать эту работу.
VocBulwark speaker encoder — модель mlr2000 для преобразования монофонической аудиозаписи в фиксированный 768-мерный вектор признаков голоса. Это энкодер на основе Wav2Vec2 с attentive statistics pooling, обученный с целевой функцией GE2E. Для входа требуется аудио с частотой 22,05 кГц; модель предназначена для получения эмбеддинга по эталонному голосовому фрагменту и передачи его в совместно обученный вокодер VocBulwark large для синтеза речи этим голосом. Эмбеддинги также подходят для сравнения голосов и проверки сходства или совпадения говорящего. Для корректного управления вокодером нужен энкодер из той же связки; векторы от других энкодеров могут не подойти. Лицензия — CC BY 4.0.
appropriateness-classifier-binary — модель классификации текста на основе DeBERTa-v2, разработанная Timon Ziegenbein. Она определяет, является ли аргумент уместным (класс 0) или неуместным (класс 1), и предназначена для анализа языка в аргументации. Модель обучена на корпусе appropriateness-corpus, содержит 533,8 млн параметров и принимает последовательности длиной до 512 токенов. В карточке указан английский язык. Модель подходит для автоматической проверки уместности аргументов в текстах. Для более детального анализа неуместности автор рекомендует отдельную многометочную модель. Репозиторий содержит веса PyTorch и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.
Это классификатор предложений, определяющий, содержатся ли в высказывании математические термины. Модель разработана для проекта EduBehaviors: её обучили на основе sentence-transformers/paraphrase-mpnet-base-v2 с помощью SetFit для аудируемой разметки диалогов в классе. Она принимает отдельное высказывание без дополнительного шаблона и возвращает метку класса. Модель обучена на 3 432 примерах из обучающей выборки LLM-размеченных высказываний учителей из TalkMoves Dataset; для проверки использовались 858 примеров dev и 2 144 тестовых примера. Архитектура — MPNet, размер — 136,7 млн параметров, максимальный контекст — 514 токенов. В тесте F1 положительного класса составил 0,900. Модель рассчитана на англоязычную речь в классе и доступна через пакет EduBehaviors-kit. Разметку создавали LLM-аннотаторы; согласие между ними по Krippendorff’s alpha составило 0,755. Модель обучалась только на высказываниях учителей, поэтому её качество на речи учеников не проверено. Лицензия в предоставленных данных не указана.
aneuraz/awesome-align-with-co — модель на основе BERT из проекта AWESOME, предназначенная для выравнивания слов в параллельных текстах. Она использует представления многоязычного BERT, дообученные на параллельных корпусах, чтобы находить соответствия между словами в предложениях на разных языках. Модель содержит 205,1 млн параметров, принимает текстовые последовательности с контекстом до 512 токенов и распространяется в формате PyTorch. Модель подходит для извлечения словесных выравниваний в параллельных корпусах, например для подготовки двуязычных данных и анализа соответствий между переводами. В метаданных указаны немецкий, французский, английский, румынский и китайский языки. Лицензия — BSD-3-Clause. Хотя основная задача проекта — выравнивание слов, карточка Hugging Face и pipeline_tag классифицируют модель как fill-mask; это не обычная модель генерации текста.
llm-book/bert-base-japanese-v3-jnli — японская модель классификации текстовых пар для задачи естественно-языкового вывода. Она создана командой llm-book дообучением cl-tohoku/bert-base-japanese-v3 на наборе JGLUE MARC-ja, как указано в README; пример показывает предсказание логической связи «следует» между двумя японскими предложениями. Модель построена на архитектуре BERT с классификационной головой, содержит 138,4 млн параметров и принимает пары текстов длиной до 512 токенов. Модель подходит для определения логической связи между предложениями на японском языке, например для проверки, следует ли гипотеза из текста. В метаданных основная задача указана как text-classification. Модель доступна в формате PyTorch через Transformers и распространяется по лицензии Apache 2.0. Она обучена на указанном в карточке японском датасете; качество на других языках и за пределами этой задачи не подтверждено.
HooshvareLab/bert-base-parsbert-uncased — одноязычная модель понимания персидского языка, разработанная командой HooshvareLab на архитектуре Google BERT Base. Это плотный трансформер с 190 млн параметров и контекстом до 512 токенов; модель предварительно обучена на корпусе из более чем 2 млн персидских документов разных жанров, включая научные тексты, романы и новости. Веса доступны в форматах PyTorch, TensorFlow и Flax. Основная задача этой версии — предсказание замаскированных токенов (fill-mask): модель подставляет вероятные слова в пропуски в персидском тексте. ParsBERT также использовали как основу для доработки под анализ тональности, классификацию текстов и распознавание именованных сущностей; результаты карточки показывают сильные оценки на персидских наборах данных для этих задач. Модель использует uncased-токенизацию, предварительную обработку текста и сегментацию WordPiece. Модель предназначена для персидского языка. Указанная в метаданных задача — fill-mask; результаты для классификации и NER относятся к downstream-сценариям и могут требовать дополнительной настройки модели. Сведения о лицензии в предоставленных данных отсутствуют.
Luciano/bertimbau-base-finetuned-brazilian_court_decisions — модель классификации текста, дообученная на основе neuralmind/bert-base-portuguese-cased для решений бразильских судов. Она предназначена для классификации текстов судебных решений на португальском языке. Модель построена на архитектуре BERT, содержит 136,1 млн параметров и принимает последовательности длиной до 512 токенов. На указанном в карточке наборе оценки точность составила 0,7921, а значение функции потерь — 0,6424. Модель рассчитана на бразильский португальский; лицензия — MIT. Карточка не раскрывает классы классификации, подробности обучающих данных и ограничения применения, поэтому качество на других данных не установлено.
Модель Legal BERTimbau разработана в рамках проекта IRIS для семантического поиска по документам Верховного суда Бразилии. Это sentence-transformers-модель на архитектуре BERTimbau large, которая преобразует предложения и абзацы на португальском языке в плотные векторы размерности 1024 для сравнения смысловой близости, поиска и кластеризации. Модель обучалась на юридических предложениях примерно из 30 тысяч документов с использованием TSDAE, затем дообучалась на данных NLI и задачах семантического сходства с наборами ASSIN, ASSIN2 и STS-B Multi-MT. Она принимает текст, поддерживает контекст до 512 токенов и выдаёт эмбеддинги. Лицензия — MIT. Карточка указывает на специализацию в юридическом семантическом поиске; качество за пределами португальского юридического текста не подтверждено.
pysentimiento/bertweet-irony — англоязычная модель для определения иронии в публикациях Twitter. Её разработали в рамках проекта pysentimiento, дообучив BERTweet на наборе SemEval 2018 Task 3. Архитектура — RoBERTa для классификации последовательностей, около 162,4 млн параметров; модель использует PyTorch и библиотеку pysentimiento. Контекст — до 130 токенов. Модель относит текст к одному из двух классов: ироничный или неироничный. Она предназначена для анализа англоязычных твитов и может применяться для разметки публикаций или исследования иронии в социальных сетях. В README приведён Macro F1 70,4 ± 2,9 для варианта RoBERTa в оценке irony проекта pysentimiento; это результат сравнительной оценки, а не гарантия качества на других данных. Карточка не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя.
Модель anonymousresearch123/deka-qwen3-emb-0.6b-multipos-fact-anompos — полноценно дообученный текстовый энкодер на базе Qwen/Qwen3-Embedding-0.6B, разработанный для поиска судебных дел Верховного суда Таиланда. Она кодирует запросы и документы в нормализованные эмбеддинги и предназначена для поиска релевантных дел по тексту фактических обстоятельств. Для запросов требуется префикс инструкции, использованный при обучении; для документов этот префикс добавлять не следует. В обучении применялись пуллинг последнего токена с левым дополнением и максимальная длина 1300 токенов для документа и 256 для запроса; базовая модель поддерживает контекст до 32768 токенов. Размер модели — 507,6 млн параметров; формат весов — safetensors, библиотека — sentence-transformers. Обучение проводилось на датасете anonymousresearch123/deka-retrieval; наилучший результат на отложенной выборке составил R@10 35,75. Модель рассчитана на тайский язык и юридический поиск. Лицензия — Apache-2.0.
YoichiTakenaka/deverta-v3-japanese-large-Joy — модель на базе DeBERTa v2 для определения наличия радости в японском тексте. Это одна из восьми отдельных моделей пакета DeBERTa Emotion Predictor: каждая настроена на распознавание своей эмоции. Модель дообучена для классификации последовательностей и содержит 451,8 млн параметров; максимальная длина контекста — 512 токенов. Модель принимает отдельный текст или набор текстов и выдаёт метку наличия радости вместе с оценкой уверенности для положительного класса. Её можно использовать для анализа эмоциональной окраски японских сообщений и текстовых коллекций. README описывает пакетный интерфейс, принимающий также pandas Series и возвращающий DataFrame; для экономии памяти модели загружаются на GPU по мере необходимости. Модель предназначена для японского языка и не описана как многоязычная. README указывает, что для восьми эмоций загружаются отдельные модели, поэтому первый запуск может занимать много времени. Лицензия — CC BY-SA 4.0.
Модель valurank/distilroberta-bias разработана ValuRank на основе distilroberta-base: к предобученным весам добавлена классификационная голова, дообученная для определения предвзятости текста. Она относит входной текст к одному из двух классов: нейтральный или предвзятый. Модель предназначена для анализа англоязычных текстов, например проверки материалов и изучения предвзятых формулировок. Архитектура — RoBERTa для классификации последовательностей, размер — 95,2 млн параметров. Максимальная длина входа составляет 512 токенов (514 токенов в метаданных контекста). Для дообучения использован набор wikirev-bias, основанный на правках английской Википедии. Модель принимает текст и выдаёт категорию; пригодность классификации для других жанров и областей данных из карточки не следует. Лицензия указана как other, поэтому конкретные условия использования нужно проверять в карточке репозитория.
Модель e_care_CRAB_COPA_KUCI_bert_base_uncased_finetuned — дообученная версия Ariffiq99/CRAB_COPA_KUCI_Bert_Base_Uncased_finetuned, разработанная автором репозитория Ariffiq99. Это плотная BERT-модель с головой BertForMultipleChoice, предназначенная для выбора наиболее подходящего ответа из нескольких вариантов. Она содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. В README приведены результаты оценки: loss 0,8644 и F1 0,7531; набор данных для дообучения не назван. Модель распространяется по лицензии Apache-2.0.
PaDaS-Lab/gdpr-privacy-policy-ner — модель семейства BERT для распознавания сущностей в текстах политик конфиденциальности. Она размечает токены по 33 классам, связанным с GDPR, включая оператора данных, обработчика данных и ответственного за защиту данных. Модель подходит для извлечения упоминаний ролей и других категорий GDPR из документов о конфиденциальности. Модель имеет 135,5 млн параметров и контекстное окно до 512 токенов. Она опубликована в форматах PyTorch, Safetensors и TensorFlow; лицензия — MIT. Данные не уточняют поддерживаемые языки и ограничения на качество разметки.
Это извлечённая часть энкодера модели GNER-T5-xxl, опубликованная wikeeyang в форматах fp16, fp8 и Q8. Репозиторий предназначен для использования весов как текстового энкодера вместо T5-xxl; карточка также приводит описание исходной GNER, системы генеративного распознавания именованных сущностей, обученной на базе Flan-T5 и ориентированной на распознавание сущностей из ранее не встречавшихся областей. Исходная GNER-T5-xxl предназначена для NER и демонстрирует zero-shot и supervised результаты. Однако данный репозиторий содержит только энкодер, поэтому его описание указывает на замену text encoder, а не на самостоятельную систему генерации разметки. Метаданные относят модель к text-classification, указывают английский язык, лицензию Apache-2.0 и связь с dyyyyyyyy/GNER-T5-xxl. В карточке не приведены подробные оценки качества именно извлечённого энкодера.
philipp-zettl/gte-micro-v4-mtg-v2 — компактная модель Sentence Transformer на базе Mihaiii/gte-micro-v4, дообученная для сравнения предложений и поиска. Архитектура использует BERT с усредняющим pooling и преобразует текст в плотные векторы размерности 384; для сравнения подходит косинусное сходство. Метаданные указывают 21,2 млн параметров и контекст до 512 токенов, а карточка README задаёт максимальную длину последовательности 256 токенов. Модель обучена на парах текстов из набора примерно из 2,13 млн примеров, связанных с карточками Magic: The Gathering. Её можно применять для поиска релевантных карточек по короткому запросу, семантического сравнения текстов и извлечения признаков. Поддерживаемая модальность — текст; базовая модель описана как англоязычная. Лицензия в предоставленных данных не указана.
HPT 1.5 Air — мультимодальная языковая модель компании HyperGAI для совместного понимания текста и изображений. Модель построена на Llama 3 8B Instruct и использует визуальный энкодер siglip-so400m-patch14-384; в репозитории опубликованы веса для воспроизведения результатов на бенчмарках. Архитектура языковой части — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для ответов на вопросы по изображениям, визуального анализа и рассуждений с учётом текстового и визуального контекста. В метаданных указан английский язык. Веса доступны под лицензией Apache-2.0. В README отмечено отсутствие встроенной модерации и гарантий качества результатов.
Akshat Surolia опубликовал Clinical BERT для предсказания кодов ICD-10 по клиническим текстам. Это модель классификации текста на базе BERT с 135,5 млн параметров и контекстом до 512 токенов; веса представлены в формате PyTorch и загружаются через библиотеку Transformers. В статье о Clinical BERT описаны варианты, инициализированные BERT-Base или BioBERT и обученные на всех записях MIMIC либо только на выписках; README не уточняет, какой именно вариант лежит в этом репозитории. Модель предназначена для классификации клинических записей с целью предсказания кодов ICD-10. Она выпущена под лицензией Apache-2.0. Карточка не сообщает показатели качества и не описывает ограничения для клинического применения; предсказания следует рассматривать как вспомогательные, а не как замену проверке специалистом.
JminJ/kcElectra_base_Bad_Sentence_Classifier — корейская модель классификации предложений, созданная разработчиком JminJ на базе Beomi/KcELECTRA. Она дообучена с помощью ElectraForSequenceClassification для бинарного определения того, относится ли комментарий или сообщение к нежелательным: метка 0 означает bad sentence, метка 1 — not bad sentence. Модель рассчитана на анализ текстов из интернет-комментариев и чатов. Для обучения объединили и переразметили открытые датасеты Korean Unsmile и Korean HateSpeech; отдельные примеры из Korean Unsmile также вручную переклассифицировали. В карточке указаны 151,7 млн параметров, контекст до 512 токенов и форматы PyTorch и Safetensors. На валидации для варианта KcELECTRA указана точность 0,8849. Классификатор может ошибаться, а понятие нежелательного высказывания отражает правила разметки обучающих данных. Разработчик отмечает, что не может публиковать преобразованные обучающие данные из-за авторских прав. Лицензия в предоставленных сведениях не указана.
maninglearchine разработала модель для бинарной классификации корейских экономических и финансовых статей: она определяет, подходят ли они для обучения детей до 13 лет. Модель основана на klue/bert-base и дообучена на 5 000 синтетических примерах с автоматически назначенными метками. Это BERT-классификатор последовательностей объёмом 137,8 млн параметров; метаданные указывают контекст до 512 токенов, однако в README рекомендовано подавать короткий текст длиной до 64 токенов. Модель выдаёт одну из двух меток: «подходит» или «не подходит». Она предназначена для предварительной фильтрации статей по темам базовой экономики, финансовых понятий и сложных либо рискованных финансовых инструментов. Лицензия MIT разрешает свободное использование, изменение и распространение. Обучение на шаблонных синтетических данных ограничивает перенос результатов на реальные новости с неоднозначным контекстом и смешанными темами. Указанные в README идеальные метрики получены на небольшом тестовом наборе и не подтверждают качество на реальных статьях; перед практическим применением рекомендуется дообучение на таких материалах.
rkdaldus разработала модель классификации эмоций в корейском тексте на основе KoBERT. Она относит входную фразу к одной из пяти категорий: гнев, страх, радость, нежность или грусть. Модель дообучена на корейских эмоциональных диалогах из AI Hub и предназначена для анализа отдельных фраз и текстовых столбцов в таблицах. Модель использует архитектуру BERT, содержит 119,4 млн параметров и принимает последовательности длиной до 512 токенов. В README приведён пример загрузки как модели классификации последовательностей и вывода предсказанного класса с вероятностями. Репозиторий содержит веса в формате Safetensors; лицензия в предоставленных данных не указана.
sahilchachra/Laya-TypedDecisions-MXFP4 — опубликованная Sahil Chachra квантизированная версия энкодерной части модели convaiinnovations/laya для запуска через MLX на Apple Silicon. В репозитории находятся только веса двунаправленного энкодера ModernBERT-large; обученная отдельно голова принятия решений и API upstream-модели сюда не включены. Метаданные указывают 394,7 млн параметров, тогда как README описывает исходную архитектуру как 421 млн параметров, 28 слоёв и размер скрытого состояния 1024. Родной контекст в метаданных каталога — 8192 токена; README для исходной конфигурации приводит 1024 токена. Энкодер предназначен для извлечения признаков из текста и создания пользовательских MLX-голов, в том числе для классификации и скоринга. Это не авторегрессионная чат-модель и она не предоставляет самостоятельный API принятия решений Laya. Проверка показывает заметное отклонение скрытых состояний после квантизации MXFP4; для решений, чувствительных к калибровке или близким оценкам, автор рекомендует исходные веса bf16/fp32. В README условия лицензии не описаны.