I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейtsdocode/phobert-finetune-hatespeech — модель классификации текста на основе PhoBERT, разработанная для выявления оскорбительных и разжигающих ненависть высказываний на вьетнамском языке. Она относит текст к одному из трёх классов: Normal (обычный), OFFENSIVE (оскорбительный) или HATE (ненавистнический). В README указаны наборы данных VLSP2019 и ViHSD, использованные для задачи обнаружения языка ненависти в социальных сетях. Модель построена на архитектуре RoBERTa, содержит 162,4 млн параметров, принимает текст и выдаёт метку класса; длина контекста — 258 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
qdovan03/phobert-large-vsmec-5class — дообученная модель PhoBERT-large для классификации текста на пять классов. Она построена на архитектуре RoBERTa и содержит 468,2 млн параметров; базовая модель ориентирована на обработку вьетнамского языка. Модель принимает текст и выдаёт метки классов. В README приведены результаты оценки: accuracy 0,6735, взвешенный F1 0,6684 и macro F1 0,6619. Датасет и назначение пяти классов не описаны, поэтому нельзя надёжно определить конкретную прикладную область или сценарии классификации. Лицензия модели — MIT.
rjzevallos/quebert_qu_bpe — языковая модель RoBERTa-base, разработанная для обработки кечуа. Она обучена с нуля на задаче masked language modeling на очищенном монолингвальном корпусе примерно из 8 миллионов слов, преимущественно на южном кечуа. Модель содержит 96,6 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате PyTorch по лицензии Apache-2.0. Модель предсказывает замаскированные токены и предназначена для дообучения на задачах NLP для кечуа: классификации текста, распознавания именованных сущностей, разметки частей речи, ответов на вопросы и оценки семантического сходства. Её также можно использовать для поиска по текстам, получения эмбеддингов предложений и адаптации к новым предметным областям. Качество зависит от разновидности кечуа: южный диалект представлен лучше других, а результат может снижаться на малопредставленных диалектах и специализированных текстах. Модель может наследовать культурные и языковые смещения корпуса; её не следует использовать как единственный источник для решений с высокими ставками.
LorMolf/Qwen-Embedding-ProcCode-aligned-2k — дообученная и объединённая модель текстовых эмбеддингов на базе Qwen/Qwen3-Embedding-0.6B, предназначенная для поиска по материалам итальянских государственных закупок. Она создаёт представления запросов и документов для семантического поиска и retrieval; при обучении использовались LoRA и функция потерь InfoNCE. Для запросов ожидается формат «Instruct: \nQuery: », а документы подаются как исходный текст статьи, источника или узла вики без префикса инструкции. Обучение и оценка использовали контекст до 32 768 токенов. Модель содержит около 507,6 млн параметров и распространяется в формате safetensors; основным языком и предметной областью являются итальянский язык и государственные закупки. Лицензия в предоставленных данных не указана.
noystl/recomb-pred-bge-large-en — англоязычная модель Sentence Transformer, дообученная автором noystl на базе BAAI/bge-large-en-v1.5 для поиска и сопоставления ответов с научными запросами о предсказании рекомбинации. Модель BERT с 433,9 млн параметров преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024; сходство оценивается косинусной метрикой. Максимальная длина входа — 512 токенов. Модель обучалась на датасете noystl/Recombination-Pred с контрастивной функцией потерь. Её можно применять для семантического поиска релевантных ответов, оценки сходства текстов, кластеризации и извлечения признаков для классификации. Она принимает текст и выдаёт векторы, а не готовые ответы; качество за пределами англоязычного сценария предсказания рекомбинации не подтверждено. Лицензия — CC.
jayanta/resnet50-finetuned-memes — модель классификации изображений на архитектуре ResNet-50, дообученная на базе microsoft/resnet-50 для классификации мемов. Она принимает изображение и предсказывает метку класса. На оценочной выборке указана точность 0,5742 и функция потерь 1,0625; состав классов и подробности датасета в карточке не описаны. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
kapliff89/roberta-base-finetuned-nmrv — модель классификации текста на архитектуре RoBERTa, дообученная на основе klue/roberta-base. В репозитории указано, что она обучалась на наборе данных «None»; подробности о метках классов и назначении задачи не приведены. Модель содержит 137,8 млн параметров, принимает текст и выдаёт результат классификации. Длина контекста составляет 514 токенов. В карточке приведено значение функции потерь 0,4680 на оценочной выборке, но не описаны метрики качества, данные оценки или смысл классов. Базовая модель предназначена для понимания корейского текста, однако язык и целевая область этого дообучения отдельно не подтверждены. Модель опубликована в формате safetensors; лицензия в предоставленных данных не указана.
SciFive-base-PMC — англоязычная модель семейства T5, разработанная авторами работы SciFive для работы с биомедицинской литературой. Это трансформер text-to-text на 123,8 млн параметров, дообученный на корпусе открытых статей PMC. Метаданные Hugging Face указывают задачу text-classification; архитектура модели поддерживает генерацию текста по схеме T5. Модель подходит для классификации текстов биомедицинских публикаций и других задач анализа научной литературы, которые можно представить как преобразование текста в текст. В карточке указан английский язык и контекст до 1024 токенов. Репозиторий содержит веса PyTorch, Safetensors и TensorFlow. Лицензия в предоставленных данных не указана.
SciJudge-4B — языковая модель OpenMOSS-Team, дообученная на базе Qwen/Qwen3-4B-Instruct-2507 для оценки научных публикаций. Получая названия, аннотации и даты публикации двух статей, она предсказывает, какая из них окажет большее цитатное влияние. Модель использует плотную архитектуру Qwen3 и содержит 3,7 млрд параметров. Она рассчитана на текстовый диалоговый ввод и генерацию ответа, поддерживает английский язык и контекст до 262 144 токенов. Для обучения использован набор SciJudgeBench; работа входит в проект AI Can Learn Scientific Taste. SciJudge-4B подходит для сравнительного ранжирования научных статей по ожидаемому цитатному влиянию и экспериментов с автоматизированной оценкой научного вклада. Результат является прогнозом модели и не заменяет экспертную рецензию; доступна более новая версия SciJudge-4B-2605. Лицензия — Apache-2.0.
SciJudge-4B-2605 — языковая модель команды OpenMOSS-Team для оценки научных публикаций. Она дообучена на базе Qwen/Qwen3-4B-Instruct-2507 и принимает названия, аннотации и даты публикации двух статей, чтобы определить, какая из них, вероятно, окажет большее цитатное влияние. Модель построена на плотной архитектуре Qwen3 и содержит 3,7 млрд параметров. Она работает с текстом, поддерживает английский язык и имеет контекстное окно до 262 144 токенов. На тестовом наборе SciJudgeBench указана средняя точность 77,3%; результаты приведены также для информатики, математики, физики и других областей. Модель предназначена для сравнительной оценки научных работ и исследовательских экспериментов с прогнозированием цитатного влияния; такой прогноз не гарантирует фактическую будущую цитируемость и зависит от домена и данных оценки. Распространяется по лицензии Apache-2.0.
Sentence-ALDi — модель на основе BERT, разработанная для оценки степени диалектности арабского текста. Она дообучена на базе MarBERT и использует регрессионную голову для оценки отдельного текста; модель предназначена для анализа арабской речи и различения диалектных и менее диалектных вариантов. В README указаны арабский язык и набор данных AOC-ALDi. Архитектура — BertForSequenceClassification, около 190 млн параметров, контекст до 512 токенов; формат весов — PyTorch. Модель подходит для оценки диалектности предложений и для исследовательского анализа арабских диалектов. Ограничение контекста составляет 512 токенов, а README не приводит сведения о лицензии или подробностях интерпретации шкалы оценки.
Siamese DINOv2 Wall Hatching Matcher — модель GreenMap для сопоставления штриховок стен на архитектурных чертежах с образцами из легенды. Она использует сиамскую архитектуру на основе DINOv2 ViT-B/14 и содержит 88,15 млн параметров. Модель принимает изображения размером 518 × 518 пикселей и выдаёт оценку вероятности того, что две штриховки обозначают один и тот же тип стены. Модель предназначена для поиска соответствий между условными обозначениями на чертежах и элементами легенды, что может помочь автоматизировать разбор архитектурных планов. В README приведены значения valid loss 0,0442 и valid accuracy 0,9890; результаты относятся к указанной проверочной выборке и сами по себе не гарантируют такое же качество на других чертежах. Модель распространяется в формате TorchScript на PyTorch по лицензии Apache-2.0.
KM4STfulltext/SSCI-SciBERT-e4 — предобученная языковая модель на архитектуре BERT, разработанная для обработки научных текстов в социальных науках. Модель продолжила обучение на аннотациях статей из журналов SSCI за 1986–2021 годы; общий объём обучающего корпуса составил около 503,9 млн слов. Вариант e4 основан на Scibert-scivocab-cased и предназначен для использования с Transformers и PyTorch. Модель решает задачу заполнения пропусков в тексте и может служить основой для адаптации к классификации названий и аннотаций научных статей, а также распознавания структуры аннотаций. Архитектура содержит около 137,1 млн параметров и поддерживает контекст до 512 токенов. Карточка демонстрирует улучшение результатов на отдельных задачах классификации социальных научных текстов, но эти показатели относятся к конкретным наборам данных и настройкам экспериментов. Лицензия — Apache 2.0.
Это экспериментальная модель на базе distilbert-base-uncased, дообученная автором eduardofv для оценки семантического сходства предложений на испанском языке. Для обучения использованы испанские данные stsb_multi_mt — автоматически переведённые версии наборов STSBenchmark; модель предназначена для проверки концепции и сравнения подходов к sentence similarity. Модель формирует эмбеддинги предложений, которые можно сравнивать по косинусному сходству для оценки смысловой близости. Карточка описывает её как тестовый proof of concept без заявленного прикладного назначения; результаты оценки приведены не полностью. Доступные веса представлены в формате PyTorch. Лицензия в предоставленных данных не указана.
ParisNeo разработала модель классификации текста на базе TinyBERT для распознавания аргументов, связанных со скептицизмом по отношению к изменению климата. Модель дообучена на huawei-noah/TinyBERT_General_4L_312D и предсказывает одну из семи категорий: нерелевантность, отрицание факта изменения климата, отрицание влияния человека, преуменьшение последствий, необходимость ископаемого топлива, ненадёжность науки и предвзятость сторонников климатической повестки. Карточка также упоминает возражения против решений, но не приводит их отдельной меткой в указанном сопоставлении классов. Модель принимает текст и выдаёт метку класса. Используются архитектура BERT и классификационная голова; размер составляет 15,6 млн параметров, контекст — до 512 токенов по метаданным. Для обучения применялись взвешенная функция потерь и данные Frugal AI Challenge; README указывает ограничение предобработки до 128 токенов. Доступны веса Safetensors и формат ONNX. Валидационные метрики в карточке расходятся: заявленная точность 99,92% не согласуется с таблицей и сводкой, где указана точность около 0,83, поэтому результаты следует проверять на целевых данных. Лицензия — Apache-2.0.
VISION-1 — языковая модель для анализа безопасности текста и модерации контента, созданная UnionStreet на основе дообучения Meta Llama 3.1 8B Instruct. Это декодерный трансформер семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; модель работает с текстом на английском языке и поддерживает генерацию текста и классификацию. Модель предназначена для выявления мошенничества, вредоносного и неподходящего контента, а также для анализа потенциальных рисков в текстах. Её можно использовать как помощник в модерации и первичном анализе материалов, включив результаты в более широкую стратегию проверки контента. Предсказания следует считать рекомендациями, а не окончательными решениями: качество может различаться в зависимости от типа и контекста текста, а модель может наследовать смещения обучающих данных. Для важных решений рекомендуется проверка человеком. Лицензия — Llama 3.1.
Kuongan/xlm-roberta-base-kin-finetuned — модель классификации текста на основе XLM-RoBERTa Base, дообученная разработчиком Kuongan. Веса объёмом 305,2 млн параметров сохранены в формате safetensors; модель принимает текст и выдаёт классы. Для контекста используется окно до 514 токенов. Модель предназначена для классификации текстовых последовательностей. В карточке приведены результаты оценки: loss 0,3006, F1 0,3526, ROC AUC 0,6351 и accuracy 0,4226. Датасет обучения и конкретные классы не описаны, поэтому оценить пригодность для конкретной предметной области нельзя. Лицензия — MIT.
YoliGuadir/xlmroberta-sarcasmo — модель XLM-RoBERTa-large, дообученная для классификации испанских текстов на классы «сарказм» и «не сарказм». Она предназначена для определения сарказма в коротких сообщениях и фразах; карточка приводит пример использования через библиотеку Transformers. Модель содержит 658,7 млн параметров, принимает текст и имеет контекст до 514 токенов. В README сообщается о лучшем результате F1-macro 0,931 для опубликованной конфигурации с batch size 8. Модель обучали шесть эпох на Sarcastic_spanish_dataset. Доступный формат весов — safetensors. Лицензия в предоставленных данных не указана.
Lucyan85/xlmr-sarcasmo-sentiment — модель классификации текста, созданная дообучением XLM-RoBERTa base. По названию репозитория модель предназначена для определения сарказма и тональности текста. Она содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате safetensors по лицензии MIT. В карточке приведены результаты оценки: accuracy 0,9524 и F1 0,9391; название набора данных указано как None, а описание обучения, сценариев применения и ограничений не раскрыто. Поддержка языков явно не перечислена, хотя базовая XLM-RoBERTa является многоязычной; поэтому язык или набор языков, на которых модель проверена, по этим данным установить нельзя.
african-speech-id — модель для определения языка африканской речи, разработанная авторами репозитория AfriSpeech. Она распознаёт речь с помощью облегчённой версии Omnilingual ASR, затем классифицирует полученный текст по одному из 1 386 языков. Классификатор — линейная модель по символьным n-граммам с TF-IDF, встроенным в граф ONNX; распознавание и классификация рассчитаны на работу на CPU, в том числе на телефонах и ноутбуках. Модель предназначена для автоматического определения языка в аудиозаписях, особенно для малоресурсных африканских языков. Для устойчивого результата рекомендуется подавать не менее пяти секунд речи, оптимально около десяти; тишина снижает полезную длительность фрагмента. На тестах для 104 языков модель показала суммарную точность 0,474, но результаты зависят от набора данных: на FLEURS для 17 распространённых языков MMS-LID работает лучше. Классификатор всегда выбирает один из известных ему языков, даже если речь относится к языку вне списка; для отсева сомнительных результатов авторы рекомендуют смотреть на разницу между двумя верхними оценками, а не на небольшие значения softmax. Диалекты отдельно не различаются. Обучающие записи — религиозная речь, поэтому точность на разговорных аудио может быть ниже. Независимо оценены только 104 из 1 386 языков. Репозиторий содержит ONNX-модель и распознаватель речи Meta Omnilingual ASR; заявлена лицензия Apache-2.0.
Это дообученный классификатор DistilBERT, разработанный rasbt для различения текстов, написанных человеком, и текстов, созданных ИИ. Модель обучена на наборе rasbt/human-vs-ai-50k; метка 0 соответствует человеческому тексту, метка 1 — сгенерированному ИИ. Для обработки используется последовательность длиной до 512 токенов, а при выводе применяется температурная калибровка. В карточке указана лучшая точность на валидации 99,74%. Модель предназначена для быстрой проверки происхождения текста и выдаёт результат бинарной классификации. Она основана на DistilBERT и использует библиотеку Transformers; веса доступны в формате safetensors. Лицензия — Apache-2.0. Качество может снижаться на языках, в тематиках, у генераторов и при редактировании текста, которые не были представлены в обучающих данных; короткий или частично созданный ИИ текст классифицировать сложнее. Оценку не следует считать достоверным доказательством авторства.
ALBERT for ARQMath 3 — модель AnReu для поиска ответов на математические вопросы. Она основана на ALBERT-base-v2, дополнительно предобучена на Math StackExchange в три этапа и дообучена на классификацию пары «вопрос — ответ»: модель оценивает, соответствует ли ответ вопросу, а классификационный результат можно использовать для ранжирования ответов. Модель принимает текст вопроса и ответа, включая математические формулы, для которых в токенизатор добавлены дополнительные токены LaTeX. Архитектура — ALBERT, размер — 136,7 млн параметров, контекст — до 512 токенов. В карточке указана поддержка английского языка. Доступны веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
AL-RoBERTa base — предобученная модель семейства RoBERTa, разработанная для албанского языка. Она обучена на текстах с задачей masked language modeling: по контексту предсказывает скрытые токены и формирует двунаправленные представления текста. Модель содержит 96,6 млн параметров, поддерживает контекст до 514 токенов и чувствительна к регистру. Модель подходит для заполнения пропусков и получения представлений албанского текста; её также можно дообучить для классификации последовательностей и токенов или ответов на вопросы. Это базовая модель, а не генератор продолжений текста. В README упоминается корпус Wiki на албанском языке. Лицензия — Apache-2.0.
Модель tsAspire разработана Шешерой Майсором, Арманом Коханом и Томом Хоупом для поиска и оценки детального сходства между биомедицинскими научными публикациями. Это BERT-модель с 137,1 млн параметров, обученная представлять заголовок и аннотацию статьи набором контекстных векторов предложений. При кодировании предложения учитывают контекст всего заголовка и аннотации; при сравнении модель сопоставляет предложения документов с помощью расстояния Васерштейна, формируя разреженное выравнивание между ними. Модель предназначена для поиска релевантных статей по аннотации или выбранным предложениям из документа, а также для ранжирования кандидатов по тематическому сходству. Она обучена на 1,2 млн пар биомедицинских статей, связанных совместным цитированием, и оценивалась на наборах TRECCOVID и RELISH. Контекст составляет до 512 токенов. Для получения векторов и ранжирования требуется дополнительный код поверх Transformers. Модель ориентирована на англоязычные биомедицинские тексты; качество в других областях может быть ниже. README также указывает, что при дополнительной настройке модель можно применять для классификации документов или предложений. Лицензия — Apache 2.0.
Модель классификации текста, дообученная с помощью AutoTrain на базе google-bert/bert-base-uncased. Она предназначена для отнесения текстовых последовательностей к классам; конкретная предметная область и состав классов в карточке не раскрыты. Модель использует архитектуру BERT для классификации последовательностей, содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. Валидационные метрики составляют 0,5 для accuracy, micro-F1 и micro-recall; macro-F1 и weighted-F1 равны примерно 0,434. Эти результаты указывают на ограниченное качество классификации и требуют проверки на данных предполагаемого применения. Модель опубликована в формате Safetensors; сведения о лицензии в предоставленных данных отсутствуют.
CAMeLBERT-MSA-sixteenth — предварительно обученная модель BERT для арабского языка, выпущенная CAMeL Lab. Это вариант семейства CAMeLBERT для современного литературного арабского языка (MSA), обученный на одной шестнадцатой корпуса MSA; число параметров — 136,3 млн, длина контекста — до 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Модель предсказывает замаскированные токены и подходит как языковая основа для дообучения на задачах обработки арабского языка, включая распознавание именованных сущностей, разметку частей речи, анализ тональности, определение диалектов и классификацию поэзии. Для обучения использовались арабские текстовые корпуса, включая Arabic Gigaword, Abu El-Khair Corpus, OSIAN, Arabic Wikipedia и Arabic OSCAR. Лицензия — Apache-2.0. Модель обучалась на MSA, поэтому её специализация не распространяется автоматически на диалектный и классический арабский; для прикладных задач, кроме заполнения пропусков, обычно требуется дообучение.
BERT base Japanese Whole Word Masking — это японская предварительно обученная модель семейства BERT, разработанная командой Tohoku NLP. Она использует архитектуру BERT base с 12 слоями, скрытым размером 768 и 12 головами внимания; всего 137,8 млн параметров. Для токенизации применяется морфологический анализатор MeCab со словарём IPA, затем WordPiece с размером словаря 32 000. Модель обучена предсказывать замаскированные токены, причём при whole word masking маскируются сразу все части одного слова. Модель предназначена для заполнения пропусков в японском тексте и может служить базой для задач понимания японского языка. Обучение проводилось на японской Википедии по состоянию на 1 сентября 2019 года; максимальная длина входа составляет 512 токенов. Доступны версии весов для PyTorch, TensorFlow и JAX/Flax. Модель распространяется по лицензии CC BY-SA 4.0. Она обучена только на японской Википедии, поэтому может хуже работать с текстами других языков, жанров и предметных областей; её контекст ограничен 512 токенами.
NeuML/bert-tiny-sts-last-pooling — компактная модель эмбеддингов предложений от NeuML, построенная на BERT Tiny и предназначенная карточкой модели для тестирования pooling по последнему токену. Она дообучена на sentence-transformers/stsb с CosineSimilarityLoss и использует Sentence-Transformers для получения векторных представлений и вычисления сходства предложений. Модель имеет архитектуру BERT с 2 слоями, скрытым размером 128 и 4,4 млн параметров; выходные эмбеддинги имеют размерность 128. Она принимает английский текст, поддерживает последовательности до 512 токенов и применяет last-token pooling. Лицензия — Apache-2.0. Модель подходит для экспериментов и компактных задач сравнения предложений. Карточка описывает её как тестовую модель pooling и не приводит оценок качества; поэтому её пригодность для производственных задач сходства не подтверждена.
BioLinkBERT-base — биомедицинская языковая модель, разработанная авторами работы LinkBERT: Pretraining Language Models with Document Links. Это энкодер на архитектуре BERT, предварительно обученный на аннотациях PubMed с использованием связей цитирования между документами. Модель содержит 135,4 млн параметров, работает с контекстом до 512 токенов и распространяется в формате PyTorch по лицензии Apache-2.0. Модель предназначена для дообучения на задачах классификации текстов и токенов, ответов на вопросы, а также для получения векторных представлений текста. Учет междокументных связей полезен в биомедицинских сценариях, где ответ требует сопоставления сведений из разных источников. В карточке указаны высокие результаты на биомедицинских тестах BLURB, PubMedQA и BioASQ. Это базовый энкодер, а не готовая система для конкретной задачи: для прикладной классификации или ответов на вопросы обычно требуется дообучение. Контекст ограничен 512 токенами; сведения о клинической валидации и пригодности для принятия медицинских решений в карточке не приводятся.
ymelka разработала дообученный французский cross-encoder на базе DistilCamemBERT для переупорядочивания результатов поиска по аптечным карточкам и лекарствам. Модель предназначена для короткого списка кандидатов, найденного отдельным поисковым модулем: она оценивает релевантность карточек запросам о дженериках, дозировке, лекарственной форме, способе применения и подходящей возрастной группе. Размер в метаданных — 81,2 млн параметров; README указывает около 68 млн. Архитектура — CamemBERT для классификации последовательностей, формат весов — safetensors; контекст модели по метаданным — 514 токенов, а в рецепте обучения и примере использования задано ограничение 256 токенов. Модель лицензирована по MIT. В описанном тесте на аптечных данных она улучшила метрики переупорядочивания относительно родительской модели, особенно для запросов о замене препарата. Результаты ограничены условиями оценки: проверялись преимущественно французские аптечные карточки и запросы, а лекарственные сущности частично пересекались между обучением и тестом. Модель не проверена для оценки противопоказаний, взаимодействий, беременности, почечных или печёночных состояний и не предназначена для принятия клинических решений.