II.8Инженерия данных и аналитика

Это специализированная версия Whisper-large-v3-turbo Russian от coriollon для распознавания русской речи с английскими техническими терминами и переключением между русским и английским языками. Модель предназначена для IT-диктовки, технических подкастов и других разговоров, где названия инструментов и брендов должны оставаться в латинской записи. В карточке указано 905,2 млн параметров; архитектура — Whisper для распознавания речи. Также доступна предварительно сконвертированная версия для faster-whisper с весами int8 и вычислениями fp16. По заявленным результатам на тесте из 540 русских фраз с английскими техническими терминами модель показала WER 9,08% и точность записи терминов 74,26%. Дообучение выполнено с помощью LoRA на синтетических русских аудиоданных с английскими терминами и примеров на русском и английском языках. Для обычной русской диктовки автор рекомендует исходную русскую версию: у этой модели качество на ряде чисто русских тестов ниже. Редкие технические термины могут распознаваться кириллицей; синтетическая речь в обучении может отличаться от произношения людей. Лицензия — Apache-2.0.

FacebookAI публикует XLM-RoBERTa-large, дообученную на нидерландской части датасета CoNLL-2002. Это многоязычная трансформерная модель архитектуры XLM-RoBERTa с 658,7 млн параметров и контекстом до 514 токенов; в репозитории представлены веса PyTorch. Модель предсказывает пропущенные токены, а дообученная версия предназначена для разметки токенов в нидерландском тексте. Основные сценарии применения — распознавание именованных сущностей и разметка частей речи. Также модель можно использовать для заполнения пропусков в тексте. В карточке указано обучение XLM-RoBERTa на 100 языках, но специализированное дообучение выполнено на нидерландском датасете CoNLL-2002, поэтому качество для других языков и задач разметки может отличаться. Лицензия в карточке не определена.

Algolia-large-en-generic-v2410 — англоязычная модель эмбеддингов Algolia для поиска и извлечения релевантных результатов, с акцентом на эффективность и сценарии электронной коммерции. Это дообученная плотная BERT-модель на базе thenlper/gte-large с 433,9 млн параметров и контекстом до 512 токенов. Она создаёт текстовые векторы для сравнения смысловой близости предложений и поиска по сходству; файлы доступны в форматах Safetensors и ONNX. Модель ориентирована на английский язык и обучена на открытых и синтетических данных электронной коммерции. Выпущена 11 декабря 2024 года под лицензией MIT.

AudioX-North-v1 — модель автоматического распознавания речи семейства AudioX, разработанного Jivi AI. Это дообученная на базе Whisper модель для транскрибации речи на хинди, гуджарати и маратхи; README также описывает специализированную южноиндийскую версию семейства, но не относит её языки к этому чекпойнту. Модель принимает аудио и выдаёт текст, поддерживает автоматическое определение языка и предназначена для голосовых помощников, транскрибации, автоматизации клиентского обслуживания и создания многоязычного контента. При обучении применялись контролируемое дообучение, адаптация домена, балансировка языков и добавление шумов. В README заявлена оценка на бенчмарке Vistaar, однако приведённые результаты относятся к AudioX в целом, поэтому их нельзя однозначно приписать варианту North. Чекпойнт опубликован в формате safetensors и распространяется по лицензии Apache-2.0.

dtunkelang/bag-of-documents-minilm-esci-supervised — англоязычная Sentence Transformer модель, разработанная на основе sentence-transformers/all-MiniLM-L6-v2 и дообученная на метках релевантности ESCI с помощью MultipleNegativesRankingLoss. Она предназначена для семантического поиска и оценки сходства между запросами и текстами товаров; автор описывает её как базовый вариант для сравнения в исследовании поиска по наборам документов. Модель использует энкодер BERT с усреднением токенных представлений и нормализацией выходов. Она преобразует текст в плотные векторы размерностью 384, сравниваемые косинусной близостью. В метаданных указан размер 25,9 млн параметров и контекст до 512 токенов; в README заявлен максимум последовательности 256 токенов, поэтому фактический лимит следует учитывать при использовании. Подходит для семантического поиска товаров, ранжирования кандидатов по запросу и сравнения текстов. Модель принимает и выдаёт текстовые представления через эмбеддинги, не генерирует ответы. Распространяется по лицензии Apache-2.0.

amaye15/Beit-Base-Image-Orientation-Fixer — модель классификации изображений, дообученная на базе microsoft/swinv2-base-patch4-window16-256. По названию она предназначена для определения ориентации изображения и её исправления через выбор соответствующего класса, однако README не уточняет классы и способ применения предсказания. Модель построена на архитектуре SwinV2 и содержит 119,5 млн параметров; опубликована в формате Safetensors для Transformers. В README приведены результаты на оценочной выборке: loss 0,1295 и F1 0,9391. Сведения о наборе данных, языковой поддержке и ограничениях применения не раскрыты. Лицензия — Apache-2.0.

CAMeLBERT MSA SA — модель анализа тональности, разработанная CAMeL Lab путём дообучения CAMeLBERT для современного стандартного арабского языка (MSA). Она классифицирует арабские предложения по тональности; модель можно использовать через компонент SentimentAnalyzer в CAMeL Tools или через pipeline библиотеки Transformers. Модель построена на архитектуре BERT и содержит 136,3 млн параметров. Она принимает текст на арабском языке, поддерживает контекст до 512 токенов и выдаёт метки тональности, в том числе positive и negative. При дообучении использовались наборы данных ASTD, ArSAS и SemEval. Модель распространяется по лицензии Apache-2.0. Описание не приводит результатов оценки качества или перечня известных ошибок; применение за пределами современного стандартного арабского языка не подтверждено.

BETO — испаноязычная модель семейства BERT, разработанная командой из Universidad de Chile и предназначенная для работы с испанским текстом. Эта версия uncased не различает регистр букв и обучена с техникой Whole Word Masking на большом испанском корпусе. Она содержит около 137,1 млн параметров, использует архитектуру BertForMaskedLM и обрабатывает последовательности длиной до 512 токенов. Модель предназначена прежде всего для предсказания скрытых фрагментов текста: она помогает восстанавливать пропущенные слова и получать контекстные представления для последующей адаптации к испаноязычным задачам NLP. В карточке приведены результаты BETO на испанских бенчмарках, включая POS-разметку, распознавание именованных сущностей и классификацию документов; эти результаты относятся к оценкам модели в соответствующих задачах и не означают, что данный чекпойнт напрямую выдаёт все такие разметки без дополнительного обучения. Доступны веса для PyTorch, TensorFlow и JAX/Flax. Условия лицензирования в предоставленных сведениях не описаны.

Это дообученная модель BERT для классификации текста, созданная на основе google-bert/bert-base-uncased. Веса представлены в формате safetensors; модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для классификации текстовых последовательностей. В README приведены результаты оценки: accuracy 0,8647 и loss 0,3193; набор данных и назначение классов не раскрыты. Англоязычная базовая модель BERT рассчитана на понимание текста и извлечение признаков. Лицензия — Apache-2.0.

pysentimiento/bert-it-sentiment — модель классификации текста от команды pysentimiento на основе BERT, предназначенная для анализа тональности на итальянском языке. Она выдаёт метку класса для входного текста; в Hugging Face указаны задача text-classification, архитектура BertForSequenceClassification, около 137,1 млн параметров и контекст до 512 токенов. Модель можно применять для определения тональности итальянских сообщений, отзывов и публикаций в социальных сетях. Карточка демонстрирует использование через Transformers и PyTorch, но подробностей об обучающих данных, классах тональности, качестве и лицензии не содержит. Это специализированный классификатор, поэтому он не предназначен для генерации текста.

Модель Yoshitomo Matsubara — BERT large uncased, дообученная на наборе SST-2 для классификации тональности англоязычных текстов. Она использует архитектуру BERT для классификации последовательностей и предназначена прежде всего для определения положительной или отрицательной тональности коротких текстов, например отзывов. Модель обучалась с torchdistill; для неё указаны 433,9 млн параметров и контекст до 512 токенов. В карточке также приведён общий результат 80,2 на бенчмарке GLUE, который не следует трактовать как оценку только на SST-2. Модель принимает текст и выдаёт метку класса тональности. Она рассчитана на английский язык и не описана как универсальный классификатор для произвольных классов или языков. Лицензия — Apache-2.0.

Это экспериментальный чекпойнт Qwen3-4B-Instruct-2507, дообученный командой agurung методом GRPO в OpenRLHF с подкреплением за корректность сгенерированного кода. Обучение проводилось непосредственно от базовой instruct-модели без отдельного SFT-этапа; этот вариант сохранён на шаге 56 и показал лучший в данном запуске результат pass@8 на отложенной выборке задач программирования. Модель предназначена для генерации программ в ответ на задачи с проверкой результата тестами. Она использует плотную архитектуру Qwen3ForCausalLM и содержит 3,7 млрд параметров; заявленная длина контекста — до 262 144 токенов. Чекпойнт рассчитан на исследование и оценку обучения с подкреплением для кодогенерации; показатели в README относятся к конкретной выборке и протоколу оценки, поэтому не гарантируют аналогичного качества на других задачах. Файлы представлены в safetensors, библиотека загрузки — Transformers. Лицензия в предоставленных данных не указана.

Карточка модели sh2nd/codegemma-1.1-2b-fix на Hugging Face совпадает с карточкой google/codegemma-1.1-2b, поэтому описание составлено по ней. CodeGemma 1.1 2B — компактная языковая модель для работы с кодом, разработанная Google на основе Gemma. Это предварительно обученная декодерная модель с 2 млрд параметров, предназначенная прежде всего для быстрого автодополнения кода. Она поддерживает заполнение пропусков между префиксом и суффиксом (fill-in-the-middle) в редакторе кода; на вход также можно подавать текстовые подсказки, а на выходе получать код или текст. Модель обучалась на дополнительных данных, преимущественно на английском языке: коде из открытых репозиториев, математических наборах данных и синтетически созданном коде. Модель подходит для интеграции в IDE и помощи при написании кода. Карточка описывает CodeGemma 2B как вариант для автодополнения, а не для чата или генерации кода по естественно-языковому запросу; эти сценарии в таблице отнесены к другим вариантам семейства. Для скачивания доступны веса в формате Safetensors, библиотека — Transformers. Лицензия — Gemma, использование регулируется условиями Google для Gemma. Как и другие большие языковые модели, CodeGemma может выдавать неверный или неподходящий код; результат следует проверять. В карточке также отмечено, что ограничения наследуются от семейства Gemma.

hsultanbey/codegen350multi_finetuned — дообученная версия небольшой авторегрессионной модели CodeGen-Multi, опубликованная пользователем Hugging Face Sultan Khajidursunogly (hsultanbey). Модель предназначена для генерации программного кода и автодополнения частично написанных программ по текстовым подсказкам; в карточке модели она классифицирована для задачи text-generation. Объём модели составляет около 0,4 млрд параметров, а нативное окно контекста — 2048 токенов. Базовая CodeGen-Multi обучалась на нескольких языках программирования, включая C, C++, Go, Java, JavaScript и Python, и рассчитана прежде всего на подсказки на английском языке. Наличие специфики и состава дополнительного дообучения именно этой версии по доступным источникам не подтверждено. Модель компактна и пригодна для локального запуска и тестирования на компьютерах без GPU, но её качество, безопасность и корректность сгенерированного кода требуют проверки; это не диалоговая модель общего назначения и не гарантирует исполнимость или отсутствие ошибок.

debertaMPdynamic — дообученная модель orpe42 на базе microsoft/deberta-v3-large для классификации текстовых последовательностей. Она использует архитектуру DeBERTa V2 и содержит 533,8 млн параметров; максимальная длина контекста составляет 512 токенов. Модель принимает текст и выдаёт результат классификации. В README приведены метрики на оценочном наборе: Macro F1 0,6518, Micro F1 0,6962 и Macro ROC AUC 0,9035. Датасет и назначение классов не описаны, поэтому эти показатели не позволяют определить пригодность для конкретной предметной области. Модель распространяется по лицензии MIT.

Elron/deberta-v3-large-sentiment — модель классификации текста, дообученная на базе microsoft/deberta-v3-large на наборе TweetEval для анализа коротких сообщений в стиле Twitter. Она предназначена для классификации эмоций, тональности, иронии, ненавистнических и оскорбительных высказываний. В README приведены результаты на тестовых данных TweetEval и сравнение с несколькими другими моделями; на указанных задачах модель показала более высокие значения в приведённой таблице. Модель построена на архитектуре DeBERTa V2 и содержит около 533,8 млн параметров. Принимает текст, контекстное окно — 512 токенов. Доступна в формате PyTorch и распространяется по лицензии MIT. Оценки в README относятся к тесту TweetEval; качество на других типах текстов и вне коротких сообщений может отличаться.

onnx-community/dictabert-ner-ONNX — ONNX-версия модели DictaBERT, разработанной Shaltiel Shmidman, Avi Shmidman и Moshe Koppel. Это дообученная модель архитектуры BERT-base для распознавания именованных сущностей в современном иврите. Модель предназначена для извлечения сущностей из текстов на иврите, включая людей, географические объекты, даты и временные выражения, а также некоторые титулы и другие категории. Она может использоваться в задачах анализа текста, поиска информации, структурирования документов и построения систем обработки естественного языка. В README приведён пример применения через пайплайн распознавания сущностей Transformers с агрегацией фрагментов токенов. Известно, что модель поддерживает иврит и основана на BERT-base; сведения о точном размере, длине контекста, используемых данных обучения и дополнительных модальностях не указаны. Модель специализирована для NER и не предназначена как универсальная генеративная языковая модель. К ограничениям относятся зависимость качества от домена и текста, а также отсутствие в README количественных метрик и подробного описания набора меток. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0), предусматривающая указание авторства.

EgyBERT — модель семейства BERT, разработанная для работы с текстами на египетском диалекте арабского языка. Её предварительно обучили на корпусе египетских твитов объёмом более 34 миллионов сообщений и корпусе интернет-форумов объёмом более 44 миллионов предложений; суммарный объём текстов составил 10,4 ГБ. Модель содержит около 170,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и предназначена для извлечения признаков. EgyBERT можно использовать как основу для получения контекстных представлений египетского диалектного текста и построения downstream-систем обработки языка. Репозиторий предоставляет веса в формате safetensors. Лицензия CC BY-NC 4.0 требует указания авторства и не разрешает коммерческое использование.

MahnoorIqbal/emotion-distilbert — англоязычная модель классификации текста на основе DistilBERT, дообученная для определения эмоций. Она принимает текст и выдаёт метку класса; в карточке указаны результаты оценки: accuracy 0,9255 и F1 0,9269. Базовая модель — distilbert/distilbert-base-uncased, архитектура — DistilBertForSequenceClassification, формат весов — safetensors. Контекст составляет до 512 токенов. Модель подходит для автоматической разметки эмоциональной окраски коротких текстов, например сообщений и отзывов. Она распространяется по лицензии Apache-2.0. Карточка не раскрывает набор эмоциональных классов, обучающие данные и подробности оценки, поэтому результаты могут не переноситься на тексты из других источников или доменов.

datapk/finetuning-sentiment-model-3000-samples — модель классификации текста на основе DistilBERT, дообученная на 3000 примерах для анализа тональности. Она предназначена для определения тональности текстовых высказываний. Модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые последовательности длиной до 512 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В карточке не описаны набор данных, метки классов, языки текстов и результаты оценки, поэтому нельзя уточнить охват тональностей и ожидаемое качество на конкретных данных.

zanesmit29/founder-roberta-emotion-v1 — англоязычная модель классификации эмоций, дообученная The Founder на наборе dair-ai/emotion. Она основана на RoBERTa-base и содержит 151,8 млн параметров; архитектура — RobertaForSequenceClassification. Модель принимает текст и присваивает ему одну из шести эмоциональных категорий. Контекст составляет до 514 токенов. Модель предназначена для определения эмоций в англоязычных текстах и готова к использованию через Transformers pipeline. В README для оценки на тестовых данных указана точность 0,9395. Результаты могут ухудшаться на текстах из других областей и вне распределения обучающих данных; качество для других языков не гарантируется. Не следует использовать её для решений с высокими ставками без проверки человеком. Лицензия — Apache-2.0.

Richard Young — это дообученная версия Google Gemma 4 12B IT, дополнительно обработанная методом abliteration с Heretic v1.4.0 для снижения числа отказов. Модель предназначена прежде всего для решения задач программирования на Python: она может рассуждать о подходе, сложности и граничных случаях, а затем генерировать код. В README указано, что обучающие решения проверялись запуском на детерминированных тестах. Это плотная мультимодальная архитектура Gemma 4 Unified с весами bf16 в формате safetensors и контекстом до 256K токенов. Карточка ориентирует на использование в Transformers; для запуска требуется свежая версия библиотеки с поддержкой gemma4_unified. Хотя базовая Gemma 4 поддерживает работу с изображениями, видео и аудио, описание этой версии сосредоточено на генерации кода и не подтверждает эти сценарии для неё. Модель специализирована на Python и алгоритмических задачах, англоязычная; общие факты и числа рекомендуется перепроверять. README сообщает о снижении отказов и предупреждает, что модель не прошла safety alignment, поэтому для применения нужны собственные защитные меры. Лицензия — Apache-2.0.

thoriqfy/indobert-emotion-classification — модель классификации текста на основе IndoBERT, опубликованная пользователем thoriqfy. Она предназначена для распознавания эмоциональных категорий в индонезийском тексте. Модель использует архитектуру BERT с головой BertForSequenceClassification, содержит около 433,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель можно применять для разметки эмоциональной окраски сообщений и анализа пользовательских текстов на индонезийском языке. Карточка показывает использование через Transformers и веса в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.

AptaArkana разработала эту модель как дообученную версию Toshifumi/distilbert-base-multilingual-cased-finetuned-emotion для классификации эмоций в тексте. Это компактная мультиязычная модель на архитектуре DistilBERT с классификационной головой; она принимает текст и выдаёт метки классов. Размер контекста — до 512 токенов. Модель предназначена для определения эмоциональной окраски индонезийского текста. В README указаны результаты оценки: accuracy, precision, recall и F1 — 0,9299; при этом описание набора данных и деталей оценки не приведено. Модель распространяется по лицензии Apache-2.0.

mozilla-ai/jina-embeddings-v2-small-en-off-topic — модель Mozilla AI для классификации текстов, опубликованная в формате safetensors с лицензией MIT. Карточка указывает на архитектуру CrossEncoderWithSharedBase и предлагает загружать модель через from_pretrained после добавления PyTorchModelHubMixin к классу архитектуры. Название и ссылка в README связывают модель с jina-embeddings-v2-small-en-off-topic от govtech; по имени можно предположить, что она предназначена для выявления текстов не по теме на английском языке. Подробности об обучении, точных метриках и рекомендуемых порогах классификации в предоставленных материалах отсутствуют.

LEMorals-Guard — созданная автором карточки LoRA-настройка Qwen3.6-35B-A3B для мультимодальной модерации контента. Она проверяет текст и изображения на вредное содержание для фильтрации обучающих корпусов и онлайн-модерации, а также для исследований защитных механизмов и согласования ценностей. Работа модели опирается на редактируемый справочник ценностей, включаемый в системный запрос, поэтому правила модерации можно менять без изменения кода. Модель диалоговая, с архитектурой Qwen3.5 MoE, и формирует структурированный вердикт: безопасен ли контент, к какой категории вреда он относится, насколько серьёзно нарушение и почему. Поддерживаются китайский и английский языки. В README приведены результаты оценки, включая F1 0,854 на отложенной выборке и повышенный охват опасного контента; при этом автор отмечает компромисс с ложными срабатываниями и склонностью к чрезмерному отказу. Для работы требуется системный запрос, сформированный из справочника ценностей, и совместимая версия Transformers. Лицензия репозитория указана как other; README предупреждает, что ограничения лицензий обучающих данных BeaverTails и ToxicChat могут ограничивать коммерческое использование.

EmotionEncoder — англоязычный RoBERTa-base энкодер, разработанный автором репозитория и дообученный на GoEmotions с многометочной контрастивной функцией потерь. Он преобразует текст в нормализованный эмбеддинг размерности 128: косинусная близость предназначена отражать сходство эмоционального содержания, а не сходство тем или формулировок. Архитектура включает masked mean pooling и двухслойную проекционную голову; число параметров — 151,8 млн, максимальная длина контекста — 514 токенов. Модель подходит для поиска и извлечения текстов по эмоциональному содержанию, сравнения эмоционального сходства пар текстов, эмоционально-ориентированного ранжирования и получения признаков для последующих моделей. В описанных автором оценках она показала перенос на наборы с другими схемами эмоциональных меток, однако выдаёт векторы, а не классы или оценки отдельных эмоций. Модель рассчитана на английский текст; обучение основано на Reddit, поэтому перенос на другие регистры и предметные области требует проверки. Она не предназначена для жёсткой классификации эмоций, анализа тональности или клинической диагностики. Доступна по лицензии Apache-2.0.

davanstrien/lfm25-encoder-goemotions-smoke — дообученный LiquidAI/LFM2.5-Encoder-350M классификатор эмоций в тексте. Модель использует плотный двунаправленный энкодер LFM2 и отдельную классификационную голову со средним pooling; размер составляет 444,6 млн параметров, контекст — до 128 000 токенов. Модель предназначена для многометочной классификации текста по 28 категориям GoEmotions: от восхищения, радости и благодарности до гнева, грусти и нейтрального состояния. В README приведена оценка F1: 0,2436 micro при настроенных порогах; при пороге 0,5 обе метрики F1 равны 0. Для загрузки требуется trust_remote_code=True, а для обслуживания через vLLM нужна стандартная архитектура. Лицензия в предоставленных данных не указана.

LennartKeller дообучил Longformer на подвыборке из 500 млн токенов немецкой части корпуса OSCAR. Веса инициализированы немецкой моделью GottBERT, а архитектура Longformer использует локальное внимание с окном 512 токенов и поддерживает последовательности длиной до 8192 токенов; в метаданных указан контекст 8194 токена. Модель содержит 153,2 млн параметров. Модель предназначена для извлечения признаков из длинных немецкоязычных текстов и предсказания замаскированных токенов. В пользовательской оценке на собственном наборе данных указана потеря 1,4981. Доступны веса в форматах PyTorch и safetensors. Информация о лицензии в предоставленных данных отсутствует.

Jeevesh8/lp1e-3_ft_corr_init_shuff_clipped_warmed_wd0_pnt_01_seq_len_128_bert-base-uncased_mnli_ft_28 — модель классификации текста на базе BERT, опубликованная пользователем Jeevesh8 на Hugging Face. Она предназначена для отнесения текстовых входов к заданным классам и относится к семейству моделей, обученных с использованием Transformers; в названии также указана связь с MNLI и BERT-base-uncased. Модель содержит около 136,7 млн параметров и поддерживает контекст до 512 токенов. Данных о модальностях, лицензии и точном наборе выходных меток недостаточно. Практическая применимость определяется конкретными классами и датасетом дообучения; по доступным сведениям модель не предназначена для генерации текста.