II.8Инженерия данных и аналитика

kevinpro/Vicuna-13B-CoT — языковая модель, полученная дополнительным обучением Vicuna методом SFT для усиления способности к рассуждениям с промежуточными шагами (Chain of Thought, CoT). Это плотная авторегрессионная модель семейства Llama с примерно 12,9 млрд параметров, реализованная для Transformers и опубликованная в формате PyTorch. Контекст модели — до 2048 токенов. Модель предназначена для генерации текста с пошаговыми рассуждениями и может применяться для ответов на вопросы, решения задач и работы с кодом на английском языке. В карточке указано обучение на датасете QingyiSi/Alpaca-CoT; отдельные сведения о разработчике, лицензии и оценке качества не заполнены. Следует учитывать ограниченную длину контекста и типичные для языковых моделей риски неточных ответов.

Это модель Vision Transformer (ViT) для классификации изображений и извлечения признаковых представлений. Она обучена авторами исследования на ImageNet-21k с дополнительной аугментацией и регуляризацией в JAX, а затем перенесена в PyTorch Россом Уайтманом. Модель содержит около 102,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для определения содержимого изображений и получения эмбеддингов для последующей обработки. Она доступна через библиотеку timm; веса представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0.»,»summary_ru»:»ViT — модель для классификации изображений и извлечения признаков, обученная на ImageNet-21k.»,

timm/vit_base_patch16_siglip_256.webli — визуальный энкодер SigLIP, опубликованный проектом timm. Это вариант ViT-Base с патчами 16×16 и входным разрешением 256 пикселей; он выдаёт признаки изображения для поиска, сопоставления и других задач компьютерного зрения. В карточке указано, что сохранён оригинальный механизм attention pooling; модель содержит только энкодер изображения. Модель предназначена для извлечения визуальных признаков из изображений и использования их в системах поиска и анализа изображений. Репозиторий содержит веса PyTorch в формате safetensors и использует библиотеку timm. Лицензия — Apache-2.0.

Это модель CLIP на архитектуре ViT-bigG-14 с разрешением изображения 378 пикселей, связанная с MetaCLIP 2. Её можно использовать через open_clip и timm для классификации изображений по текстовым описаниям без отдельного обучения на целевых классах: модель сопоставляет изображение с набором текстовых меток и оценивает соответствие между ними. Репозиторий содержит веса в форматах PyTorch и safetensors; для работы предназначена библиотека open_clip. Модель рассчитана на задачи zero-shot классификации изображений в широком международном контексте. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение. Карточка не описывает ограничения качества или список поддерживаемых языков.

poltextlab/xlm-roberta-large-pooled-sentiment-v3 — модель классификации тональности текста, разработанная poltextlab на основе xlm-roberta-large и предназначенная для использования с библиотекой Transformers. В README указана поддержка английского языка и классификация по трём классам: Negative, Neutral и Positive. Модель применяется для автоматического анализа тональности текстов, в том числе в сравнительных исследовательских проектах и в платформе CAP Babel Machine. По опубликованному отчёту macro и weighted F1-score составляют 0,91, precision и recall также равны 0,91. Для отрицательного класса F1-score составляет 0,94, для нейтрального — 0,87, для положительного — 0,91; это указывает на несколько более слабое распознавание нейтральных текстов. В README не указаны размер модели в параметрах, максимальная длина контекста, полный набор языков, данные обучения и точное значение accuracy. Модель использует токенизатор SentencePiece. Доступ ограничен: новые заявки на доступ в настоящее время не принимаются, а использование возможно для ранее одобренных пользователей через gated access. Указана лицензия CC BY 4.0. Для запуска требуется токен Hugging Face с правом чтения.

Модель lucio/xls-r-uzbek-cv8 — система автоматического распознавания узбекской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на узбекской части Mozilla Common Voice 8.0. Она построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; модель принимает аудио и преобразует речь в текст на современном латинском письме узбекского языка. Декодер использует языковую модель KenLM, построенную на текстах Common Voice. Модель предназначена для черновых субтитров к видео и индексирования записанных передач. На валидационной выборке указаны WER 0,3852 и CER 0,0777; автор предупреждает, что качество недостаточно для надёжных субтитров в реальном времени, например для обеспечения доступности. Модель выпущена под лицензией Apache-2.0.

Многоязычный классификатор для определения языка коротких текстовых высказываний. Модель разработана Янисом Лабраком из NLP-команды Авиньонского университета и основана на XLM-RoBERTa; число параметров — 305,2 млн, максимальный контекст — 514 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии CC BY 4.0. Модель обучена на параллельном наборе MASSIVE, включающем более миллиона высказываний на 51 языке для сценариев голосового ассистента. Она предназначена для распознавания языка входного текста и выдачи метки класса, например для маршрутизации запросов по языковой версии сервиса. Заявлена поддержка 51 языка, включая русский, английский, китайский, арабский и хинди. Обучающие данные отражают короткие пользовательские запросы голосовому ассистенту, поэтому качество на длинных текстах, узкоспециализированных материалах и языковых вариантах вне списка может отличаться; численные результаты оценки в доступной карточке не приведены.

ALBERT XXLarge v2 — англоязычная предварительно обученная модель семейства ALBERT, представленная авторами ALBERT и опубликованная командой Hugging Face. Она обучена предсказывать замаскированные токены и порядок двух соседних фрагментов текста; основное применение — заполнение пропусков, получение признаков текста и последующая тонкая настройка для задач классификации, разметки токенов и ответов на вопросы. Архитектура — плотный Transformer с 12 повторно используемыми слоями и общими весами. Карточка описывает конфигурацию XXLarge v2 как 223 млн параметров, тогда как метаданные репозитория указывают 3,3 млрд параметров. Модель использует регистр-независимую обработку английского текста и контекст до 512 токенов. Указанные обучающие данные — BookCorpus и английская Википедия. Модель рассчитана на задачи, использующие контекст всего предложения, и не предназначена для генерации свободного текста. Предсказания могут отражать смещения из обучающих данных. Лицензия — Apache-2.0.

mrsinghania/asr-question-detection — классификатор текста на основе BERT, разработанный автором репозитория для различения вопросов и утверждений. Модель обучена на более чем 7 тысячах примеров устной речи из интервью и предназначена для обработки распознанных высказываний: например, чтобы определять, содержит ли реплика вопрос.

bert-base-german-cased — немецкоязычная модель BERT, разработанная авторами из deepset и обученная с нуля на немецкой Википедии, материалах OpenLegalData и новостных статьях. Она предназначена прежде всего для восстановления замаскированных слов в немецком тексте и может служить основой для последующей настройки под задачи обработки немецкого языка. Модель имеет архитектуру BERT для masked language modeling, содержит 136,3 млн параметров и принимает текстовые последовательности длиной до 512 токенов. В репозитории доступны варианты для PyTorch, TensorFlow, JAX/Flax и ONNX. В карточке приведены оценки на немецких наборах для распознавания именованных сущностей и классификации текстов, включая тональность и классификацию документов. Лицензия модели — MIT. Она рассчитана на немецкий язык; качество и применимость к конкретной задаче зависят от предметной области и необходимости дополнительной настройки.

Xenova/bert-base-NER — модель для распознавания именованных сущностей (NER), разработанная на основе dslim/bert-base-NER и адаптированная для работы в Transformers.js. Репозиторий содержит веса в формате ONNX, совместимые с JavaScript-библиотекой Transformers.js, что позволяет применять модель в веб-приложениях и других средах, поддерживающих этот стек. Модель предназначена для token classification: она анализирует текст и выделяет именованные сущности, например имена людей и географические названия. В README приведён пример обработки англоязычной фразы, однако полный набор поддерживаемых языков, размер модели, максимальная длина контекста и перечень типов сущностей не указаны. Ключевое преимущество модели — возможность запуска через Transformers.js с ONNX-весами. При этом сведения о точности, производительности, ограничениях, модальностях и требованиях к ресурсам отсутствуют. Указана лицензия MIT.

BERTurk — некейсовая базовая модель BERT для турецкого языка, разработанная командой MDZ Digital Library Баварской государственной библиотеки при участии турецкого NLP-сообщества. Модель содержит 137,8 млн параметров, обучена на корпусе объёмом 35 ГБ из OSCAR, Wikipedia, OPUS и специализированных турецких текстов. Контекст — до 512 токенов. Модель предназначена для получения контекстных представлений турецкого текста и адаптации к прикладным задачам NLP, включая разметку частей речи и распознавание именованных сущностей. Это базовая модель, а не готовый чат-ассистент; для классификации и разметки её обычно дообучают на соответствующих данных. Доступны веса PyTorch, а также форматы Flax и TensorFlow в метаданных. Лицензия — MIT.

bert-sr-small — компактная языковая модель на базе BERT, опубликованная пользователем aajrami. Она предварительно обучена с помощью цели shuffle + random; подробности об этой цели и гиперпараметрах приведены в связанной работе о влиянии целей предобучения на усвоение языковых свойств. В метаданных модель представлена архитектурой RoBERTa с классом RobertaModel и содержит 42,5 млн параметров. Модель предназначена для извлечения признаков из текста и может использоваться как основа для получения контекстных представлений текста в NLP-сценариях. Максимальная длина контекста составляет 514 токенов. Репозиторий содержит веса в форматах PyTorch и Safetensors. Модель распространяется по лицензии CC BY 4.0. Карточка не уточняет поддерживаемые естественные языки и конкретные ограничения качества; результат следует проверять на целевых данных и задачах.

google/bert_uncased_L-2_H-256_A-4 — компактная англоязычная модель BERT от Google, входящая в набор BERT Miniatures, описанный в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Она использует 2 слоя, скрытый размер 256 и 4 attention-головы; содержит около 9,9 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель обучена без учета регистра с маскированием WordPiece-токенов и доступна в форматах PyTorch и Flax. Модель предназначена для задач понимания английского текста в условиях ограниченных вычислительных ресурсов и может дообучаться для конкретных задач так же, как исходные модели BERT. Авторы отмечают, что особенно эффективным может быть её применение в дистилляции знаний от более крупной и точной модели. В README приведены результаты набора BERT Miniatures на GLUE, однако отдельные показатели именно этой конфигурации не указаны. Модель выпущена под лицензией Apache-2.0. Она компактнее крупных вариантов BERT, но это также означает меньшую ёмкость; для высокой точности может потребоваться дообучение или дистилляция. Поддерживается английский язык.

Caspian-LFM2.5-350M-Reasoning — дообученная разговорная языковая модель Willie999 на архитектуре Liquid LFM 2.5. Она предназначена для генерации текста с акцентом на рассуждения, в том числе для математических задач и кода; в карточке также приведены примеры оценки на биологических темах. Метаданные указывают 444,6 млн параметров, контекст до 128 000 токенов и формат safetensors. В README размер модели указан как 350 млн параметров, поэтому опубликованные сведения о размере расходятся. Модель поддерживает английский язык и может применяться для ответов на вопросы, решения задач и генерации кода в диалоговом формате. README приводит показатели скорости и точности, однако не описывает методику оценки достаточно подробно, чтобы переносить их на другие условия. Модель распространяется по лицензии MIT.

CODE_VERONICA — дообученная модель Sentence Transformer на базе intfloat/multilingual-e5-large, представленная автором репозитория CODE_VERONICA. Она кодирует предложения и абзацы на русском и английском языках в плотные текстовые векторы размерности 1024 для семантического поиска и извлечения релевантных фрагментов. Архитектура включает XLM-RoBERTa, усредняющий pooling и нормализацию векторов; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель обучена на 778 парах предложений с использованием MultipleNegativesRankingLoss. Примеры связывают русские формулировки, включая сленг и текст в неверной раскладке, с англоязычными фрагментами кода, поэтому она может быть полезна для поиска кода по русским запросам и сопоставления таких запросов с описаниями или фрагментами кода. Лицензия в предоставленных данных не указана.

v2ray/dbrx-base-fixed — перезагрузка DBRX Base с исправлениями кода реализации, подготовленная автором репозитория. Исправления устраняют ошибки при обучении с gradient checkpointing и высокое потребление видеопамяти при обратном распространении через MLP; веса экспертов MoE разделены на отдельные тензоры. Это декодерный трансформер для предсказания следующего токена с архитектурой fine-grained mixture-of-experts: 132 млрд параметров всего, 36 млрд активных на входе, из 16 экспертов выбираются 4. Модель принимает и генерирует текст, поддерживает контекст до 32 768 токенов и работает через Transformers с весами safetensors. Чекпойнт предназначен для продолжения текста на английском языке и генерации кода; он не прошёл instruction fine-tuning и не рассчитан на интерактивный диалог. Обучение проводилось на 12 трлн токенов текста и кода; большинство данных было на английском, а знания модели ограничены декабрём 2023 года. Разработчик — Databricks. Указана лицензия Databricks Open Model License с отдельной Acceptable Use Policy; для коммерческого или исследовательского применения следует соблюдать их условия.

Qishuai разработал эту модель на базе DistilBERT и дообучил её для восстановления пунктуации в тексте на английском языке без учёта регистра. Модель размечает токены, предсказывая места для знаков препинания; она подходит, например, для обработки текстов, полученных из расшифровок речи, и не предназначена для распознавания речи или генерации связного текста. Модель использует архитектуру DistilBertForTokenClassification, работает с контекстом до 512 токенов и доступна в форматах PyTorch и safetensors. Для обучения использованы новостные статьи BBC, Hindu, Indian Times и Guardian, а также расшифровки TED Talks. В отчёте проверки на новостях и расшифровках TED за 2020 год F1 для запятых и точек составил 0,63 и 0,70; качество восстановления восклицательных знаков было низким (F1 0,12). Лицензия в предоставленных данных не указана.

DistilCamemBERT-NLI — франкоязычная модель компании CMarkea для распознавания текстового следования, противоречия и нейтрального отношения между посылкой и гипотезой, а также для классификации без обучения на заданных пользователем метках. Это дообученная для задачи NLI модель DistilCamemBERT с архитектурой CamemBERT и примерно 81,2 млн параметров; она принимает текстовые пары и выдаёт метки классов. Размер контекста — 514 токенов. Модель обучена на XNLI из набора FLUE. Её можно применять для классификации отзывов по тональности или статей по темам с помощью формулировок гипотез и кандидатных меток на французском языке. По опубликованному сравнению, на указанном процессоре она выполняла вывод примерно вдвое быстрее CamemBERT-base-XNLI, но показывала более низкую точность на части тестов. Доступны форматы PyTorch, TensorFlow и ONNX. Лицензия — MIT.

databoyface/distilroberta-base-omemoji-v0.1 — англоязычный классификатор эмоций, созданный дообучением distilbert/distilroberta-base на наборе OMEmoji. Модель на архитектуре RoBERTa с классификационной головой относит текст к 10 категориям эмоциональных состояний, включая доверие или любовь, радость, зависть, стыд или вину, гнев или отвращение, страх или тревогу, грусть или травму, а также нейтральные и простые позитивные или негативные случаи. Модель предназначена для классификации эмоциональной окраски англоязычных примеров по системе Orthogonal Model of Emotions. В карточке указаны 95,2 млн параметров и контекст до 514 токенов; на оценочном наборе приведены accuracy 0,9549 и loss 0,1496. Это бета-версия, поэтому качество и пригодность результатов для конкретных данных следует проверять. Модель распространяется по лицензии MIT.

Карточка модели facebook/dragon-roberta-context-encoder на Hugging Face совпадает с карточкой facebook/dragon-roberta-query-encoder, поэтому описание составлено по ней. DRAGON-RoBERTa Query Encoder — плотный энкодер запросов для поиска, разработанный Facebook. Это модель семейства RoBERTa, инициализированная RoBERTa-base и дополнительно обученная на данных, расширенных из корпуса MS MARCO, по подходу DRAGON. Она входит в асимметричную двухэнкодерную систему: для запросов и контекстов используются отдельные модели с разными параметрами. Энкодер преобразует текстовые запросы в векторные представления для плотного поиска и извлечения релевантных документов. В карточке приведены результаты системы DRAGON-RoBERTa: 39,4 на MS MARCO Dev и 47,2 на BEIR. Модель содержит 151,8 млн параметров, поддерживает контекст до 514 токенов и распространяется в формате PyTorch. Для поиска контекстов требуется соответствующий DRAGON-RoBERTa Context Encoder; лицензия в предоставленных данных не указана.

GEITje-ultra-sft — разговорная языковая модель, разработанная Bram Vanroy и дообученная методом supervised fine-tuning на базе Rijgersberg/GEITje-7B. Базовая модель основана на Mistral 7B и дополнительно обучалась на нидерландских данных; вариант ultra-sft содержит около 7,1 млрд параметров и предназначен для генерации текста в диалоге. Модель подходит для ответов на вопросы и ведения многоходового общения на нидерландском языке, а также для генерации кода и ответов на технические вопросы. Обучение охватывало около 240 млн токенов синтетических диалоговых данных, включая переведённые наборы Alpaca, Dolly и Stack Overflow, а также диалоги, созданные с помощью GPT-4 Turbo. В README указан контекст обучения 8192 токена; метаданные репозитория указывают нативный контекст 32768 токенов. Модель не проходила выравнивание с помощью DPO или других методов предпочтений; автор рекомендует использовать DPO-вариант. Ответы могут быть ошибочными, вводящими в заблуждение или оскорбительными. Лицензия CC-BY-NC-4.0 и происхождение обучающих данных исключают коммерческое использование согласно карточке модели.

HOS-OSS-1.54B — компактная авторегрессионная языковая модель, опубликованная hydffgg и дообученная на базе Qwen/Qwen2.5-Coder-1.5B-Instruct. Она использует декодерную архитектуру в стиле LLaMA и предназначена для генерации текста и кода, следования инструкциям и диалогового общения. В метаданных указаны 596 млн параметров, контекст 1024 токена и библиотека Transformers; README заявляет размер около 1,54 млрд параметров и ориентир на быстрый запуск с ограниченными ресурсами, включая локальное использование. Модель поддерживает английский язык и формат чат-ответов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка заявляет пригодность для небольших GPU и сред Colab или Kaggle, но результатов оценки качества не приводит.

Huihui-Qwen3-Coder-Next-abliterated — экспериментальная версия Qwen3-Coder-Next, созданная huihui-ai методом abliteration: из модели удалены механизмы отказа. Это причинная языковая модель архитектуры Qwen3-Next с MoE, примерно 2,3 млрд параметров, предназначенная для генерации текста в диалоговом формате и сценариев разработки кода на основе возможностей базовой модели. Она принимает текст и выдаёт текст; заявленная длина контекста — 262 144 токена. Карточка описывает изменение фильтрации отказов как грубую реализацию и proof of concept, поэтому качество и поведение модели могут быть нестабильными. Ослабленные ограничения безопасности повышают вероятность чувствительных, спорных или неприемлемых ответов. Модель распространяется по лицензии Apache-2.0.

Anwaarma/Improved-mBERT-attempt2 — мультиязычная модель классификации текста на основе BERT, дообученная на базе cardiffnlp/bert-base-multilingual-cased-sentiment-multilingual. По метрикам карточки, на оценочной выборке модель показала accuracy 0,83 и loss 0,4767; датасет и схема меток не описаны. Архитектура — BertForSequenceClassification, размер — 205,1 млн параметров, длина контекста — до 512 токенов. Базовая модель предназначена для определения тональности коротких текстов, в том числе сообщений в социальных сетях, однако назначение дообучения этой версии отдельно не уточнено. Модель опубликована в формате PyTorch; условия лицензии в доступных данных не приведены.

IndicBERTv2-MLM-Sam-TLM — многоязычная модель типа BERT, разработанная AI4Bharat и обученная на корпусе IndicCorp v2. Вариант MLM-Sam-TLM использует маскированное языковое моделирование (MLM) и дополнительную задачу перевода между языками (TLM) на параллельном корпусе Samanantar. В README указано 278 млн параметров, а метаданные каталога — 305,2 млн; контекст составляет до 512 токенов. Модель предназначена для восстановления замаскированных токенов и может служить основой для дообучения на задачах понимания текста для языков Индии и английского. В карточке названы 23 индийских языка и английский; метаданные явно содержат коды поддерживаемых языков. Репозиторий предоставляет веса PyTorch, лицензия — MIT. Это не генеративная диалоговая модель; качество зависит от языка и конкретной задачи дообучения.

KoELECTRA Sentiment v1 — модель Circulus Inc. для классификации корейских текстов по тональности. В метаданных указаны архитектура ELECTRA с головой ElectraForSequenceClassification, 140,1 млн параметров и контекст до 512 токенов; модель доступна в формате PyTorch и используется с Transformers как text-classification. Модель подходит для определения эмоциональной окраски корейских текстов, например отзывов или коротких сообщений. Карточка Hugging Face не содержит описания обучения, меток классов, точности или условий лицензии, поэтому эти характеристики нельзя подтвердить.

LumynaX OCR TrOCR Large Handwritten — архивный эксперимент AbteeX AI Labs на основе microsoft/trocr-large-handwritten. Это модель архитектуры vision-encoder-decoder, предназначенная для распознавания рукописного текста на изображениях и преобразования его в текст. В выпуске сохранены исходные веса TrOCR; указана интеграция через маршрутизацию во время выполнения без слияния весов. Репозиторий использует PyTorch и библиотеку Transformers. Модель подходит для оцифровки рукописных записей и обработки изображений с рукописным текстом. Карточка помечает выпуск как устаревший и не рекомендует его для производственного применения; он больше не поддерживается. Лицензия — MIT.

Модель zeromodels/metaclip2_worldwide_s16_384 — конверсия на Keras 3 модели MetaCLIP 2 Worldwide от Meta, разработанной авторами MetaCLIP 2. Это двухэнкодерная модель архитектуры CLIP для классификации изображений без примеров: она сопоставляет изображение с текстовыми описаниями классов и оценивает их соответствие. Вариант Worldwide обучен на многоязычных данных и использует словарь XLM-RoBERTa примерно на 901 тысячу токенов, поэтому запросы-классы можно задавать на разных языках без отдельного мультиязычного чекпойнта. Репозиторий содержит конверсию для Keras 3, работающую с TensorFlow, PyTorch и JAX. Модель подходит для классификации изображений по заданным текстовым меткам, в том числе с формулировками на нескольких языках. Качество зависит от описаний классов и соответствия изображения обучающим данным; это не универсальная система распознавания объектов с фиксированным перечнем классов. Лицензия CC-BY-NC-4.0 разрешает использование на некоммерческих условиях.

prithivida/miniDense_chinese_v1 — модель эмбеддингов на архитектуре BERT для поиска и оценки сходства китайских текстов. В карточке указаны BERT и токенизатор XLM-RoBERTa со словарём около 250 тысяч токенов; модель содержит 124,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель ориентирована прежде всего на поиск фрагментов и документов на китайском языке: она кодирует текст в векторы, которые можно сравнивать для ранжирования результатов. Разработчик приводит оценки на MIRACL и позиционирует серию miniMiracle как компактные модели для поисковых и информационно-поисковых сценариев. Доступны веса PyTorch и формат ONNX; для ONNX упомянута возможность запуска через FlashEmbed. Лицензия — CC BY-NC-ND 4.0, которая ограничивает коммерческое использование и распространение производных версий. Контекст ограничен 512 токенами; качество за пределами китайского поиска карточка не подтверждает. Разработчик также предупреждает о возможном наследовании смещений из базовых моделей и обучающих данных.