II.8Инженерия данных и аналитика

philschmid/bert-mini-sst2-distilled — компактная модель классификации текста на основе BERT, дообученная автором репозитория на датасете GLUE. Она предназначена для присвоения тексту метки тональности в задачах, подобных SST-2. Модель содержит около 12 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в формате PyTorch. На указанной в карточке оценочной выборке модель достигла accuracy 0,8567. Она подходит для лёгких сценариев классификации тональности, но карточка не описывает полный набор меток и ограничения оценки. Лицензия — Apache-2.0.

beto-sentiment-analysis — модель классификации тональности испаноязычных текстов, разработанная на основе BETO, испанской версии BERT. Она дообучена на корпусе TASS 2020, содержащем около 5 тысяч твитов на нескольких диалектах испанского языка, и присваивает текстам метки POS, NEG или NEU. Модель подходит для анализа тональности коротких сообщений и твитов на испанском языке. Её архитектура — BERT с классификационной головой, размер — 137,1 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса PyTorch и Flax. В карточке указано, что модель планируется к удалению и рекомендуется перейти на pysentimiento/robertuito-sentiment-analysis. Сведения о лицензии в доступных данных отсутствуют.

BoostedV1 — авторская дообученная языковая модель auryn-macmillan для рассуждений и генерации кода. Она основана на DeepSeek-R1-Distill-Qwen-1.5B: модель прошла продолженное обучение с LoRA, после чего адаптер был объединён с базовыми весами. В репозитории опубликованы веса safetensors для запуска через Transformers; архитектура — Qwen2ForCausalLM, размер — 1,5 млрд параметров, заявленная длина контекста — 131 072 токена. Модель предназначена для диалоговых запросов, решения математических задач и помощи с кодом. В карточке приведены результаты GSM8K 46,0% и HumanEval pass@1 7,3%; они характеризуют только эти тесты и не гарантируют качество на других задачах. README сообщает об обучении на OpenCodeInstruct, OpenThoughts и OpenR1-Math; среди языков в метаданных указан английский. Модель распространяется по лицензии MIT.

Модель carted-nlp/categorization-finetuned-20220721-164940-distilled-20220811-013354 — дообученный классификатор текста на базе carted-nlp/categorization-finetuned-20220721-164940. Она использует архитектуру RoBERTa с головой классификации последовательностей и содержит около 36 млн параметров. Модель предназначена для отнесения текста к категориям; репозиторий включает веса PyTorch и формат ONNX. Контекст составляет 514 токенов. В README указаны результаты оценки: accuracy 0,8776 и F1 0,8768. Датасет обучения и набор категорий не описаны, поэтому применимость к конкретной тематике или языку по карточке установить нельзя. Лицензия в предоставленных метаданных и README не указана.

metarank/ce-esci-MiniLM-L12-v2 — модель Sentence-Transformers, разработанная Roman Grebennikov и дообученная на датасете Amazon ESCI. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов и кластеризации. Архитектура основана на BERT; в метаданных указано около 40 млн параметров и контекст до 512 токенов. Модель подходит для семантического поиска и сравнения запросов с товарами или другими текстами. В README название базовой модели указано как cross-encoder/ms-marco-MiniLM-L-6-v2, тогда как идентификатор репозитория и метаданные указывают на MiniLM-L12-v2; поэтому точная связь версии в названии с описанным обучением требует осторожной трактовки. Репозиторий содержит форматы PyTorch, Safetensors и ONNX. Условия лицензии в предоставленных данных не описаны.

ChatTime-1-7B-Chat — мультимодальная модель для работы с временными рядами и текстом, разработанная авторами ChatTime. Она построена на архитектуре LlamaForCausalLM и получена дообучением ChatTime-1-7B-Base на наборе ChengsenWang/ChatTime-1-Finetune-100K. Модель содержит 6,6 млрд параметров, принимает контекст длиной до 4096 токенов и распространяется в формате safetensors. Модель предназначена для прогнозирования временных рядов, в том числе без примеров для конкретного ряда, прогнозирования с текстовым контекстом и ответов на вопросы о временных рядах. README указывает на двунаправленную работу с текстом и временными рядами, но не приводит подробностей кодирования временных рядов. Метаданные указывают Apache-2.0; заявлены возможности модели для исследований и практического применения, однако README отсылает за деталями обучения и оценок к статье.

sharoz/codegen-350M-mono-custom-functions-dataset-python_v2 — дообученная модель Salesforce CodeGen-350M-Mono для генерации кода. Она основана на архитектуре CodeGenForCausalLM и предназначена для продолжения текстового ввода и создания программного кода; в названии указана настройка на пользовательском наборе функций на Python, однако README не описывает конкретные сценарии обучения или оценки. Модель принимает и выдаёт текст, а её контекст составляет 2048 токенов. Модель опубликована в формате PyTorch под лицензией BSD 3-Clause. В README приведено значение loss 0,2820 на наборе оценки, но подробности методики и результатов не раскрыты. Возможности и ограничения обучения на Python следует оценивать с учётом недостатка сведений о датасете и тестировании.

microsoft/CodeGPT-small-py-adaptedGPT2 — авторегрессионная модель Microsoft на архитектуре GPT-2, предназначенная для генерации и автодополнения исходного кода Python. Она опубликована в экосистеме CodeXGLUE, где семейство CodeGPT предназначено для задач завершения и генерации кода. Модель поддерживает текстовую генерацию через Transformers, имеет контекст длиной 1024 токена и использует 12 слоёв, 12 attention-голов и размер скрытого представления 768. Это одномодальная текстовая модель без заявленной поддержки естественных языков или других модальностей. Лицензия в доступных источниках не указана.

Это дообученная модель Sentence Transformers на базе итальянской версии BERT dbmdz/bert-base-italian-uncased, разработанная владельцем репозитория AChierici84. Она преобразует предложения и абзацы на итальянском языке в плотные векторы размерности 768 для сравнения семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает BERT с усреднением токенных представлений; сходство векторов оценивается косинусной мерой. Модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. В README приведён результат Spearman 0,811 по косинусному сходству на задаче оценки семантической близости. Модель подходит для поиска похожих текстов и построения эмбеддингов, но качество на других наборах данных и задачах отдельно не подтверждено. Лицензия в предоставленных сведениях не указана.

Dasheng Base — универсальный аудиоэнкодер, разработанный для извлечения признаков из звуковых сигналов. Модель обучена методом самообучения на 272 356 часах разнообразного аудио и содержит 1,2 млрд параметров. Архитектура относится к семейству Dasheng; веса опубликованы в формате Safetensors. Модель предназначена для классификации и анализа речи, музыки и окружающих звуков. README сообщает о результатах на бенчмарке HEAR и задачах CREMA-D, LibriCount, Speech Commands и VoxLingua; для ESC-50 показан пример обучения линейной головы при замороженном энкодере. Лицензия — Apache-2.0.

Moritz Laurer разработал DeBERTa-v3-large-zeroshot-v1 для классификации текстов без предварительно заданных классов. Модель формулирует классификацию как проверку гипотезы: определяет, следует ли утверждение из текста, используя пары меток entailment и not_entailment. Такой подход позволяет применять её к разным задачам, передавая текст и список возможных меток. Модель основана на архитектуре DeBERTa-v2 для классификации последовательностей, содержит 533,8 млн параметров и принимает тексты длиной до 512 токенов. Для обучения автор преобразовал 26 задач классификации и пять наборов данных для NLI в общий формат проверки гипотез; среди задач были анализ тональности, эмоций, токсичности, спама и тематическая классификация. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch и safetensors. Модель предназначена только для классификации текста. Результаты зависят от формулировок кандидатных меток и входного текста; README также предупреждает о возможных смещениях из обучающих наборов данных. Для работы с некоторыми версиями Transformers может потребоваться версия 4.13 или новее. Лицензия — MIT.

DeciCoder 1B — авторегрессионная модель для автодополнения кода, разработанная Deci. Это трансформерный декодер с Grouped Query Attention и Rotary Position Embeddings; модель содержит около 1,1 млрд параметров и обучена с целью Fill-in-the-Middle на наборах кода Python, Java и JavaScript из StarCoder Training Dataset. Размер контекста — 2048 токенов. Модель предназначена для продолжения фрагментов кода, в том числе заполнения пропусков внутри него. Она не обучалась как модель для следования инструкциям: для получения результата задачу лучше задавать через комментарий, сигнатуру функции или docstring, а не обычной командой на естественном языке. В опубликованной оценке pass@1 на MultiPL HumanEval указаны 19,1% для Python, 18,4% для JavaScript и 16,6% для Java. Модель может генерировать неработающий или неоптимальный код, содержащий ошибки или уязвимости. Контрольные точки распространяются по лицензии Apache 2.0.

Это дообученная модель классификации текста на основе DeepSeek-R1-Distill-Qwen-1.5B, опубликованная пользователем botanical1058. Она построена на плотной архитектуре Qwen2 и содержит 1,5 млрд параметров. Модель предназначена для отнесения текста к классам; карточка не уточняет набор классов и предметную область. В README приведены результаты оценки: accuracy 0,8721, precision 0,8752, recall 0,8721 и F1 0,8726. Контекст модели — до 131 072 токенов. Она работает с текстом и сохранена в формате safetensors; библиотека для работы — Transformers. Лицензия — MIT.

Это объединённая линейным слиянием модель языковых моделей deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B и Qwen/Qwen2.5-Math-1.5B, созданная автором репозитория с помощью mergekit. Она предназначена для генерации текста в диалоговом формате и может применяться для решения математических задач и задач программирования благодаря возможностям исходных моделей.

NOtda/distilbert-finetuned-emotion — модель классификации текста, дообученная на базе distilbert/distilbert-base-uncased для определения эмоций в тексте. Она использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метку класса. В README указаны результаты на оценочном наборе: accuracy 0,922 и F1 0,9219; датасет обучения и наборы эмоциональных меток не раскрыты. Модель подходит для автоматической разметки эмоций в текстах, например в сообщениях и отзывах. Максимальная длина контекста — 512 токенов. Веса представлены в формате safetensors, библиотека — Transformers; лицензия — Apache-2.0. Базовая модель uncased рассчитана на английский текст.

E1-Code-14B — языковая модель Salesforce, дообученная на DeepSeek-R1-Distill-Qwen-14B для эластичного рассуждения. Обучение с помощью стратегии rollout при ограниченном бюджете, встроенной в GRPO, помогает модели адаптировать ход рассуждения к ограничениям на объём вычислений и обобщать на новые ограничения без дополнительного обучения. Модель с архитектурой Qwen2 содержит 14 млрд параметров, принимает текст и генерирует текст; нативный контекст — 131 072 токена. Карточка указывает датасет DeepCoder-Preview-Dataset и диалоговые возможности. Модель предназначена для экспериментов с рассуждением и генерацией кода, однако README не приводит конкретных результатов оценки качества. Лицензия CC-BY-NC-4.0 допускает использование на условиях указанных ограничений, включая некоммерческий характер. Разработчик позиционирует выпуск как исследовательский и рекомендует проверять точность, безопасность и справедливость перед применением, особенно в сценариях высокого риска.

Moritz Laurer подготовил многоязычную модель на архитектуре ERNIE-M для вывода о логической связи между посылкой и гипотезой (natural language inference, NLI) и классификации текста без примеров для классов. Модель содержит около 305,2 млн параметров, принимает текстовые пары и имеет контекст до 514 токенов; веса доступны в форматах PyTorch и Safetensors. Базовая ERNIE-M была предварительно обучена Baidu на основе мультиязычной RoBERTa, разработанной Meta. Модель дообучена на английском MNLI и профессионально переведённых примерах XNLI. Её можно использовать для присвоения тексту меток из заданного списка, проверки следования гипотезы из посылки и подобных задач на разных языках. В карточке заявлена поддержка NLI на 100 языках; оценка на XNLI приведена для 15 языков. По README, среди моделей сопоставимого размера она превосходит RoBERTa, но уступает mDeBERTa-v3-base-mnli-xnli на XNLI. Модель предназначена для классификации и анализа текстов, а не для генерации ответов. Качество переноса на языки, отсутствовавшие в XNLI, может быть ниже; NLI также подвержена смещениям, связанным с данными и задачей. Лицензия — Apache-2.0.

facebook/fasttext-ms-vectors — готовая модель векторных представлений слов семейства fastText для малайского языка. fastText разработана Facebook Research как лёгкая библиотека для обучения векторных представлений и классификаторов текста; модель использует алгоритм CBOW с позиционными весами, размерность векторов 300 и символьные n-граммы длиной 5. Она предназначена для извлечения представлений слов, измерения их сходства, классификации текста и идентификации языка и работает на обычном оборудовании. Модель обучена на данных Common Crawl и Википедии. Векторы можно применять в экспериментах, прототипах и производственных системах, например, как признаки для задач классификации. Лицензия — CC BY-SA 3.0. Предсказания могут отражать смещения обучающих данных, поэтому результаты сходства и классификации следует проверять в целевом контексте.

stillerman/fdt-disfluency-medium-41m — модель разметки слов для удаления речевых запинок в транскриптах живой речи. Разработана stillerman в рамках проекта FluencyAI. Она присваивает каждому слову одну из меток KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая процедура восстанавливает очищенный текст. Модель основана на BERT (архитектура BERT L8/H512) и содержит 49,2 млн параметров; контекст составляет до 512 токенов. Репозиторий содержит веса Safetensors и ONNX, включая квантованный до int8 вариант для transformers.js и запуска в браузере через WebGPU. README сообщает о задержке около 10–50 мс на высказывание и метриках exact-match 0,9455 и DELETE-F1 0,9887. Модель предназначена для очистки разговорных транскриптов от слов-паразитов и других дисфлюенций с сохранением исходной формулировки: она не перефразирует текст и не должна менять имена и числа. Язык обучающих данных и языковая поддержка в карточке не уточнены. В обучении частично использовался DailyDialog с лицензией CC BY-NC-SA, поэтому автор рекомендует считать модель исследовательским артефактом и не применять её для коммерческого развертывания без дополнительной проверки лицензий. Лицензия репозитория — Apache-2.0.

Genji-python 6B — языковая модель компании NovelAI, дообученная на базе EleutherAI GPT-J 6B на наборе Python-кода объёмом около 4 ГБ. Это плотный авторегрессионный трансформер GPT-J с 28 слоями и размерностью модели 4096; модель содержит около 6,8 млрд параметров. Она генерирует продолжение текста и кода, используя контекст длиной до 2048 токенов. Модель предназначена для помощи в написании кода на Python и экспериментов с генерацией кода. README отмечает, что для использования требуется форк библиотеки Transformers; результаты оценки качества не приведены. Лицензия — Apache 2.0.

lots-o/gliner-bi-ko-xlarge-v1 — корейская модель распознавания именованных сущностей на основе GLiNER с двухэнкодерной архитектурой. Она использует текстовый энкодер team-lucid/DeBERTa-v3-xlarge-korean и энкодер меток сущностей BAAI/bge-m3, что позволяет задавать типы сущностей текстовыми метками и находить сущности, не ограничиваясь фиксированной схемой классов. Модель предназначена для извлечения именованных сущностей из корейского текста, в том числе нескольких типов сущностей за один проход. По данным README, двухэнкодерная схема может лучше обобщать на незнакомые типы сущностей и ускорять вывод при предварительно вычисленных эмбеддингах меток. На наборе konne dev указано значение F1 81,07 при пороге 0,5. Ограничение архитектуры — слабое взаимодействие между метками: модели может быть трудно различать семантически похожие типы сущностей с разным значением в контексте. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0.

NeuML/glove-6B-quantized — квантованный экспорт английских векторов слов GloVe-6B размерности 300 для библиотеки staticvectors. Модель использует 10×256 Product Quantization и рассчитана на быстрый запуск инференса в Python с NumPy; по отдельным словам возвращает статические эмбеддинги. Модель подходит для вычисления семантического сходства предложений и построения признаков для задач NLP. Это квантованное представление базовой модели NeuML/glove-6B, распространяемое в формате safetensors по лицензии PDDL. Оно поддерживает английский язык; ограничение статических векторов — одно и то же представление слова используется независимо от его контекста.

HerBERT-base-cased — польскоязычная языковая модель на архитектуре BERT, разработанная командой машинного обучения Allegro совместно с группой лингвистической инженерии Института компьютерных наук Польской академии наук. Модель содержит 151,6 млн параметров и обучена на польских текстовых корпусах с помощью masked language modeling и Sentence Structural Objective, с динамическим маскированием целых слов. Для токенизации используется символьный BPE-токенизатор с словарём из 50 тысяч токенов; длина контекста — 514 токенов. Модель предназначена для извлечения признаков из польского текста и может служить представлением текста для последующих задач обработки естественного языка. Доступны версии весов для PyTorch, TensorFlow и Flax. Модель опубликована по лицензии CC BY 4.0, требующей указания авторства.

jd5 — дообученная модель генерации кода на базе deepseek-ai/deepseek-coder-1.3b-base, созданная автором репозитория stojchet. Для обучения использован набор данных generator. Модель содержит 1,3 млрд параметров, использует архитектуру Llama и формат safetensors; длина контекста — 16 384 токена. Она предназначена для генерации и продолжения кода в сценариях автодополнения и разработки. Карточка не приводит оценок качества и подробностей о составе обучающих данных. Лицензия в доступных данных не указана.

jndpo3 — дообученная модель для генерации текста, созданная на базе deepseek-ai/deepseek-coder-1.3b-base и обученная на датасете generator. Это плотная авторегрессионная модель семейства Llama с 1,3 млрд параметров, предназначенная для продолжения текста и генерации кода. Максимальная длина контекста составляет 16 384 токена. Модель подходит для автодополнения кода и генерации текста по заданному контексту. Карточка не описывает конкретные настройки обучения, результаты оценки или дополнительные возможности. Указана лицензия other; её условия следует проверить перед использованием.

kavg/LiLT-RE-EN — дообученная модель LiLT на базе nielsr/lilt-xlm-roberta-base, разработанная для извлечения отношений между элементами документов. Она учитывает текст и его расположение на странице и обучена на наборе funsd_re. Репозиторий содержит веса в формате safetensors; модель насчитывает 305,2 млн параметров и имеет контекст длиной 514 токенов. Модель подходит для анализа структурированных документов, где важно определить связи между распознанными текстовыми фрагментами и их позициями. В README приведены результаты оценки на тестовой выборке: precision 0,3264, recall 0,4864, F1 0,3907 и loss 0,4377. Эти показатели указывают на ограниченную точность извлечения отношений. Лицензия — MIT.

albertge/llada-8b-dllm-registers-code64-codetags-t4 — модель, разработанная в рамках проекта dLLM Registers и дообученная на базе GSAI-ML/LLaDA-8B-Base. Это плотная диффузионная языковая модель на 8 млрд параметров для генерации текста, специализирующаяся на задачах программирования. Обучение продолжено в режиме chunked SFT на кодовой части набора mix60k: использовались около 30 тысяч трасс из подмножества OpenCodeInstruct, размер окна составлял 64 токена. Модель переносит состояние декодирования между окнами денойзинга через хвостовой канал Markovian Thinking длиной 4 токена; для корректного вывода требуются соответствующие параметры канала. Карточка указывает английский язык, интерфейс чата и библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Практическое применение ориентировано на генерацию кода; точные результаты оценки качества в карточке не приведены.

jhj1769/Llama1B_mrpc — дообученная модель классификации текста на основе Meta Llama 3.2 1B. Она предназначена для классификации текстовых примеров; название модели указывает на задачу MRPC — определение того, выражают ли два предложения одинаковый смысл. Модель содержит 1,2 млрд параметров, использует плотную архитектуру Llama и сохранена в формате safetensors. Заявленная длина контекста — 131 072 токена. В README приведены результаты оценки: accuracy 0,8064 и F1 0,8668; датасет обучения и подробности применения не раскрыты. Базовая модель поддерживает несколько языков, но конкретные языки этой версии не подтверждены. Лицензия — Llama 3.2; применяются её условия использования.

Funnel Transformer medium — англоязычная предварительно обученная модель семейства Funnel Transformer, разработанная командой, представившей это семейство. Это версия B6-3x2-3x2 с декодером, обученная без разметки на текстах с задачей выявления заменённых токенов, подобной ELECTRA. Модель регистронезависимая и принимает текст; её контекст составляет 512 токенов. Модель предназначена прежде всего для извлечения векторных представлений текста, которые можно использовать при дообучении для классификации последовательностей и токенов, ответов на вопросы и других задач понимания текста. Она не предназначена для генерации текста. Доступны реализации для PyTorch и TensorFlow; обучение проводилось на англоязычных данных, включая BookCorpus, Wikipedia, ClueWeb, GigaWord и Common Crawl. Лицензия — Apache-2.0.

MiniLM-V13Data-256BATCH-SemanticEngine — англоязычная модель Sentence Transformers от LamaDiab, дообученная на базе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Архитектура включает энкодер BERT, усреднение токеновых представлений и нормализацию. В метаданных указано окно контекста 512 токенов, а карточка модели задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Данные обучения и примеры в карточке указывают на соответствие товарных запросов и описаний, поэтому модель может быть полезна для поиска товаров. На наборе оценки из карточки приведена точность cosine_accuracy 0,9693; результат относится к описанной оценке и не гарантирует такого же качества на других данных. Лицензия в предоставленных сведениях не указана.