II.8Инженерия данных и аналитика

StarCoder — языковая модель для генерации и дополнения программного кода, разработанная проектом BigCode. Это модель на 15,5 млрд параметров на архитектуре GPT-2 с multi-query attention, обученная на 1 трлн токенов из The Stack v1.2 на более чем 80 языках программирования. Она поддерживает контекст до 8192 токенов и обучалась, в частности, для заполнения пропусков в коде (Fill-in-the-Middle), поэтому подходит для продолжения фрагмента и вставки кода в заданный контекст. Модель предназначена для помощи при написании кода, а не для выполнения инструкций в формате чат-ассистента. Наиболее полезна, когда ей предоставляют исходный код или достаточно контекста; запросы на естественном языке могут работать хуже. Генерируемый код может содержать ошибки, быть неэффективным или небезопасным. Датасет предварительно фильтровали по разрешительным лицензиям, однако модель может воспроизводить фрагменты исходного кода, для которых могут требоваться атрибуция и соблюдение условий лицензии. Лицензия модели — BigCode OpenRAIL-M.

TIMPS-Coder-7B — созданная разработчиком sandeeprdy1729 модель для генерации программного кода. Она дообучена на Qwen2.5-Coder-7B-Instruct в три этапа: SFT, GRPO и DPO. Модель имеет плотную архитектуру Qwen2, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов; для запуска в карточке приведён пример с Transformers и шаблоном чата. Модель предназначена для генерации кода по запросам на естественном языке и других сценариев программирования. В README приведены результаты HumanEval и MBPP, однако показатели MBPP заметно расходятся с указанными для базовой модели, поэтому результаты бенчмарков следует проверять самостоятельно. Модель распространяется под лицензией Apache-2.0.

Модель sanchit-gandhi/whisper-small-ft-common-language-id — дообученная Sanchit Gandhi версия Whisper Small от OpenAI для классификации аудио по языку речи. Она основана на архитектуре Whisper и обучена на датасете Common Language; в метаданных указано 153,1 млн параметров. На оценочной выборке модель достигла точности 0,8860 при значении loss 0,6409. Подходит для определения языка в аудиозаписях, например перед выбором подходящей системы распознавания речи. Распространяется по лицензии Apache-2.0.

WizardCoder-15B-V1.0 — языковая модель для генерации кода, разработанная командой WizardLM. Модель основана на StarCoder, дообученном на 78 тысячах инструкций по программированию, расширенных методом Evol-Instruct для задач кодирования. Модель предназначена для генерации решений задач программирования и ответов на инструкции, связанные с кодом. В карточке приведён результат 57,3 pass@1 на HumanEval; также описана оценка на MBPP. Архитектура — GPTBigCodeForCausalLM, формат весов — PyTorch, контекст — 8192 токена. Метаданные указывают поддержку кода, но не перечисляют естественные языки. Модель может помогать с написанием кода по текстовому запросу, однако качество следует проверять: результаты карточки относятся к конкретным тестам и режимам генерации. Лицензия — BigScience OpenRAIL-M.

EvanD/xlm-roberta-base-danish-ner-daner — модель распознавания именованных сущностей на датском языке, разработанная на базе XLM-RoBERTa и дообученная на датском наборе данных DaNe. Она предназначена для разметки токенов в тексте и извлечения сущностей; пример использования показывает поиск имен людей и географических названий. Модель содержит 305,2 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и выдаёт метки для токенов. В README указана макро-F1 0,971 на тестовой выборке DaNe NER; также приведены точность 0,871 и функция потерь 0,114. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

cmhyo/xlm-roberta-base-finetuned-panx-de — модель для разметки последовательностей, полученная дообучением XLM-RoBERTa Base. Архитектура XLM-RoBERTa для классификации токенов содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии MIT. Чекпойнт обучен на наборе данных PAN-X для немецкого языка и предназначен для распознавания именованных сущностей в тексте: каждому токену присваивается метка. На оценочной выборке указан показатель F1 0,8628 и loss 0,1375. Результаты зависят от данных и сценария применения; сведения о составе обучающей выборки и подробных ограничениях в карточке отсутствуют.

srmjfba/xlm-roberta-base-finetuned-panx-de-fr — модель XLM-RoBERTa, дообученная на задаче классификации токенов. По названию репозитория она предназначена для распознавания именованных сущностей на немецком и французском языках; базовая модель — FacebookAI/xlm-roberta-base. Модель содержит 305,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. В README приведён результат оценки: F1 0,8585 и loss 0,1598, однако датасет указан как None, а описание обучения и ограничения не раскрыты. Модель распространяется по лицензии MIT.

EvanD/xlm-roberta-base-ukrainian-ner-ukrner — модель распознавания именованных сущностей на базе XLM-RoBERTa, дообученная на украинском наборе данных NER из Flair. Модель содержит 305,2 млн параметров, принимает текст и возвращает метки для токенов; контекст — до 514 токенов. Она предназначена для извлечения сущностей из украинских текстов, например имён людей и географических названий. В README приведены результаты тестирования на украинском NER: macro F1 0,990 и macro precision 0,939. Модель доступна в формате PyTorch для использования с Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

XwinCoder-34B — инструктивно дообученная модель генерации кода от команды Xwin-LM, основанная на CodeLLaMA. Она предназначена для создания и дополнения программного кода по запросам на естественном языке и для диалоговой работы с задачами программирования. В репозитории указаны результаты оценки XwinCoder-34B на HumanEval, MBPP и APPS-intro; авторы также сообщают о сравнимой с GPT-3.5-turbo производительности на шести бенчмарках. Модель построена на архитектуре LLaMA, содержит 33,5 млрд параметров и поддерживает контекст до 16 384 токенов. Карточка не сообщает перечень поддерживаемых языков программирования. Для использования требуются совместимые инструменты PyTorch и соблюдение лицензии Llama 2. Результаты бенчмарков не гарантируют качество на конкретных задачах; сгенерированный код следует проверять и тестировать.

MaTE X Privacy Sentinel v0.1 — дообученная модель enosislabs на основе openai/privacy-filter для локального обнаружения и разметки чувствительных фрагментов текста при фильтрации и маскировании данных. Она предназначена для сценариев приватности и безопасности, включая поиск персональных данных и секретов в строках конфигурации и других текстовых данных; карточка демонстрирует пример с адресом базы данных и учётными данными. Модель построена на архитектуре MoE, содержит 145,4 млн параметров, принимает текст и выдаёт разметку токенов. Контекст составляет до 131 072 токенов. Опубликованные веса представлены в формате Safetensors; лицензия — Apache-2.0. Модель помогает выявлять риски утечки, но не гарантирует соответствие требованиям: перед применением в production следует провести собственную проверку на контрольных примерах.

Модель MatinAsgarov/applied-nlp-ner-stage3-distilbert — дообученная для распознавания именованных сущностей версия DistilBERT, разработанная в рамках проекта applied-NLP NER. Она выполняет токенную классификацию по схеме BIO и размечает сущности восьми типов: людей, организации, места, даты и время, продукты, произведения искусства, профессии и суммы. Модель принимает текст на английском языке; её контекст ограничен 512 токенами. Веса представлены в формате safetensors, размер модели — около 65,2 млн параметров. На тестовой выборке из 119 записей получен общий F1 0,686; лучшие результаты показаны для сущностей типа PERSON, а PRODUCT и WORKOFART распознаются слабее. Вне обучающего распределения встречаются обрезание многословных сущностей, ложные срабатывания на отдельные стоп-слова и путаница между организациями, местами и продуктами. Лицензия в метаданных указана как unknown.

AutoDev Coder — разговорная модель для генерации кода, представленная в репозитории unit-mesh/autodev-coder. Согласно README, она основана на DeepSeek-Coder-6.7B-Instruct, который дообучен на 2 млрд токенов инструкционных данных и восходит к DeepSeek-Coder-6.7B-Base. В метаданных указаны архитектура LlamaForCausalLM, плотная модель на 6,6 млрд параметров и контекст до 16 384 токенов. Модель предназначена для диалога и генерации текста, прежде всего для задач программирования: например, написания и дополнения кода по инструкциям. В README нет конкретных результатов оценки или списка поддерживаемых языков программирования и естественных языков. Репозиторий содержит веса в формате Safetensors; лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

Модель ai-forever/bert-base-NER-reptile-5-datasets разработана командой SberIDP для распознавания именованных сущностей. Это BERT base uncased с 136,7 млн параметров, обученный с использованием Reptile на пяти наборах данных для NER: CoNLL-2003, WNUT17, JNLPBA, CoNLL-2012 (OntoNotes) и BTC. Модель предназначена для разметки сущностей в тексте и последующей адаптации к новым типам сущностей на небольшом количестве примеров. В карточке описана проверка в Few-Shot сценарии на Few-NERD: модель использовалась как основа для StructShot. Архитектура — BertForTokenClassification; модель принимает текст, выдаёт метки токенов и поддерживает контекст до 512 токенов. В метаданных указан английский язык. Репозиторий содержит веса PyTorch, лицензия в предоставленных данных не указана.

camembert-ner-with-dates — французская модель распознавания именованных сущностей на основе CamemBERT, созданная Jean-Baptiste как расширение модели camembert-ner. Она выполняет разметку токенов, выделяя людей, местоположения, организации, прочие сущности и даты. Модель обучена на обогащённой версии WikiNER на французском языке, содержащей около 170 тысяч предложений, и подходит, например, для извлечения сущностей из электронных писем и чатов. Модель содержит 137,8 млн параметров и принимает контекст до 514 токенов. Для общей разметки сущностей в README указаны precision и recall 0,928 и F1 0,928; автор оценивает F1 для метки DATE примерно в 90%, но отмечает, что эта оценка получена особым способом добавления дат в датасет. Лицензия — MIT. Для преобразования найденных выражений дат в объекты даты и времени README предлагает дополнительно использовать dateparser.

Omerhan/checkpoint-6248-v7 — модель Sentence Transformer, созданная дообучением intfloat/multilingual-e5-large-instruct. Она кодирует предложения и абзацы на турецком языке в плотные векторы размерности 1024, которые можно сравнивать с помощью косинусного сходства. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру XLM-RoBERTa с усреднением токенных представлений и нормализацией векторов. Максимальная длина последовательности — 512 токенов; библиотека — Sentence Transformers. В обучении использовались 920 106 примеров с парами и отрицательными примерами. Лицензия — Apache-2.0.

michaelfeil/codegen2-7B-gptj — конвертированная версия CodeGen2-7B, подготовленная для использования с FauxPilot. Веса CodeGen2 представлены как GPT-J; метаданные указывают архитектуру GPT-J с causal language modeling. Конверсия выполнена 22 мая 2023 года из Salesforce/codegen2-7B. Модель содержит 7 млрд параметров, работает с контекстом до 2048 токенов и распространяется в форматах PyTorch и Safetensors. Модель предназначена прежде всего для генерации программ по текстовым инструкциям и комментариям, продолжения кода и заполнения пропусков внутри кода. В обучающих данных представлены C, C++, C#, Dart, Go, Java, JavaScript, Kotlin, Lua, PHP, Python, Ruby, Rust, Scala, Shell, SQL, Swift, TypeScript и Vue. Лучше всего она подходит для синтеза кода по англоязычным запросам; лицензия Apache-2.0.

Salesforce CodeGen-Mono 2B — авторегрессионная языковая модель для генерации программного кода. Это плотная модель семейства CodeGen с примерно 2 млрд обучаемых параметров; репозиторий содержит веса PyTorch. Вариант Mono сначала инициализирован из CodeGen-Multi 2B, а затем дополнительно предобучен на наборе BigPython, содержащем 71,7 млрд токенов Python. Модель принимает текстовые подсказки на естественном языке и фрагменты кода, продолжает незавершённый код и вычисляет правдоподобие текстовых последовательностей. Основное назначение — синтез исполняемого кода по англоязычным подсказкам, обычно оформленным как комментарии; модель оценивали на HumanEval и MTPB. Контекст составляет 2048 токенов. Лицензия — BSD 3-Clause. Модель выпущена для исследовательского использования; качество, безопасность и справедливость для конкретных сценариев требуют отдельной оценки.

Bud Code Millenials 13B — языковая модель для генерации кода, разработанная Bud Ecosystem и дообученная для задач программирования. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, рассчитанная на контекст до 16 384 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель предназначена для генерации фрагментов кода по текстовому описанию и помощи в программировании. В README заявлен результат 76,21 pass@1 на HumanEval; это показатель из карточки разработчика, приведённый без независимой проверки. Модель может ошибаться и хуже справляться с задачами вне программирования. Лицензия — Llama 2.

Context aware splitter 1.1b — дообученная модель на базе TinyLlama/TinyLlama-1.1B-intermediate-step-955k-token-2T, разработанная для контекстно-зависимого разделения текста. Она предназначена для подготовки текстовых фрагментов для систем поиска с дополненной генерацией (RAG), где важно учитывать смысл и контекст при выборе границ фрагментов. Модель построена на архитектуре Llama и содержит около 1 млрд параметров; максимальная длина контекста — 8192 токена. Поддерживается английский язык. В README указано значение loss 0,0598 на оценочном наборе, но методика оценки и характеристики обучающих данных подробно не описаны. Модель распространяется по лицензии Apache-2.0.

stojchet/d5 — дообученная модель на 1,3 млрд параметров на основе deepseek-ai/deepseek-coder-1.3b-base, обученная на датасете generator. Она использует плотную архитектуру семейства Llama и предназначена для генерации и продолжения кода. Модель принимает текстовые запросы и выдаёт текст, включая фрагменты кода; контекст составляет до 16 384 токенов. Модель подходит для автодополнения кода и генерации кода по текстовому описанию. Репозиторий содержит веса в формате safetensors. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке и сопутствующих документах модели.

deepvk/deberta-v1-distill — русскоязычная предварительно обученная модель от deepvk на основе DeBERTa. Это двунаправленный энкодер без готовой предобученной выходной головы, обученный предсказывать замаскированные токены и сжатый методом дистилляции из более крупной модели. В модели 6 слоёв, 12 голов внимания и размер представления 768; она содержит 95,2 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для извлечения контекстных векторных представлений текста и дальнейшей адаптации под задачи классификации, разметки и анализа русского языка. Обучающие данные включают около 400 ГБ отфильтрованных и дедуплицированных текстов из Википедии, книг, соцсетей, новостных сайтов и других источников. Основной язык — русский, также присутствует небольшая доля других языков; метаданные карточки отмечают русский и английский. Распространяется по лицензии Apache 2.0.

DeciCoder-6B — авторегрессионная модель для дополнения и генерации программного кода, разработанная компанией Deci. Она основана на декодерном трансформере DeciLMForCausalLM с 6,7 млрд параметров и переменным Grouped Query Attention; архитектуру создали с помощью технологии AutoNAC. Обучение на подмножестве StarCoder Training Dataset использовало цель Fill-in-the-Middle, поэтому модель может продолжать код и заполнять пропуски внутри фрагмента. Модель предназначена для работы с Python, Java, JavaScript, Rust, C++, C, C# и Go. Контекст составляет 2 048 токенов. Весы опубликованы в формате safetensors, лицензия — Apache 2.0. Модель можно применять для генерации фрагментов кода по контексту и автодополнения в редакторах. В README приведены результаты pass@1 для нескольких языков, но они не гарантируют правильность конкретного результата: сгенерированный код может содержать ошибки, быть неоптимальным или небезопасным.

DeepCoder-14B-Preview — языковая модель для рассуждений и генерации кода, разработанная Agentica и дообученная с помощью распределённого обучения с подкреплением на базе DeepSeek-R1-Distill-Qwen-14B. Модель построена на архитектуре Qwen2, содержит 14 млрд параметров и принимает текстовые запросы, выдавая текстовые ответы с кодом и рассуждениями. Метаданные указывают контекст до 131 072 токенов. Модель предназначена для решения задач программирования, включая генерацию кода и соревнованийные задачи. В README сообщается о результатах на LiveCodeBench v5, Codeforces и HumanEval+; для длинных ответов рекомендуется выделять не менее 64 000 токенов генерации. Модель доступна под лицензией MIT. Ограничения: это предварительная версия, а длинные ответы могут обрезаться при низком лимите генерации, что снижает результативность.

DeepMagic-Coder-7b-Alt — альтернативная версия DeepMagic-Coder-7b от rombodawg, созданная слиянием DeepSeek-Coder и Magicoder-S-DS методом task arithmetic. Автор сообщает, что при кратком тестировании эта версия лучше генерировала код, и предлагает сравнить её с исходной; результаты бенчмарков в карточке не приведены. Модель предназначена для генерации кода и работает как плотная авторегрессионная Llama-архитектура с 6,6 млрд параметров. Метаданные указывают контекст до 16 384 токенов и формат safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой модели и лицензиями исходных компонентов.

DeepMagiCoder-6.7B-DS-Base — языковая модель для генерации кода, созданная слиянием DeepSeek Coder 6.7B Instruct и Magicoder-DS-6.7B с помощью LazyMergekit. В README указано слияние методом SLERP; модель построена на плотной архитектуре семейства Llama и содержит около 6,6 млрд параметров. Модель предназначена для генерации и дополнения программного кода в диалоговом формате. Она принимает текстовые запросы и выдаёт текст, а нативный контекст составляет 16 384 токена. В метаданных указан формат Safetensors. В README и метаданных не указана лицензия, поэтому условия использования по этим источникам определить нельзя. Оценки качества и сведения о поддерживаемых языках программирования не приведены.

Карточка модели maksimbbbi/DeepSeek-R1-Distill-Llama-8B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели SAIFIINDUSTRIES/DeepSeek-R1-Distill-Qwen-1.5B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели Vipvamps/DeepSeek-R1-Distill-Qwen-1.5B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели Openintelligent123/DeepSeek-R1-Distill-Qwen-32B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели bbbbiia/DeepSeek-R1-Distill-Qwen-7B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.