II.8Инженерия данных и аналитика

TurkuNLP/sbert-uncased-finnish-paraphrase — модель Sentence-BERT для вычисления семантической близости предложений на финском языке, разработанная TurkuNLP. Она основана на uncased FinBERT TurkuNLP/bert-base-finnish-uncased-v1 и дообучена на финском корпусе парафраз и автоматически собранных примерах: примерно 500 тысяч положительных и 5 миллионов отрицательных пар. Для получения векторных представлений используется mean pooling. Модель подходит для поиска предложений, близких по смыслу, сравнения текстов и определения, являются ли две фразы парафразами. Архитектура — плотная BERT-модель с 151,7 млн параметров; максимальная длина входа составляет 512 токенов. Модель принимает текст и выдаёт эмбеддинги, которые можно использовать для оценки сходства. В README указано бинарное обучение на парах предложений; опубликованные результаты оценки ещё готовятся. Модель распространяется в форматах PyTorch и Safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

SFTCodePhi1 — дообученная AdnanRiaz107 модель Microsoft Phi-3-mini-128k-instruct для генерации кода и текста. Она построена на плотной архитектуре Phi-3 с 3,7 млрд параметров и принимает текстовые запросы, выдавая текст. В карточке указаны дообучение на наборе данных APPS и значение loss 0,8314 на оценочной выборке. Модель подходит для генерации кода по описанию и диалоговых сценариев, связанных с программированием. Лицензия — MIT. В метаданных указано контекстное окно 4096 токенов; оно короче заявленного в названии базовой модели контекста 128K.

Shellminator — дообученная модель ISB369 на базе Qwen2.5-Coder-0.5B-Instruct, разработанная для преобразования запросов на естественном языке в одну команду Bash. Модель ориентирована на Linux-сценарии, включая работу с файлами, каталогами, системной информацией и другими типичными операциями командной строки. Она доступна в формате safetensors и в варианте Q4_K_M GGUF для запуска через llama.cpp или Ollama, в том числе на CPU. Модель содержит около 0,5 млрд параметров и поддерживает английский язык. Она обучалась методом SFT на 105 тысячах строк, а затем была улучшена с помощью DPO self-play на 804 парах, проверенных фактическим выполнением команд в изолированных окружениях. В тесте IBM nl2bash-eabench bash_1 модель достигла 78% точности выполнения при однократной жадной генерации без повторных попыток и самокоррекции, что на 6 процентных пунктов выше её SFT-базы. Основное ограничение — генерация только одной команды: модель не предназначена для многострочных скриптов, heredoc или самостоятельного построения сложных цепочек без внешнего цикла уточнения. Остаточные ошибки отмечены для некоторых вариантов sed, comm/diff и mv, а также для команд, зависящих от особенностей окружения. Обучение и оценивание проводились на Linux x86_64 с типовыми тестовыми фикстурами, поэтому команды для экзотических файловых систем и нестандартных точек монтирования могут быть ненадёжны. Модель распространяется по лицензии Apache-2.0.

Sky-T1-32B-Flash — языковая модель рассуждений на 32 млрд параметров, разработанная командой NovaSky из Sky Computing Lab при UC Berkeley. Это плотная архитектура Qwen2, доступная в формате Safetensors и рассчитанная на генерацию текста и диалог. Модель оптимизирована для задач математики и программирования: обучение на 10 тыс. предпочтительных пар должно сокращать длину ответов, сохраняя точность относительно Sky-T1-32B-Preview. В оценках авторов точность на Math500 совпала с Preview, а средняя длина генерации снизилась на 33%; заявленное сокращение длины достигает 57%. Поддерживается контекст до 32 768 токенов. Модель создана на основе слияния NovaSky-AI/Sky-T1-32B-Preview и Qwen/Qwen2.5-32B-Instruct и обучена с оптимизацией предпочтений SimPO. Лицензия — Apache-2.0. Результаты сравнительных оценок приведены авторами; фактическое качество зависит от запроса и сценария, а специализация на математике и коде не означает гарантии корректности ответов.

Spec-T1-RL-7B — языковая модель компании SVECTOR с 7 млрд параметров, предназначенная для математических и алгоритмических рассуждений, генерации кода и выполнения структурированных технических инструкций. Модель построена на трансформерной архитектуре и поддерживает контекст до 32 768 токенов; в README также описаны MoE, SwiGLU и RMSNorm. Метаданные указывают поддержку диалогового режима и интерфейса вызова инструментов. Модель рассчитана на решение задач по математике и логике с пошаговыми выводами, проектирование и анализ алгоритмов, а также генерацию кода. По README, обучение включало специализированное предварительное обучение, инструкционное дообучение и выравнивание с подкреплением с проверкой математических решений и кода. Основной указанный язык — английский. Модель распространяется в формате safetensors по лицензии MIT. README приводит высокие результаты на математических и кодовых бенчмарках, однако эти заявления приведены разработчиком; независимая проверка результатов в предоставленных материалах отсутствует. Для запуска указаны CUDA-совместимый GPU и от 16 ГБ видеопамяти.

StableCode-Completion-Alpha-3B — авторегрессионная модель для автодополнения кода, разработанная Stability AI. Она принимает контекст программы и генерирует продолжение: одну или несколько строк кода на разных языках программирования. Модель построена на архитектуре GPT-NeoX с декодером-трансформером и содержит около 3,5 млрд параметров. Контекстное окно составляет 16 384 токена. Обучение включало данные StarCoder из распространённых языков программирования и этап расширения контекста. Модель рассчитана на использование в инструментах разработки, например в редакторе кода. Она может воспроизводить фрагменты из обучающих данных, поэтому при использовании следует проверять совпадения и при необходимости указывать их происхождение. Веса распространяются по лицензии Apache 2.0.

BlueAvenir/sti_cyber_security_model_updated — модель на базе XLM-RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения семантической близости, семантического поиска и кластеризации текстов. Модель содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Модель можно применять для поиска похожих текстов, группировки документов по смыслу и построения векторного представления текстовых данных. В README указано обучение с CosineSimilarityLoss. Репозиторий содержит веса PyTorch; лицензия и специализация на кибербезопасности в предоставленных данных не подтверждены.

SynapseLLM-7B-Mistral-v0.5-preview2 — предварительная версия языковой модели WebraftAI, дообученной на базе Mistral-7B-v0.1. Это плотный декодерный трансформер с 7,1 млрд параметров и контекстом до 32 768 токенов; веса опубликованы в формате safetensors для библиотеки Transformers. При дообучении использовался QLoRA, затем адаптеры были объединены с основной моделью. Модель предназначена для диалоговых вопросов и ответов, математических инструкций и генерации кода, включая Python. В README указано, что обучение проводилось на англоязычных данных, а метаданные отмечают английский язык. Модель распространяется по лицензии Apache 2.0. Это preview-чекпойнт, обученный на ограниченном по охвату наборе данных. Разработчики предупреждают о возможных фактических ошибках, слабом следовании системным инструкциям и смещениях в ответах; у модели нет встроенной памяти.

MiniMaxAI/SynLogic-Mix-3-32B — языковая модель MiniMaxAI для многоэтапных рассуждений в логике, математике и программировании. Она основана на Qwen2.5-32B-Base и дообучена методом Zero-RL на смеси проверяемых задач: логике из SynLogic, математике и коде. Веса имеют плотную архитектуру Qwen2, размер модели — 32 млрд параметров, максимальный контекст — 131 072 токена. Модель генерирует текст; карточка указывает поддержку английского языка и интерфейс для диалога и вызова инструментов. По описанию автора, модель обучалась без этапа instruction tuning, только с подкреплением от базовой модели. Приведённые результаты охватывают бенчмарки логического рассуждения, математики, программирования и общих знаний; автор сообщает об улучшениях при добавлении логических данных. Это специализированный чекпойнт для задач рассуждения, а README не приводит полную таблицу результатов для этой версии. Лицензия — MIT.

t0-beta — открытая модель для вероятностного прогнозирования временных рядов от The Forecasting Company. Это вторая публичная версия семейства t0, построенная на трансформере с декодерной архитектурой и патчами; размер модели — около 256 млн параметров. Она выдаёт многогоризонтальные прогнозы в виде 21 квантиля и поддерживает одномерные и многомерные ряды, а также исторические и известные заранее ковариаты, например календарные признаки, праздники, акции или прогноз погоды. Модель предназначена для локального запуска через PyTorch или MLX на Apple Silicon, а также для оценки прогнозов на платформе Retrocast. Для корректной нормализации входов требуется tfc-t0 версии не ниже 0.5.0 для PyTorch или 0.6.0 для MLX: более ранние версии могут молча ухудшить прогнозы. Результаты являются вероятностными оценками, а не гарантиями. Лицензия — Apache-2.0.

Это дообученная модель Table Transformer для обнаружения объектов в изображениях таблиц. Она создана на основе nsugianto/tblstructrecog_finetuned_tbltransstrucrecog_semicplx_v1_s1_226s_adjpar6_lr1e5_dec1e4_bs8 и опубликована nsugianto. Модель предназначена для поиска элементов таблиц; карточка не уточняет набор обнаруживаемых классов и обучающие данные. Модель содержит 6,3 млн параметров, использует архитектуру TableTransformerForObjectDetection и распространяется в формате safetensors. Контекст указан как 1024 токена, хотя для задачи обнаружения объектов важнее обработка изображения. Лицензия — MIT. Язык данных и конкретные ограничения качества не описаны.

Toto-Open-Base-1.0 — открытая базовая модель семейства Toto (Time Series Optimized Transformer for Observability), предназначенная для прогнозирования многомерных временных рядов, особенно метрик наблюдаемости. Это авторегрессионный Transformer с архитектурой decoder-only и механизмом Proportional Factorized Space-Time Attention; модель содержит 151 млн параметров, а веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Модель поддерживает прогнозирование без дообучения на пользовательском ряде, работает с высокоразмерными, разреженными и нестационарными данными и допускает разные длины контекста и горизонты прогноза. Она выдаёт точечные прогнозы и оценки неопределённости на основе смеси распределений Стьюдента. По карточке, обучение включало более 2 трлн точек временных рядов: внутренние метрики Datadog, открытые наборы GIFT-Eval и Chronos, а также синтетические данные. Основной сценарий применения — прогнозирование метрик инфраструктуры и наблюдаемости; также модель подходит для других многомерных временных рядов. Для запуска README указывает пакет toto-ts и рекомендует xFormers и flash-attention для скорости и экономии памяти. Заявления о результатах на бенчмарках приведены в карточке, но сами численные метрики в ней отсутствуют.

WizardCoder-33B-V1.1 — языковая модель для генерации кода, опубликованная под именем WizardCoder и представленная в этом репозитории как зеркало. Модель содержит 33,1 млрд параметров, использует плотную архитектуру Llama и загружается через Transformers; доступные веса сохранены в формате safetensors. Контекст — до 16 384 токенов. Модель дообучена на базе deepseek-ai/deepseek-coder-33b-base с использованием подхода Evol-Instruct. Она предназначена для генерации программ по инструкциям и решения задач программирования; в карточке приведены результаты на HumanEval, HumanEval-Plus, MBPP и MBPP-Plus. README задаёт формат запроса с секциями Instruction и Response и предупреждает, что для воспроизведения результатов важно использовать рекомендованный системный промпт. Лицензия указана в метаданных как WTFPL. Результаты бенчмарков не гарантируют корректность кода в реальных задачах; сгенерированные программы требуют проверки. README отдельно не гарантирует точность количественно сжатых версий.

srmjfba/xlm-roberta-base-finetuned-panx-all — дообученная модель XLM-RoBERTa Base для классификации токенов. В метаданных указана архитектура XLMRobertaForTokenClassification, 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для разметки отдельных слов и фрагментов текста, например распознавания именованных сущностей; название указывает на обучение на PAN-X, однако README не подтверждает состав датасета. Модель использует библиотеку Transformers и распространяется в формате safetensors. В README приведены результаты оценки: F1 0,8550 и loss 0,1725. Лицензия — MIT. Сведения о поддерживаемых языках, конкретных типах меток и ограничениях качества не приводятся.

Kkanuu/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa Base, дообученная для классификации токенов. Она предназначена для разметки последовательностей, например для распознавания именованных сущностей в немецком тексте; карточка указывает на дообучение на наборе PANX, но подробности о данных не приведены. Модель содержит 305,2 млн параметров, принимает текст и имеет контекст до 514 токенов. На оценочном наборе указаны loss 0,1426 и F1 0,8602. Лицензия — MIT. README не уточняет состав меток и обучающих данных, поэтому результаты не гарантируют качество на других доменах и типах текста.

mocher72/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa, дообученная для классификации токенов. Она предназначена для разметки последовательностей, например распознавания именованных сущностей в тексте. В README указаны результаты оценки: F1 0,8629 и loss 0,1338; обучающий датасет не описан. Модель содержит 305,2 млн параметров, принимает текст, а контекст составляет до 514 токенов. Репозиторий распространяется в формате safetensors по лицензии MIT.

Это модель XLM-RoBERTa-base, дообученная автором creemur для классификации токенов. По названию модели она предназначена для распознавания именованных сущностей на немецком и итальянском языках в рамках задачи PAN-X. Модель построена на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров; базовая модель — FacebookAI/xlm-roberta-base. Максимальная длина контекста составляет 514 токенов. В README указаны результаты оценки: loss 0,2615 и F1 0,8317, но датасет и подробности оценки не раскрыты. Модель распространяется с лицензией MIT.

cmhyo/xlm-roberta-base-finetuned-panx-it — дообученная модель семейства XLM-RoBERTa для классификации токенов. Она предназначена для разметки последовательностей, в частности для распознавания именованных сущностей. В README указаны результаты оценки: F1 0,8348 и loss 0,2473; датасет не назван. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForTokenClassification и формат safetensors. Базовая модель — FacebookAI/xlm-roberta-base, длина контекста — 514 токенов. Распространяется по лицензии MIT.

XwinCoder-13B — инструкция-настроенная модель генерации кода от Xwin-LM, дообученная на базе CodeLLaMA. Она предназначена для создания кода по текстовым инструкциям и запросам; авторы публикуют веса и код оценки. В карточке приведены результаты XwinCoder-13B на HumanEval, MBPP и APPS-intro: pass@1/5 соответственно 68,8, 60,1 и 35,4. Модель имеет плотную архитектуру LlamaForCausalLM с 12,9 млрд параметров, принимает текст и генерирует текст, а заявленная длина контекста составляет 16 384 токена. В метаданных указан формат PyTorch и лицензия Llama 2. README описывает её как instruction fine-tune CodeLLaMA, поэтому для использования следует соблюдать условия лицензии Llama 2.

ZAYA1-reasoning-base — плотная по архитектуре MoE-языковая модель Zyphra, основанная на Zyphra/ZAYA1-base и дополнительно обученная на 1 трлн токенов с упором на рассуждения. Она предназначена для генерации текста и диалогов, особенно для сложных задач по математике, STEM и программированию, требующих многошагового анализа. Модель содержит 7,7 млрд параметров по метаданным, использует архитектуру ZayaForCausalLM, токенизатор Gemma 3 и контекст до 32 768 токенов. В архитектуре применены механизм внимания Compressed Convolutional Attention, нелинейный маршрутизатор экспертов и обучаемое масштабирование остаточных связей. Модель демонстрирует сильные результаты на сложных математических и кодовых задачах, но README отмечает, что полного RL-постобучения она не проходила. Для запуска требуется форк Transformers с поддержкой Zaya. Лицензия — Apache-2.0.

Карточка модели aiXcoder/aixcoder-7b на Hugging Face совпадает с карточкой aiXcoder/aixcoder-7b-base, поэтому описание составлено по ней. aiXcoder-7B Base — базовая большая языковая модель для кода, разработанная командой aiXcoder. Модель с архитектурой Llama содержит 7,2 млрд параметров и обучена на 1,2 трлн уникальных токенов. Она предназначена для автодополнения, понимания и генерации кода на нескольких языках программирования; контекстное окно составляет 32 768 токенов. Модель ориентирована на сценарии разработки и, по заявлению авторов, показывает сильные результаты в автодополнении кода и мультиязычном NL2Code среди моделей сопоставимого размера. Это базовая версия без специального instruction-тюнинга, поэтому она может хуже справляться с высокоуровневыми задачами вроде отладки и генерации тестов. Опубликованные веса доступны в форматах PyTorch и safetensors; лицензия в предоставленных данных не описана.

BAAI/AquilaCode-py — модель генерации текста из семейства Aquila, предназначенная для задач, связанных с кодом на Python. В README она указана среди вариантов AquilaCode, выпущенных в июле 2023 года. Метаданные описывают модель как плотную авторегрессионную архитектуру на базе LlamaForCausalLM с 6,9 млрд параметров и контекстом 2048 токенов; веса представлены в формате PyTorch. Модель подходит для генерации и продолжения кода на Python, а также для текстовых запросов, связанных с программированием. Семейство Aquila обучалось на китайском и английском языках, однако README не приводит отдельного описания обучения или оценки именно AquilaCode-py. Для использования весов действует лицензия BAAI Aquila Model License Agreement с ограничениями; исходный код семейства распространяется по Apache 2.0.

Arabic-MARBERT-Sentiment — модель анализа тональности арабского текста, созданная Ammar-alhaj-ali дообучением MARBERT. Она классифицирует текст по трём категориям: положительная, отрицательная и нейтральная тональность; в примерах карточки анализируются короткие отзывы и высказывания. Модель построена на архитектуре BERT и содержит около 190 млн параметров. Она принимает текст и выдаёт метку тональности с оценкой уверенности. Контекст ограничен 512 токенами. Для дообучения использован датасет KAUST. Модель распространяется в формате PyTorch.

bert4ner-base-chinese — модель на основе BERT для распознавания именованных сущностей в китайском тексте, опубликованная shibing624. Она размечает текст по токенам и извлекает сущности, например имена людей и временные выражения. Модель можно применять для извлечения сущностей из китайских документов и текстовых записей; для запуска автор приводит пример использования через nerpy и Hugging Face Transformers. Модель содержит 129,5 млн параметров, использует архитектуру BertForTokenClassification и принимает контекст длиной до 512 токенов. В README приведён результат на тестовой выборке PEOPLE: F1 0,9525, точность 0,9425 и полнота 0,9627. Доступны веса PyTorch и safetensors. Лицензия — Apache-2.0.

bert-base-swedish-cased-ner — модель семейства BERT, выпущенная Национальной библиотекой Швеции и исследовательской группой KBLab. Это версия bert-base-swedish-cased, дообученная для распознавания именованных сущностей на шведском языке с использованием датасета SUC 3.0. Модель размечает токены как временные выражения, имена людей, места, события и организации; набор меток может меняться. Модель содержит 151,9 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Она чувствительна к регистру, использует токенизацию BERT с разбиением слов на подчасти и обучалась с whole word masking. Подходит для извлечения сущностей из шведских текстов, например новостей и документов. В карточке версия помечена как экспериментальная; описание также отмечает, что набор меток может меняться. Лицензионные условия в предоставленных материалах не указаны.

yanekyuk/bert-keyword-extractor — дообученная модель BERT для извлечения ключевых слов посредством классификации токенов. Она предназначена для выделения ключевых слов в тексте; README приводит метрики на оценочном наборе: precision 0,8565, recall 0,8874, accuracy 0,9738 и F1 0,8717, но не описывает сам набор данных и подробности обучения. Модель основана на bert-base-cased, имеет 135,5 млн параметров и контекст до 512 токенов. Поддерживает английский язык, использует PyTorch и распространяется по лицензии Apache-2.0.

nxaliao/bert-lg-cased-ms-ner-full — модель для разметки последовательностей, созданная дообучением google-bert/bert-large-cased. Она предназначена для token classification; название репозитория указывает на распознавание именованных сущностей, однако карточка не описывает набор меток или обучающие данные. Модель содержит 432,3 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. Модель подходит для извлечения сущностей из текста и других задач токенной классификации. Карточка не сообщает, какие языки и типы сущностей она поддерживает, и не приводит результатов оценки. Распространяется по лицензии Apache-2.0.

Chronos-T5 Mini — предварительно обученная модель прогнозирования временных рядов из семейства Chronos, построенная на архитектуре T5. В README размер варианта Mini указан как 20 млн параметров, тогда как метаданные Hugging Face указывают 9,8 млн; эти источники расходятся. Для уменьшения словаря T5 использует 4096 токенов вместо 32128 в исходной модели. Модель преобразует исторические числовые значения в токены с помощью масштабирования и квантования, а затем авторегрессионно генерирует возможные будущие траектории. Несколько сгенерированных траекторий дают вероятностный прогноз. Обучение проводилось на общедоступных временных рядах и синтетических данных, созданных гауссовскими процессами. Модель предназначена для прогнозирования временных рядов; метаданные указывают контекст длиной 512 токенов. Разработчик — AutoGluon. Модель доступна под лицензией Apache-2.0. В README отмечено, что Chronos-Bolt обеспечивает меньшую ошибку и более высокую скорость по сравнению с исходными Chronos того же размера; это ограничивает преимущество Mini относительно более новых вариантов семейства.

CodeFuse-DeepSeek-33B — языковая модель для программирования, разработанная командой CodeFuse. Это модель семейства Llama с плотной архитектурой и 33,1 млрд параметров, дообученная с помощью QLoRA на базе DeepSeek-Coder-33B для нескольких задач, связанных с кодом. Она принимает текстовые запросы и генерирует текст, включая программный код; поддерживает диалоговый формат и контекст до 16 384 токенов. Модель предназначена для генерации кода и помощи в задачах программирования. В карточке сообщается результат 78,65% pass@1 на HumanEval при жадном декодировании. Указаны языковые метки английского и китайского; отдельный список поддерживаемых языков программирования и подробная оценка ограничений в README отсутствуют. Модель опубликована в форматах PyTorch и Safetensors, используется через Transformers. Лицензия указана как other, поэтому конкретные условия следует уточнить в карточке репозитория.

abacaj/codegen-16B-nl-sharded — размещённая в шардированном виде версия CodeGen-NL 16B, семейства авторегрессионных языковых моделей для синтеза программ, разработанного авторами статьи «A Conversational Paradigm for Program Synthesis». Модель содержит 16 млрд параметров, использует архитектуру CodeGenForCausalLM и распространяется в формате PyTorch с весами torch.float16. Контекст составляет 2048 токенов. Модель предназначена прежде всего для генерации исполняемого кода по подсказкам на естественном языке, заданным в виде комментария, и для продолжения частично написанного кода. Она предварительно обучена на корпусе The Pile, включающем данные с кодом; в README описана оценка на HumanEval и MTPB. Карточка не уточняет, какие языки программирования охватываются, поэтому их перечень не приводится. Лицензия — BSD 3-Clause.