II.8Инженерия данных и аналитика

Модель mayank-mishra/granite-3b-code-glaive-20k — дообученная Mayank Mishra языковая модель для генерации текста в задачах программирования и помощи с кодом. Она основана на ibm-granite/granite-3b-code-base и обучена на подмножестве из 20 тысяч примеров набора Glaive Code Assistant v3. Модель имеет плотную архитектуру LlamaForCausalLM с 3,5 млрд параметров и контекстом 2048 токенов. Она принимает текст и генерирует текст; карточка не задаёт конкретные языки программирования или естественные языки. Распространяется в формате Safetensors под лицензией Apache-2.0.

IndicNER — модель команды AI4Bharat для распознавания именованных сущностей в предложениях на 11 языках Индии. Это дообученная для NER версия bert-base-multilingual-uncased, построенная на архитектуре BERT и доступная в формате PyTorch. Модель предназначена для извлечения именованных сущностей из текста. Для обучения использовали данные, собранные из корпуса Samanantar; качество оценивали на размеченном вручную тестовом наборе и других публичных наборах данных для NER на индийских языках. Модель поддерживает ассамский, бенгальский, гуджарати, хинди, каннада, малаялам, маратхи, ория, панджаби, тамильский и телугу. Карточка отмечает, что после публикации статьи о Naamapadam в декабре 2022 года разработчики планировали обновить репозиторий новой версией модели. Лицензия — MIT.

Instruct-codegen-16B — модель генерации кода, разработанная на основе Salesforce CodeGen-16B-multi и дообученная на 250 тысячах примеров с инструкциями в формате Alpaca. Она предназначена для генерации кода по текстовым запросам и выполнения инструкций, связанных с программированием. Модель использует архитектуру CodeGenForCausalLM; размер — 16 млрд параметров, контекст — до 2048 токенов. В README указан результат 37,1% pass@1 на бенчмарке HumanEval. Модель принимает текстовые инструкции и выдаёт текст, в том числе код. Данные для дообучения, согласно карточке, не генерировались коммерческими LLM API. Репозиторий содержит веса PyTorch и распространяется по лицензии BSD-3-Clause. Языки программирования и показатели качества на других задачах в карточке не перечислены.

sinjy1203/ko-sbert-navernews — модель на основе BERT, дообученная для создания эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и рассчитана на семантический поиск, сравнение сходства, кластеризацию и группировку текстов. В README указано обучение с CosineSimilarityLoss; архитектура BERT содержит 137,8 млн параметров, а контекст ограничен 512 токенами. Модель предназначена для корейского текста новостной тематики, что отражено в названии репозитория. Веса доступны в формате PyTorch и применяются через Sentence-Transformers либо Transformers с соответствующей операцией pooling. Лицензия в предоставленных данных не указана.

surdan/LaBSE_ner_nerel — модель для распознавания именованных сущностей в тексте. Она основана на cointegrated/LaBSE-en-ru и дообучена на наборе данных surdan/nerel_short. Архитектура — BERT с классификацией токенов, размер — 155,5 млн параметров; модель принимает текстовые последовательности длиной до 512 токенов и относит токены к меткам сущностей. Модель предназначена для извлечения именованных сущностей из текстов, прежде всего в сценариях разметки русскоязычных документов и текстов NEREL. В метаданных также указана поддержка английского языка, однако сведения о качестве на английских данных отсутствуют. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

kavg/LiLT-RE-DE — дообученная на датасете XFUND модель для извлечения отношений между сущностями в документах. Она основана на мультиязычной LiLT и XLM-RoBERTa, использует архитектуру LiLTRobertaLikeForRelationExtraction и учитывает текст и его расположение на странице. Модель содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. В оценке на тестовой выборке указаны precision 0,3054, recall 0,6032 и F1 0,4055. Модель подходит для анализа связей между полями в структурированных документах, например в формах. Распространяется по лицензии MIT.

Liorath-3B-Final — языковая модель на архитектуре Qwen2, созданная методом SLERP-слияния Qwen/Qwen2.5-3B-Instruct и Qwen/Qwen2.5-Coder-3B-Instruct. По метаданным, модель содержит 2,5 млрд параметров, работает с текстом и использует библиотеку Transformers. Модель предназначена для диалогов и генерации текста по инструкциям; слияние с кодовой моделью также делает её применимой к задачам программирования. Контекстное окно составляет 32 768 токенов. Поддержка нескольких языков унаследована от базовой Qwen2.5-3B-Instruct. В репозитории указаны веса Safetensors. Лицензия в предоставленных данных не указана.

Это LoRA-адаптер для обнаружения персональных данных в тексте, созданный в рамках проекта semantic-router на базе BERT base uncased и настроенный для работы с библиотекой Candle на Rust. Модель выполняет токенную классификацию, чтобы находить и размечать фрагменты текста с персональными данными; метаданные также указывают поддержку классификации текста. Архитектура — BertForTokenClassification, адаптер обучен с рангом 16 и alpha 32. Размер базовой модели составляет 136,7 млн параметров, контекст — до 512 токенов; поддерживаемый язык — английский. Для использования нужны базовая модель и совместимый рантайм. Лицензия — Apache-2.0.

BorisTM/loss-guided-static-multi — мультиязычный статический кодировщик предложений для семантического поиска и сравнения текстов. Модель обучена с контрастивной целью и расширенным словарём: полезные пары соседних токенов получают собственные строки эмбеддингов, при этом базовый токенизатор не меняется. При инференсе используются таблица эмбеддингов и усреднение, без Transformer; размерность векторов — 1 024, всего 321,7 млн параметров. Модель рассчитана на CPU-эффективное семантическое сходство, поиск, кластеризацию и классификацию на 176 языках. Каждый текст необходимо предварять языковым маркером, например __rus_Cyrl__; без него обработка завершается ошибкой. Репозиторий включает пользовательский модуль эмбеддингов и требует trust_remote_code=True. Распространяется по лицензии Apache-2.0.

EpistemeAI/Math-Code-Llama3.1-8B — дообученная EpistemeAI модель на архитектуре Llama 3.1, разработанная для генерации текста и помощи в задачах математики и программирования. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов; веса доступны в форматах PyTorch и Safetensors. Модель подходит для генерации и объяснения кода, решения математических задач и диалоговой помощи по этим темам. В карточке указаны возможности базового семейства Llama 3.1: текстовый ввод и вывод, поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Специальные результаты или бенчмарки именно этой производной модели не приведены. Для репозитория указана лицензия Apache 2.0. Ограничения качества и безопасности генеративных ответов следует учитывать при использовании; карточка также предупреждает, что базовая модель статична и обучена на офлайн-данных.

Nondzu/Mistral-7B-code-16k-qlora — экспериментальная модель для генерации кода и помощи в роли copilot, созданная автором репозитория на основе семейства Mistral. В карточке указано обучение на наборе nickrosh/Evol-Instruct-Code-80k-v1 с шаблоном запросов Alpaca; модель имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель принимает текстовые инструкции и генерирует текстовые ответы, включая код. В README автор приглашает пользователей тестировать модель и приводит сравнение с исходной Mistral, поэтому качество и пригодность для конкретных задач следует оценивать на собственных примерах. Метаданные указывают контекст до 32 768 токенов; лицензия — Apache-2.0.

MyAwesomeModel — модель из репозитория sfafas2234/MyAwesomeModel-TestRepo, опубликованная для извлечения признаков из текста. В метаданных она относится к семейству BERT и предназначена для использования через библиотеку Transformers на базе PyTorch. Основной сценарий применения — преобразование текстовых входов в векторные представления для последующей классификации, поиска по смыслу, кластеризации и других задач анализа текста. README также заявляет о возможностях рассуждения, генерации кода, диалога, суммаризации и других генеративных задачах, однако эти сведения не согласуются с указанным pipeline_tag feature-extraction и не подтверждают назначение модели как генеративной. Модель распространяется по лицензии MIT. В доступных данных нет подтверждённых сведений о размере, длине контекста, поддерживаемых естественных языках и конкретном наборе данных для обучения.

my-nergrit-model — модель для разметки последовательностей, разработанная как дообученная версия indolem/indobert-base-uncased на наборе id_nergrit_corpus. Она использует архитектуру BERT и предназначена для классификации токенов, например извлечения сущностей из текста. Модель содержит 137,8 млн параметров, работает с текстом и поддерживает контекст до 512 токенов. На оценочной выборке указаны F1 0,8293, точность 0,8166 и полнота 0,8424. Модель распространяется по лицензии MIT. Карточка не уточняет схему меток и ограничения применения.

Locutusque/NeuralHyperion-2.0-Mistral-7B — языковая модель на архитектуре Mistral, дообученная разработчиком Locutusque на Hyperion-v2.0 и дополнительно с помощью DPO на предпочтениях Capybara. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на сложные вопросы, диалогов и рассуждений в научно-технических областях, генерации кода, математических задач и понимания медицинских текстов. В README заявлена поддержка английского языка; метаданные также отмечают задачи, связанные с кодом и химией. Качество ответов может быть непоследовательным из-за различий в форматировании и качестве разметки обучающих данных; результаты оценки в карточке пока не приведены. Модель распространяется по лицензии Apache-2.0.

Nemotron-3-Nano-30B-A3B-AgentCoder — дообученная Bruno Pistone модель NVIDIA Nemotron-3-Nano-30B-A3B для многошаговых диалогов с инструментами. Она обучена методом GRPO с оценкой по обратной связи от ИИ и предназначена для выбора между ответом, вызовом инструмента и реакцией на его результат в цикле работы агента. Модель использует гибридную архитектуру NemotronHForCausalLM с Mamba-2 и MoE-компонентами; заявленный контекст составляет 262 144 токена. Обучение затронуло около 0,14 % параметров исходной модели с помощью LoRA. Она рассчитана на текстовый ввод и генерацию текста, включая ответы, рассуждения и вызовы инструментов; в метаданных указан английский язык. Подходящие сценарии включают агентные циклы для программирования, управления данными и выполнения команд, а также общие вопросы и ответы, унаследованные от базовой модели. README сообщает о снижении доли чрезмерно длинных ответов в ходе обучения, но не приводит независимой оценки качества. Модель не предназначена для высокочувствительных данных, задач, требующих экспертной сертификации или полной объяснимости, и автономного выполнения необратимых действий без проверки человеком. Для корректной работы требуются доверенная загрузка кода модели и зависимости Mamba-2; лицензия — NVIDIA Open Model License, унаследованная от базовой модели.

NTQAI разработала Nxcode-CQ-7B-orpo — разговорную модель генерации кода, полученную дообучением CodeQwen1.5-7B с помощью Monolithic Preference Optimization без референсной модели на 100 тысячах высококачественных пар ранжирования. Модель построена на плотной архитектуре Qwen2 с 6,9 млрд параметров и контекстом до 65 536 токенов; веса опубликованы в формате Safetensors. Модель предназначена для генерации и дополнения кода по текстовым инструкциям. В README приведены результаты EvalPlus: pass@1 86,6 на HumanEval, 83,5 на HumanEval+ и 82,3 на MBPP. Карточка показывает поддержку чата и задач с кодом; пример оценки использует запрос на завершение функции Python. Лицензия указана как other, поэтому условия использования следует уточнить по материалам репозитория. В опубликованном README нет сведений о тестировании на иных языках программирования или сценариях, а результаты на бенчмарках сами по себе не гарантируют качество для конкретного проекта.

datalab-to/ocr_error_detection — модель Datalab на базе DistilBERT для классификации текстовых фрагментов при обнаружении ошибок OCR. Её назначение подтверждается именем репозитория и тем, что Datalab использует её в Surya как отдельную модель проверки ошибок OCR. Модель имеет архитектуру DistilBertForSequenceClassification, около 0,1 млрд параметров и контекст до 512 токенов. Репозиторий содержит веса Safetensors в формате F16. README не описывает метрики качества, языковой охват или подробности использования. Лицензия — CC BY-NC-SA 4.0.

mlx-community/openai-privacy-filter-6bit — 6-битная версия модели OpenAI Privacy Filter, подготовленная сообществом mlx-community из openai/privacy-filter в формате MLX. Это двунаправленный разреженный MoE-классификатор токенов, который находит и размечает BIOES-фрагментами персональные данные восьми категорий: имена людей, адреса электронной почты, телефоны, URL, адреса, даты, номера счетов и секреты. Версия содержит 145,4 млн параметров по метаданным; базовая карточка описывает исходную модель как модель на 1,5 млрд параметров с 50 млн активных параметров. Модель предназначена для локальной фильтрации и маскирования чувствительных данных в тексте. Указанная лицензия — Apache-2.0. Модель принимает текст и выдаёт метки фрагментов, пригодные для последующей замены или удаления обнаруженных данных. Доступны веса safetensors для MLX; README указывает преобразование из openai/privacy-filter, тогда как метаданные отмечают связь с базовой моделью как finetune. Заявленная длина контекста — 131072 токена. Языки в предоставленных сведениях не перечислены.

OpenCodeInterpreter-DS-1.3B — языковая модель для генерации кода, разработанная в рамках проекта OpenCodeInterpreter. Она предназначена для диалогового написания кода и итеративного улучшения решений с использованием обратной связи от выполнения. Модель основана на DeepSeek Coder 1.3B и использует плотную архитектуру Llama с 1,3 млрд параметров; заявленный контекст — 16 384 токена. В README приведены результаты на HumanEval и MBPP, а также показано улучшение отдельных показателей при добавлении обратной связи от выполнения. Это указывает на пригодность модели для генерации и доработки программного кода, но сами результаты бенчмарков не гарантируют качество для конкретного проекта. Модель принимает текстовые запросы и выдаёт текст, включая код. Лицензия — Apache-2.0.

Opencsg-CodeLlama-7b-v0.2 — созданная OpenCSG полнопараметрическая донастройка CodeLlama-7b-hf, генеративной языковой модели семейства Llama для работы с кодом. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые запросы с контекстом до 16 384 токенов. Модель предназначена для генерации и дополнения кода. В README приведён результат 50,0% Pass@1 на Python HumanEval при жадном декодировании и исходных формулировках заданий; авторы отмечают, что обучающая выборка включает несколько языков программирования. Это единственный приведённый бенчмарк, поэтому он не описывает качество на других задачах и при иных настройках генерации. Веса опубликованы в формате safetensors. Лицензия в метаданных указана как llama2; перед использованием следует учитывать условия лицензии Llama 2.

OpenSearch-AI/Ops-MoA-Conan-embedding-v1 — текстовая модель эмбеддингов от OpenSearch AI на архитектуре BERT. Она предназначена для преобразования текстов в векторы, которые можно использовать для поиска по смыслу и сравнения предложений. Модель поддерживает задачи feature-extraction и sentence-similarity, имеет 424,3 млн параметров и контекст до 512 токенов. Для работы подходит библиотека Sentence Transformers; веса доступны в формате PyTorch. В метаданных указан китайский язык. Карточка содержит пример кодирования текста, но не приводит оценки качества или подробностей обучения. Лицензия не указана в предоставленных данных.

polystring-lid — модель Saad Lohani для определения языка отдельных фрагментов текста. Она дообучена на базе FacebookAI/xlm-roberta-base и использует архитектуру XLM-RoBERTa с классификацией токенов. В метаданных указаны 305,2 млн параметров и контекст длиной 514 токенов; доступны форматы Safetensors и ONNX. Модель предназначена для разметки текстовых последовательностей метками языков. В README приведены результаты оценки: loss 0,1267 и F1 0,8848. Набор данных для обучения и подробности о поддерживаемых языках не описаны. Лицензия — MIT.

cnmoro/Qwen0.5b-RagSemanticChunker — это дообученная модель Qwen2.5-0.5B-Instruct, предназначенная для семантического разбиения длинного текста на фрагменты для сценариев RAG. В примере README текст на португальском языке разделён специальным маркером «段», который отмечает границы смысловых фрагментов. Модель построена на архитектуре Qwen2 с плотной причинно-языковой архитектурой Qwen2ForCausalLM и содержит 494 млн параметров. Она принимает и генерирует текст, поддерживает английский и португальский языки и имеет контекст длиной до 32 768 токенов. Метаданные также указывают поддержку диалогового режима и интерфейса вызова инструментов. Модель подходит для подготовки текстовых корпусов к поиску и ответам по документам с использованием RAG. README не сообщает результаты оценок качества или подробные инструкции по формату входа. Модель распространяется по лицензии MIT.

pdelobelle/robbert-v2-dutch-ner — нидерландоязычная модель для разметки токенов на основе RobBERT, разработанная на базе архитектуры RoBERTa. Она предназначена для дообучения на задаче распознавания именованных сущностей и других задачах классификации токенов. Модель содержит 144 млн параметров, принимает текст и поддерживает контекст до 514 токенов. RobBERT — предварительно обученная языковая модель для нидерландского языка, применявшаяся для задач обработки нидерландского текста; эта версия классификации токенов распространяется в форматах PyTorch и Flax. Карточка указывает на поддержку нидерландского и фламандского вариантов. Лицензия — MIT. Конкретные типы сущностей и показатели качества для этой версии в предоставленных данных не описаны.

BSC-LT разработала модель на архитектуре RoBERTa для выявления чувствительных сущностей в пользовательских текстах на испанском и каталанском языках. Она размечает последовательности токенов, выделяя организации (ORG), людей (PER) и места (LOC), чтобы использовать эти данные для последующей анонимизации. Модель рассчитана на работу в составе AnonymizationPipeline от BSC, но её можно применять и отдельно. Модель содержит 151,8 млн параметров, принимает текст и имеет контекстное окно до 514 токенов. В README приведены оценки ENTS_F 90,03, ENTS_P 89,7 и ENTS_R 90,3. Распространяется по лицензии MIT.

sat-1l — модель семейства Segment Any Text, предназначенная для сегментации текста на предложения в составе wtpsplit. Авторы описывают её как модель с одним слоем Transformer; в метаданных указаны архитектура SubwordXLMForTokenClassification, 201,4 млн параметров и контекст 514 токенов. Основная задача в каталоге Hugging Face — token-classification. Модель рассчитана на многоязычную обработку текста. Метаданные указывают поддержку ряда языков, включая английский, немецкий, французский, испанский, арабский, хинди и японский. Доступны веса PyTorch и ONNX. Репозиторий опубликован под лицензией MIT.

pucpr-br/sbertimbau_news_2023 — модель Sentence-Transformers, дообученная на базе neuralmind/bert-base-portuguese-cased. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения текстов по смыслу, семантического поиска и кластеризации. Модель построена на архитектуре BERT и содержит 136,1 млн параметров; максимальная длина контекста составляет 512 токенов. Модель рассчитана на тексты на бразильском португальском языке. Её можно использовать для поиска похожих новостных текстов и группировки предложений или документов; для получения эмбеддингов в экосистеме Sentence-Transformers требуется соответствующая библиотека либо отдельная операция pooling при использовании Transformers. Репозиторий предоставляет веса в формате safetensors. Лицензия в предоставленных данных не указана.

SmolLM3-3B German Embeddings — экспериментальная модель текстовых эмбеддингов от Mayflower GmbH на основе SmolLM3-3B. Авторы преобразовали decoder-only Llama-модель в текстовый энкодер с двунаправленным вниманием и дообучили её методом LLM2Vec: сначала на задаче предсказания маскированных токенов, затем контрастивным обучением на парах немецких текстов. Модель содержит 3,1 млрд параметров и формирует векторы размерности 2048. Модель предназначена прежде всего для немецкоязычного семантического поиска и сопоставления текстов; эмбеддинги также можно использовать для кластеризации, классификации и выявления дубликатов. Она принимает текст и выдаёт плотные векторы. В README указана максимальная длина последовательности 512 токенов; контекст архитектуры в метаданных составляет 65 536 токенов, но практический лимит модели для эмбеддингов указан как 512. Поддержка других языков возможна, однако не оценивалась. Модель выпущена под лицензией Apache-2.0.

Многоязычная модель распознавания именованных сущностей на базе SpanMarker и энкодера xlm-roberta-base. Её разработчик обучил модель на наборе данных MultiNERD; она размечает сущности в тексте, включая людей, организации и места. В README приведены результаты оценки: F1 91,31 по всем языкам, 94,55 для английского и 93,77 для немецкого. Модель предназначена для извлечения сущностей из многоязычных текстов. Автор предупреждает о существенных ограничениях токенизации и рекомендует вместо неё более новую tomaarsen/span-marker-mbert-base-multinerd. Лицензия CC-BY-NC-SA-4.0 разрешает использование на условиях указания авторства и распространения производных материалов на тех же условиях, но некоммерчески.

Community-1 — конвейер диаризации речи, опубликованный командой pyannote. Он принимает аудио и определяет, кто и в какие моменты говорит, включая число говорящих и их временные интервалы. Входное аудио приводится к моно и частоте 16 кГц; конвейер pyannote.audio можно запускать локально, в том числе офлайн после загрузки модели, или использовать через облачный сервис pyannoteAI. Модель предназначена для разметки разговоров и записей с несколькими участниками. Она предоставляет обычную и эксклюзивную диаризацию: последняя упрощает сопоставление интервалов говорящих с временными метками транскрипции. В README сообщается об улучшении показателей диаризации по сравнению с предыдущим конвейером pyannote 3.1 на ряде академических тестов. Для доступа нужно принять условия использования на Hugging Face и получить токен. Лицензия репозитория — CC BY 4.0.