II.8Инженерия данных и аналитика

skar01/llama2-coder-full — языковая модель семейства Llama 2, дообученная на наборе CodeAlpaca 20K с помощью QLoRA и библиотеки PEFT. Модель предназначена для генерации кода и ответов на инструкции, связанные с программированием. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров. Она принимает текст и генерирует текст; заявленный размер контекста — 2048 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. В качестве базовой модели указана TinyPixel/Llama-2-7B-bf16-sharded.

Enigma — модель для генерации кода и диалогов, созданная Valiant Labs на основе Meta Llama 3.1 8B Instruct. Это плотная причинная языковая модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для работы в формате инструкций и чата Llama 3.1. Модель дообучена на синтетических данных для инструкций по программированию, сгенерированных Llama 3.1 405B, а также на общих диалоговых данных. Enigma подходит для генерации и объяснения кода, помощи с Python и ответов на общие вопросы в чате. Карточка заявляет усиленные возможности code-instruct и сохранение общих диалоговых навыков; метаданные также указывают поддержку следования инструкциям и интерфейс вызова инструментов. Модель работает с текстом и ориентирована на английский язык. Для использования применяется лицензия Llama 3.1; условия лицензии следует учитывать при распространении и коммерческом применении.

Mamba-Codestral-7B-v0.1-python_coding_assistant_16bit — локально запускаемый генератор кода, опубликованный Agnuxo (Francisco Angulo de Lafuente) и связанный в карточке с экосистемой P2PCLAW. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и принимает текстовый ввод, выдавая текст; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Модель предназначена прежде всего для помощи в написании и генерации кода, включая Python, JavaScript, TypeScript, Rust, Go и C++, а также примеры задач научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. README также заявляет навыки координации агентов и интеграции MCP и A2A. Языки карточки — английский и испанский; качество генерации кода на перечисленных языках программирования в материалах не подтверждено независимыми оценками.

Это объединённая языковая модель на архитектуре Llama 3.2, созданная с помощью mergekit методом TIES. В качестве базовой модели указана meta-llama/Llama-3.2-1B; размер модели — 1,2 млрд параметров, длина контекста — до 131 072 токенов. Репозиторий создан в ноябре 2024 года, веса представлены в формате safetensors. Модель объединяет инструкционные и специализированные варианты Llama для ответов на вопросы, математических рассуждений, медицинских вопросов, работы с SQL и генерации кода. Она предназначена для текстового ввода и генерации текста; карточка не описывает результаты оценки качества или гарантии выполнения всех перечисленных навыков. Для использования действует лицензия базовой модели Meta-Llama; конкретные условия лицензирования объединённых весов следует сверить с карточками исходных моделей.

mmBERT-32K PII Detector — модель разметки токенов для обнаружения персональных данных, разработанная vLLM Semantic Router. Она дообучена на базе vllm-sr/mmbert-32k-yarn и представляет собой ModernBERT с 306,9 млн параметров; поддерживает контекст до 32 768 токенов. Модель принимает текст и помечает в нём сущности, включая имена, адреса, телефоны, электронную почту, платёжные и государственные идентификаторы, даты, возраст и названия организаций. Модель предназначена для выявления чувствительных данных в документах и текстовых потоках, например перед передачей данных внешним сервисам или для маршрутизации запросов. В README приведены показатели точности для некоторых типов сущностей, но они не описывают качество на всех языках и доменах. В карточке указан английский язык; качество на других языках не подтверждено. Модель распространяется под лицензией MIT. Доступны веса Safetensors и формат ONNX.

jfarray/Model_dccuchile_bert-base-spanish-wwm-uncased_10_Epochs — модель эмбеддингов предложений на базе BERT, опубликованная пользователем jfarray. Она кодирует предложения и абзацы в плотные векторы размерности 256 для поиска семантически близких текстов и кластеризации. Модель содержит 137,1 млн параметров, работает с текстом и поддерживает контекст до 512 токенов; в карточке указана библиотека Sentence-Transformers и обучение с CosineSimilarityLoss. Модель подходит для семантического поиска и группировки текстов по смыслу. Название базовой модели указывает на испанский BERT dccuchile/bert-base-spanish-wwm-uncased, поэтому основной язык — испанский. В метаданных указаны формат PyTorch и задачи извлечения признаков и сходства предложений. Лицензия в предоставленных данных не указана.

NuNER Zero — компактная модель для распознавания именованных сущностей без примеров, разработанная NuMind. Она использует архитектуру GLiNER и решает задачу token classification: на вход подаются текст и перечень типов сущностей, а модель находит в тексте соответствующие фрагменты. По сравнению с GLiNER модель позиционируется как способная обнаруживать сущности произвольной длины. Модель обучена на NuNER v2.0 — наборе данных, объединяющем размеченные с помощью LLM подмножества Pile и C4. Для работы с метками README требует использовать названия типов сущностей в нижнем регистре. В описании релиза сообщается о преимуществе в 3,1 процентного пункта по token-level F1 над GLiNER-large-v2.1 на бенчмарке GLiNER; это утверждение относится к оценке авторов на указанном бенчмарке. NuNER Zero предназначена для извлечения сущностей по заданным пользователем категориям, в том числе для категорий без обучающих примеров. Метаданные указывают английский язык, библиотеку GLiNER и форматы PyTorch и Safetensors. Модель распространяется по лицензии MIT.

mlx-community/openai-privacy-filter-4bit — конверсия модели openai/privacy-filter в формат MLX с 4-битным представлением; карточка указывает mlx-embeddings версии 0.1.1. Базовая модель — двунаправленный разреженный MoE-классификатор токенов, который размечает персональные данные в тексте BIOES-метками по восьми категориям: имена людей, адреса электронной почты, телефоны, URL, адреса, даты, номера счетов и секреты. Модель предназначена для обнаружения и последующей фильтрации или маскирования персональных данных, в том числе локально на устройствах Apple с MLX. Она содержит 145,4 млн параметров по метаданным; README указывает 1,5 млрд параметров и 50 млн активных параметров у исходной базовой модели. Контекст составляет до 131 072 токенов. Лицензия — Apache-2.0. Карточка не описывает точность на разных языках или условия оценки, поэтому качество распознавания вне перечисленных типов данных не следует предполагать.

mlx-community/openai-privacy-filter-mxfp8 — конвертированная в формат MLX версия классификатора токенов OpenAI Privacy Filter; конверсию выполнило сообщество mlx-community с помощью mlx-embeddings 0.1.1. Модель основана на openai/privacy-filter и предназначена для обнаружения и разметки фрагментов с персональными данными в тексте. Это двунаправленная разреженная MoE-модель с 1,5 млрд параметров и примерно 50 млн активных параметров. Она размечает фрагменты в формате BIOES по восьми категориям: имена людей, электронные адреса, телефоны, URL, адреса, даты, номера счетов и секреты. Метаданные указывают 145,4 млн параметров и контекст до 131 072 токенов; модель доступна в формате Safetensors и рассчитана на запуск через MLX. Модель подходит для локального поиска и маскирования чувствительных данных в текстах. Указанная лицензия — Apache-2.0. README не сообщает об оценках качества или известных ошибках разметки.

mlx-community/openai-privacy-filter-nvfp4 — конверсия модели OpenAI Privacy Filter в формат MLX, подготовленная сообществом mlx-community. Это двунаправленный разреженный MoE-классификатор токенов, который размечает фрагменты с персональными данными в тексте BIOES-метками по восьми категориям: имя человека, электронная почта, телефон, URL, адрес, дата, номер счёта и секрет. Модель предназначена для обнаружения PII при локальной фильтрации и маскировании текста. Модель содержит 145,4 млн параметров по метаданным каталога; README указывает для исходной модели 1,5 млрд параметров, из которых активно используются 50 млн. Контекстное окно — 131 072 токена. Репозиторий распространяет веса в safetensors для библиотеки MLX. Лицензия — Apache-2.0. Карточка не описывает качество распознавания и точность на разных языках, поэтому результаты следует проверять на данных целевого применения.

OpenCodeInterpreter-SC2-7B — модель для генерации кода из семейства OpenCodeInterpreter, разработанная командой M-A-P на основе StarCoder2-7B. Она сочетает генерацию кода с выполнением и итеративным улучшением по обратной связи от исполнения. Модель имеет плотную архитектуру StarCoder2ForCausalLM, около 9,9 млрд параметров и контекст до 16 384 токенов; формат весов в репозитории — safetensors. Модель предназначена для написания и доработки кода, а также сценариев, где результат можно проверить исполнением и уточнить по полученной обратной связи. В README приведены сравнительные результаты семейства на HumanEval и MBPP, но отдельные показатели именно этой версии не указаны. Метаданные отмечают английский язык и специализацию на коде. Лицензия — Apache-2.0.

opencsg/opencsg-CodeLlama-34b-v0.2 — это дообученная OpenCSG модель для генерации программного кода. Она основана на Meta CodeLlama-34b-hf, использует архитектуру Llama с плотной авторегрессионной языковой моделью и содержит 33,5 млрд параметров. Модель прошла полное дообучение всех параметров; в репозитории представлены веса Safetensors. Модель предназначена для генерации и автодополнения кода, в том числе решения задач по программированию. В README указано, что обучающая выборка охватывает несколько языков программирования; для оценки семейства использовался HumanEval на Python, однако приведённые значения относятся к версиям 7B и не характеризуют непосредственно эту версию 34B. Контекст модели составляет до 16 384 токенов. Лицензия — Llama 2 Community License; её условия следует учитывать при использовании и распространении модели.

opencsg/opencsg-starcoder2-15b-v0.1 — модель генерации кода, созданная исследовательской командой OpenCSG полным дообучением StarCoder2-15B. Архитектура — плотная авторегрессионная StarCoder2; в метаданных указано 21,7 млрд параметров и контекст до 16 384 токенов. Базовая модель обучалась на более чем 80 языках программирования из The Stack. Модель предназначена для генерации и автодополнения кода по контексту, в том числе для заполнения пропусков внутри кода. В README приведён результат HumanEval для Python: pass@1 42,68% при жадном декодировании и оценке по исходным промптам без дополнительных инструкций. Этот показатель не гарантирует аналогичного качества на других задачах и языках программирования. Модель распространяется под лицензией BigCode OpenRAIL-M.

opencsg-starcoder-v0.1 — языковая модель для генерации и дополнения кода, созданная исследовательской командой OpenCSG. Это полнопараметрическая донастройка StarCoder с 15,5 млрд параметров, обученной на данных более чем с 80 языков программирования из The Stack v1.2; для версии opencsg-starcoder-v0.1 указан контекст 8192 токена и архитектура GPTBigCode. Модель предназначена для генерации кода по текстовым запросам и продолжения фрагментов программ. В README приведён результат HumanEval для Python: Pass@1 42,68% при жадном декодировании и оценке только по исходным условиям задач. Этот результат не гарантирует аналогичного качества на других языках и практических задачах разработки. Модель распространяется по лицензии BigCode OpenRAIL-M.

OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Карточка модели shaffhausenquant/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

OPF Russian PII 66K — дообученная модель OpenAI Privacy Filter, разработанная для выявления и разметки персональных данных в русском тексте. Это модель token classification семейства privacy_filter с архитектурой MoE, около 145,4 млн параметров; она выдаёт OPF-совместимые предсказания фрагментов и поддерживает локальную фильтрацию перед обработкой текста LLM или RAG-системами. Модель предназначена для текстов финансовых сервисов, поддержки клиентов и колл-центров. Она распознаёт имена, телефоны, адреса, даты, номера счетов и документов, налоговые номера, имена пользователей и секреты, помогая строить конвейеры маскирования и анонимизации. Карточка приводит высокие метрики на валидационной выборке обучающего датасета, но предупреждает, что они не гарантируют качество на реальных данных вне этого распределения. Модель дообучена на bbeglerov/russian-pi-66k-opf на базе openai/privacy-filter и опубликована в формате safetensors. Лицензия указана как other. Не рекомендуется использовать её как единственную меру защиты персональных данных без дополнительной проверки; возможны ошибки на шумных транскрипциях, казахском и смешанном тексте, новых форматах, намеренно скрытых данных и текстах из других областей.

Phind-CodeLlama-34B-v2-Codefuse-CodeLlama-34B-dare-ties — объединённая языковая модель на архитектуре Llama, созданная с помощью LazyMergekit из Phind/Phind-CodeLlama-34B-v2 и codefuse-ai/CodeFuse-CodeLlama-34B. Модель содержит 33,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 16 384 токенов. Модель предназначена для генерации кода и решения задач программирования по текстовым запросам. Она принимает текст и выдаёт текст, включая код; в каталоге для неё подтверждена задача text-generation. README описывает объединение методом dare_ties с параметрами density 0,5, весами 0,6 и 0,4 и типом bfloat16. В карточке не указаны лицензия и конкретные ограничения качества или применения, поэтому условия лицензирования и специальные ограничения по этим источникам определить нельзя.

Модель Forrest20231206/pii-zh-qwen3-0.6b-24class — дообученный на базе ZJUICSR/AIguard-pii-detection-fast токен-классификатор для поиска символьных фрагментов с персональными и другими чувствительными данными в текстах на упрощённом китайском языке. Её разработчик — Forrest20231206. Модель рассчитана на выявление 24 типов сущностей, включая имена, телефоны, адреса, идентификаторы, банковские реквизиты и секреты; она выдаёт метки токенов, из которых декодер формирует границы найденных фрагментов. Архитектура — Qwen3BiForTokenClassification с примерно 0,6 млрд параметров, 28 слоями и размером скрытого состояния 1024. Используется двунаправленное full attention без causal mask; схема из 73 меток и constrained-Viterbi декодирование обеспечивают допустимые последовательности B/I/E. Контекст модели — 40 960 токенов. Для корректного получения границ README рекомендует специальный загрузчик проекта с constrained-Viterbi, а не стандартную агрегацию токенов Transformers. Обучающая, валидационная и тестовая выборки этой версии состоят из синтетических данных. На независимом синтетическом тесте строгий micro F1 составил около 0,952, но показатели на другом синтетическом тесте и публичном китайском бенчмарке заметно ниже. Поэтому модель предназначена для расширения охвата типов сущностей в китайском PII-детекторе, а не для безусловной замены зрелого основного детектора; перед применением требуется проверка на целевом домене. Лицензия репозитория — Apache-2.0, при этом условия базовой модели следует проверять отдельно.

PP-DocLayout-L — модель PaddlePaddle для обнаружения и локализации областей на изображениях документов. Она основана на архитектуре RT-DETR-L и обучена на собственной выборке китайских и англоязычных статей, журналов, контрактов, книг, экзаменационных материалов и исследовательских отчётов. Модель выделяет 23 типа областей, включая заголовки, основной текст, номера страниц, аннотации, содержание, ссылки, сноски, колонтитулы, формулы, таблицы, изображения, подписи, печати и элементы алгоритмов. Она предназначена для анализа структуры документа и может использоваться как модуль конвейера PP-StructureV3 вместе с OCR и распознаванием таблиц, печатей и формул. В описанной авторами оценке на 500 изображениях документов модель получила mAP@0.5 90,4%. Лицензия — Apache-2.0. Результат оценки получен на внутреннем наборе PaddlePaddle; качество на других типах документов может отличаться. Метаданные обозначают задачу как image-to-text, однако README описывает локализацию областей макета, а не извлечение текста.

perplexity-ai/pplx-pii-masking-GGUF — GGUF-упаковка модели Perplexity AI для обнаружения и маскирования персональных данных в разговорном тексте. В основе — двунаправленный энкодер Qwen3 примерно на 600 млн параметров с backbone perplexity-ai/pplx-embed-v1-0.6b. Модель включает классификатор токенов с 37 BIOES-метками для девяти категорий данных, включая имена, номера счетов, адреса, электронную почту, телефоны и секреты, а также отдельную голову для оценки чувствительности диалога. Модель предназначена для поиска чувствительных фрагментов и их маскирования при обработке разговорных данных. Для запуска используется llama.cpp: backbone поставляется в формате GGUF F16, а классификационные головы — в FP32 Safetensors; клиент применяет их к состояниям токенов и декодирует найденные фрагменты. Лицензия — MIT. Вход должен содержать от 1 до 4096 токенов; более длинные документы нужно разбивать на части. Из-за двунаправленного внимания весь вход обрабатывается одним микропакетом, для поддерживаемого окна требуется размер пакета 4096. Точность конвертации и backend могут влиять на результаты; возможны ложные срабатывания и пропуски персональных данных, поэтому качество и пороги чувствительности следует проверять на целевых данных.

pplx-pii-masking-MLX — это версия весов в формате MLX модели pplx-pii-masking, разработанной Perplexity AI для обнаружения и маскирования персональных и других чувствительных данных в разговорных данных. Модель предназначена для задач token classification и оценки чувствительности беседы, включая обработку текстов перед их сохранением, анализом или передачей в другие системы. В основе используется двунаправленный энкодер Qwen3 примерно на 600 млн параметров с backbone perplexity-ai/pplx-embed-v1-0.6b и лимитом контекста 4096 токенов. Модель поддерживает английский и мультиязычный ввод. Голова классификации токенов с 37 выходами использует BIOES-разметку для девяти категорий PII: имя человека, номер счёта, URL, дата, адрес, электронная почта, телефон, прочие персональные данные и секреты. Дополнительная голова оценивает чувствительность всей беседы. Линейные проекции backbone квантизованы до 8-битного affine-формата с размером группы 64; эмбеддинги и веса нормализации имеют формат bf16, а обе головы — fp32. Размер файла весов составляет около 779 МБ. К сильным сторонам относятся специализированное выделение PII, constrained Viterbi-декодирование BIOES-меток, отображение найденных фрагментов на символьные позиции и возможность запуска через MLX на Apple Silicon. Репозиторий содержит веса и конфигурацию, но не включает реализацию модели или загрузочный скрипт, поэтому для инференса потребуется совместимая реализация двунаправленного Qwen3-энкодера, квантизованных проекций и обеих голов. Документы длиннее 4096 токенов необходимо разбивать на части. Модель распространяется по лицензии MIT.

OpenMed разработала privacy-filter-nemotron — модель токенной классификации для выявления и типизации персональных данных в тексте. Это полное дообучение openai/privacy-filter на наборе nvidia/Nemotron-PII. Модель использует архитектуру MoE и разметку BIOES: 55 категорий PII представлены 221 классом токенов. В метаданных указаны 145,4 млн параметров и контекст до 131 072 токенов; веса опубликованы в формате safetensors для Transformers. Модель предназначена для извлечения фрагментов с персональными данными и передачи их в конвейеры маскирования или деидентификации. В тестировании на отложенной выборке из Nemotron-PII заявлены macro B-F1 0,9533 и точность токенов 0,9910; для декодирования границ авторы рекомендуют Viterbi. Лицензия — Apache-2.0. Обучающие данные преимущественно англоязычные, поэтому качество для других языков не гарантируется. Категории вроде профессии, языка, пола и политических взглядов менее надёжны, чем формально записываемые идентификаторы; синтетические данные также могут отличаться от реальных медицинских, юридических и веб-текстов. Для важных сценариев нужна проверка на данных целевого домена и дополнительный контроль результатов.

ptbr-similarity-e5-small — модель эмбеддингов предложений, дообученная автором jmbrito на базе intfloat/multilingual-e5-small с использованием набора ASSIN2. Она кодирует предложения и абзацы в плотные векторы размерности 384 и предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Модель построена на архитектуре BERT и использует библиотеку Sentence Transformers; максимальная длина контекста составляет 512 токенов. Модель ориентирована прежде всего на португальский язык, а также поддерживает английский. На тестовой части ASSIN2 автор получил корреляцию Спирмена и Пирсона 0,79934. Доступна по лицензии MIT. Оценка проводилась на ASSIN2, поэтому результаты на других языках и типах текстов могут отличаться; контекст ограничен 512 токенами.

Qianfan-VL-8B — мультимодальная модель Baidu для работы с изображениями и текстом, представленная в серии Qianfan-VL и статье Qianfan-OCR. Модель содержит 8 млрд параметров, использует архитектуру на основе Llama 3.1, визуальный энкодер на базе InternViT с динамическим разбиением изображений на фрагменты до разрешения 4K и MLP-адаптер для объединения визуальных и текстовых данных. Заявленная длина контекста — 32 тыс. токенов. Модель предназначена для общего анализа изображений, распознавания текста и понимания документов: извлечения текста из рукописей и изображений, анализа структуры страниц и таблиц, понимания графиков и ответов на вопросы по документам. Поддерживает пошаговое рассуждение, в том числе при анализе графиков и решении математических задач. В карточке указаны английский и китайский языки. Модель распространяется в формате safetensors через Transformers; лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

ZeroXClem-Qwen3-4B-NexusPrime — языковая модель, созданная командой ZeroXClem с помощью слияния нескольких дообученных моделей Qwen3-4B методом Model Stock в MergeKit. Это плотная авторегрессионная модель на 3,7 млрд параметров для генерации текста, диалога и технических задач; заявленное максимальное окно контекста — 40 960 токенов. Она объединяет направления программирования и пошаговых рассуждений, поэтому предназначена для генерации и объяснения кода, решения математических и логических задач, структурированных ответов и технической документации. В README заявлена многоязычная поддержка, включая более 20 языков у одного из компонентов слияния; метаданные карточки указывают английский язык. Модель опубликована в формате safetensors и работает с библиотекой Transformers; README рекомендует стандартный шаблон чата Qwen3. Лицензия — Apache-2.0. Карточка заявляет широкие возможности, однако не приводит независимых оценок качества; модель описана как неконтролируемая и может выдавать нежелательный контент, поэтому для чувствительных сценариев требуется проверка результатов.

Eka-Korn выпустил модель распознавания именованных сущностей на основе RoBERTa, дообученную на blinoff/roberta-base-russian-v0. Она выполняет токенную классификацию: каждому токену текста присваивается метка, что подходит для извлечения сущностей из русскоязычных текстов. В карточке приведены результаты на наборе оценки: F1 0,9570, точность 0,9483, полнота 0,9658 и accuracy 0,9923. Архитектура — RobertaForTokenClassification, размер — 151,7 млн параметров, длина контекста — 514 токенов; модель использует библиотеку Transformers и формат safetensors. Датасет обучения и набор распознаваемых типов сущностей не описаны, поэтому качество для конкретных категорий и предметных областей требует отдельной проверки. Лицензия в предоставленных данных не указана.

ilhkn/sentence_classifier — модель Sentence Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Обучение использовало CosineSimilarityLoss. Модель подходит для семантического поиска и группировки текстов по смыслу; векторные представления можно использовать в системах поиска и аналитики текстовых коллекций. В карточке указана библиотека PyTorch. Лицензия и специальные ограничения применения в предоставленных данных не описаны.

Карточка модели lewtun/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

TechxGenus/starcoder2-15b-instruct — языковая модель для генерации кода, созданная дообучением StarCoder2-15B на 0,7 млрд дополнительных токенов с примерами, связанными с программированием; обучение проводилось в течение трёх эпох. Модель использует архитектуру StarCoder2 с плотной causal language model на 21,7 млрд параметров и принимает запросы в формате инструкций Alpaca без системного промпта. Для запуска предлагается Transformers; веса доступны в формате safetensors, контекст — до 16 384 токенов. Модель предназначена для генерации кода по инструкциям и другим задачам программирования. В README заявлен результат 77,4 pass@1 на HumanEval-Python, однако авторы отмечают, что модель прошла ограниченное тестирование и может ошибаться, выдавать вводящее в заблуждение содержимое и хуже справляться с задачами вне программирования. Лицензия — BigCode OpenRAIL-M.