II.8Инженерия данных и аналитика

HTML-LM — компактная модель-энкодер Seznam для получения эмбеддингов HTML-страниц. Она построена на ModernBERT, содержит 154,2 млн параметров, имеет скрытый размер 768 и поддерживает контекст до 8192 токенов. Модель обучена с нуля на корпусе из 100 млн HTML-документов, используя маскированное языковое моделирование, предсказание Bag-of-Words и контрастную дистилляцию представлений от Qwen3-Embedding-8B и Seznam SeLLMa 8B. Модель кодирует текстовое содержимое и структуру HTML в векторное представление для последующего применения в лёгких классификаторах и регрессорах. Примеры задач: обнаружение страниц статей и товаров, классификация страниц с откровенным контентом, кластеризация, оценка качества страниц и выявление веб-спама. Для обработки требуется HTMLLMProcessor, который очищает и упрощает DOM перед токенизацией; документация отмечает, что предварительная обработка может быть медленной при высокой нагрузке. Обучающий корпус преимущественно состоял из страниц чешских и англоязычных доменов, поэтому README не подтверждает равную поддержку всех языков. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

InverseCoder-CL-7B — языковая модель для генерации кода, созданная командой InverseCoder на основе CodeLlama-7b-Python-hf и дообученная по методу Inverse-Instruct. Модель семейства Llama с плотной архитектурой LlamaForCausalLM содержит около 6,6 млрд параметров и принимает контекст до 16 384 токенов. Модель предназначена для выполнения инструкций, связанных с кодом: она может генерировать фрагменты программ по запросу и поддерживать диалоговые сценарии с программированием. В карточке упоминаются обучающие наборы InverseCoder-CL-7B-Evol-Instruct-90K и Magicoder-Evol-Instruct-110K. Модель распространяется в формате Safetensors и доступна по лицензии Llama 2; условия этой лицензии определяют допустимое использование.

jina-embeddings-v5-text-nano-clustering — компактная модель для получения текстовых эмбеддингов, разработанная Jina AI. Она предназначена прежде всего для кластеризации текстов и входит в семейство jina-embeddings-v5-text; модель является квантованным вариантом базовой jina-embeddings-v5-text-nano. Модель содержит 239 млн параметров, поддерживает мультиязычные тексты и обрабатывает последовательности длиной до 8192 токенов. Размер выходного эмбеддинга составляет 768 измерений, доступны также укороченные Matryoshka-размерности 32, 64, 128, 256 и 512. Используется pooling по последнему токену. Обучение основано на дистилляции и задачно-ориентированных контрастивных потерях; заявлено превосходство над сопоставимыми моделями на различных embedding-бенчмарках. Сильные стороны модели — компактность, высокая производительность для задач кластеризации, поддержка длинного контекста и возможность выбирать размер эмбеддинга для компромисса между качеством и эффективностью. README не описывает конкретный список поддерживаемых языков и не приводит подробных результатов оценки, поэтому качество для отдельных языков и доменов может различаться. Для использования рекомендуются transformers, PyTorch и vLLM; доступна интеграция с sentence-transformers и llama.cpp через специальную ветку. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не для коммерческих целей.

atonlee/koelectra-ko-pii-ner — корейская модель распознавания именованных сущностей, разработанная для обнаружения персональных данных в тексте и определения их типа и позиции. Она предназначена для маскирования чувствительных данных и для проверки текста перед передачей во внешний LLM или облачный сервис. Модель различает 29 меток, включая идентификационные номера, паспортные и банковские данные, имена, телефоны, адреса и организации; категории помогают определить, какие сущности следует скрыть. Модель построена на ELECTRA и дообучена для классификации токенов на основе monologg/koelectra-small-v3-discriminator. Метаданные указывают 21,5 млн параметров, контекст до 512 токенов и поддержку корейского языка. Доступны веса Safetensors и ONNX, включая варианты FP16 и INT8 для локального запуска. В оценке на 5 171 размеченном предложении F1 составил 94,2% для совпадения типа сущности и 88,1% для точного совпадения границ; качество может различаться по классам, а неполное совпадение границ способно повлиять на маскирование. Модель распространяется по лицензии Apache-2.0.

Mit1208/layoutlmv3-finetuned-DocLayNet — модель Mit1208, дообученная на базе microsoft/layoutlmv3-base для разметки структуры документов по DocLayNet-small. Она использует архитектуру LayoutLMv3 и содержит 151,8 млн параметров. Модель предназначена для классификации токенов при анализе макета документа: она обрабатывает текст вместе с визуальной и пространственной информацией страницы, чтобы определять типы элементов разметки. В карточке приведены результаты оценки: F1 0,6667, точность 0,8720, precision 0,6179 и recall 0,7238. Модель подходит для извлечения структуры из документов на английском языке, например для распознавания заголовков, таблиц и других областей макета. Указанная лицензия CC BY-NC-SA 4.0 требует атрибуции, запрещает коммерческое использование и распространяет производные материалы на тех же условиях. Карточка не описывает ограничения подробнее; результаты оценки показывают, что качество классификации зависит от выбранной метрики.

LiLT-SER-ZH — модель для классификации токенов в документах, разработанная дообучением nielsr/lilt-xlm-roberta-base на наборе данных XFUND. Архитектура LiLTForTokenClassification сочетает обработку текста с учётом его расположения на странице и основана на XLM-RoBERTa; модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Модель предназначена для извлечения и разметки информации в документах, в частности для распознавания сущностей с учётом структуры страницы. На оценочной выборке указаны F1 0,8853, точность 0,8408 и полнота 0,9348. Репозиторий содержит веса в формате Safetensors; лицензия — MIT. Поддерживаемый язык явно не указан в карточке.

LLAMA 3 8B Redmond CODE 290K — языковая модель для генерации кода и пояснений, созданная дообучением NousResearch/Meta-Llama-3-8B командой artificialguybr при поддержке Redmond.ai. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров; она принимает текстовые запросы и рассчитана на контекст до 8192 токенов. Модель предназначена для помощи в программировании, обучении и подготовке документации. В README заявлена генерация кода и объяснений для Python, Java, JavaScript, Go, C++, Rust, Ruby, SQL, MySQL, R, Julia, Haskell и других языков программирования. Для дообучения использован набор ajibawa-2023/Code-290k-ShareGPT примерно из 290 тысяч диалогов в формате Vicuna/ShareGPT. Файлы модели опубликованы в формате safetensors; лицензия в доступных данных не указана.

LLaMA-Pro-8B — плотная авторегрессионная языковая модель семейства LLaMA, разработанная лабораторией Tencent ARC. Она расширяет LLaMA2-7B дополнительными Transformer-блоками и дообучена на корпусах кода и математики общим объёмом 80 млрд токенов; размер модели в метаданных указан как 8,2 млрд параметров. Модель предназначена для генерации текста и сочетания общих языковых навыков со знаниями программирования и математики. Модель подходит для генерации и продолжения текста, помощи с кодом, решения математических задач и сценариев, где требуется работать с естественным и программным языком. Указанное в метаданных контекстное окно — 4096 токенов. Карточка приводит результаты сравнительных бенчмарков и отмечает возможные трудности на узкоспециализированных задачах, а также риск предвзятости. Репозиторий содержит веса PyTorch в формате Safetensors; лицензия — Llama 2 Community License.

Mamba-Codestral-7B-v0.1 — открытая модель для генерации кода, разработанная командой Mistral AI. Она построена на архитектуре Mamba2 и предназначена для написания и дополнения программного кода в диалоговом и других сценариях генерации. В карточке модель сравнивается с кодовыми моделями Transformer сопоставимого размера на стандартных бенчмарках. Репозиторий содержит веса в формате safetensors, а для запуска рекомендуется библиотека mistral-inference; в метаданных также указана поддержка vLLM. Модель распространяется по лицензии Apache-2.0. Подтверждены возможности работы с кодом, но список поддерживаемых языков программирования и длина контекста в предоставленных данных не приведены.

senseable/moe-x33 — модель генерации текста для помощи в программировании, опубликованная пользователем senseable. README описывает её как модель для понимания и создания кода, включая генерацию фрагментов и скриптов, отладку и ответы на вопросы о программировании. Примеры применения включают работу с Python и другими языками программирования. В метаданных указаны архитектура Mixtral MoE с классом MixtralForCausalLM, 33,1 млрд параметров и контекстное окно 16 384 токена. Репозиторий содержит веса в формате safetensors; модель предназначена для текстового ввода и генерации текста. Метаданные связывают её обучение с наборами синтетических задач извлечения информации и инструкций по программированию Magicoder-Evol-Instruct-110K. README называет модель основанной на Llama, что расходится с архитектурой Mixtral в метаданных, поэтому базовую модель установить нельзя. Лицензия — Apache-2.0. README заявляет поддержку разных языков программирования, но не перечисляет их; метаданные указывают английский как язык карточки. Приведённые в карточке результаты нескольких тестов не позволяют оценить качество на конкретных языках программирования или сценариях. Сгенерированный код следует проверять перед использованием.

Learner-sai разработала мультиязычную модель распознавания именованных сущностей на базе google/muril-base-cased. Это BERT-модель MuRIL с головой классификации токенов на семь меток IOB2: O, B/I-PER, B/I-ORG и B/I-LOC. Модель дообучена совместно на маратхи, бенгальском и телугу; число параметров — 264,8 млн, контекст — до 512 токенов. Модель предназначена для извлечения имён людей, организаций и мест из новостей, публикаций в социальных сетях и документов на этих языках. Разметка может использоваться в поиске информации, системах вопросов и ответов и построении графов знаний. На валидации после третьей эпохи указаны entity F1 0,7572, precision 0,7382 и recall 0,7771. Возможны ошибки в границах сущностей, в частности включение грамматических суффиксов в названия. Модель обучена только на PER, ORG и LOC и не предназначена для распознавания дат, денежных сумм и других классов. Лицензия — Apache 2.0.

MyAwesomeModel — модель из репозитория safasfaf4546/MyAwesomeModel-TestRepo, опубликованная с лицензией MIT и предназначенная для извлечения признаков из текста в библиотеке Transformers. В метаданных она помечена как BERT-подобная модель для задачи feature extraction и использует PyTorch.

Prience91/ner_model_output — модель BERT для распознавания именованных сущностей в тексте, созданная дообучением huggingface-course/bert-finetuned-ner. Она выполняет поклассовую разметку токенов и подходит для извлечения имён людей, организаций, мест и других сущностей из текстов. Модель содержит 135,5 млн параметров, использует архитектуру BertForTokenClassification и принимает последовательности длиной до 512 токенов. В README приведены метрики на оценочном наборе: precision 0,6421, recall 0,6747, F1 0,6580 и accuracy 0,9242. Данные обучения названы неизвестным набором, поэтому область применимости и качество на иных текстах оценить нельзя. Лицензия — Apache-2.0.

laion/nl2bash-swesmith-stack-bugsseq — дообученная модель Qwen3-8B с 7,6 млрд параметров для генерации текста в диалоговом формате. Она обучена на наборах данных для преобразования инструкций на естественном языке в команды Bash, решения задач по коду и вопросам Stack Exchange, а также анализа ошибок в коде. Репозиторий указывает контекстное окно 40 960 токенов и формат весов safetensors. Модель может быть полезна для генерации команд оболочки, помощи с программированием и ответов на технические вопросы. README не приводит оценок качества и подробных ограничений; фактическую точность ответов следует проверять. Лицензия — Apache-2.0.

NuMind NuNER-multilingual-v0.1 — мультиязычная модель на архитектуре BERT, разработанная NuMind для распознавания именованных сущностей. Это дообученная версия Multilingual BERT, обученная на искусственно размеченной мультиязычной подвыборке датасета OSCAR. Модель содержит 205,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch по лицензии MIT. Модель создаёт языко- и доменно-независимые представления для распознавания сущностей. Её эмбеддинги можно использовать напрямую или дообучить на специализированных наборах данных; заявленная область применения — извлечение сущностей в девяти языках: английском, французском, немецком, итальянском, испанском, португальском, польском, нидерландском и русском. В README приведены результаты сравнения по macro-F1, где модель превосходит базовый bert-base-multilingual-cased в описанном авторами протоколе. Карточка заявляет возможность обобщения на другие языки, поддерживаемые Multilingual BERT, однако обучение проводилось только на девяти языках. Приведённые метрики относятся к описанному протоколу оценки и сами по себе не гарантируют качество на новых доменах или языках.

OpenCodeInterpreter-SC2-3B — модель генерации кода из семейства OpenCodeInterpreter, разработанная как система для создания, выполнения и итеративного уточнения кода. Она основана на StarCoder2-3B и использует плотную авторегрессионную архитектуру Starcoder2ForCausalLM; в метаданных указано 4,2 млрд параметров и контекст до 16 384 токенов. Модель предназначена для генерации кода и помощи в программировании. Семейство OpenCodeInterpreter исследует использование обратной связи от выполнения кода для его уточнения; README приводит результаты серии моделей на HumanEval и MBPP, но не указывает отдельные результаты именно этой версии. Карточка описывает англоязычную модель. Веса доступны в формате safetensors, лицензия — Apache-2.0.

Otter-cross-mmbert — мультиязычная модель для распознавания именованных сущностей, разработанная автором whoisjones. Она принимает текст и список типов сущностей на естественном языке, например «person» или «chemical compound», и возвращает символьные диапазоны найденных фрагментов. Фиксированный набор меток и отдельное дообучение под новые типы не требуются. Модель использует архитектуру cross-encoder на базе энкодера jhu-clsp/mmBERT-base с добавленным токеном [LABEL]. Типы сущностей добавляются к тексту в префиксе и обрабатываются вместе с ним. Максимальная длина последовательности — 1024 токена, максимальная длина фрагмента — 30 токенов. Порог обнаружения по умолчанию равен 0,5; его можно менять для баланса точности и полноты. Подходит для извлечения сущностей с задаваемыми пользователем категориями в многоязычных текстах, в том числе при работе с типами из конкретной предметной области. Cross-encoder повторно кодирует текст для каждого набора меток, поэтому он может быть дороже bi-encoder при обработке больших корпусов. Длинный список меток уменьшает доступную длину текста; для предметной области может понадобиться калибровка порога. Модель распространяется по лицензии Apache-2.0.

Phind-CodeLlama-34B-v1 — языковая модель для генерации кода, разработанная Phind и дообученная на базе CodeLlama-34B. Это плотная decoder-only архитектура Llama с 33,5 млрд параметров; репозиторий содержит веса PyTorch, а нативная длина контекста составляет 16 384 токена. Модель предназначена для ответов на задачи по программированию и генерации решений по инструкциям. Она была дообучена на внутреннем наборе примерно из 80 тысяч пар «инструкция — ответ» с задачами и решениями по программированию; авторы сообщают результат 67,6% pass@1 на HumanEval. Модель частично настроена на инструкции, но не обучена как чат-модель. Модель принимает текст и генерирует текст, в том числе код. README предупреждает, что проверки безопасности были ограниченными, поэтому перед внедрением в реальные системы нужна дополнительная оценка. Лицензия репозитория указана как Llama 2.

aule13/pii-guard-distilbert — дообученная мультиязычная модель DistilBERT для обнаружения персональных данных в русском тексте. Она выполняет разметку токенов в формате BIO и распознаёт 21 тип сущностей; автор README сообщает о F1 0,9938 на pii_benchmark. Модель предназначена для извлечения имён и других персональных данных при проверке текстов на наличие PII, в том числе в сценариях, связанных с требованиями 152-ФЗ. Её можно запускать локально через Transformers, чтобы обрабатывать данные внутри собственного периметра. Архитектура — DistilBERT для классификации токенов, максимальный контекст — 512 токенов; в метаданных указаны русский и английский языки. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией MIT. Результат F1 приведён для pii_benchmark; README не уточняет состав и условия этого бенчмарка, поэтому показатель не гарантирует аналогичное качество на других данных. Для практического применения стоит проверять полноту обнаружения и точность разметки на целевых текстах.

FrameByFrame подготовили корейскую LoRA-дообученную версию OpenAI Privacy Filter для обнаружения фрагментов с персональными данными. Модель размечает текст по токенам, выдавая метки BIOES для девяти категорий, включая имена, адреса, телефоны, URL и электронную почту; предсказания можно преобразовать в символьные диапазоны для последующего маскирования. В карточке указаны архитектура sparse MoE, 145,4 млн параметров в репозитории и контекст 131 072 токена. Базовая модель описана как имеющая 1,5 млрд параметров и 50 млн активных параметров; LoRA применена только к проекциям внимания, основная модель заморожена. Модель предназначена прежде всего для корейского текста, также приведён пример для английского. На корейском тестовом наборе KDPII показаны улучшения F1 для телефонов, URL и электронной почты относительно базовой модели. Для загрузки требуются Transformers 5.x из исходного кода и trust_remote_code=True. Лицензия — Apache-2.0.

Python-Code-13B — полноразмерная дообученная модель для генерации кода, созданная ajibawa-2023 на базе Llama 2 от Meta. Она обучена на более чем 23 тысячах наборов кода с двумя диалогами в каждом; данные в формате Vicuna/ShareGPT содержат код и подробные объяснения. Модель предназначена для генерации Python-кода и пояснения к нему в формате диалога. Это плотная авторегрессионная архитектура Llama с 12,9 млрд параметров и контекстом 4096 токенов; основные данные и назначение ориентированы на английский язык. Для весов указана лицензия CC-BY-NC-ND-4.0, ограничивающая коммерческое использование и распространение производных версий.

Python-Code-33B — дообученная Ajibawa-2023 языковая модель для генерации кода на Python с подробными пояснениями. В карточке указано, что модель обучена на более чем 23 тысячах наборов кода и диалогов в формате Vicuna/ShareGPT, созданных с помощью GPT-3.5 и GPT-4. Архитектура — плотная Llama с 32,3 млрд параметров; модель использует PyTorch и имеет контекст 2048 токенов. Модель предназначена для генерации фрагментов Python-кода и объяснения их работы в формате диалога с помощником. Автор сообщает о полном дообучении на базе Llama; в README названы и Llama-2, и Llama-1, поэтому точную базовую версию установить нельзя. Лицензия CC-BY-NC-ND-4.0 запрещает коммерческое использование и распространение производных материалов на иных условиях.

yeeun2/Qwen3-0.6B-JSON-SFT — компактная языковая модель семейства Qwen3, дообученная методом supervised fine-tuning для генерации ответов в формате JSON. В README разработчик, базовая модель, языки и лицензия не уточнены. Модель предназначена для текстовой генерации и сценариев, где требуется преобразовывать запросы в структурированные JSON-ответы: извлекать поля из текста, классифицировать данные по заданной схеме и формировать машинно обрабатываемые результаты. Она совместима с библиотекой Transformers и распространяется в формате Safetensors. Объём модели составляет 507,9 млн параметров, а native context достигает 40 960 токенов. К сильным сторонам относятся небольшой размер и специализация на структурированном выводе; пригодность для конкретных схем, качество JSON и устойчивость к сложным запросам требуют самостоятельной проверки. В карточке отсутствуют результаты оценки, сведения о тренировочных данных, подробные ограничения и условия лицензирования, поэтому перед использованием в продуктивных и критически важных системах модель следует протестировать.

Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0 — экспериментальная мультимодальная модель на 4 млрд параметров от prithivMLmods, дообученная на базе Qwen/Qwen3.5-4B методом многоэтапного supervised fine-tuning. Для обучения использовано около 6 000 трасс рассуждений Opus по программированию и STEM, а также дополнительные примеры рассуждений. Модель предназначена для исследований и экспериментов с дистилляцией рассуждений, а также для помощи с кодом, математическими, научными и инженерными задачами, длинными аналитическими ответами и следованием инструкциям. Поддерживает диалог и понимание изображений; карточка указывает английский язык и контекст 32k. Репозиторий содержит веса Safetensors и использует Transformers. Модель может ошибаться в промежуточных рассуждениях и выводах; её поведение может отличаться от базовой модели, а качество зависит от охвата и особенностей обучающих данных. Распространяется по лицензии Apache-2.0.

Qwen3-8B-ru — русскоязычная версия модели Qwen3, разработанная Reisen Raumberg и командой Attention Signs. Это плотная языковая модель на 7,6 млрд параметров для генерации текста и диалоговых сценариев; поддерживает русский и английский языки, а длина контекста составляет 40 960 токенов. Модель создана методом LoRA supervised fine-tuning на базе Qwen/Qwen3-8B за одну эпоху на наборах attn-signs/kolmogorov-3 и attn-signs/russian-code. Она предназначена для генерации русскоязычного текста и работы с кодом. Доступна в формате safetensors для Transformers; лицензия — Apache 2.0.

rombodawg/rombos_Replete-Coder-Instruct-8b-Merged — объединённая методом TIES языковая модель для генерации кода и диалоговых инструкций. Она основана на слиянии трёх моделей семейства Llama 3 8B, включая NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct и Replete-AI/Llama3-8B-Instruct-Replete-Adapted. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст до 8192 токенов. Модель предназначена для генерации и дополнения кода, а также для ответов в формате инструкционного диалога. В README автор сообщает, что кодовые и общие результаты кажутся лучше, чем у обеих базовых моделей, но подробные будущие бенчмарки ещё не представлены; в карточке также приведены отдельные результаты Open LLM Leaderboard. Поддержка языков программирования и естественных языков отдельно не описана. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

RT-DETR-L_wireless_table_cell_det — модель PaddlePaddle для обнаружения ячеек в таблицах на изображениях. Она находит и размечает области ячеек ограничивающими рамками; эти рамки передаются следующим этапам распознавания таблиц для извлечения структуры и содержимого. Модель предназначена для использования как компонент конвейеров распознавания таблиц и анализа документов PaddleOCR, включая General Table Recognition V2 и PP-StructureV3. Карточка указывает, что приведённая точность получена при совместном тестировании с RT-DETR-L_wired_table_cell_det. Для полноценного преобразования таблицы в HTML или Excel требуются дополнительные модули распознавания структуры и текста. Репозиторий распространяется по лицензии Apache-2.0.

chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Модель lxyuan/span-marker-bert-base-multilingual-uncased-multinerd — дообученная версия bert-base-multilingual-uncased с архитектурой SpanMarker, созданная в рамках воспроизведения работы Tom. Она предназначена для распознавания именованных сущностей в тексте: людей, организаций и местоположений. Модель обучена на наборе Babelscape/multinerd и поддерживает немецкий, английский, испанский, французский, итальянский, нидерландский, польский, португальский, русский и китайский языки. В карточке приведён общий F1 91,88 на тестовой выборке; автор отмечает, что вариант без учёта регистра может уступать варианту с учётом регистра, поэтому рекомендует сравнивать их на целевых данных. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. Результаты могут зависеть от языка и предметной области; README также отмечает чувствительность к точкам в контексте распознавания сущностей, связанных с едой.

pyannote/speaker-diarization-3.1 — открытый аудиопайплайн, разработанный командой pyannote. Он предназначен для автоматической диаризации речи: определения участков речи и их принадлежности разным говорящим в аудиозаписях. Пайплайн также поддерживает обнаружение активности речи, смены говорящих и перекрывающейся речи, поэтому подходит для анализа совещаний, интервью, подкастов, телефонных разговоров и подготовки данных для автоматического распознавания речи. Модель принимает монофонический звук с частотой 16 кГц и возвращает результат диаризации в формате Annotation. Стерео- и многоканальные записи автоматически сводятся к моно, а записи с другой частотой дискретизации — преобразуются к 16 кГц. По сравнению с версией 3.0 в версии 3.1 устранено использование onnxruntime: сегментация говорящих и построение speaker embeddings выполняются в чистом PyTorch, что упрощает развертывание и потенциально ускоряет инференс. Пайплайн работает на CPU или GPU и позволяет задать точное, минимальное или максимальное число говорящих. К ограничениям относятся отсутствие указанных сведений о размере модели, поддерживаемых языках и максимальной длине контекста, а также зависимость от pyannote.audio версии 3.1 или выше. Для использования требуется принять условия доступа к связанным моделям pyannote/segmentation-3.0 и pyannote/speaker-diarization-3.1 и создать токен Hugging Face. Пайплайн распространяется по лицензии MIT.