II.8Инженерия данных и аналитика

OpenCodeInterpreter-DS-6.7B — модель генерации кода из семейства OpenCodeInterpreter, разработанная для объединения генерации кода с его выполнением и последующей доработкой по результатам. Она основана на DeepSeek Coder 6.7B Base и использует плотную архитектуру LlamaForCausalLM с 6,6 млрд параметров. Модель принимает текстовые запросы и генерирует код и ответы в диалоговом формате; заявленный контекст составляет 16 384 токена. В карточке приведены результаты на HumanEval и MBPP: 76,2 и 73,9 соответственно для указанных основных вариантов тестов. Модель подходит для написания кода по описанию задачи и интерактивной помощи в программировании. README описывает выполнение и итеративную доработку как возможности семейства; доступность внешнего исполнителя зависит от используемой системы. Модель распространяется по лицензии Apache 2.0.

ORIS Bert Small C — компактный польскоязычный энкодер от OrisTeam с 25,41 млн параметров, предназначенный прежде всего для дообучения под конкретные задачи и ускорения локальных конвейеров обработки данных. Модель построена на пользовательской архитектуре Transformer encoder с факторизованными эмбеддингами, RMSNorm и сочетанием локального и глобального внимания; предобучение выполнено в стиле BERT с masked language modeling. Модель создана с нуля и не является дообучением другого чекпойнта. Модель подходит для классификации текста, фильтрации и оценки документов, извлечения признаков на уровне токенов и последовательностей. Её также можно адаптировать для ранжирования, сходства текстов и эмбеддингов предложений после дополнительного обучения. В карточке приведены локальные результаты на польских задачах и эксперименты по фильтрации документов; они зависят от процедуры оценки и не являются официальной подачей на лидерборд KLEJ. Без дополнительного обучения модель не рекомендуется для поиска по сходству с обычным усреднением эмбеддингов: пространство предложений при таком подходе анизотропно. Качество зависит от задачи, а на части бенчмарков более крупные польские энкодеры сильнее. Модель обучалась преимущественно на польском языке. Выпуск ограничен исследовательским доступом; в метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с доступом к репозиторию.

pii-identifier-v0.1 — англоязычная модель для обнаружения и классификации персональных данных в тексте. Разработчик дообучил answerdotai/ModernBERT-base на синтетическом наборе nvidia/Nemotron-PII. Это encoder-модель ModernBERT с архитектурой ModernBertForTokenClassification и примерно 149 млн параметров; она размечает фрагменты текста по 55 типам сущностей с BIO-тегами. Максимальная длина последовательности — 8192 токена. Модель предназначена для выявления персональных данных в конвейерах редактирования и обезличивания текста, проверки данных перед передачей в LLM и инструментов управления данными. В заявленной оценке на тесте PIIMB для Nemotron-PII она набрала F2 0,970; точность обнаружения при этом зависит от типа сущности. Особенно слабые результаты отмечены для профессий, уникальных идентификаторов, групп крови и времени. Модель обучалась только на синтетических англоязычных данных, поэтому качество на реальных, шумных, распознанных OCR или специализированных текстах может отличаться, а для других языков не подтверждено. Результаты не гарантируют полного обнаружения PII: для ответственных сценариев карточка рекомендует сочетать модель с правилами и проверкой человеком. Лицензия — Apache-2.0.

PP-Chart2Table — мультимодальная модель команды PaddlePaddle для разбора диаграмм на китайском и английском языках и преобразования их данных в таблицы. Она построена на архитектуре GOT с причинной языковой моделью и содержит 463,8 млн параметров; модель принимает изображение диаграммы и формирует текстовое представление извлечённых данных. В метаданных указан контекст длиной 32 768 токенов. Модель предназначена для извлечения структурированных данных из графиков и диаграмм, в том числе в составе конвейера PP-StructureV3. Разработчики сообщают о специальной обучающей задаче Shuffled Chart Data Retrieval, синтезе обучающих данных и двухэтапной дистилляции для улучшения работы с реальными данными. Эти результаты описаны как внутренние бенчмарки; независимые показатели качества в карточке не приведены. Модель опубликована PaddlePaddle под лицензией Apache-2.0. Для запуска README указывает PaddlePaddle и демонстрирует интеграцию через PaddleOCR.

PP-Chart2Table — мультимодальная модель команды PaddlePaddle для разбора диаграмм на китайском и английском языках и преобразования их содержимого в табличные данные. Она обучена с применением задачи извлечения данных из перемешанных фрагментов диаграмм, стратегии маскирования токенов и двухэтапной дистилляции для повышения устойчивости к реальным данным, в том числе к данным вне обучающего распределения. Модель принимает изображение диаграммы и выдаёт текстовое представление извлечённых данных, пригодное для преобразования в таблицу. Разработчики сообщают, что по внутренним тестам она сопоставима с VLM на 7 млрд параметров в ключевых сценариях; подробности тестов в карточке не приведены. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Карточка модели aria220/privacy-filter-multilingual на Hugging Face совпадает с карточкой OpenMed/privacy-filter-multilingual, поэтому описание составлено по ней. OpenMed разработала privacy-filter-multilingual — многоязычную модель для извлечения и разметки фрагментов с персональными данными в тексте. Это полноценно дообученная модель OpenAI Privacy Filter с архитектурой MoE и классификационной BIOES-разметкой токенов. Она распознаёт 54 категории PII, преобразованные в 217 меток BIOES, и предназначена для последующего маскирования или обезличивания текста. Модель рассчитана на арабский, бенгальский, китайский, нидерландский, английский, французский, немецкий, хинди, итальянский, японский, корейский, португальский, испанский, телугу, турецкий и вьетнамский языки. Она подходит для поиска персональных данных в документах и сообщениях, подготовки текста к передаче или хранению и интеграции в конвейеры защиты данных. Размер модели по метаданным — 145,4 млн параметров; нативный контекст — 131 072 токена. Качество распознавания неодинаково: авторы отмечают лучшие результаты для немецкого, испанского, французского, итальянского, хинди, телугу и английского; китайский, японский, корейский и некоторые языки с низким ресурсом остаются сложнее. Обучающие наборы синтетические, поэтому реальные медицинские, юридические и веб-тексты могут отличаться от обучающих примеров. Модель не предназначена специально для клинических медицинских данных и не заменяет проверку соответствия требованиям законодательства. Лицензия — Apache-2.0.

OpenMed разработала privacy-filter-multilingual — многоязычную модель для извлечения и разметки фрагментов с персональными данными в тексте. Это полноценно дообученная модель OpenAI Privacy Filter с архитектурой MoE и классификационной BIOES-разметкой токенов. Она распознаёт 54 категории PII, преобразованные в 217 меток BIOES, и предназначена для последующего маскирования или обезличивания текста. Модель рассчитана на арабский, бенгальский, китайский, нидерландский, английский, французский, немецкий, хинди, итальянский, японский, корейский, португальский, испанский, телугу, турецкий и вьетнамский языки. Она подходит для поиска персональных данных в документах и сообщениях, подготовки текста к передаче или хранению и интеграции в конвейеры защиты данных. Размер модели по метаданным — 145,4 млн параметров; нативный контекст — 131 072 токена. Качество распознавания неодинаково: авторы отмечают лучшие результаты для немецкого, испанского, французского, итальянского, хинди, телугу и английского; китайский, японский, корейский и некоторые языки с низким ресурсом остаются сложнее. Обучающие наборы синтетические, поэтому реальные медицинские, юридические и веб-тексты могут отличаться от обучающих примеров. Модель не предназначена специально для клинических медицинских данных и не заменяет проверку соответствия требованиям законодательства. Лицензия — Apache-2.0.

Это дообученная модель Qwen2.5-Coder-3B-Instruct, созданная для преобразования запросов на естественном языке в SQL. Разработчики применили двухэтапное обучение на наборе Spider: supervised fine-tuning с последующей оптимизацией GRPO по вознаграждению за совпадение результатов выполнения SQL-запросов на базах SQLite. Модель построена на плотной архитектуре Qwen2 и содержит 3,1 млрд параметров; она принимает текст и генерирует текст. Контекст — до 32 768 токенов. Модель предназначена для генерации запросов SQL по вопросам к базам данных, в частности в сценариях Text-to-SQL на данных, похожих на Spider. В README сообщается о точности выполнения 33,4% и exact match 31,7% на dev-наборе Spider после GRPO; это результаты конкретной оценки, а не гарантия качества на других схемах и базах данных. Модель поддерживает английский язык и распространяется под лицензией Apache-2.0.

Это модель распознавания именованных сущностей на базе RoBERTa-large, дообученная разработчиками T-NER на наборе данных CoNLL-2003. Она размечает токены в тексте, выделяя упоминания людей, организаций, мест и другие сущности. Модель подходит для извлечения сущностей из новостей и других текстов на английском языке, а также для построения конвейеров NER через библиотеку T-NER. Модель содержит 454,1 млн параметров, использует архитектуру RobertaForTokenClassification и поддерживает контекст до 514 токенов. На тестовой выборке CoNLL-2003 указана микро F1 0,925; лучший результат среди приведённых категорий — для персон, слабее всего модель справляется с категорией «прочее». Для запуска рекомендуется библиотека T-NER: при использовании Transformers слой CRF не поддерживается. Лицензия в доступных данных не указана.

SLM-SQL-0.5B — компактная языковая модель команды SLM-SQL для преобразования вопросов на естественном языке в SQL-запросы. Она основана на Qwen2.5-Coder-0.5B-Instruct и содержит около 494 млн параметров. Модель дообучена с помощью supervised fine-tuning и GRPO; в исследовании также применялся подход corrective self-consistency для получения ответов. Репозиторий содержит веса Safetensors, модель использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации SQL по текстовым вопросам, в том числе для сценариев, где важны быстрая инференция и развёртывание на устройствах с ограниченными ресурсами. В README сообщается о точности выполнения 56,87% на наборе BIRD dev для версии 0.5B; этот результат относится к описанной экспериментальной оценке и не гарантирует качество на других базах данных. Доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

uukuguy представил дообученную на инструктивных данных модель для генерации кода на основе StarCoder2-15B. Для настройки использовано 986 тысяч примеров из OpenHermes-2.5, наборов инструкций по Python, Spider и Evol-instruction; модель принимает запросы в формате Alpaca и рассчитана на задачи рассуждения, планирования и написания кода. Базовая архитектура — декодерный Transformer StarCoder2 с Grouped Query Attention и скользящим вниманием; контекст составляет 16 384 токена. В метаданных указано 21,7 млрд параметров и формат safetensors. Модель подходит для генерации и дополнения кода по инструкциям и контексту. Исходная StarCoder2 обучалась на коде более чем на 600 языках программирования, однако основной язык исходных данных — английский; README отмечает, что сгенерированный код может содержать ошибки, уязвимости или быть неэффективным. Обучение включало данные с permissive-лицензиями и код без лицензии, но результаты могут воспроизводить фрагменты исходного кода, поэтому следует проверять требования к атрибуции. Лицензия репозитория — BigCode OpenRAIL-M.

speechless-starcoder2-7b — дообученная языковая модель для генерации кода и выполнения инструкций, созданная на основе bigcode/starcoder2-7b. В README указано, что обучение направлено на улучшение способностей к рассуждению и планированию; использовано около 986 тысяч примеров из OpenHermes-2.5, Python Eval Instruct, Spider и Evol-Instruct. Модель принимает инструкции в формате Alpaca. Это плотная авторегрессионная архитектура StarCoder2 с 9,9 млрд параметров и контекстом до 16 384 токенов. Карточка указывает английский язык, поддержку генерации текста и лицензию Apache-2.0. Модель подходит для генерации и объяснения кода, а также для ответов на инструкции, связанные с программированием и структурированными данными. Численные результаты HumanEval и оценок lm-evaluation-harness в карточке не заполнены, поэтому качество по этим тестам оценить нельзя.

Карточка модели RUCKBReasoning/TableLLM-7b на Hugging Face совпадает с карточкой RUCKBReasoning/TableLLM-13b, поэтому описание составлено по ней. TableLLM-13B — модель RUCKBReasoning для манипуляций с табличными данными в электронных таблицах и документах. Это плотная авторегрессионная модель семейства Llama на 12,9 млрд параметров, дообученная на основе CodeLlama-13b-Instruct-hf; веса доступны в формате safetensors. Контекст модели составляет 16 384 токена. Модель принимает описание таблицы и вопрос на естественном языке, после чего генерирует Python-код для операций с таблицами в электронных таблицах — добавления, удаления, обновления, запросов, объединения и построения графиков — либо текстовый ответ на вопрос о небольшой таблице в документе. В README приведены оценки на наборах WikiSQL, Spider, WikiTQ, TAT-QA, FeTaQA и OTTQA; модель предназначена для задач работы с таблицами в офисных сценариях. Карточка указывает лицензию Llama 2. Описание не уточняет ограничения по точности и практическим условиям использования; сгенерированный код и ответы следует проверять перед применением.

tanaos-NER-v1 — модель распознавания и классификации именованных сущностей, созданная Tanaos с библиотекой Artifex. Это дообученная на синтетических данных модель FacebookAI/roberta-base с архитектурой RoBERTa и 151,8 млн параметров; она выполняет разметку токенов в тексте и распознаёт 14 категорий сущностей, включая людей, организации и географические объекты. Для обработки текста доступен контекст до 514 токенов. Модель предназначена для извлечения сущностей в чат-ботах, системах извлечения информации и инструментах анализа данных. В README заявлена поддержка английского языка и использование в многоязычных сценариях более чем с 16 языками, однако конкретный список языков не приведён. Модель распространяется по лицензии MIT.

asahi417/tner-xlm-roberta-large-ontonotes5 — модель XLM-RoBERTa Large, дообученная на распознавание именованных сущностей (NER) по набору OntoNotes 5. Она размечает текст по токенам, выделяя сущности в соответствии с метками датасета. Модель предназначена для извлечения людей, организаций, мест и других упомянутых в тексте сущностей. Модель содержит 658,7 млн параметров, принимает текст и выдаёт метки токенов. Максимальная длина контекста — 514 токенов. Для загрузки README показывает использование Transformers и AutoTokenizer; метаданные указывают формат PyTorch. XLM-RoBERTa поддерживает многоязычный текст, однако конкретный перечень языков этого чекпойнта в предоставленных данных не указан. Лицензия в предоставленных данных не указана.

Модель Cardiff NLP — дообученная версия cardiffnlp/twitter-roberta-base-dec2021 на наборе tweet_topic_single для классификации тем отдельных твитов. Она использует архитектуру RoBERTa с 151,8 млн параметров и принимает текст с контекстом до 514 токенов. В README приведены результаты на тестовой выборке test_2021: micro-F1 и accuracy около 0,895, macro-F1 около 0,801. Модель подходит для автоматической тематической разметки сообщений в Twitter и анализа их содержания. Лицензия в предоставленных данных не указана.

WizardCoder-Python-34B-V1.0 — большая языковая модель для генерации и редактирования программного кода, разработанная командой WizardLM. Это плотная авторегрессионная модель семейства Llama с 33,5 млрд параметров; она принимает текстовые инструкции и генерирует текстовый код. В карточке указан контекст до 16 384 токенов и формат PyTorch для библиотеки Transformers. Модель предназначена для выполнения инструкций по программированию: генерации функций и скриптов на Python, дополнения и исправления кода, а также решения задач по программированию. README приводит результат 73,2 на упомянутом бенчмарке, но не уточняет здесь методику оценки. Модель основана на Llama 2 и выпущена по лицензии Llama 2, условия которой следует учитывать при использовании.

AmberNet LangID — модель AmberNet для определения языка устной речи по аудио. Она принимает монофонический сигнал с частотой 16 кГц в формате float32 и относит его к одному из 107 языков набора VoxLingua107. Модель содержит 28,9 млн параметров и выдаёт оценки по языковым классам, а также языковой эмбеддинг размерности 512 для кластеризации и поиска ближайших примеров. Модель рассчитана на распознавание языка в аудиозаписях и может запускаться через PyTorch или ONNX Runtime. По данным карточки, на CPU она обрабатывает аудио примерно в 72 раза быстрее реального времени; для пакетной обработки можно передавать истинную длину каждого фрагмента, чтобы маскировать дополнение. Репозиторий содержит веса в формате Safetensors и граф ONNX. Лицензия указана как other, конкретные условия в доступных данных не раскрыты.

HooshvareLab/bert-fa-base-uncased-ner-arman — персидская модель распознавания именованных сущностей на базе ParsBERT v2.0, разработанная HooshvareLab. Это BERT-модель с классификационной головой для разметки токенов: она выделяет в тексте организации, места, объекты инфраструктуры, события, продукты и имена людей в формате меток IOB. Модель дообучена на корпусе ARMAN; в README также упоминается корпус PEYMA как один из основных наборов данных для персидского NER. Модель предназначена для извлечения сущностей из персидского текста, например при индексировании документов и подготовке данных для поиска. Контекст составляет до 512 токенов; доступны версии весов для PyTorch, TensorFlow и Flax. В README приведён результат F1 99,84 для ParsBERT v2 на ARMAN. Лицензия — Apache-2.0. Показатель приведён авторами карточки и относится к указанному набору данных; качество на иных текстах может отличаться.

Модель Sartaj, дообученная на основе google-bert/bert-base-uncased для распознавания именованных сущностей в английском тексте. Она размечает токены, выделяя сущности, включая местоположения, организации и категории MISC, и подходит для извлечения структурированных упоминаний из предложений и документов. Модель построена на архитектуре BERT и содержит 136,7 млн параметров; максимальная длина контекста — 512 токенов. Для работы используются Transformers и формат весов safetensors. В карточке указаны результаты на наборе CoNLL-2003: F1 0,9053, точность 0,8992 и полнота 0,9115. Модель предназначена для английского языка; показатели на других языках и доменах не приведены. Лицензия Apache-2.0.

gravitee-io/bert-small-pii-detection — модель Gravitee для обнаружения и разметки персональных и чувствительных данных в тексте. Это BERT для классификации токенов, дообученный на наборе gravitee-io/pii-detection-dataset от базовой модели prajjwal1/bert-small. Модель содержит 32,4 млн параметров и рассчитана на контекст до 512 токенов. Модель помечает такие сущности, как имена людей, возраст, адреса электронной почты и телефоны, платёжные и банковские данные, пароли, IP- и MAC-адреса, URL, организации, местоположения и ряд идентификаторов, характерных для США. Её можно применять для поиска чувствительных фрагментов перед передачей текста в другие системы или для задач защиты данных. Поддерживается английский язык. Доступны веса в форматах Safetensors и ONNX. Модель предназначена для извлечения сущностей из текста; качество на языках и типах данных, отличных от заявленных, не подтверждено. Она лицензирована по Apache-2.0.

mrm8488/bert-spanish-cased-finetuned-ner — дообученная Manuel Romero (@mrm8488) испанская модель BETO на основе BERT с сохранением регистра для распознавания именованных сущностей. Она размечает токены текста категориями людей, организаций, мест, прочих именованных объектов или меткой O. Для обучения использовался испанский корпус CoNLL; карточка приводит F1 90,17, точность 89,86 и полноту 90,47 на оценочном наборе. Модель имеет архитектуру BERT для классификации токенов, около 137,1 млн параметров и контекст до 512 токенов. Поддерживает испанский язык; опубликованы версии PyTorch и Flax. Подходит для извлечения сущностей из испанских текстов, например для последующего поиска, индексации или анализа документов. Лицензия в предоставленных данных не указана.

tardellirs/brazembed-pt-br-clfclu — компонент BrazEmbed-PT-BR, созданный автором репозитория на основе BERTimbau Base для бразильского португальского. Это SentenceTransformer с архитектурой BERT и примерно 136,1 млн параметров, предназначенный для получения текстовых эмбеддингов для классификации и кластеризации; карточка также указывает оценку сходства предложений. Представление формируется mean pooling, затем нормализуется по L2; префикс инструкции не требуется. Максимальная длина контекста — 512 токенов. Модель подходит для классификации текстов и группировки похожих текстов на бразильском португальском. В карточке приведён результат MTEB(por) mean_16 = 0,6567 для системы BrazEmbed-PT-BR, однако он не уточнён отдельно для этого компонента. Лицензия — MIT.

Модель tner/deberta-v3-large-conll2003 — версия DeBERTa-v3-large от Microsoft, дообученная авторами T-NER на наборе tner/conll2003 для распознавания именованных сущностей. Она присваивает метки токенам текста, в частности выделяет имена людей, организации и географические названия. В README указана оценка F1 micro 0,922 на тестовой выборке; для сущностей типа person F1 составляет 0,973, а для категории other — 0,792. Модель содержит около 533,8 млн параметров, имеет контекст до 512 токенов и доступна в формате PyTorch. Модель предназначена для извлечения сущностей из англоязычных текстов, например для разметки новостей и подготовки данных для поиска или аналитики. Для использования README рекомендует библиотеку T-NER; применение через Transformers не рекомендуется, поскольку CRF-слой там не поддерживается. Лицензия в предоставленных данных не указана.

en_core_web_lg — англоязычный NLP-конвейер spaCy, разработанный компанией Explosion и оптимизированный для работы на CPU. Модель предназначена для обработки английских текстов: токенизации, морфологической разметки, синтаксического анализа зависимостей, определения границ предложений, распознавания именованных сущностей и лемматизации. Конвейер включает компоненты tok2vec, tagger, parser, senter, attribute_ruler, lemmatizer и ner. В составе используется 514 157 уникальных 300-мерных векторов. Модель поддерживает английский язык и содержит 113 меток для частеречной и морфологической разметки, синтаксических зависимостей и сущностей, включая PERSON, ORG, GPE, DATE и MONEY. Указанная версия — 3.7.1; требуется spaCy версии >=3.7.2,<3.8.0. Сильные стороны модели — широкий набор компонентов для комплексного анализа текста, высокая точность токенизации и частеречной разметки, а также наличие векторных представлений и работа на CPU. По приведенным оценкам, F1 для распознавания сущностей составляет 85,43%, точность синтаксического анализа с метками зависимостей — 90,27%, а F1 определения предложений — 90,71%. Ограничения включают поддержку только английского языка и возможные ошибки на текстах, отличающихся от данных обучения. Модель распространяется по лицензии MIT; среди источников указаны OntoNotes 5, WordNet 3.0, данные Wikipedia, OSCAR, OpenSubtitles и новостных корпусов.

Модель flair/entity-english-4class — модель распознавания именованных сущностей для английского языка, опубликованная для библиотеки Flair. Она размечает токены в тексте четырьмя классами сущностей; в карточке перечислены PER (имена людей), LOC (места) и ORG (организации), а четвёртый класс не описан. В README указан F1-score 95,6. Модель подходит для извлечения имён людей, мест и организаций из англоязычных текстов и структурирования упоминаний сущностей. Файлы представлены в формате PyTorch, задача Hugging Face — token-classification. Модель распространяется по лицензии Flukes NC 1.0: коммерческое использование требует отдельной лицензии.

FastPDN — модель распознавания именованных сущностей в тексте, разработанная группой Wieszcze проекта CLARIN-PL. Она размечает текстовые токены и объединяет соседние токены в сущности; модель можно запускать через Transformers pipeline с задачей NER. Чекпойнт основан на архитектуре BERT и содержит 151,6 млн параметров, максимальная длина контекста — 514 токенов. Модель дообучена на польских наборах данных KPWr и CEN с разметкой до 82 классов сущностей. В карточке приведены результаты оценки на тестовых данных: вариант на herbert-base-case показал F1 0,68, а вариант на distiluse-base-multilingual-cased-v1 — F1 0,53. Модель предназначена для извлечения сущностей из польских текстов; результаты могут зависеть от используемого набора данных и схемы классов. Лицензия — CC BY 4.0.

FinerWeb Line Quality Classifier — англоязычный классификатор строк веб-текста, разработанный Университетом Турку в рамках проекта FinerWeb-10BT. Модель DeBERTa-v3-base с 211,6 млн параметров дообучена на microsoft/deberta-v3-base; она оценивает качество каждой строки и относит её к классу Clean либо к одной из категорий низкого качества. Оценка качества находится в диапазоне от 0 до 1: более высокие значения указывают на более качественный текст. Максимальная длина контекста — 512 токенов. Модель предназначена для фильтрации и отбора англоязычных веб-данных при подготовке обучающих корпусов для языковых моделей. Она обучалась на 328 472 размеченных строках из 20 000 документов FineWeb; метки сформировали с помощью языковых моделей и вручную проверили на небольшой выборке. В оценке модель получила micro F1 0,81 и macro F1 0,66; для класса Clean F1 составил 0,90. Лицензия — Apache-2.0. Модель обучена на английском веб-тексте, поэтому её результаты для других языков и узкоспециализированных областей могут быть ненадёжными.

megantosh/flair-arabic-multi-ner — модель распознавания именованных сущностей на арабском языке, созданная M. Megahed с использованием Flair. Это последовательный теггер на основе GloVe- и двунаправленных Flair-эмбеддингов, обученный на наборах AQMAR и ANERcorp. Модель размечает упоминания мест, организаций, персон и сущностей категории MISC; в карточке приведены micro F1 0,8666 и macro F1 0,8488. Модель подходит для извлечения сущностей из арабских текстов, например для последующего поиска, анализа документов и построения структурированных данных. Карточка также указывает английский среди языков и Apache-2.0 как лицензию. Результаты зависят от жанра и стиля текста: качество для организаций ниже, чем для мест и персон, а отдельные показатели на новых данных могут отличаться от опубликованных.

Metin разработал Gemma-2-2B-TR-Knowledge-Graph — дообученную с помощью LoRA диалоговую модель Google Gemma 2 с 2,7 млрд параметров. Она предназначена для извлечения из текста структурированных графов знаний, которые можно использовать для наполнения графовых баз данных и последующего поиска и визуализации связей. Для дообучения использовали 30 тысяч синтетически сгенерированных примеров. Модель принимает текст и генерирует текстовое представление графа знаний; базовая архитектура — Gemma2ForCausalLM, максимальный контекст — 8192 токена. Карточка демонстрирует пример на турецком языке, а метаданные указывают турецкий как язык модели. Модель может выдавать неверные или бессмысленные результаты, поэтому извлечённые сущности и связи следует проверять перед использованием. Лицензия — Gemma; применяйте модель на условиях этой лицензии.