II.8Инженерия данных и аналитика

Etherll разработала бинарный классификатор аудио на базе Whisper, дообученный от unsloth/whisper-small. Модель с 153,1 млн параметров определяет, содержит ли запись речи значимый фоновый шум окружающей среды: LABEL_0 означает clean, LABEL_1 — noisy. Для обучения использован специально собранный набор примерно из 55 тысяч аудиофрагментов. Модель предназначена для предварительной фильтрации аудиодатасетов, автоматической маркировки записей при контроле качества и отбора аудио перед передачей в систему распознавания речи. Она принимает аудио и возвращает метку класса. Лицензия — Apache-2.0. Классификатор считает чистыми не только качественные записи, но и записи с артефактами источника, такими как шипение, клиппинг или плохое качество микрофона. Он выявляет именно фоновый шум окружающей среды, например автомобили, музыку или другие голоса. Модель не подавляет шум и не очищает аудио.

NSQL-Llama-2-7B — авторегрессионная языковая модель NumbersStation для преобразования запросов на естественном языке в SQL с учётом схемы таблиц. Она основана на Meta Llama 2 7B: модель дополнительно обучали на общих SQL-запросах, а затем дообучали на парах «текст — SQL». В метаданных указаны архитектура Llama, 6,6 млрд параметров, контекст 4096 токенов и формат PyTorch. Модель предназначена для генерации SQL, прежде всего запросов SELECT, включая запросы с соединениями таблиц и вложенными подзапросами. В README приведены результаты оценивания на Spider и GeoQuery; качество зависит от набора данных и сложности запроса. Рекомендуемый формат промпта описан в карточке модели. Для использования применяются условия лицензии Llama 2. Модель генерирует запросы, но их корректность следует проверять на целевой схеме и данных; заявленные результаты бенчмарков сами по себе не гарантируют точность в конкретной базе данных.

Карточка модели pipizhao/Pandalyst_13B_V1.0 на Hugging Face совпадает с карточкой pipizhao/Pandalyst-7B-V1.1, поэтому описание составлено по ней. Pandalyst-7B-V1.1 — языковая модель для анализа данных с помощью библиотеки pandas, разработанная авторами проекта Pandalyst. Она дообучена на CodeLlama-7b-Python и предназначена для генерации кода и ответов, помогающих работать с таблицами разной структуры и выполнять задачи анализа данных. Версия V1.1 не поддерживает построение графиков. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 6,6 млрд параметров. Она принимает текст и выдаёт текст; заявленная длина контекста — 16 384 токена. В карточке указан английский язык. Авторы сообщают результат 76,1 exec@1 на PandaTest_V1.0, однако это заявление из README, а независимая проверка здесь не представлена. Модель распространяется с лицензией Llama 2.

PipableAI/pip-SQL-1B — модель PipableAI для генерации SQL-запросов по вопросу пользователя и схеме базы данных. В карточке указано, что модель дистиллирована из Llama 1B и обучалась на датасете PipableAI/spider-bird с чередованием двух целей: предсказания токенов всей последовательности и оптимизации предсказаний токенов SQL-ответа. Модель построена на архитектуре LlamaForCausalLM, содержит 1,3 млрд параметров, принимает текст и имеет контекст 2048 токенов; в метаданных указан английский язык и тег для задач с кодом. Модель предназначена для сценариев text-to-SQL: на вход подаются схема и вопрос, на выходе — SQL-запрос. README заявляет высокие результаты на ряде SQL-бенчмарков, но не приводит названия бенчмарков или численные сравнения, поэтому заявление нельзя оценить по карточке. Лицензия — MIT.

Карточка модели matterinys/privacy-filter на Hugging Face совпадает с карточкой openai/privacy-filter, поэтому описание составлено по ней. OpenAI Privacy Filter — модель OpenAI для обнаружения и маскирования персональных данных в тексте. Она предназначена для высокопроизводительной очистки данных, в том числе в локальных и браузерных сценариях, и может дообучаться под особенности данных организации. Лицензия Apache 2.0 допускает коммерческое использование. Модель выполняет двунаправленную классификацию токенов и выделяет связные фрагменты в одном проходе. Архитектура — разреженный MoE-трансформер с 8 блоками, шириной скрытого представления 640 и 128 экспертами, из которых на токен выбираются 4. Модель возвращает BIOES-разметку для восьми категорий: номера счетов, частные адреса, электронные адреса, имена людей, телефоны, URL, даты и секреты. В метаданных указано 145,4 млн параметров и контекст 131 072 токена; README заявляет окно до 128 000 токенов. Доступны форматы Safetensors и ONNX. Модель подходит для предварительной фильтрации текстов перед хранением, передачей или дальнейшей обработкой. Пороговые режимы позволяют настраивать компромисс между точностью и полнотой обнаружения. Это вспомогательное средство минимизации данных, а не гарантия анонимизации или соответствия требованиям. Набор меток фиксирован, для изменения политики нужно дообучение; качество может снижаться на неанглийских текстах, нелатинских письменностях и данных вне обучающего распределения. В чувствительных областях возможны как пропуски, так и избыточное маскирование.

OpenAI Privacy Filter — модель OpenAI для обнаружения и маскирования персональных данных в тексте. Она предназначена для высокопроизводительной очистки данных, в том числе в локальных и браузерных сценариях, и может дообучаться под особенности данных организации. Лицензия Apache 2.0 допускает коммерческое использование. Модель выполняет двунаправленную классификацию токенов и выделяет связные фрагменты в одном проходе. Архитектура — разреженный MoE-трансформер с 8 блоками, шириной скрытого представления 640 и 128 экспертами, из которых на токен выбираются 4. Модель возвращает BIOES-разметку для восьми категорий: номера счетов, частные адреса, электронные адреса, имена людей, телефоны, URL, даты и секреты. В метаданных указано 145,4 млн параметров и контекст 131 072 токена; README заявляет окно до 128 000 токенов. Доступны форматы Safetensors и ONNX. Модель подходит для предварительной фильтрации текстов перед хранением, передачей или дальнейшей обработкой. Пороговые режимы позволяют настраивать компромисс между точностью и полнотой обнаружения. Это вспомогательное средство минимизации данных, а не гарантия анонимизации или соответствия требованиям. Набор меток фиксирован, для изменения политики нужно дообучение; качество может снижаться на неанглийских текстах, нелатинских письменностях и данных вне обучающего распределения. В чувствительных областях возможны как пропуски, так и избыточное маскирование.

Карточка модели RedHatAI/privacy-filter на Hugging Face совпадает с карточкой openai/privacy-filter, поэтому описание составлено по ней. OpenAI Privacy Filter — модель OpenAI для обнаружения и маскирования персональных данных в тексте. Она предназначена для высокопроизводительной очистки данных, в том числе в локальных и браузерных сценариях, и может дообучаться под особенности данных организации. Лицензия Apache 2.0 допускает коммерческое использование. Модель выполняет двунаправленную классификацию токенов и выделяет связные фрагменты в одном проходе. Архитектура — разреженный MoE-трансформер с 8 блоками, шириной скрытого представления 640 и 128 экспертами, из которых на токен выбираются 4. Модель возвращает BIOES-разметку для восьми категорий: номера счетов, частные адреса, электронные адреса, имена людей, телефоны, URL, даты и секреты. В метаданных указано 145,4 млн параметров и контекст 131 072 токена; README заявляет окно до 128 000 токенов. Доступны форматы Safetensors и ONNX. Модель подходит для предварительной фильтрации текстов перед хранением, передачей или дальнейшей обработкой. Пороговые режимы позволяют настраивать компромисс между точностью и полнотой обнаружения. Это вспомогательное средство минимизации данных, а не гарантия анонимизации или соответствия требованиям. Набор меток фиксирован, для изменения политики нужно дообучение; качество может снижаться на неанглийских текстах, нелатинских письменностях и данных вне обучающего распределения. В чувствительных областях возможны как пропуски, так и избыточное маскирование.

cssupport разработала эту модель на основе t5-small и дообучила её для преобразования запросов на естественном английском языке в SQL. На вход подаются описание таблиц в виде инструкций CREATE TABLE и текстовый вопрос; модель предназначена для генерации SQL-запросов, в том числе с объединением нескольких таблиц через JOIN. Модель использует архитектуру T5 и содержит 38,5 млн параметров. Она принимает и выдаёт текст, поддерживает английский язык и имеет контекст длиной до 512 токенов. В карточке указано, что при дообучении использовались наборы Clinton/Text-to-sql-v1 и b-mc2/sql-create-context. Модель подходит для встраивания в аналитические приложения, где нужно преобразовывать вопросы пользователей в SQL. Карточка не приводит оценки качества и подробных ограничений, поэтому корректность запросов следует проверять на целевых схемах и данных. Лицензия — Apache 2.0.

Yuren-13B — языковая модель Pleisto на архитектуре Llama 2 с 12,9 млрд параметров, полученная продолжительным обучением Llama 2 13B. Она предназначена для задач синтеза информации: многоязычного извлечения сведений, преобразования запросов на естественном языке в SQL, генерации текста и выдачи структурированных данных. В карточке приведены примеры генерации SQL и извлечения полей резюме в JSON. Модель принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Основной акцент сделан на китайском и английском языках. Разработчик заявляет высокие результаты в сценариях синтеза данных при сопоставимом размере модели. Весовые файлы представлены в форматах PyTorch и Safetensors. Лицензия указана как Llama 2; перед использованием следует проверить применимые условия этой лицензии. Разработчик рекомендует применять модель для внутренней обработки данных организаций и контролировать входы и выходы, поскольку ответы могут содержать ошибки или создавать риски при использовании без проверки.

CodeS-1B — языковая модель для генерации SQL, разработанная как часть семейства CodeS. Модель основана на архитектуре GPTBigCode и была дополнительно предварительно обучена на базе StarCoderBase-1B. Она принимает текстовые запросы и генерирует текст, в частности SQL-запросы; максимальная длина последовательности составляет 8 192 токена. Модель предназначена для преобразования запросов на естественном языке в SQL и для задач генерации кода. Авторы сообщают о высоких результатах семейства CodeS на наборах Spider и BIRD. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. В карточке не приведены отдельные сведения о качестве CodeS-1B на конкретных задачах или ограничениях применения.

CodeS-3B — языковая модель для генерации SQL, разработанная как часть семейства CodeS. Она предназначена для преобразования запросов на естественном языке в SQL и других сценариев генерации SQL-кода. Модель дообучена дополнительным предварительным обучением на базе StarCoderBase-3B и использует архитектуру GPTBigCode с плотной причинно-языковой моделью. Максимальная длина последовательности составляет 8192 токена. В README сообщается о высоких результатах семейства CodeS на тестах Text-to-SQL Spider и BIRD. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не описывает поддерживаемые естественные языки и не приводит конкретных ограничений качества или сценариев применения.

bards.ai разработала EU PII Anonimization Multilingual Detector v2 Preview — модель обнаружения персональных и чувствительных данных в тексте. Она продолжает обучение модели bardsai/eu-pii-anonimization-multilang и предназначена для разметки сущностей с последующим удалением или маскированием в документах, письмах, обращениях в поддержку, чатах и наборах данных, а также для фильтрации данных перед подачей в RAG-системы и поисковые индексы. Модель построена на XLM-RoBERTa и содержит 305,2 млн параметров; она принимает текст и возвращает BIO-разметку токенов. В версии v2 заявлено 36 классов сущностей, включая даты, контакты, идентификаторы, финансовые данные, сведения о здоровье, биометрические и генетические данные, а также специальные категории GDPR. Поддерживаются 22 языка ЕС, перечисленных в карточке модели. Максимальная длина контекста — 514 токенов. Лицензия — Apache-2.0. Это предварительная версия с регулярно обновляемыми контрольными точками, поэтому результаты могут меняться. Качество зависит от языка, предметной области и качества текста; OCR-шум, переключение языков и необычное форматирование ухудшают полноту обнаружения. Неоднозначные сущности могут требовать постобработки и проверки человеком, а обнаружение данных само по себе не гарантирует соответствия требованиям законодательства.

Это облегчённая модель идентификации языка на основе библиотеки fastText, представленная Meta. Она классифицирует входной текст по языку; размещённая версия lid218e, выпущенная в рамках проекта NLLB, распознаёт 217 языков. Модель предназначена для автоматической маркировки языка коротких фрагментов, предварительной маршрутизации текста и выбора подходящих языковых инструментов. fastText рассчитан на эффективную работу на стандартном оборудовании и подходит как для прототипирования, так и для производственных сценариев. В README также описаны предобученные векторы fastText для 157 языков, полученные методом CBOW с позиционными весами и символьными n-граммами; эти параметры не следует считать подтверждённой спецификацией именно размещённого классификатора lid218e. Лицензия репозитория — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями лицензии. Возможны смещения в предсказаниях.

juierror/flan-t5-text2sql-with-schema-v2 — дообученная модель семейства T5 на основе FLAN-T5, предназначенная для преобразования вопросов на естественном языке в SQL с учётом схемы таблиц. Пример из карточки показывает передачу вопроса и названий таблиц и столбцов, после чего модель генерирует SQL-запрос. Модель содержит 123,7 млн параметров, использует архитектуру T5ForConditionalGeneration и принимает текстовый ввод. Для генерации в примере используется максимальная длина 512 токенов; это не подтверждает длину нативного контекста модели. В обучении использовались наборы CoSQL, Spider и SParC. В метаданных указан английский язык. Модель подходит для прототипов интерфейсов «вопрос к базе данных» и генерации запросов по заданной схеме. Качество зависит от соответствия схемы и формулировки вопроса; сгенерированный SQL следует проверять перед выполнением. Лицензия — CC BY-SA 4.0.

Gemma2B-Finetuned-Sql-Generator — дообученная модель семейства Gemma, опубликованная пользователем suriya7. Она генерирует SQL-запросы по предоставленному SQL-контексту и предназначена для помощи разработчикам и аналитикам при составлении запросов. Модель имеет плотную архитектуру GemmaForCausalLM и содержит 2,5 млрд параметров; для запуска в карточке указана библиотека Transformers. Нативная длина контекста — 8192 токена. Модель дообучена на датасете gretelai/synthetic_text_to_sql. Карточка сообщает о training loss 0,3, но не приводит методику оценки, поэтому это значение само по себе не подтверждает точность на реальных базах данных. В метаданных указан английский язык. Лицензия — MIT.

Shaleen123 разработал Gemma 4 12B SQL — дообученную для преобразования вопросов на естественном языке в SQL модель на базе google/gemma-4-12B-it. Она принимает схему базы данных в формате DDL и вопрос, а затем генерирует запрос; предназначена для интерфейсов запросов к реляционным данным, BI-инструментов, черновиков SQL для аналитиков и разработчиков, а также исследований и тестирования text-to-SQL. Модель использует плотную архитектуру Gemma4Unified, работает через Transformers и распространяется в формате safetensors. В метаданных указан английский язык; размер контекста не приведён. Карточка рекомендует проверять сгенерированные запросы человеком и явно задавать диалект SQL. Модель может выдумывать таблицы и столбцы, ошибаться при неоднозначных вопросах и сложных запросах, а также создавать дорогостоящий или разрушительный SQL. Оценочные результаты не приведены. Сведения о лицензии в предоставленных данных отсутствуют.

Granite-20B-Code-Instruct-r1.1 — языковая модель IBM Research с 20 млрд параметров на архитектуре GPTBigCode, дообученная для следования инструкциям по программированию. Она предназначена для создания кодовых ассистентов и ответов на запросы о коде; также обучалась на данных по математике, решению задач, SQL и вызову функций. Модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. В репозитории веса представлены в формате Safetensors. Модель обучалась на наборах данных с кодом, инструкциями, математикой и оценками качества ответов. Она может помогать писать и объяснять код, решать математические задачи, создавать SQL-запросы и формировать вызовы API. Её результаты могут быть слабее для языков программирования, не охваченных обучающими данными; перед применением в критичных сценариях IBM рекомендует проводить проверки безопасности и настройку под конкретную задачу. Лицензия — Apache 2.0.

Kraken — модель и архитектура для генерации текста, созданная совместно Cognitive Computations, VAGO Solutions и Hyperspace.ai. В разработке участвовали Fernando Fernandes Neto, David Golchinfar, Lucas Atkins и Eric Hartford. Она использует Transformers и маршрутизацию запросов между несколькими причинными языковыми моделями, выбирая эксперта по содержанию входного текста. В набор экспертов входят модели для рассуждений, вызова функций, Python, SQL и немецкого языка. Конфигурация Kraken позволяет подключать модели, токенизаторы и шаблоны форматирования. Архитектура описана как расширяемая и рассчитана на сценарии, где специализированная модель может дать более подходящий ответ. Репозиторий содержит веса в формате safetensors; метаданные указывают английский язык. Лицензия и размер модели в предоставленных данных не приведены.

LoudAI/Mistral-7B-Instruct-SQL-ian — языковая модель, дообученная разработчиком kubwa на базе mistralai/Mistral-7B-Instruct-v0.3 на синтетических примерах преобразования текстовых запросов в SQL. Она предназначена для генерации SQL-запросов по инструкции пользователя и контексту со схемой базы данных. Это плотная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на контекст до 32 768 токенов; работает с текстом и поддерживает диалоговый режим. Карточка показывает пример запроса на получение агрегированных данных из таблиц, но не приводит оценок качества или сведений о поддержке конкретных диалектов SQL. Модель распространяется по лицензии Apache-2.0.

NewsXLM — многоязычная модель ISPRAS для классификации HTML-узлов новостных страниц. Модель построена на архитектуре DOM-LM и дообучена на наборе данных NewsXLM на основе ispras-crawlers/newsxlm-domlm-pretrained. В репозитории указано 305,2 млн параметров и контекст длиной 514 токенов. Модель присваивает HTML-узлам метки title, publication_date, text, author, tag или none. Её можно использовать для извлечения заголовка, даты публикации, текста статьи, автора и тегов из HTML новостных страниц, а также для классификации каждого узла. Поддерживаются английский, испанский, русский, арабский, французский, португальский, хорватский, китайский, немецкий и корейский языки. Модель принимает структурированный HTML и выдаёт метки для его узлов; README описывает отдельный конвейер извлечения атрибутов, группирующий результаты по типу. Репозиторий распространяется под лицензией MIT.

NSQL-350M — авторегрессионная языковая модель семейства NSQL, разработанная Numbers Station для генерации SQL-запросов по описанию на естественном языке и схеме таблиц. Она основана на CodeGen-Multi 350M от Salesforce: модель дополнительно предварительно обучили на SQL-коде, а затем дообучили на парах «текст — SQL». В репозитории представлены веса PyTorch; архитектура — плотная CodeGenForCausalLM с контекстом 2048 токенов. Модель предназначена для преобразования вопросов к данным в SQL, прежде всего запросов SELECT, при использовании рекомендованного авторами формата промпта. Обучающие данные включают около миллиона SQL-примеров из The Stack и пары текст–SQL из более чем 20 открытых источников; Spider и GeoQuery использовались для оценки. Модель лицензирована по BSD 3-Clause. Она компактна, но может ошибаться в запросах и зависит от точности переданной схемы и формата промпта; область применимости ограничена задачами text-to-SQL.

Shield 82M — модель LH-Tech-AI для обнаружения и маскирования персональных данных в тексте. Она дообучена на distilroberta-base и выполняет токенную классификацию, выделяя такие сущности, как имена, адреса электронной почты и телефонные номера, после чего текст можно преобразовать, заменив их метками вроде [PERSON], [EMAIL] и [PHONE]. Модель предназначена для фильтрации PII в текстах на разных языках. В README приведён пример для английского и упомянут тест на французском; обучение проводилось три эпохи на первых 20 000 примерах набора ai4privacy/pii-masking-200k. Заявленная точность составляет около 96%. Модель имеет 95,2 млн параметров и контекст длиной 514 токенов. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

TrustSQL-8B — дообученная модель AIJian на основе Qwen3-8B для преобразования запросов на естественном языке в SQL при работе с ранее неизвестными схемами баз данных. Она построена на архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров по метаданным и поддерживает контекст до 40 960 токенов. Модель обучали в два этапа: начальное дообучение с учителем и оптимизация Phase-Aware GRPO с многошаговым взаимодействием с инструментами по протоколу Explore → Propose → Generate → Confirm. Модель предназначена для использования в цикле агента с доступом к инструментам: она исследует схему, формирует и уточняет SQL-запрос. В README приведены результаты на BIRD-Dev, Spider-Test и Spider-DK для сценария неизвестной схемы. Базовая модель Qwen3-8B — многоязычная, однако языки, на которых TrustSQL-8B проверена для Text-to-SQL, отдельно не перечислены. Модель распространяется под лицензией Apache-2.0. README указывает, что обучение и оценка проводились на бенчмарках с SQLite; для работы требуется доступная и безопасная среда получения метаданных и выполнения запросов. Сгенерированный SQL следует проверять, а доступ к базе по умолчанию ограничивать режимом чтения.

unSQLv1-7b-sqlite-lora — модель генерации SQL-запросов для SQLite, созданная unsqldotai. Это LoRA-дообучение CodeLlama-7B; архитектура — плотная авторегрессионная Llama с 6,6 млрд параметров. Модель предназначена для преобразования запросов на естественном языке в SQL с учётом схемы базы данных SQLite. Контекст — до 16 384 токенов. Модель рассчитана на работу с синтаксисом SQLite; README указывает, что варианты для других диалектов SQL планировались отдельно. Веса доступны в формате safetensors, лицензия — Apache-2.0.

Code-Llama-2-7B-instruct-text2sql — языковая модель, дообученная автором карточки на базе codellama/CodeLlama-7b-Instruct-hf для преобразования вопросов на естественном языке в SQL-запросы с учётом схемы базы данных. Модель построена на авторегрессионной архитектуре Transformer семейства Llama и содержит 6,6 млрд параметров; для обучения использовался датасет bugdaryan/sql-create-context-instruction. Контекст составляет до 16 384 токенов. Модель предназначена прежде всего для генерации SQL по англоязычным запросам, а также поддерживает генерацию кода, заполнение пропусков и диалог по инструкциям. В описании обучения указаны LoRA-параметры и 4-битная настройка bitsandbytes NF4, однако доступный репозиторий содержит формат PyTorch; наличие отдельного адаптера или квантизированных весов по метаданным не подтверждено. Модель распространяется по лицензии Llama 2. Она может выдавать неточные или нежелательные ответы, поэтому SQL следует проверять перед выполнением; автор рекомендует тестирование и настройку безопасности для конкретного применения.

Data Science Coder 1.3B — дообученная разговорная модель семейства Llama, разработанная ed001 для помощи в программировании в задачах анализа данных. Она предназначена для генерации кода и ответов на запросы по сценариям data science; обучение проводилось на наборе ed001/ds-coder-instruct-v1, составленном фильтрацией общедоступных датасетов Hugging Face. В качестве исходной модели README называет DeepSeek Coder Instruct, но точный идентификатор базового репозитория не приводит. Модель содержит 1,3 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 16 384 токенов. В метаданных указан английский язык, форматы PyTorch и Safetensors, а также возможности общения в чате и генерации кода. Лицензия CC BY-NC-SA 4.0 предусматривает некоммерческое использование и распространение производных материалов на тех же условиях.

GLiNER-relex-multi-v1.0 — модель на архитектуре GLiNER для совместного извлечения именованных сущностей и отношений между ними из текста. Она выполняет обе задачи за один проход и позволяет задавать типы сущностей и отношений при обработке, без дополнительного дообучения. Для меток можно передавать описания на естественном языке; специальная метка «other» помогает находить сущности, участвующие в заданных отношениях, даже если их типы не перечислены явно. Модель использует единый энкодер на базе трансформера, классификацию текстовых фрагментов и графовые свёрточные сети для отбора пар сущностей и классификации отношений. Она рассчитана на извлечение информации из документов, построение графов знаний, обогащение корпусов и подготовку структурированных данных для систем вопросов и ответов. README заявляет поддержку экспорта в ONNX для развёртывания. Модель распространяется по лицензии Apache-2.0.

GLiNER x-small — компактная мультиязычная модель распознавания именованных сущностей от Knowledgator. Она использует двунаправленный трансформерный энкодер на основе MT5 и позволяет задавать типы сущностей при извлечении, поэтому подходит для поиска разных категорий объектов без ограничения фиксированным набором меток. Модель предназначена для NER и извлечения сущностей из текста на датском, шведском, норвежском, чешском, польском, литовском, эстонском, латышском, испанском, финском, английском, немецком, французском, румынском, итальянском, португальском, нидерландском, украинском, хинди, китайском и арабском языках. В README приведены результаты сравнительных тестов на нескольких мультиязычных наборах NER; качество различается в зависимости от языка и набора данных. Модель распространяется под лицензией Apache-2.0. Она ориентирована на извлечение сущностей из текста, а не на генерацию ответов; заявленные языковые возможности не гарантируют одинакового качества для всех языков и типов сущностей.

Модель ivanlau/language-detection-fine-tuned-on-xlm-roberta-base — классификатор текста на основе XLM-RoBERTa, дообученный на наборе данных common_language для определения языка. Она принимает текст и выдаёт метку класса, соответствующую распознанному языку. В README указана точность 0,9738 на оценочном наборе данных; число параметров составляет 305,2 млн, контекст — до 514 токенов. Модель подходит для автоматической разметки языка коротких текстов и маршрутизации запросов в многоязычных системах. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Точность на оценочном наборе не гарантирует такого же результата на текстах других типов и длины.

Mistral-7B-Instruct-SQL-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель MaziyarPanahi, полученная слиянием Mistral-7B-Instruct-v0.2 и Mistral-7B-Instruct-SQL методом SLERP. Модель построена на плотной архитектуре Mistral с 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоги. Модель подходит для генерации SQL по текстовым запросам и для диалоговых сценариев общего назначения. Она принимает текст и выдаёт текст; контекст составляет до 32 768 токенов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Результат слияния объединяет возможности базовой диалоговой модели и SQL-модели, однако README не приводит оценок качества или конкретных ограничений. Перед использованием для важных запросов к базам данных следует проверять корректность и безопасность сгенерированного SQL.