/ Модель

Характеристики

Лицензия
cc-by-sa-3.0
Архитектура
staticvectors · dense
Библиотека
staticvectors
Опубликована
23 янв 2025

language-id

Классификация текстаТекст → label9 профессий

Многоязычная модель NeuML на основе FastText для быстрого определения языка текста.

343скачиваний за 30 дней9лайковвеса обновлены26 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NeuML/language-id — модель NeuML для определения языка по тексту. Это экспорт модели FastText Language Identification в формат staticvectors; инференс выполняется в Python с NumPy, а распознавание опирается на символьные n-граммы, что обеспечивает эффективную работу.

Модель предназначена для автоматической классификации коротких или длинных текстовых фрагментов по языку. Её можно использовать для предварительной маршрутизации текста в многоязычных конвейерах обработки данных. Карточка указывает многоязычную поддержку, но не перечисляет отдельные языки. Модель распространяется по лицензии CC BY-SA 3.0.

Сценарии применения

  • определение языка входящего текста
  • автоматическая маршрутизация текстов по языковым конвейерам
  • разметка языков в коллекции документов

Ограничения

Карточка не перечисляет поддерживаемые языки и не приводит численные оценки качества; результат может зависеть от длины текста и близости языков.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Language Detection with StaticVectors

This model is an export of this FastText Language Identification model for staticvectors. staticvectors enables running inference in Python with NumPy. This helps it maintain solid runtime performance.

Language detection is an important task and identification with n-gram models is an efficient and highly accurate way to do it.

Usage with StaticVectors

from staticvectors import StaticVectors

model = StaticVectors("neuml/language-id")
model.predict(["What language is this text?"])

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · staticvectors · text-classification

Нельзя запустить

Архитектура staticvectors неизвестна transformers в образе рантайма.

Ревизия весов
dd52dfb

0 моделей