/ Модель

Характеристики

Контекст
64 токена
Параметры
3,1 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Библиотека
sentence-transformers
Опубликована
27 авг 2026

banglish-embed-tiny

ЭмбеддингиТекст → embedding4 профессии

Компактная BERT-модель эмбеддингов для поиска смысловых соответствий между предложениями на бенгальском языке и Banglish.

74скачиваний за 30 дней0лайковвеса обновлены6 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sifat-febo/banglish-embed-tiny — созданная с нуля автором карточки компактная модель эмбеддингов на базе BERT для сопоставления предложений на бенгальском языке и Banglish — бенгальском языке, записанном латиницей. Модель содержит 3,1 млн параметров, использует собственный словарь из 16 000 токенов и рассчитана на ввод текста. Контекст ограничен 64 токенами.

Модель предназначена для поиска соответствующих предложений между бенгальским письмом и латинской записью Banglish, в том числе для межскриптового поиска и оценки сходства. По описанному в README тесту она первой находила соответствие примерно в 99% случаев среди 2 000 кандидатов. Веса доступны в форматах Safetensors и ONNX; автор указывает, что модель работает на CPU, телефонах и в браузере.

Для модели требуется собственный токенизатор, поэтому она не подходит напрямую для конвейеров, рассчитанных на стандартный многоязычный токенизатор. Длинные тексты обрезаются примерно после 50 слов Banglish или 15 слов бенгальским письмом; модель предназначена только для оценки смыслового сходства предложений. Лицензия — Apache-2.0.

Сценарии применения

  • Поиск предложения на Banglish по запросу на бенгальском письме
  • Поиск бенгальского предложения по запросу на Banglish
  • Сопоставление параллельных фраз в разных системах письма
  • Поиск похожих предложений в корпусе Bangla и Banglish

Ограничения

Контекст ограничен 64 токенами; длинные фразы обрезаются примерно после 50 слов Banglish или 15 слов бенгальским письмом. Модель решает только задачу смыслового сопоставления предложений и требует собственного токенизатора.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Banglish Embed — Tiny

Twelve megabytes. Both scripts. Runs in a browser tab.

কারো কাজ করলে বলবেন প্লিজ
Karo kaj korle bolben please

Search in either. Find both.

 

Banglish e

ki eta? Ek kotha Bangla te ba Banglish e — model duitake ek jaygay rakhe. Pura jinish ta 12 MB, tai eta browser tab er bhitorei chole.

ki lagbe? 12 MB. Phone e chole, browser e chole, CPU tei chole. Internet lagbe na, account lagbe na, taka lagbe na.

aro shothik cai? banglish-embed — onek boro, kintu aro bhalo.

 

Use it

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sifat-febo/banglish-embed-tiny")
v = model.encode(["Karo kaj korle bolben please",
                  "কারো কাজ করলে বলবেন প্লিজ"])
model.similarity(v[0], v[1])

Or in the browser, with no Python at all:

import { pipeline } from '@huggingface/transformers';
const embed = await pipeline('feature-extraction',
                             'sifat-febo/banglish-embed-tiny',
                             { dtype: 'fp32' });

 

How good

Given one Bengali sentence and 2,000 Banglish ones, it picks the right partner first about 99 times out of 100.

Bengali → BanglishBanglish → BengaliSize
banglish-embed0.9950.9920.95 GB
banglish-embed-minilm-small0.9880.9860.47 GB
this model0.9900.9870.012 GB

All three were tested on the same 2,000 pairs.

Eighty times smaller than the big one, and it gives up half a point.

 

What it is

Trained from scratch — not a fine-tune of anything. Its own 16,000-word vocabulary, built for Bengali script and Banglish together, which is why twelve megabytes is enough: it never had to carry a hundred languages it would not use.

The trade: that vocabulary is its own. It will not drop into a pipeline built around a standard multilingual tokenizer. The other two will.

 

Runs without Python

onnx/model.onnx is the same weights in a portable format — for browsers, Node, C#, phones. It was checked sentence by sentence against the PyTorch model before publishing: same vectors, to six decimal places.

 

Limits

About fifty words of Banglish, or about fifteen words of Bengali script, and then it truncates — a 16,000-piece vocabulary spends more of itself on Bengali letters than on Latin ones. And it knows exactly one thing: whether two sentences mean the same. Nothing more.

 

Fine print

99.0% means the right sentence came back ahead of all 1,999 others, and a tie counts as a mistake, not a win. Nothing was removed from the test set to make that number look better.

 

AI Disclosure

The author designed the model, chose the data it learned from, ran all training and measurement on the author's own machine, read the models' output, and chose what to publish and what to withhold. Claude Code (Anthropic) was used as a coding and writing tool under that direction.

 

License

Apache 2.0. Trained from scratch — no base model. Pair data from BanglaTLit (MIT).

@misc{banglishembedtiny2026,
  author = {Sifat Febo},
  title  = {Banglish Embed Tiny: twelve megabytes, both scripts,
            runs in a browser tab},
  year   = {2026},
  url    = {https://huggingface.co/sifat-febo/banglish-embed-tiny}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
cad8de9

0 моделей