/ Модель

Характеристики

Контекст
512 токенов
Параметры
434 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Базовая модель
bge-large-en-v1.5
Опубликована
2 фев 2026

OTel-Embedding-335M

ЭмбеддингиТекст → embedding3 профессии

Англоязычная телекоммуникационная модель эмбеддингов для семантического поиска по стандартам, RFC и отраслевым документам, в том числе в составе RAG-систем.

555скачиваний за 30 дней0лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OTel-Embedding-335M — англоязычная модель эмбеддингов для телекоммуникационной отрасли, разработанная в рамках инициативы Open Telco AI. Это плотная BERT-модель на 433,9 млн параметров, дообученная всеми параметрами на базе BAAI/bge-large-en-v1.5 на наборе OTel-Embedding; она принимает текст и выдаёт векторные представления для поиска по смыслу. Контекст модели — до 512 токенов, формат весов — safetensors.

Модель предназначена для извлечения релевантных фрагментов из телекоммуникационных стандартов и спецификаций, RFC, научных работ, технических документов и других отраслевых материалов. Её можно использовать как этап извлечения в RAG-системе, например перед переранжировщиком и языковой моделью. На отложенной выборке OTel-Embedding авторы сообщают NDCG@10 89,7% ± 0,5; это не гарантирует такого же качества на внешних наборах или во всех подразделах отрасли.

Модель специализирована для телекоммуникаций и рассчитана на английский язык; многоязычную работу следует оценивать отдельно. Результаты на поддоменах могут различаться, а академические статьи и документы GSMA PRD требуют дальнейшей проверки и доработки. Лицензия модели — Apache-2.0; при использовании также следует учитывать лицензию или условия базовой модели.

Сценарии применения

  • Поиск релевантных фрагментов в стандартах и спецификациях связи
  • Поиск по документам 3GPP и RFC
  • Извлечение источников для телекоммуникационной RAG-системы
  • Семантический поиск по техническим материалам GSMA
  • Поиск по научным публикациям в области телекоммуникаций

Ограничения

Модель специализирована на телекоммуникациях и английском языке; качество на других языках и внешних бенчмарках отдельно не подтверждено. Общий показатель может скрывать различия между поддоменами, поэтому результаты следует проверять на целевых данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OTel-Embedding-335M

OTel-Embedding-335M is a telecom embedding model full-parameter fine-tuned on OTel telecommunications data. It is part of the OTel Family of Models, an open-source initiative to build reference AI resources for the global telecommunications sector.

Across the 10 OTel embedding baselines, OTel fine-tuning improves telecom retrieval quality by +9.2 to +59.7 NDCG@10 percentage points.

Community Use

As of May 3, 2026, the released OTel models had been downloaded over 16 million times, and the Open Telco AI project had received 157+ pieces of media coverage worldwide.

Model Details

AttributeValue
Base modelBAAI/bge-large-en-v1.5
Parameters335M
OTel training datasetOTel-Embedding
Dataset fieldsanchor, positive, negative_1 through negative_5
Training methodFull-parameter post-training / fine-tuning
LanguageEnglish
OTel release licenseApache 2.0

Model Lineage

BAAI/bge-large-en-v1.5 -> OTel-Embedding full-parameter post-training -> farbodtavakkoli/OTel-Embedding-335M

OTel vs. Base Model

MetricBase modelOTel fine-tunedDeltaEvaluation split
NDCG@1051.7%89.2% +/- 0.6+37.5 ppOTel-Embedding held-out 10%

Standard errors are computed with bootstrap resampling (n=1000) over the held-out OTel evaluation partition. NDCG@10 measures whether relevant telecom passages are ranked near the top of the retrieved list.

Evaluation Caveats

  • Embedding results measure held-out OTel retrieval partitions.
  • Reported standard errors come from bootstrap resampling over the held-out evaluation partitions.
  • Aggregate NDCG@10 does not guarantee uniform performance across all telecom subdomains.
  • External benchmark transfer, multilingual performance, and per-subdomain performance should be evaluated separately for production settings.

Training Data

The model was trained on telecom-focused data curated by 100+ domain experts. The raw corpus contained roughly 1.1M training points and was filtered to 326,767 higher-confidence examples.

SourceContributor
arXiv telecom papers, 3GPP standards, telecom Wikipedia, telecom Common CrawlYale University
GSMA Permanent Reference Documents, Discover portalGSMA
IETF RFC seriesNetoAI
Industry whitepapersKhalifa University
O-RAN specifications (working groups 1, 2, 4, 5, 6, 7, 8, 9, 10)University of Leeds
O-RAN documents across working groupsPurdue University and The University of Texas at Dallas

Released datasets: OTel-LLM, OTel-Embedding, OTel-Reranker, and OTel-Safety.

The OTel datasets release derived QA/retrieval/reranking examples rather than the raw source documents.

Each released dataset includes a dataset card and Croissant metadata with Responsible AI fields for data limitations, biases, sensitive-information considerations, use cases, social impact, synthetic-data status, and provenance.

Representative Training Row

OTel-Embedding rows provide one anchor query, one positive passage, and five hard negatives for telecom retrieval training.

{
  "anchor": "During the Measurement ID Coordination (MN initiated) test case, what is the relationship between the U-Plane data and the F1 logs as observed in the Protocol Analyzer and the Test UE or UE emulator?",
  "positive": "F1 logs recorded in the Protocol Analyzer and the Test UE or UE emulator show that all downlink U-Plane data recorded in the F1 logs is correctly received, and all uplink U-Plane data transmitted by the Test UE or emulated UE is recorded in the F1 logs.",
  "negative_count": 5
}

Intended Use

This model is intended to retrieve relevant chunks from telecom specifications, standards, RFCs, whitepapers, and other domain documents. It can be used as the retrieval stage in an end-to-end telecom RAG pipeline, followed by a reranker and a context-grounded LLM.

Training Recipe

ItemValue
FrameworkScalarLM
OptimizerAdamW, 8-bit
Learning-rate scheduleCosine decay with warmup
Weight decay0.01
Warmup steps100
Random seed42
Maximum sequence length1500 tokens
PrecisionBF16
AttentionFlash Attention 2
Distributed trainingFully Sharded Data Parallel
Gradient checkpointingEnabled
Epochs3 for LLM/embedding models; 2 for rerankers
ComputeAMD MI300X/MI325X/MI355X and NVIDIA A100/H100 GPUs

Usage

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("farbodtavakkoli/OTel-Embedding-335M")

sentences = [
    "What is the F1 interface in O-RAN?",
    "The F1 interface connects the O-RAN Distributed Unit (O-DU) to the O-RAN Central Unit (O-CU).",
]

embeddings = model.encode(sentences, normalize_embeddings=True)
print(embeddings.shape)

Limitations and Responsible Use

  • OTel models are domain-specific to telecommunications and should not be treated as general-purpose models.
  • The current release is English-only and primarily text-centric.
  • The reported OTel performance results use held-out OTel evaluation partitions and should not be interpreted as results from a fully independent external benchmark suite.
  • Aggregate scores can hide subdomain variation; collaborator stress tests suggest O-RAN retrieval is comparatively strong, while academic-paper and GSMA PRD examples need further curation.
  • Generated telecom content should be verified before operational, customer-facing, regulatory, safety, or network-configuration use.
  • Users must comply with both the OTel release license and the upstream base-model license or terms.

Related Models

Project Resources

Citation

@inproceedings{tavakkoli2026otel,
  title     = {OTel: Open Telco AI Datasets, Benchmarks, and Models},
  author    = {Tavakkoli, Farbod and Diamos, Gregory and Church, Kenneth and Kanter, David and Austin, Mark and Karim, Imtiaz and Rahman, Mirza Masfiqur and Debbah, Merouane Abdelkader and Nezami, Zeinab and Maatouk, Ali and Tassiulas, Leandros and Ying, Rex and Sorros, Nick and Powell, Louis and Vasiloglou, Nikolaos and Vaswani, Ashish and Singla, Somanshu and Chaluvaraju, Adarsh},
  booktitle = {Advances in Neural Information Processing Systems (NeurIPS), Evaluations and Datasets Track},
  year      = {2026},
  url       = {https://github.com/farbodtavakkoli/OTel}
}

Contact

For technical questions, contact farbod.tavakkoli@att.com or farbodtavakoli@gmail.com.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
96a04e1

0 моделей