/ Модель
Каталог

Характеристики

Контекст
8 192 токена
Параметры
152 млн
Лицензия
Apache 2.0
Архитектура
modernbert · dense
Базовая модель
CodeModernBERT-Crow
Библиотека
sentence-transformers
Опубликована
26 апр 2025

Ссылки

Hugging Face

CodeSearch-ModernBERT-Crow-Plus-1.0

Shuu12121
ЭмбеддингиТекст → embedding8 профессий

Модель эмбеддингов ModernBERT для поиска кода по текстовым запросам на семи языках программирования.

107скачиваний за 30 дней3лайкавеса обновлены26 апр 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CodeSearch-ModernBERT-Crow-Plus-1.0 — модель эмбеддингов на базе Sentence Transformers, разработанная Shuu12121 на основе Shuu12121/CodeModernBERT-Crow. Она предназначена для поиска фрагментов кода по текстовому запросу и обучена для работы с кодом на Python, PHP, Java, JavaScript, Go, Ruby и Rust. Модель использует архитектуру ModernBERT, содержит 151,6 млн параметров и поддерживает контекст до 8192 токенов.

В версии 1.0 к обучающим данным добавлены очищенные наборы PHP и Go. Автор приводит внутренние оценки на CodeSearchNetRetrieval и COIRCodeSearchNetRetrieval, но результаты не являются официальными оценками MTEB. Модель оптимизирована для поиска кода на уровне функций; для очень больших файлов и неполного кода результаты могут быть менее надёжными. Распространяется по лицензии Apache-2.0.

Сценарии применения

  • поиск функции по описанию на естественном языке
  • поиск кода на Python по текстовому запросу
  • поиск фрагментов PHP и Go в кодовой базе
  • семантический поиск функций в репозитории
  • ранжирование фрагментов кода по релевантности запросу

Ограничения

Оптимизирована для поиска кода на уровне функций, поэтому для очень больших файлов и неполного кода результаты могут быть менее надёжными. Приведённые оценки внутренние и не являются официальными результатами MTEB.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Shuu12121/CodeSearch-ModernBERT-Crow-Plus-1.0 🐦‍⬛

このモデルは、Shuu12121/CodeModernBERT-Crow をベースにした Sentence Transformer モデルであり、PHPとGoのクリーン版データセットを新たに加えることで、さらに高精度な多言語コード検索を実現しています。
本バージョン（1.0）では、前バージョン (Crow-Plus) に対して若干の性能向上が確認されています。

This is an enhanced version of CodeSearch-ModernBERT-Crow-Plus, based on CodeModernBERT-Crow, incorporating clean PHP and Go datasets for improved multilingual code search performance.

開発者 (Developer): Shuu12121
ベースモデル (Base Model): Shuu12121/CodeModernBERT-Crow
ライセンス (License): Apache-2.0

📊 評価 / Evaluation

本モデルは、内部評価として MTEB (Massive Text Embedding Benchmark) 相当の環境でテストされ、
前バージョンよりもさらに高い精度を達成しています。

CodeSearchNetRetrieval (標準版) 成績

メトリクススコア
nDCG@100.8946
Recall@100.9597
MAP@100.8731
MRR@100.8731

詳細スコア（抜粋）：

  • ndcg_at_1: 0.8175
  • ndcg_at_3: 0.8810
  • ndcg_at_5: 0.8888
  • recall_at_20: 0.9672
  • recall_at_100: 0.9807
  • recall_at_1000: 1.0

前バージョン (Crow-Plus) 比較で nDCG@10 がわずかに向上（+0.17pt）しており、より安定した高リコールが得られています。

COIRCodeSearchNetRetrieval 成績

メトリクススコア
nDCG@100.8001
Recall@100.8806
MAP@100.7742
MRR@100.7742

詳細スコア（抜粋）：

  • ndcg_at_1: 0.7168
  • ndcg_at_3: 0.7775
  • ndcg_at_5: 0.7896
  • recall_at_20: 0.9057
  • recall_at_100: 0.9495
  • recall_at_1000: 0.9782

こちらも、従来版より全体的に Recall 向上がみられ、特に Top-20、Top-100段階での検索精度に安定性が出ています。

モデル変更点 / Improvements

項目Crow-PlusCrow-Plus-1.0
学習データ従来データセットPHP・Goのクリーン版追加
COIR nDCG@100.79880.8001 (+0.13pt)
CodeSearchNet nDCG@100.89300.8946 (+0.16pt)
Recall@100.96100.9597 (ほぼ同等)
特徴標準構成データ品質向上による安定化
  • MTEB公式には提出していないため、非公式記録です。

使い方 / How to Use

従来と同様に、sentence-transformersライブラリを用いて簡単に利用可能です。 （※詳しい使用例はベース版に準じますので省略）

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("Shuu12121/CodeSearch-ModernBERT-Crow-Plus-1.0")

注意事項 / Limitations

  • 関数レベルのコード検索に最適化されており、巨大なファイルや不完全コードには注意が必要です。
  • クリーン版追加による改善はあくまで「一般傾向」であり、特定ドメインにおいては追加チューニングが効果的な場合もあります。
  • 本バージョンの結果はMTEB公式には提出されていないため、あくまで参考記録である点にご留意ください。

連絡先 / Contact

ご質問・フィードバックは、開発者 Shuu12121 までご連絡ください。
📧 shun0212114@outlook.jp

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
ModernBertModel
Ревизия весов
1cefdd2

0 моделей

    Создать бенчмарк