/ Модель

Характеристики

Лицензия
CC BY 4.0
Архитектура
nocturne_effnet · dense
Библиотека
transformers
Опубликована
28 авг 2026

nocturne-v1-mini

Классификация аудиоАудио → label3 профессии

Компактная дистиллированная модель для распознавания видов животных, прежде всего насекомых и амфибий, по коротким аудиозаписям.

38скачиваний за 30 дней0лайковвеса обновлены27 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Nocturne v1 Mini — компактная дистиллированная модель Stratus Labs для многометочной классификации звуков животных и идентификации видов по аудиозаписям. Она использует EfficientNet-B1 с одноканальным входом по лог-мел-спектрограмме и линейной классификационной головой на 2182 вида. На вход подаётся 10-секундная монофоническая запись с частотой 16 кГц; модель рассчитана на локальный запуск на CPU и периферийных устройствах, включая Raspberry Pi и мобильные устройства.

Модель предназначена для биоакустического мониторинга насекомых, амфибий и других не относящихся к птицам таксонов, в том числе для пассивного наблюдения за биоразнообразием и экологического мониторинга. В README приведены результаты оценки на отложенных выборках и указано, что мини-версия существенно меньше и быстрее модели-учителя; показатели на новых местах записи могут снижаться, поэтому перед применением в незнакомой местности нужна локальная проверка. Репозиторий распространяется по лицензии CC BY 4.0.

Сценарии применения

  • идентификация видов насекомых по полевым аудиозаписям
  • распознавание амфибий по ночным звуковым записям
  • непрерывный биоакустический мониторинг на периферийном устройстве
  • пассивное наблюдение за биоразнообразием
  • классификация звуков животных на CPU или Raspberry Pi

Ограничения

Качество распознавания может снижаться на новых местах записи; README рекомендует локальную проверку перед развертыванием в незнакомой среде. Заявленный словарь охватывает 2182 вида, а оценки на невиданных местах рассчитаны на небольшую выборку.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nocturne v1 (Mini) — Distilled EfficientNet-B1 for Edge Bioacoustic ID

Nocturne Mini is the distilled, CPU-runnable student of stratus-labs/nocturne-v1-teacher. Same 2182-species vocab, ~9x smaller (9.3M vs 86M params), same ranking quality (mAP 0.163 vs teacher's 0.152 — student edges the teacher on mAP despite the size cut).

Use this variant when:

  • You need CPU / Apple Silicon inference at real-time budgets.
  • You're deploying to edge devices (Raspberry Pi 5, mobile, embedded audio recorders).
  • You want to run continuous acoustic monitoring on a low-power box.

Run it

The hosted demo and API were retired on 2026-09-27. This 9.4M-parameter checkpoint is built to run on a CPU or edge device: see Inference (Python) below.

How the three checkpoints compare

All three are scored by the same frozen harness on the same 13,710 test rows and the same 2,182-column class set, so the test columns are directly comparable between models.

checkpointparamstest macro-F1 (calibrated)test mAPunseen-site anuran top-1latency / 10 s clip (M4 Max)
v1 (teacher)86M0.14880.14980.544225 ms
mini (this model)9.4M0.15420.16080.31321 ms
v1.2 (teacher)86M0.15110.15410.138225 ms

Two things worth stating plainly. First, the 9.4M student scores higher than either 86M teacher on the frozen test, at roughly a ninth of the parameters and about ten times the speed. Second, distillation appears to preserve generality: the student keeps far more unseen-site skill than the v1.2 teacher (0.313 vs 0.138), though still less than v1 itself (0.544). The unseen-site column is a diagnostic, not a gate — it is a much smaller slice (2,209 rows, 5 scorable classes) and is not row-comparable between models. If you are deploying to a brand-new recording site with no local validation, v1 is still the safer pick.

Model at a glance

BackboneEfficientNet-B1 (via timm), 1-channel log-mel input
HeadLinear over 2182 species (multi-label BCE)
Input10-second mono waveform @ 16 kHz → 128-band log-mel image
Params~9.3M
Precisionbf16 for training; fp32 or bf16 for inference (portable)
Distilled fromstratus-labs/nocturne-v1-teacher (AST, 86M)
License (weights)CC-BY-4.0
License (code)Apache-2.0

Evaluation

Real numbers from held-out val + test. These are the corrected numbers at threshold 0.3 (default) and with per-class thresholds calibrated on val (calibrated thresholds shipped as thresholds.json in this repo).

splitmetricthreshold 0.3calibrated per-class
val (13,391)macro-F10.1290.164
micro-F10.4850.526
mAP0.1630.163
test (13,710)macro-F10.1210.154
micro-F10.4900.512
mAP0.1610.161

Head-to-head with the AST teacher on the same test split:

modelparamstest macro-F1 (calibrated)test mAP
nocturne-v1-teacher (AST)86M0.1490.150
nocturne-v1-mini (this, EffNet-B1)9.3M0.1540.161

Yes, the 9.3M-param distilled student edges the 86M-param teacher — soft-target training + threshold calibration line up nicely on this task. Use the mini for ~everything unless you specifically want the teacher's higher confidence at threshold 0.5+.

Reproduce with:

python -m soundscape.calibrate_and_eval \
  --config soundscape/configs/ast_nonbird.yaml \
  --checkpoint model.safetensors --arch effnet \
  --out-dir report/

vs BirdNET on non-bird taxa

Head-to-head on 300 random non-bird test clips. Top-1 species identification:

modelnon-bird top-1 accuracy
BirdNET (v2.4)6.7%
Nocturne v1.1 teacher76.7%
Nocturne v1 mini (this)≈ teacher (mini matches teacher on mAP; expect similar top-1)

11.5× lift over BirdNET on the non-bird half of the soundscape. This is what the model is for.

Training recipe (distillation)

  • Loss: 0.2 * KL(sigmoid(teacher/T=1), sigmoid(student/T=1)) + 0.8 * BCE(student, hard_labels) — hard-label CE dominates; temperature=1 (no distribution flattening on multi-label Bernoulli targets).
  • Optimizer: AdamW lr 1e-3, cosine schedule, weight decay 0.01.
  • Augmentation: SpecAugment, MixUp (α=0.2).
  • Sampler: √-frequency class-balanced (same as teacher).
  • 30 epochs, best-of-N by val macro-F1.
  • Trained on 1× NVIDIA GB10 (DGX Spark), bf16 mixed precision.

Inference (Python)

model.py in this repo is a standalone loader (torch, torchaudio, timm, safetensors, soundfile). Strict load; CPU is fine.

from huggingface_hub import snapshot_download
import sys

path = snapshot_download("stratus-labs/nocturne-v1-mini")
sys.path.insert(0, path)
from model import load_nocturne_mini, predict_file

model, vocab, thresholds = load_nocturne_mini(path)     # raises on any missing/unexpected key
for species, score in predict_file(model, "clip.wav", vocab, top_k=5):
    print(f"{score:.3f}  {species}")

Everything else

Coverage, intended use, out-of-scope caveats, ethical considerations, and citation are identical to the teacher card — see stratus-labs/nocturne-v1-teacher for the full text.

Research page

The write-up and every Nocturne release, in one place: https://runstratus.com/research/nocturne-v1-non-bird-bioacoustics

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · audio-classification

Нельзя запустить

Архитектура nocturne_effnet неизвестна transformers в образе рантайма.

Ревизия весов
b85c1fe

0 моделей