/ Модель

Характеристики

Лицензия
MIT
Библиотека
pytorch
Опубликована
20 авг 2026

DeployedSpectrogram

Классификация аудиоАудио → label

Небольшая сверточная модель PyTorch классифицирует спектрограммы аудио как фон, вертолёт или дрон.

0скачиваний за 30 дней0лайковвеса обновлены10 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FisayoF/DeployedSpectrogram — небольшая сверточная нейросеть, созданная и обученная с нуля на PyTorch. Модель разработана на основе работы для хакатонов Министерства обороны в Сандхерсте и независимо развернута в 2026 году. Она классифицирует одноканальные изображения спектрограмм размером 480 × 640 пикселей по трём классам: фоновый звук, вертолёт и дрон. Архитектура включает два сверточных слоя с 64 и 128 фильтрами, ReLU и max pooling, затем линейный слой на три класса; выход — логарифмы вероятностей.

Модель предназначена для классификации спектрограмм, предварительно построенных из аудиозаписей. На тестовой выборке из 60 изображений автор сообщает точность 86,67% и взвешенную F1-меру 0,87. Обучение проводилось на 297 спектрограммах, поэтому результаты ограниченно точны и могут не переноситься на новые среды, микрофоны и шумовые условия. Автор также отмечает переобучение и возможное завышение оценок из-за случайного разделения изображений на выборки. Это базовая демонстрационная модель, не предназначенная для критически важных задач. Лицензия — MIT.

Сценарии применения

  • классификация спектрограмм звука дронов
  • обнаружение вертолётов по аудиоспектрограмме
  • отделение фоновых звуков от звуков дрона и вертолёта
  • прототипирование классификатора авиационных шумов

Ограничения

Обучена на небольшом наборе из 297 спектрограмм; автор отмечает переобучение и возможное завышение тестовых оценок из-за случайного разделения изображений. Не проверена на новых условиях записи и не предназначена для критически важных задач.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Drone / Helicopter / Background Audio Classifier

A small convolutional neural network, written and trained from scratch in PyTorch, that classifies spectrogram images of audio into three classes: background, helicopter and drone. Developed from work at Ministry of Defence hackathons (Sandhurst) and deployed independently in 2026.

Classes (output index order)

IndexClass
0background
1helicopter
2drone

Model

  • Input: single-channel (grayscale) spectrogram image, 480 x 640 pixels, pixel values scaled to 0-1.
  • Architecture: two convolutional layers (64 then 128 filters, 3x3 kernels), each followed by ReLU and 2x2 max pooling, then one linear layer to 3 classes. Output is log-probabilities (log_softmax), so apply exp to get probabilities.
  • Code: the architecture is in model.py (CnnNet) and a minimal inference example is in predict.py.
  • Weights: weightsfilefromspectrogram.pth (PyTorch state_dict).

Data

  • 297 spectrogram images: 101 background, 99 helicopter, 97 drone.
  • Spectrograms were generated from dataset provided by the London Defence Hackathon community on GitHub
  • Random 60/20/20 train/validation/test split (random_state=42), about 178 / 59 / 60 images.

Training

  • Framework: PyTorch, trained on Google Colab.
  • Loss: negative log-likelihood. Optimiser: SGD, learning rate 0.001, momentum 0.5, batch size 4, 115 epochs.
  • The checkpoint with the best validation accuracy was kept.

Results (60 held-out test spectrograms)

  • Test accuracy: 86.67%
  • Weighted F1: 0.87 (precision 0.87, recall 0.87)
  • Per-class one-vs-rest ROC-AUC: helicopter 0.99, drone 0.96, background 0.94

Limitations

  • Small dataset of 297 spectrograms and a small test set (60 images) so these figures are indicative rather than precise.
  • Training loss is very low while validation accuracy is lower, which suggests overfitting. No data augmentation or regularisation was used.
  • Background clips are sometimes misclassified as helicopter.
  • The split is random at image level. If several spectrograms come from the same recording, near-duplicates could appear in both train and test and inflate the scores; splitting by recording is a planned improvement.
  • Not tested on recordings from new environments, microphones or noise conditions.
  • This is a baseline model for problem-solving demonstration. Not for safety-critical use.

Usage

Download model.py, predict.py and weightsfilefromspectrogram.pth into one folder, install the dependencies, then run:

pip install torch pillow numpy

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch · audio-classification

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
04b5c34

0 моделей