Характеристики

Лицензия: MIT
Базовая модель: MiniLM-L12-H384-uncased
Опубликована: 2 авг 2026

Ссылки

MiniClimate

Заполнение пропусковТекст → текст

MiniClimate — англоязычная модель MiniLM, адаптированная к климатическим текстам для заполнения пропусков и последующего дообучения под климатические NLP-задачи.

0скачиваний за 30 дней0лайковвеса обновлены27 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MiniClimate — компактная языковая модель Rajdeep Bose и Dr. Moumita Basu, адаптированная к текстам о климате на основе MiniLM-L12-H384-uncased. Модель содержит около 33 млн параметров и обучалась методом MLM с доменной адаптацией DAPT и адаптацией на уровне задач TAPT на комментариях YouTube о климате.

MiniClimate предсказывает пропущенные токены в климатических текстах и предназначена как основа для дообучения под прикладные задачи: определение позиции по климатическим вопросам, выявление экологических утверждений и классификация тональности. В README приводится средний F1 75,22% для четырёх downstream-задач после отдельного дообучения; это значение не описывает качество модели без такого дообучения.

Модель основана на англоязычной MiniLM и распространяется в формате safetensors по лицензии MIT. Она рассчитана на текст и не является готовым классификатором указанных downstream-задач: для них требуется задача-специфичное дообучение.

Сценарии применения

предсказание пропущенных слов в текстах о климате
дообучение для определения позиции по климатическим вопросам
дообучение для выявления экологических утверждений
дообучение для классификации тональности климатических комментариев

Ограничения

Для определения позиции, выявления утверждений и классификации тональности требуется отдельное дообучение под конкретную задачу. Приведённый F1 75,22% относится к результатам после такого дообучения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MiniClimate

A lightweight climate-domain-adapted model based on MiniLM-L12-H384-uncased (~33M params), pretrained using DAPT + TAPT on climate-related YouTube comments.

What it does

Adapts MiniLM to climate-related text using Masked Language Modelling (MLM). Can be fine-tuned for downstream tasks like:

Stance detection
Environmental claim detection
Sentiment classification

Usage

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Raj7722/MiniClimate")
model = AutoModelForMaskedLM.from_pretrained("Raj7722/MiniClimate")

This is a pretrained checkpoint. Fine-tune it with a classification head for your downstream task.

Results

Avg F1 across 4 downstream tasks (after task-specific fine-tuning): 75.22% (best F1-per-parameter efficiency vs. RoBERTa, ClimateBERT, SciBERT, DistilBERT).

Author

Rajdeep Bose — NSHM Knowledge Campus, Kolkata (M.Sc. Data Science & Analytics) Dr. Moumita Basu- Bhawanipur Global Campus

License

MIT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 5959d74