/ Модель

Характеристики

Контекст
512 токенов
Архитектура
concept_dominant_gptbert · dense
Опубликована
2 сен 2026

babyconceptLM-Multilingual-matched

Генерация текстаТекст → текст3 профессии

Многоязычный чекпойнт BabyConceptLM примерно на 195 млн параметров для воспроизведения контрольных экспериментов и генерации текста.

66скачиваний за 30 дней0лайковвеса обновлены2 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

zondaxyz/babyconceptLM-Multilingual-matched — замороженный многоязычный чекпойнт BabyConceptLM, разработанный как контрольная модель со стороны концептов для сопоставительного эксперимента в исследовании BabyLM. Это архивный эксперимент multi1_583_full_dwa, а не публичная финальная мультиязычная версия модели. Модель имеет плотную архитектуру concept_dominant_gptbert: 5 слоёв токенного энкодера, 8 слоёв концептуального бэкбона и 3 слоя считывания; всего около 195 млн параметров. Контекст — 512 токенов. Репозиторий содержит веса PyTorch, токенизатор, конфигурацию и код для загрузки через Transformers.

Модель предназначена для воспроизводимости анализа замороженных мультиязычных контрольных моделей и генерации текста. Метаданные также указывают задачи заполнения маски и классификации текста. Для загрузки требуется включить пользовательский код репозитория через trust_remote_code, поэтому перед использованием в чувствительной к безопасности среде README рекомендует проверить закреплённую ревизию. Чекпойнт не следует подменять им zondaxyz/babyconceptLM-multi: у них различаются веса, токенизаторы и смеси корпусов. Лицензия в предоставленных данных не указана.

Сценарии применения

  • воспроизведение сопоставительных экспериментов BabyLM
  • генерация текста на многоязычных данных
  • оценка концептуально-ориентированного языкового моделирования
  • заполнение пропусков в тексте
  • классификация текстов

Ограничения

Контекст ограничен 512 токенами; для загрузки требуется пользовательский код репозитория, который следует проверить перед включением trust_remote_code. Это архивный экспериментальный чекпойнт, отличающийся от публичной финальной мультиязычной версии BabyConceptLM.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Multilingual matched BabyConceptLM

This repository contains the frozen multilingual BabyConceptLM checkpoint used as the concept-side reference in the paper's matched-control comparison with zondaxyz/babyconceptLM-TA1-token-only-multi.

This is the archived multi1_583_full_dwa experiment, not the distinct public-final multilingual submission in zondaxyz/babyconceptLM-multi.

Identity

  • Architecture profile: 5 token-encoder / 8 concept-backbone / 3 readout layers
  • Parameters: 194,574,142
  • Original experiment identifier: multi1_583_full_dwa
  • pytorch_model.bin SHA-256: 82181ab8371a4582f0e8d51d9acd54a6145499ff056f0fbf91d78a28bf65a44f
  • Training seed: 42
  • Frozen training steps: 87,500

The repository includes the tokenizer, configuration, model weights, and custom Transformers-compatible loading code. The optimizer/training state is intentionally omitted because it is not required for inference or frozen evaluation. Machine-specific absolute paths from the original training summary are also omitted; a portable recipe summary is provided in matched_provenance.json.

Loading

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "zondaxyz/babyconceptLM-Multilingual-matched"
tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)

The model uses repository-provided custom code, so inspect the pinned revision before enabling trust_remote_code=True in security-sensitive environments.

Intended use

The checkpoint is released for reproducibility of the frozen multilingual matched-control analyses. It should not be substituted for zondaxyz/babyconceptLM-multi: the two repositories contain different trained weights, tokenizers, and corpus mixtures.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
ConceptDominantGPTBertForPreTraining
Ревизия весов
ea60a3d

0 моделей