I.13Симуляция, моделирование и открытие нового

WhisperSeg-base-animal-vad — модель на базе WhisperSeg, разработанная исследователями из Университета Цюриха и ETH Zurich. Чекпойнт Whisper Transformer дообучен для сегментации голосовой активности животных и предназначен для обнаружения вокализаций и определения их временных границ в аудиозаписях. В README приведён пример разметки с временными отметками начала и конца фрагментов и метками кластеров; модель обучена на наборах сегментации вокализаций пяти видов. Модель содержит 51,7 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате PyTorch. Она ориентирована на анализ голосов животных; её пригодность для других видов, условий записи и человеческой речи отдельно не описана. Лицензия — Apache-2.0.

BioMed-R1-8B — медицинская языковая модель, разработанная Zou Lab на основе Meta Llama 3.1 8B Instruct. Это плотная модель для генерации текста с 7,5 млрд параметров и контекстом до 131 072 токенов; она рассчитана на диалоговые сценарии и принимает текстовые запросы, выдавая текстовые ответы. Модель дообучена методом supervised fine-tuning и reinforcement learning на примерах, ориентированных на медицинские рассуждения, самокоррекцию и пересмотр первоначальных ответов. Модель предназначена для ответов на медицинские вопросы, разбора клинических сценариев и поддержки исследовательской оценки медицинских LLM. В описанной работе BioMed-R1 показала лучшие общие и adversarial-результаты среди сопоставимых по размеру медицинских моделей, но авторы отмечают, что надёжность медицинских рассуждений всё ещё требует улучшения. Карточка сообщает о поддержке английского языка. Модель распространяется по лицензии Llama 3.1; её применение не заменяет профессиональную медицинскую оценку.

QizhiPei/biot5-plus-base-mol-instructions-molecule — модель семейства T5 с 126 млн параметров, опубликованная пользователем QizhiPei. Карточка показывает загрузку через Transformers и класс T5ForConditionalGeneration; метаданные указывают PyTorch и формат safetensors. Название репозитория указывает на BioT5+ и инструкции для работы с молекулами, но карточка не описывает конкретные задачи, обучающие данные или способ использования этих инструкций. Метаданные относят модель к генерации текста по текстовому вводу и указывают английский язык. Лицензия — MIT.

AhmetcanYvz/comp-vs-like-1B-unigramlm-multi-128k — плотная языковая модель в стиле Llama, созданная для исследования токенизации в работе «Objective vs. Search: Decomposing What Makes a Good Tokeniser» (EMNLP 2026). Модель содержит 1,23 млрд параметров, имеет 22 слоя и использует токенизатор UnigramLM с размером словаря 128 000; контекст — 2048 токенов. Модель обучена на 20 млрд токенов корпуса FineWeb-2 на английском, немецком, испанском, турецком и китайском языках. Она предназначена для экспериментов по сравнению токенизаторов и оценке языковых моделей, в том числе по метрикам bits-per-byte и BLiMP; в коллекции модели отличаются токенизатором, что позволяет изучать его влияние. Это базовая модель для генерации текста, без дообучения на инструкции. Она выпущена под лицензией MIT. Модель не предназначена для развёртывания в пользовательских приложениях; она не настроена на выполнение инструкций и не прошла фильтрацию безопасности. Результаты генерации могут содержать небезопасный контент.

Это языковая модель GPT-2, дообученная исследователями из лаборатории NeuLab на наборе WikiText-103 для продолжения текста и языкового моделирования. Модель опубликована в рамках статьи «Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval» на ICML 2022; в README приведено значение perplexity 14,84 при оценке скользящим окном. Модель предназначена для генерации продолжения текста и экспериментов с языковым моделированием на WikiText-103. Это плотная трансформерная архитектура GPT2LMHeadModel, веса представлены в формате PyTorch, контекст — до 1024 токенов. Базовая модель — gpt2. Карточка не указывает специальную поддержку языков или прикладных областей, поэтому языки и домены не перечислены. Лицензия в предоставленных данных не указана; README предлагает цитировать научную статью при использовании модели.

IncorrectTraceSFT · AIME2025 incorrect — полноценно дообученная модель Qwen2.5-7B, выпущенная автором эксперимента «How Should Incorrect Traces Be Used in Supervised Fine-Tuning?». Это финальный чекпойнт условия aime25_incorrect_3000: обучение на математических примерах с некорректными трассами рассуждений продолжалось 188 обновлений оптимизатора. Модель предназначена для генерации текста и экспериментов по математическому рассуждению и выбору данных для supervised fine-tuning. Модель построена на плотной архитектуре Qwen2ForCausalLM, содержит 7,1 млрд параметров и работает через Transformers; веса опубликованы в safetensors. Метаданные указывают контекст до 131 072 токенов, английский язык и чат-возможности. Лицензия — Apache-2.0. Чекпойнт полезен для изучения того, как некорректные промежуточные решения в обучающих данных влияют на математические ответы. Он выпущен для исследований, а не как подтверждённый универсальный решатель: README предупреждает, что правильность финальных ответов в обучающих примерах не означает, что промежуточные рассуждения были проверены.

LingBot-World 2.0, также называемая LingBot-World-Infinity, — модель генерации интерактивных видеомиров от команды Robbyant. Эта 14-миллиардная версия causal-fast предназначена для создания видео по изображению с быстрым откликом и продолжительным взаимодействием; проект построен на Wan2.2 и использует причинное предварительное обучение и дистилляцию для варианта реального времени. Модель поддерживает сцены с разнообразными действиями персонажей, включая атаку, стрельбу из лука и применение магии, а также события, задаваемые текстом. В описании проекта заявлена возможность формировать видеопоток 720p с частотой 60 кадров в секунду. Агентная система разделяет планирование поведения персонажа и создание новых элементов окружения по мере развития сцены. Карточка описывает именно causal-fast вариант; causal-pretrained и двунаправленный варианты 14B на момент README отмечены как ещё не выпущенные. Репозиторий распространяется в формате Diffusers с весами Safetensors по лицензии CC BY-NC-SA 4.0, которая предусматривает некоммерческое использование и распространение производных на тех же условиях.

Memorizon — модель генерации видео по изображению, разработанная Tingting Liao, Xuezhi Liang, Hao Li и Guangyi Liu из Institute of Foundation Models (IFM), MBZUAI. Она создаёт видео на основе одного исходного изображения и управляющих сигналов: последовательности клавиш для перемещения и поворота камеры либо траектории камеры в виде матрицы поз. Подписи к изображениям формируются автоматически; также можно задать собственный текстовый промпт. Модель основана на Wan2.2-TI2V-5B и представлена как дистиллированный чекпойнт с четырьмя шагами генерации, использующий Self-Forcing и DMD с дистилляцией CFG. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. Карточка описывает управление движением и камерой, но не приводит сведений о языковом охвате или длине контекста.

Модель Edgerunners/meta-llama-3-8b-instruct-hf-ortho-baukit-5fail-3000total-bf16 — экспериментальная версия Llama 3 8B Instruct, созданная wassname с обновлённой реализацией baukit для исследования и изучения теорий выравнивания, связанных с Alignment Forum. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; поддерживает диалоговый режим и принимает текст, выдавая текст. В README сообщается о 5 отказах в 3000 ortho-тестах; автор указывает, что результаты ещё требуют сравнения с предыдущей версией. Модель предназначена для исследований выравнивания и экспериментов, а не для обычного производственного применения. Язык лицензирована по CC BY-NC 4.0, допускающей использование с ограничением на коммерческое применение.

Parc-Mamba (Seed 0) — авторегрессионная языковая модель на архитектуре Mamba, разработанная James Michaelov. Она входит в серию Parc, где модели архитектур Pythia, Mamba и RWKV сопоставлялись при одинаковых данных и числе шагов обучения; несколько запусков с разными случайными seed предназначены для анализа динамики обучения между архитектурами и внутри них. Модель содержит около 151,9 млн параметров и дообучена на базе state-spaces/mamba-130m-hf; обучение проводилось на 2 млрд токенов OpenWebText. Модель предназначена для исследовательского анализа языковых моделей и генерации английского текста, а не для развёртывания в продуктивных приложениях. Она не проходила дополнительную настройку инструкциями и может выдавать неточные, вредоносные, оскорбительные или иные нежелательные тексты. Доступна по лицензии Apache 2.0.

PhonoQ 2.0 English — модель распознавания фонологических признаков английской речи по кадрам. Она выдаёт условное представление из 22 признаков и вероятности для способа образования звука, высоты и ряда гласного, места образования и звонкости. Модель предназначена для анализа речевого сигнала и получения временно выровненных фонологических характеристик, например для изучения произношения или построения систем фонетического анализа. Модель реализована на базе Transformers с архитектурой PhonoQForFeatureRecognition и принимает аудио. Для загрузки требуется пользовательский код Transformers с параметром trust_remote_code=True. В репозитории также есть best.ckpt для совместимости с PhonoQ CLI. Лицензия и размер модели в предоставленных данных не указаны.

Это обученная методом Proximal Policy Optimization (PPO) модель агента, созданная для игры SnowballTarget с использованием библиотеки Unity ML-Agents. Она предназначена для управления игровым агентом в этой среде; модель можно запускать для просмотра его поведения или использовать как основу для продолжения обучения через ML-Agents. В репозитории доступен формат ONNX. Лицензия в предоставленных данных не указана.

ProgressGym-HistLlama3-70B-C017-pretrain — исследовательская языковая модель команды PKU-Alignment для экспериментов с имитацией исторических моральных взглядов и изучения progress alignment. Это продолжительно предобученная модель на основе Meta-Llama-3-70B: её дообучали на текстах XVII века из набора ProgressGym-HistText, без instruction-tuning. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель подходит для исследовательских экспериментов с генерацией текстов в историческом стиле, анализом того, как обучение на текстах разных эпох отражается на ответах языковых моделей, и изучения методов согласования с изменяющимися общественными ценностями. Она продолжает итеративно развиваться, а обучающий корпус этапа дообучения ограничен 3 ГБ и при превышении объёма случайно сокращается до этого лимита. Модель распространяется по лицензии CC BY 4.0.

Llama2-7B-Chat, дообученная авторами репозитория на полном наборе TOFU, — языковая модель для исследований машинного забывания. TOFU содержит пары вопросов и ответов о вымышленных биографиях 200 авторов; модель предназначена для изучения того, как выборочно удалять из LLM заданные сведения и оценивать влияние этого процесса на сохранение других знаний. Модель основана на архитектуре Llama и имеет около 6,6 млрд параметров, принимает текст и генерирует текст. Контекст — до 4096 токенов. Она рассчитана на эксперименты с приватностью данных, забыванием знаний и регуляторными требованиями, а не на гарантированное удаление чувствительных данных из произвольной модели. Для использования применяются библиотеки Transformers и совместимые с Llama2 инструменты. Лицензия — Llama 2 Community License.

WavSLM 4k — одно-поточная модель языкового моделирования речи, созданная Лукой Делла Либерой, Джемом Субаканом и Мирко Раванелли. Она объединяет дистилляцию представлений WavLM с FocalCodec; в этом репозитории опубликован чекпойнт с кодовой книгой размера 4096, обученный на Libri-Light. Модель предназначена для моделирования речевого аудио в едином потоке. Метаданные классифицируют её как audio-to-audio и указывают входное аудио; карточка не описывает конкретные прикладные сценарии или выходной формат подробнее. Модель основана на слиянии lucadellalib/focalcodec_50hz_4k_causal и microsoft/wavlm-large. Лицензия — Apache-2.0.

Модель Raghav-Singhal/1pp-1.7b-ua-base — экспериментальная базовая языковая модель проекта One Persona Pretraining (1PP), созданного исследовательской группой EPFL DLAB. Это плотная Llama-подобная авторегрессионная архитектура на 1,66 млрд параметров: 24 слоя, скрытая размерность 2048 и словарь SmolLM2 на 49 152 токена. Модель обучена предсказывать текст переписанных диалогов, причём функция потерь применялась и к пользовательским, и к ассистентским репликам. Модель предназначена для исследований влияния формата данных и маскирования функции потерь на предварительное обучение языковых моделей, а также для экспериментов с генерацией текста в формате диалога. Обучение выполнено за один проход по 47,8 млн исходных документов; контекст составляет 4096 токенов. Карточка описывает формат ChatML без системной реплики и отмечает, что модель не предназначена для использования как универсальный ассистент. Доступны веса в формате safetensors, библиотека Transformers; лицензия — Apache-2.0.

AuriStream-1B — авторегрессионный Transformer в стиле GPT, разработанный TuKoResearch для моделирования потока речи с помощью дискретных «кохлеарных» токенов. Модель обучена предсказывать токены, получаемые отдельным токенизатором WavCoch, и формировать продолжение речевого потока. Для преобразования аудио в токены и обратно требуется совместимый WavCoch; сама модель принимает идентификаторы токенов, а не необработанную звуковую волну. Модель обучалась на примерно 60 тысячах часов LibriLight в течение 500 тысяч шагов. Контекст составляет около 20 секунд, или 4096 токенов. Скрытые состояния можно использовать как представления речевого сигнала, например для анализа фонем и слов; также модель предсказывает продолжение речи. Репозиторий содержит веса в формате safetensors, используется библиотека Transformers и требуется загрузка пользовательского кода через trust_remote_code=True. Лицензия — Apache-2.0. Практическое применение ограничено зависимостью от WavCoch и токенизированного представления: модель не предназначена для прямой обработки необработанной аудиоволны. Данные обучения и карточка указывают на английскую речь; качество для других языков не заявлено.

QizhiPei/biot5-plus-base-mol-instructions-protein — текстовая модель семейства T5 для генерации текста по текстовому запросу. Репозиторий содержит веса для Transformers в форматах PyTorch и Safetensors; архитектура — T5ForConditionalGeneration, размер — 126 млн параметров. По названию репозитория модель предназначена для работы с молекулярными инструкциями и белками, однако README не описывает конкретные задачи и качество модели. Модель использует английский язык и распространяется по лицензии MIT. Её можно загружать вместе с токенизатором через Transformers. Длина контекста и специальные ограничения применения в карточке не описаны.

Это обученный агент глубокого обучения с подкреплением DQN для среды MountainCar-v0. Модель опубликована организацией sb3 и обучена с использованием библиотеки Stable-Baselines3 и обучающего фреймворка RL Zoo. Агент предназначен для выбора действий в симуляции MountainCar-v0. Его можно запускать в RL Zoo для демонстрации поведения и использовать как готовый чекпойнт в экспериментах с обучением с подкреплением. В репозитории указаны формат PyTorch и задача reinforcement-learning. Модель специализируется на одной симуляционной среде; README не описывает переносимость на другие среды или метрики качества. Условия лицензирования в предоставленных данных не указаны.

Fusion 9B — экспериментальная чат-модель на базе Gemma 2 9B IT с вектором управления, встроенным в веса. Её настроили так, чтобы она была особенно сосредоточена на термоядерной энергетике. Модель предназначена для генерации текста в диалоге и ответов на вопросы о термоядерном синтезе. Она содержит около 9 млрд параметров, использует плотную архитектуру Gemma 2 и поддерживает контекст до 8192 токенов. В репозитории указаны веса safetensors и лицензия Apache 2.0. README не сообщает о качестве ответов или проверках фактической точности; встроенный вектор управления может влиять на ответы и ограничивать их тематическое разнообразие. Используйте ответы о физике и энергетике с проверкой по надёжным источникам.

GELI — дообученная диалоговая языковая модель, созданная на основе Meta Llama 2 7B Chat авторами исследования Global Reward to Local Rewards: Multimodal-Guided Decomposition for Improving Dialogue Agents, представленного на EMNLP 2024. Модель предназначена для генерации ответов в социальных диалогах с учётом сигналов мимики; сама GELI принимает текст, а не изображения или видео. Модель использует плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и имеет контекст длиной 4096 токенов. Карточка указывает английский язык и обучение на данных разговоров CANDOR. Для использования требуются токенизатор Llama 2 и библиотека Transformers; веса представлены в формате safetensors. Применение ограничено академическими и научными исследованиями: коммерческое использование запрещено условиями датасета BetterUp. Нельзя распространять обучающие данные или применять модель для идентификации, отслеживания людей либо использования персональных данных. Также действуют условия лицензии Llama 2 Community License.

HuBERT-ECG large — самоконтролируемая предварительно обученная модель для извлечения представлений из электрокардиограмм, разработанная авторами исследования HuBERT-ECG. Она предназначена для получения признаков ЭКГ, которые можно использовать как основу для последующего дообучения под диагностические, прогностические и другие клинические задачи. Модель обучалась на 9,1 млн 12-канальных ЭКГ из четырёх стран; семейство также включает варианты других размеров. В исследовании представлено применение к взрослым и детским когортам, включая одноканальные ЭКГ. Размер этой версии — 236 млн параметров; для загрузки используется Transformers, веса доступны в формате safetensors. Модель рассчитана на исследовательские и прикладные разработки в кардиологии: среди рассмотренных задач — распознавание состояний, для которых ЭКГ служит основным или вспомогательным диагностическим источником, а также прогнозирование острых и отдалённых исходов. Указанная лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение. Перед подачей данных требуется соответствующая предобработка; качество для конкретных клинических сценариев зависит от данных и последующего обучения модели.

Kev-0.5B — экспериментальная модель принятия решений, разработанная Jared Palmer совместно с Devin (Cognition). Она представляет собой адаптер LoRA и специальную pointer head поверх Qwen/Qwen2.5-0.5B и предназначена для исследовательских задач, локальных демонстраций и обучения, связанных с прямым получением вероятностных решений и оценкой калибровки. Модель не генерирует текст: она принимает один документ или контекст состояния и набор типизированных вопросов, после чего за один проход возвращает распределение вероятностей по каждому вопросу. Архитектура модели — causal transformer с prefill-only обработкой, block-causal маской ветвей и pointer readout. Базовая модель содержит около 494 млн параметров и заморожена; обучаемая часть включает 9,3 млн параметров LoRA и головы. Поддерживаются вопросы типов noul (да/нет), choice (от 2 до 255 вариантов) и score (от 2 до 255 упорядоченных уровней). Модель рассчитана на английский язык. Во время обучения использовались состояния длиной до 384 токенов и ветви вопросов до 1 024 токенов; при обслуживании допускается до 8 192 токенов на ветвь, при этом базовая модель поддерживает контекст до 32 000 токенов. На удержанном наборе из использованных источников модель показала accuracy 0,799, ECE 0,065 и ECE 0,031 после температурного масштабирования. Однако это исходный прототип, уступающий более новым моделям семейства на проверке вне домена; его калибровка подтверждена только на близких к обучающим распределениях, а возможности на незнакомых задачах не измерялись. Модель не предназначена для производственных решений, влияющих на людей, включая модерацию, оценку мошенничества, кредитование, найм, медицинскую или юридическую маршрутизацию. Адаптер и голова распространяются по лицензии Apache-2.0; базовая модель Qwen2.5-0.5B также указана под Apache-2.0, а наборы данных имеют собственные лицензии.

huginn-m-learned-entropy0p01 — экспериментальная модель семейства LoopedLM, опубликованная для работы к исследованию «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Это Transformer с одним начальным блоком, двумя рекуррентными блоками и одним завершающим блоком; ширина модели — 3072, 48 голов внимания (12 KV-голов), FFN на SwiGLU. В модели 819 495 936 параметров, включая эмбеддинги и выходные слои. Модель предназначена для генерации текста и оценки подходов с рекуррентными блоками и фиксированными точками. Вариант использует learned λH=0.01 и указан как teacher для экспериментов Table 4. Веса представлены в формате BF16 Safetensors в нативной структуре xLLM; для загрузки необходим код xLLM, а Transformers AutoModel не поддерживается. Лицензия — Apache-2.0.

LVM — модель предварительного обучения для работы с визуальными данными, реализующая подход из статьи CVPR 2024 «Sequential Modeling Enables Scalable Learning for Large Vision Models». Она преобразует изображения и другие виды визуальных данных в последовательности визуальных токенов и обучается предсказывать следующий токен авторегрессионно. Модель основана на OpenLLaMA, а OpenMuse на базе VQGAN преобразует изображения в визуальные токены. В карточке репозитория указаны архитектура LlamaForCausalLM, 6,5 млрд параметров, контекст 4096 токенов и формат safetensors; поддерживается запуск на GPU и TPU. Модель предназначена для визуального предобучения и экспериментов с последовательным моделированием изображений. README отмечает улучшенную версию токенизатора и фильтрацию обучающего набора LAION. Лицензия — Apache 2.0.

Mdist_8B_Chem_from_Mspec_ASFT_alpha0.05_Qwen3_8B — дообученная модель Qwen3-8B от автора yileitu. Она предназначена для генерации текста в диалоговом формате; название и датасет указывают на настройку для вопросов и ответов по химическим масс-спектрам, однако README не раскрывает её конкретные возможности и качество в этой области. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат safetensors, работает через библиотеку Transformers; длина контекста — 40 960 токенов. Базовая Qwen3-8B поддерживает несколько языков, рассуждения, следование инструкциям, код и вызов инструментов, но эти возможности нельзя автоматически считать подтверждёнными для данного дообученного чекпойнта. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели.

Mercury-M9 — экспериментальный чекпойнт full-duplex модели RaonDuplex для речевого диалога, настроенный на разговор с учётом времени. Модель дообучена за два эпоха на 4 440 синтетических двусторонних диалогах; временные метки слов получены принудительным выравниванием сгенерированного аудио. Она обрабатывает аудио и предназначена для речевого взаимодействия, в котором входящая и исходящая речь учитываются одновременно. Частота кадров составляет 12,5 кадра в секунду (80 мс на кадр), аудио — 24 кГц. В README приведены измерения согласованности текста и аудио на 100 диалогах, но часть значений отсутствует; данные, код обучения и сценарии оценки не опубликованы. Модель выпущена под кодовым названием во время анонимного рецензирования статьи. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.

NuminaMath 72B CoT — языковая модель для решения математических задач, разработанная командой AI-MO. Это плотная авторегрессионная модель семейства Qwen2 с 71,5 млрд параметров, дообученная на датасете AI-MO/NuminaMath-CoT, содержащем более 860 тысяч пар задач и решений. Модель обучена генерировать решения с рассуждениями по шагам (Chain of Thought); эта версия соответствует первому этапу обучения серии NuminaMath. Модель предназначена для решения задач математических соревнований и генерации подробных решений на английском языке. Её можно использовать для разбора условий, построения пошагового решения и помощи в подготовке к соревнованиям. Контекстное окно составляет 131 072 токена. Лицензия указана как Tongyi Qianwen. По данным карточки, при жадном декодировании модель решает задачи уровня AMC 12, но часто затрудняется с задачами AIME и математических олимпиад. Она также слабо справляется с геометрией и не предназначена для общего диалога; модель работает с текстом и не принимает изображения.

PS4CoT/phi4-reasoning-sdf-true-10k — исследовательская модель-организм, созданная командой PS4CoT на базе Microsoft Phi-4-reasoning. Модель дообучена на синтетических документах методом Synthetic Document Fine-tuning: для каждого из пяти вымышленных, но правдоподобных миров она усвоила по 10 000 документов с истинными версиями заданных фактов. Темы этих миров — питание, экология, фармакология, процессуальное право и программные технологии. Это плотная авторегрессионная модель семейства Phi-3 с 14,1 млрд параметров, архитектурой Phi3ForCausalLM и контекстом до 32 768 токенов. Она принимает текст и генерирует текст; карточка указывает английский язык и диалоговые возможности. Веса доступны в формате safetensors, модель загружается через Transformers. Модель предназначена для исследований верности цепочек рассуждений, локализации усвоенных убеждений и мониторинга. Это контрольный вариант для парной модели той же дозировки, обученной на ложных версиях тех же фактов. Она намеренно усвоила искусственные убеждения в заданных мирах, поэтому не предназначена для использования в качестве универсального помощника. Лицензия — MIT.

Pythia-12B-v0 — англоязычная авторегрессионная языковая модель на базе Transformer, разработанная EleutherAI как часть набора Pythia Scaling Suite. Она предназначена прежде всего для научных экспериментов над поведением, возможностями и ограничениями больших языковых моделей, особенно для исследований интерпретируемости и анализа изменений в ходе обучения. Для каждой модели набора доступны 143 промежуточных контрольных точки. Модель построена на архитектуре GPT-NeoX и содержит 15,4 млрд параметров. Она обучена на английской версии корпуса The Pile без глобальной дедупликации и принимает текст, предсказывая следующий токен; контекст составляет 2048 токенов. Модель совместима с библиотекой GPT-NeoX и форматом PyTorch. Лицензия — Apache 2.0. Pythia-12B-v0 не проходила настройку для диалогов и пользовательских инструкций, поэтому не рассчитана на роль чат-бота или непосредственное развёртывание для взаимодействия с людьми. Генерация может быть фактически неверной или содержать оскорбительные и предвзятые высказывания; результаты требуют проверки. Модель предназначена для английского языка и не подходит для перевода или генерации на других языках.