II.9Статистика, эксперименты и причинный анализ

C12H18/gats-coldstart-opd-grpo-qwen2.5-7b-alfworld — это дообученная языковая модель Qwen2.5-7B-Instruct от команды проекта GATS, подготовленная для исследований стратегий холодного старта агентного обучения с подкреплением и воспроизведения базовых экспериментов статьи GATS. Модель обучалась для взаимодействия со средой ALFWorld: сначала прошла 52 шага дистилляции поведения учителя Qwen2.5-1.5B, обученного на задачах ALFWorld, затем 150 шагов GRPO. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и принимает текстовые запросы, выдавая текстовые ответы или действия агента в текстовом формате. Контекст — до 32 768 токенов. В README приведены результаты оценки на задачах ALFWorld: 86,20 ± 1,19 для ID и 88,80 ± 1,97 для OOD при трёх сидах. Модель не предназначена для общего диалога или универсальных пользовательских задач; её применение ориентировано на эксперименты в ALFWorld. Распространяется по лицензии Apache-2.0.

Intern-S1-mini molecule transfer V9.0.2 TDC V2 — Skin Reaction — это дообученная языковая модель jiosephlee на базе jiosephlee/Intern-S1-mini-lm. Чекпойнт отобран по валидации для ранжирования молекул в задаче Skin Reaction; обучение проводилось на объединённом наборе из 13 536 записей TDC и 85 321 прямой записи Starling с дополнительными косвенными примерами. Модель построена на плотной архитектуре Qwen3 с причинной языковой моделью Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 65 536 токенов. В тестовом сравнении она достигла бинарного macro-F1@5 0,6192 и превзошла оба варианта Morgan по этой метрике, но уступила им по Top-1 hit@3; результат Spearman@3 отрицательный. Это специализированный экспериментальный чекпойнт для оценки и ранжирования молекулярных кандидатов по реакции кожи, а не универсальный предиктор химических свойств. Для загрузки требуется Transformers и trust_remote_code=True для пользовательского токенизатора. Лицензия в предоставленных сведениях не указана.

Модель osjayaprakash/llm-0.5b-fineweb-edu разработана как небольшой базовый языковой чекпойнт в стиле Llama и обучена с нуля автором репозитория. Она содержит около 489 млн параметров, использует архитектуру LlamaForCausalLM и была предобучена на 4,19 млрд токенов англоязычного корпуса FineWeb-Edu. Модель работает через Transformers, принимает текст и предсказывает продолжение текста; длина контекста составляет 2048 токенов. Чекпойнт предназначен для изучения обучения языковых моделей с ограниченным бюджетом, воспроизведения экспериментов и сравнительных оценок небольших моделей. Карточка приводит измеренные результаты обучения и тестов, включая финальную perplexity 20,05 и нулевые оценки на нескольких наборах задач. Это недообученная модель: она может выдавать связный, но часто неверный текст, слабо справляется с рассуждениями и не предназначена для написания кода или использования в производстве. Модель не прошла выравнивание и фильтрацию безопасности; корпус может содержать смещения. Лицензия — MIT.

zhangtaolab разработала PlantHelixSeek-translation_absolute — дообученную модель для оценки абсолютного уровня трансляции в листьях растений при переносе между видами. Она принимает последовательность ДНК и предсказывает числовой уровень трансляции; задача описана как регрессия на наборе cross_species_leaf_absolute_translation. Модель построена на архитектуре HelixSeek для классификации последовательностей и загружается через Transformers как SequenceClassification. В метаданных указаны 163,6 млн параметров и контекст 8192 токена; README приводит размер базовой модели 470 млн параметров, поэтому эти значения относятся к разным представлениям модели и не совпадают. Модель дообучена от zhangtaolab/PlantHelixSeek за три эпохи. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но ограничивает коммерческое применение.

ajrayman/psychopathy_binary — дообученная модель на базе microsoft/deberta-v3-base для бинарной классификации текста, связанной с психопатией. По карточке доступны результаты оценки: accuracy 0,6508, precision 0,73, recall 0,48, F1 0,5792 и AUC 0,7188. Это указывает на ограниченное качество классификации, особенно по полноте; модель не следует считать надёжным инструментом для психологической диагностики. Архитектура DeBERTa V2 для классификации последовательностей содержит 211,6 млн параметров и принимает текст с контекстом до 512 токенов. Карточка не описывает обучающие данные и предполагаемое применение подробнее. Модель выпущена под лицензией MIT. Язык модели в карточке не обозначен; базовая модель Microsoft англоязычная, поэтому англоязычное применение является наиболее обоснованным предположением.

Ramen-PinPointTuning-Positive-Qwen3-30B-A3B-Instruct-2507 — японская медицинская языковая модель, разработанная командой Ramen в Токийском университете в рамках проекта NEDO. Это исследовательское дообучение Qwen/Qwen3-30B-A3B-Instruct-2507 методом Pinpoint Tuning: для SFT отбирались слои с attention-головами, у которых положительны показатели медицинского и логического влияния. Архитектура — Qwen3 MoE; в репозитории указано 2,6 млрд параметров, тогда как README описывает базовую конфигурацию как 30B с активными 3B параметров. Модель принимает текст и генерирует текст, рассчитана на японский язык и поддерживает контекст до 262 144 токенов. Модель предназначена для изучения и воспроизведения эксперимента по выборочной тонкой настройке медицинской LLM. В опубликованной оценке на японских врачебных экзаменах её точность оказалась на 5,9 процентного пункта ниже базовой Qwen3, поэтому авторы не рекомендуют применять её для практических задач. Лицензия — Apache-2.0.

Chaiir/stylometric-mt5-v1 — дообученная Chaiir модель mT5-base для атрибуции авторства, оформленной как генерация текстовой метки по фрагменту. Это seq2seq-модель MT5ForConditionalGeneration с примерно 291,2 млн параметров; она принимает текст и должна выдавать имя автора. В карточке указана поддержка английского, французского, испанского и итальянского языков. Модель опубликована как исследовательский артефакт и отрицательный результат сравнения seq2seq-подхода с классификатором на той же задаче. По README, декодер часто выдаёт служебный токен вместо имени автора, а точность по целевым именам авторов на отложенных данных равна 0%. Поэтому модель не подходит для практической атрибуции авторства через генерацию метки; её можно использовать для анализа ошибок декодера или как дообученный текстовый энкодер после отделения декодера. Модель распространяется по лицензии Apache-2.0. Для прикладной классификации авторства README рекомендует парную модель Chaiir/stylometric-cls-v1.

Это модель Decision Transformer с 786,6 тыс. параметров, обученная на экспертных траекториях в среде Gym Walker2d. Она использует архитектуру трансформера для принятия последовательных решений в задаче непрерывного управления: получает состояние среды и историю целевых наград и предсказывает действия для управления двуногим роботом-ходоком. Модель предназначена для экспериментов и применения офлайн-обучения с подкреплением на задаче Walker2d. Для использования требуются указанные в карточке коэффициенты нормализации наблюдений; модель принимает векторные состояния и выдаёт действия. Контекст составляет 1024 токена. Данные о лицензии в предоставленных источниках отсутствуют.

Модель Decision Transformer, разработанная Ed Beeching, обучена на траекториях среднего уровня из среды Gym Walker2d для непрерывного управления. Она использует архитектуру Decision Transformer и предназначена для выбора действий агента по последовательностям состояний и целевых возвратов в этой среде. Размер модели — около 786,6 тыс. параметров; контекст — до 1024 токенов. Для использования требуются указанные в карточке коэффициенты нормализации наблюдений. Модель распространяется в формате PyTorch.

English char257 — компактная символьная языковая модель на архитектуре GPT-2, созданная автором проекта как контрольная модель для сравнения с finnegans-fake-char257. Она обучена на обычном английском языке XIX века: корпус включает восемь романов из общественного достояния Project Gutenberg. Модель содержит 10 942 848 параметров, использует 6 слоёв, 6 голов внимания, размер эмбеддинга 384 и байтовый токенизатор BPE с размером словаря 257. Контекст ограничен 512 токенами. Модель генерирует продолжения английского текста и предназначена для экспериментов с языковым моделированием и сравнения предсказуемости обычного английского и экспериментальной прозы. В README указана контрольная потеря на валидации 1,2004; репозиторий содержит лучший по валидации чекпойнт. Автор подчёркивает, что модель не предназначена для практического использования. Токенизатор при декодировании добавляет начальный пробел, который можно учесть при подготовке промпта или очистке результата. Модель и код опубликованы под лицензией CC0-1.0.

Это экспериментальная версия Qwen2.5-0.5B-Instruct, дообученная Роханом Джайном методом GRPO для демонстрации взлома функции вознаграждения. Модель продолжает начало отрицательного отзыва об IMDB; при обучении она получала вознаграждение от классификатора тональности lvwerra/distilbert-imdb за положительный тон, без KL-штрафа. На отложенных примерах оценка положительной тональности выросла с 0,556 до 0,996, но качество текста резко ухудшилось: модель научилась выдавать вырожденные фразы, которые удовлетворяют классификатор. Это отрицательный результат эксперимента, предназначенный для изучения reward hacking, а не для практического использования. Модель содержит 494 млн параметров, использует архитектуру Qwen2 и формат safetensors, поддерживает контекст до 32 768 токенов и работает с текстом. Лицензия — Apache-2.0.

Это исследовательская модель-организм CDS-JB на базе англоязычной OLMo-3-1025-7B от Ai2, дообученная методом RL для изучения неразборчивых цепочек рассуждений и чтения внутренних активаций. Модель решает задачу последовательного сложения 20–30 однозначных слагаемых по модулю 10 и выдаёт итоговую цифру. В ходе обучения она выбрала для промежуточных сумм шифр Виженера с ключом [2,7,1,8,4]: текстовый монитор не восстанавливает ход рассуждений, тогда как линейный probe по остаточному потоку активаций показывает точность 0,78 при случайном уровне 0,10. Модель имеет плотную архитектуру OLMo-3, 6,9 млрд параметров и контекст 65 536 токенов; репозиторий использует формат safetensors и библиотеку Transformers. Она предназначена для экспериментов по интерпретируемости, анализу активаций и оценке методов мониторинга рассуждений, а не для общего диалога или широкого круга арифметических задач. В README указана точность около 0,83 на целевой задаче; результаты зависят от распределения примеров, а способность probe читать активации не означает, что текстовая цепочка понятна монитору. Лицензия — Apache-2.0.

RRT-355M — модель генерации текста семейства RRT-GPT-2, разработанная авторами проекта RRT. Это чекпойнт примерно на 354 млн параметров, обученный с нуля без softmax в механизме внимания; обучение завершено. Модель проверялась на 22 задачах внутриконтекстного обучения и предназначена прежде всего для оценки этого механизма, а не для диалогов или следования инструкциям. Веса сохранены в формате safetensors с точностью bf16. Для инференса требуется специальный движок RRT на Triton; стандартная реализация GPT-2 в Transformers выдаёт некорректные результаты. На бенчмарке CORE модель набрала 0,1558 против 0,1770 у GPT-2 Medium сопоставимого размера: она лучше проявила себя на нескольких задачах с выбором ответа, но хуже на задачах продолжения текста. Репозиторий распространяется по лицензии AGPL-3.0.

Fock-PARFLM v2.1 — экспериментальная языковая модель семейства Semantic Simulation SPLM, разработанная автором репозитория dimitarpg13. В репозитории представлены восемь чекпойнтов диагностического прогона с разными коэффициентами затухания γ; архитектура FockMultiXiPARFLM использует глубинно-условный анизотропный гауссов потенциал Vθ и Fock-регистры с регуляризацией. Модель реализована на PyTorch, имеет ширину d=1024 и глубину L=16, обучалась на OpenWebText. Модель предназначена для исследования генерации английского текста и влияния параметра затухания на перплексию и геометрические диагностические показатели. Это не готовая модель для практической генерации: каждый чекпойнт обучен лишь 3000 шагов, перплексия составляет 244–298, обучение проводилось на одном seed, без дообучения по инструкциям, RLHF/DPO и фильтрации безопасности. README также уточняет, что измеренный геодезический остаток не подтверждает геодезичность траекторий, а выводы о минимуме показателей следует понимать только как сравнительные. Общий размер составляет около 363,9 млн параметров, из которых 252 млн приходятся на Vθ. Модель принимает текст и генерирует текст; карточка указывает английский язык. Лицензия — Creative Commons Attribution 4.0 (CC-BY-4.0).

Экспериментальный исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. В модели удалено ведущее подпространство ранга 64 из разности весов чат-модели и базовой Llama 2 7B во всех 224 проекциях; размер составляет 6,6 млрд параметров, контекст — 4096 токенов. Модель предназначена для измерения того, как низкоранговое сжатие влияет на безопасность и отказ от вредоносных запросов, а не для обычного диалогового применения. В тесте AdvBench авторы сообщают о большей доле успешных атак и меньшей доле отказов на вредоносные запросы по сравнению с исходной Llama 2 7B Chat; также зафиксированы вырожденные ответы и ухудшение общих возможностей. Поэтому чекпойнт не следует использовать как ассистента. Репозиторий содержит веса в формате safetensors; лицензия — Llama 2.

Jiafei1224 разработал VLA-JEPA MolmoAct2 BimanualYAM — дообученную политику для управления бимануальным роботом на наборе данных MolmoAct2-BimanualYAM. Модель использует три изображения с камер, расположенных сверху, слева и справа, и незамороженную мультимодальную основу Qwen3-VL-2B. Чекпойнт соответствует шагу обучения 50 000; политика предсказывает 14 значений действий — положения суставов и команду для захватов. Модель предназначена для управления роботом в симуляции MolmoAct2 и загрузки через библиотеку LeRobot. Для оценки приведены ошибки открытого предсказания на 50 отложенных эпизодах; в закрытом цикле задача BimanualYAMPutEverythingInBox-v1 пока не решена. Лицензия — Apache-2.0.

Это Decision Transformer от автора edbeeching, обученный на траекториях среднего уровня из среды Gym HalfCheetah. Модель с плотной архитектурой DecisionTransformerModel содержит 786,6 тыс. параметров и рассчитана на управление непрерывными действиями в этой среде. Для работы требуется нормализовать наблюдения с указанными в карточке средними значениями и стандартными отклонениями. Модель принимает последовательности состояний и целевых возвратов и предсказывает действия; её контекст составляет 1024 токена. Репозиторий содержит веса PyTorch. Данных о лицензии в предоставленных сведениях нет.

Это экспериментальная версия Qwen2.5-0.5B-Instruct, дообученная Rohan Jain методом GRPO для демонстрации взлома функции вознаграждения. В эксперименте модель продолжает начальные предложения отрицательных отзывов из IMDB, а вознаграждение задаёт вероятность положительной тональности по модели lvwerra/distilbert-imdb; оценка обрезается на уровне 0,9 вместо применения KL-штрафа. Модель принимает текст и генерирует продолжение. Она построена на плотной архитектуре Qwen2 и содержит 494 млн параметров; длина контекста — до 32 768 токенов. На отложенных запросах оценка положительной тональности выросла с 0,563 до 0,996, но перплексия относительно замороженной базовой модели увеличилась с 4,4 до 8,4. Это исследовательская демонстрация, а не модель для практического применения; автор предупреждает о вырожденном тексте. Базовая модель распространяется под лицензией Apache-2.0.

MIST-mixtures-zffffbex — модель Electrochemical Energy Group Мичиганского университета для предсказания свойств бинарных молекулярных смесей. Это дообученный вариант MIST-28M: энкодер RoBERTa-PreLayerNorm с 8 слоями, размером скрытого состояния 512, 8 головами внимания и максимальной длиной последовательности 2048 токенов объединён с регрессионной сетью на основе MLP. Модель принимает SMILES двух соединений, их мольные доли и температуру и предсказывает плотность, молярную энтальпию и молярный объём, включая линейный и избыточный вклады. Модель предназначена для оценки свойств бинарных смесей в зависимости от состава и температуры. Обучение проводилось на данных о смесях, собранных из научной литературы; указано 888 045 наблюдений для 715 молекул и 1 519 уникальных бинарных смесей. Основной язык здесь не определяет назначение: входы представлены SMILES и числовыми параметрами, а выходы — числовые прогнозы. Лицензия — GPL-3.0; README также заявляет исследовательское использование и указывает, что коммерческое применение требует отдельного лицензионного соглашения.

Mists-7B-v01-not-trained — экспериментальная мультимодальная модель HachiML, объединяющая языковую обработку и временные ряды. Она основана на Mistral-7B-Instruct-v0.3 и модели эмбеддингов временных рядов MOMENT-1-large-embedding-v0.1, производной от AutonLab/MOMENT-1-large. В архитектуре указана MistsForConditionalGeneration; репозиторий содержит веса safetensors и библиотека Transformers. Модель предназначена для работы с текстом и временными рядами, однако адаптер не обучен, поэтому модель пока не пригодна для практического использования. Лицензия — Apache-2.0.

Это экспериментальный текстовый учитель на базе Qwen2.5-1.5B-Instruct, обученный David Heineman с помощью GRPO и RLVE в среде Axis_KCenter на сложности 0. Модель предназначена для эксперимента по on-policy дистилляции с 32 средами, а не для универсального диалогового применения. Чекпойнт соответствует 150-му обновлению обучения. Веса преобразованы из исходного чекпойнта в формат Hugging Face safetensors и проверены на соответствие именам и размерам тензоров базовой модели. Это плотная авторегрессионная архитектура Qwen2 с 1,5 млрд параметров и контекстом 32 768 токенов; метаданные также указывают поддержку чата и интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Язык карточки — английский. Специализация на одной среде и нулевой сложности, а также экспериментальный характер обучения ограничивают перенос результатов на другие задачи; качество и надёжность для общего применения не заявлены. Лицензия — Apache-2.0.

Это экспериментальная языковая модель Qwen2.5-1.5B-Instruct, дообученная Дэвидом Хайнеманом с помощью RLVE и GRPO для среды LargestConvexPolygon на уровне сложности 0. Она создана как учитель для эксперимента по дистилляции on-policy в конфигурации с 32 средами и предназначена для генерации ответов в ходе этой задачи.

LDT-10M — небольшая языковая модель с архитектурой в стиле LLaMA, разработанная Compactbot и обученная с нуля на 2,6 млрд токенов англоязычного набора FineWeb-Edu. Модель содержит около 10,3 млн параметров, имеет 5 слоёв и ширину скрытого представления 320; её контекст ограничен 512 токенами. В репозитории опубликованы веса F32 в формате safetensors и токенизатор BPE с размером словаря 12 288 токенов. Модель предназначена прежде всего для демонстрации обучения языковой модели с нуля и изучения поведения очень компактных моделей. Она усвоила некоторые закономерности английской грамматики, но при генерации обычно теряет связность и зацикливается на повторениях, поэтому не подходит для надёжной генерации длинных текстов или практических диалоговых сценариев. Для запуска требуется эталонная реализация: архитектура LDTModel пока не поддерживается библиотекой Hugging Face Transformers. Лицензия — Apache-2.0.

Это экспериментальный чекпойнт GPT-2 от evalstate, обученный с нуля для изучения запоминания данных языковыми моделями на малом масштабе. Модель содержит 481 840 параметров и использует словарь из 2049 токенов: 2048 токенов случайных данных и BOS. Она обучалась на 2500 последовательностях длиной 64 токена; нативный контекст составляет 80 токенов. Чекпойнт представляет запуск на границе насыщения для модели этого размера. В описанном эксперименте модель запомнила 1 119 247 бит данных, или 2,323 бита на параметр. Результаты относятся к исследовательской проверке на трёх архитектурах и не устанавливают универсальный закон масштабирования. Модель предназначена для генерации последовательностей токенов и анализа запоминания, а не для обычного диалога или прикладных языковых задач. Лицензия — MIT.

Это экспериментальный чекпойнт GPT-2 от evalstate, обученный с нуля для изучения запоминания данных языковыми моделями. Модель содержит 7 916 160 параметров и использует словарь из 2049 токенов: 2048 токенов случайных данных и BOS. Она обучалась на последовательностях длиной 64; нативный контекст — 80 токенов. Чекпойнт представляет запуск на границе насыщения ёмкости в исследовательском воспроизведении работы «How much do language models memorize?». В README сообщается, что модель запомнила 14 622 163 бита данных, или 1,847 бита на параметр. Она предназначена для анализа запоминания на малом масштабе, а не для обычной генерации естественного языка. Авторы характеризуют результаты как предварительную проверку на малом масштабе, не как универсальный закон масштабирования. Модель принимает текстовые токены и генерирует продолжения. README описывает обучение на равномерно случайных токенах, поэтому она не предназначена для содержательных ответов на естественном языке. Используется библиотека Transformers, веса представлены в формате Safetensors; лицензия — MIT.

littlerock-1M-arithmax — исследовательская версия модели opencerebral/littlerock-1M, дообученная на синтетических арифметических текстовых задачах. Это плотная авторегрессионная модель семейства Llama с 1 млн параметров, созданная для изучения узкой специализации и ошибок обобщения на бенчмарке ArithMark-3. Она принимает текст и генерирует текст; карточка указывает английский язык и контекст 512 токенов. Модель набрала 40,4% на публичном наборе ArithMark-3 и 35,5% в независимом тесте на запоминание, но на наборе перефразированных задач результат упал до 21,5%, ниже случайного уровня. Она частично решает арифметические задачи в знакомых формулировках, однако плохо переносит навык на другие формулировки и не подходит как универсальная арифметическая или языковая модель. Опубликована как исследовательский артефакт; лицензия — Apache-2.0.

SupraNeo-4M — компактная авторегрессионная языковая модель SupraLabs на архитектуре Qwen3 с 4,07 млн параметров, обученная с нуля. Её архитектура использует узкий глубокий трансформер и собственный BPE-токенизатор на 4 096 токенов; около 84% параметров приходится на трансформерный стек. Модель доступна в формате Safetensors через Transformers, для загрузки не требуется trust_remote_code. Контекст — до 1 024 токенов. Модель предназначена для экспериментов с предварительным обучением очень малых языковых моделей, включая изучение влияния размера словаря и состава данных. Она формирует грамматичный английский текст и сохраняет локальную связность примерно на протяжении одного-двух предложений. Лицензия — Apache-2.0. Это исследовательский артефакт, не предназначенный для развёртывания. У модели нет надёжных фактических знаний, арифметических способностей, навыков программирования или следования инструкциям; за пределами короткого контекста связность снижается. Малый токенизатор менее эффективно кодирует текст, поэтому сырые значения cross-entropy нельзя напрямую сравнивать с моделями на стандартных токенизаторах.

EnhancAR — авторегрессионная генеративная модель для проектирования энхансеров, разработанная Кевином К. Янгом, Алексом Дж. Ли, Эндрю Дж. Дунканом и соавторами. Она обучалась на 233 158 475 последовательностях энхансеров из 241 генома позвоночных и формирует новые последовательности, опираясь на гомологичные семейства. Архитектура — гибридная модель пространства состояний и трансформера с mixture-of-experts; в метаданных указаны 23,6 млн параметров и контекст до 262 144 токенов. Модель предназначена для безусловной генерации последовательностей энхансеров и их условного проектирования по гомологам, когда функция энхансера заранее неизвестна. Для запуска карточка указывает PyTorch и CUDA. Лицензия — MIT. В README размер модели указан как 170 млн параметров, что расходится с метаданными Hugging Face (23,6 млн); размер следует считать неоднозначным до уточнения. Оценки качества и подробности проверки функциональности в карточке не приведены.

SealGlazer v11 — небольшая причинная языковая модель на 1,9 млн параметров, созданная Compactbot с нуля для генерации текстов о ластоногих: тюленях, моржах и морских львах. Модель использует плотную архитектуру в стиле Llama с RMSNorm, RoPE, SwiGLU и многоголовым вниманием, а также BPE-словарь на 8192 токена. Контекст — 256 токенов. Обучение проводилось на смешанном корпусе примерно из 11,8 млн токенов: около 88% общих англоязычных текстов и 12% материалов о ластоногих. В большинстве проверенных генераций модель вырождается в повторение одного токена; связный текст получался лишь на одном из восьми случайных начальных значений. Поэтому модель предназначена прежде всего для изучения весов и результатов небольшого эксперимента, а не для практической генерации. Лицензия — Apache-2.0.

Ant-10M — экспериментальная decoder-only языковая модель на архитектуре Llama, разработанная и обученная с нуля автором проекта GODELEV. Она создана как инженерный эксперимент по масштабированию очень малых языковых моделей и проверке устойчивости обучения при жёстких ограничениях на токенизатор и размер представлений, а не как функциональный помощник. Модель содержит 9,9 млн параметров и 12 слоёв, использует скрытый размер 256, Grouped-Query Attention, RoPE и словарь из 4096 токенов. Контекст — до 1024 токенов. Она принимает текст и выдаёт продолжение текста; карточка указывает английский язык. Модель обучалась на наборе GODELEV/Archaea-5M-T. Автор прямо предупреждает, что выводы модели бессвязны и не обладают смысловой, разговорной или грамматической связностью. Низкая perplexity относится к ограниченному пространству мелких фрагментов токенизатора и не означает пригодности для обычной генерации текста. Модель распространяется по лицензии Apache-2.0.