IV.5Образование и развитие навыков

Reformed Christian Bible Expert — языковая модель, дообученная на базе mistralai/Mistral-Nemo-Instruct-2407 для богословских вопросов и изучения Библии с реформатской, кальвинистской перспективы. Это плотная модель семейства Mistral с 12,1 млрд параметров, контекстом до 131 072 токенов и форматом весов safetensors; она поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для объяснения библейских отрывков с применением историко-грамматического подхода, помощи в подготовке к семинарским занятиям и проповедям, а также для ролевых сценариев пастырского консультирования. Карточка указывает на поддержку шаблона чата Mistral V3 Tekken. Основное описание и настройки ориентированы на текстовые запросы и ответы; сведения о поддерживаемых естественных языках не приведены. Модель распространяется по лицензии Apache-2.0. Её конфессиональная специализация задаёт определённую богословскую перспективу, поэтому ответы могут отражать реформатские предпосылки и не заменяют консультацию квалифицированного специалиста в пастырских или иных чувствительных ситуациях.

Reformed-Christian-Bible-Expert-v2.1-12B — дообученная модель автора sleepdeprived3 на базе Mistral-Nemo-Instruct-2407 от Mistral AI и NVIDIA. Это плотная языковая модель с 12,1 млрд параметров, контекстом до 131 072 токенов и чатом по шаблону Mistral V3 Tekken. Она отвечает на богословские вопросы с реформатской позиции, объясняет библейские тексты через заветное богословие и историю искупления, а также помогает готовить проповеди, катехизические материалы и учебные разборы. В обучении, согласно карточке, использованы Вестминстерские стандарты, Три формы единства и пуританские труды; модель ориентирована на реформатские исповедальные положения, включая TULIP и «пять сола». Карточка заявляет поддержку более чем десяти языков, включая английский, нидерландский и корейский; в метаданных указан английский язык. Доступны веса Safetensors, а в карточке также упомянуты варианты GGUF и EXL2 с квантизацией. Модель выпущена под лицензией Apache-2.0. Ее ответы отражают заданную конфессиональную перспективу и могут содержать ошибки; автор рекомендует использовать их как поддержку, а не замену пастырскому надзору.

Модель Huyt/rice-leaf-disease-efficientnet-b0 — классификатор изображений листьев риса, разработанный на базе EfficientNet-B0 и дообученный автором с использованием timm и ImageNet-предобучения. Она определяет одно из 17 состояний листа по цветной фотографии RGB. Модель принимает изображения, преобразованные к входному разрешению 224×224 пикселя, и выдаёт классы заболеваний и нарушений риса. Модель предназначена для предварительной сортировки случаев заболеваний риса в образовательных и исследовательских сценариях. На отложенном тестовом наборе из 3984 изображений автор сообщает accuracy 0,9709 и macro-F1 0,9473; разделение выполнялось по группам листьев, чтобы изображения одного листа не попадали одновременно в обучение и тест. Для использования нужны библиотека timm и PyTorch; веса доступны в формате safetensors. Лицензия — Apache-2.0. Результаты ограничены исходным набором данных: редкие классы представлены небольшим числом примеров, а лабораторные и полевые условия съёмки связаны с классами и могут влиять на предсказания. Внешняя проверка на независимых наборах не проводилась; модель не заменяет диагностику агронома, а предсказания для других культур и новых условий съёмки ненадёжны. Класс Leaf Smut исключён из обучения.

LastBuff/thai-qa-lab-model — модель Thai GPT-2, дообученная студентом LastBuff на наборе данных disease_3000, содержащем 3 000 пар вопросов и ответов о заболеваниях. Модель предназначена для генерации ответов на вопросы на тайском языке в медицинском тематическом контексте. Модель использует архитектуру GPT-2 и поддерживает контекст длиной до 1 024 токенов. Она может применяться для прототипирования тайскоязычных систем вопросно-ответного взаимодействия о заболеваниях, учебных демонстраций и генерации черновых ответов. Модель опубликована под лицензией MIT. Документация не содержит сведений о размере модели, базовой версии GPT-2, процедуре обучения, результатах оценки или рекомендованных параметрах использования. Ответы не следует считать медицинской консультацией: модель может генерировать неточную, неполную или потенциально опасную информацию и требует проверки специалистом.

roneneldan/TinyStories-Instuct-1Layer-21M — небольшая авторегрессионная языковая модель, разработанная Ronen Eldan и размещённая на Hugging Face. Модель обучена на датасете TinyStories-Instruct и предназначена для генерации простых англоязычных историй и продолжения текстовых подсказок. Для запуска используется Transformers и архитектура GPT-Neo; задача модели — text generation. Модель имеет 66,1 млн параметров, один слой Transformer, 16 attention heads, размер скрытого состояния 1024, словарь из 50 257 токенов и максимальный контекст 2048 токенов. Она компактна и подходит для экспериментов с малыми языковыми моделями, генерацией учебных примеров и исследованиями интерпретируемости, но её возможности ограничены простыми англоязычными историями и небольшим размером модели. Лицензия в доступных источниках не установлена.

Модель RicardoLee/WASSA2024_EmpathyDetection_Chinchunmei_EXP305 — дообученная с помощью LoRA версия Llama 3 8B Instruct для задач WASSA 2024 Tracks 1, 2 и 3, связанных с эмпатией в диалогах. Разработчик обучал её на шаблонах предсказания, ролевого взаимодействия и контрастивного обучения с учителем. Это плотная авторегрессионная языковая модель на 7,5 млрд параметров с контекстом до 8192 токенов. Она принимает текст и генерирует текст; карточка указывает поддержку английского языка. В метаданных модель обозначена как text-generation, а README описывает её применение в задачах оценки и обнаружения эмпатии. Модель подходит для экспериментов и прикладных сценариев, где нужно оценивать эмпатичность или формировать эмпатичные ответы в диалоге. Качество в этих задачах зависит от формата запроса и настройки генерации; подробные результаты и ограничения в карточке не приведены. Базовая модель — Llama 3 8B Instruct. Сведения о лицензии в предоставленных данных отсутствуют.

Wav2Vec2 CommonPhone — мультиязычная модель распознавания фонем, разработанная Филиппом Клумппом для анализа патологической речи. Она дообучена на базе facebook/wav2vec2-large-xlsr-53 на корпусе Common Phone, включающем записи более 11 000 говорящих из Mozilla Common Voice. Модель принимает аудио с частотой дискретизации 16 кГц и с помощью CTC-проекции предсказывает последовательность из 101 символа Международного фонетического алфавита (IPA). Она предназначена для фонетического анализа речи на английском, французском, немецком, итальянском, русском и испанском языках. В тестах указана частота ошибок распознавания фонем 11,0% для английского, 9,9% для французского и 9,8% для немецкого. Модель распространяется по лицензии CC0 1.0. Она выдаёт фонемную транскрипцию, а не обычный текст; приведённые результаты тестирования охватывают только три языка, и карточка не приводит оценки для остальных языков.

C1-4B — плотная языковая модель семейства Qwen3, разработанная UofTCSSLab на основе Qwen/Qwen3-4B-Instruct-2507. Это финальная версия после дообучения с учителем и обучения с подкреплением; модель предназначена для анализа шахматных позиций. На вход ей подают позицию в формате FEN, расположение фигур и список легальных ходов. Она формирует пошаговое рассуждение на естественном языке и завершает ответ одним лучшим ходом в нотации UCI. В тесте на 900 шахматных задач точность точного совпадения хода при жадном декодировании составила 48,3%; средняя длина ответа — около 169 токенов. Модель имеет 3,7 млрд параметров и контекст до 262 144 токенов. Для генерации авторы рекомендуют температуру 0. Репозиторий содержит веса Safetensors и использует библиотеку Transformers; лицензия — Apache-2.0. Результат теста не гарантирует правильность хода в каждой позиции, поэтому ответы следует проверять шахматным движком или самостоятельно.

SylvanL разработал ChatTCM-7B-Pretrain — языковую модель для генерации текста на основе Qwen2-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 и принимает контекст длиной до 32 768 токенов. Её продолжили предварительно обучать в течение двух эпох на наборе Traditional-Chinese-Medicine-Dataset-Pretrain с помощью LLaMA Factory. Модель сохраняет общие возможности исходной модели и лучше ориентируется в материалах традиционной китайской медицины. Она предназначена для диалоговых сценариев и генерации текстов, связанных с медицинскими опросниками, рецептами, диагнозами, историями болезни, учебниками и классическими текстами, лекарственными средствами, травами, формулами, терминами, заболеваниями, симптомами и диетотерапией. Основной язык карточки — китайский. Модель опубликована в формате safetensors под лицензией Apache-2.0. Это языковая модель, а не проверенный медицинский инструмент: ответы о здоровье следует сверять со специалистом, особенно перед постановкой диагноза или назначением лечения.

ClimateChat — чат-модель для ответов на вопросы об изменении климата, разработанная командой itpossible. Это дообученная модель семейства Mistral с архитектурой MistralForCausalLM и 7,2 млрд параметров; базовая модель — itpossible/JiuZhou-base. По карточке авторов, ClimateChat создана в рамках работы над данными и методами инструкционного дообучения LLM для ответов на климатические запросы. Модель предназначена для диалоговых ответов на вопросы о климате, включая фактические и пояснительные запросы. Она принимает текст и генерирует текст; максимальная длина контекста — 32 768 токенов. Репозиторий содержит веса Safetensors для Transformers. Поддерживаемые языки в предоставленных сведениях не перечислены. Модель распространяется по лицензии Apache-2.0.

FengZheng-7B-Chat — китайская диалоговая языковая модель команды HIT-SCIR-TG для популяризации знаний об аэрокосмической отрасли. Она создана на базе Qwen1.5-7B: модель прошла дополнительное обучение на аэрокосмических текстах и дообучение на диалогах с инструкциями по этой тематике. Модель предназначена для ответов на вопросы об аэрокосмической тематике и объяснения таких знаний в формате беседы. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, контекстом до 32 768 токенов и поддержкой китайского языка; репозиторий содержит веса Safetensors. Для запуска README указывает Transformers версии 4.37.0 или новее. Лицензия — Apache-2.0. Ответы могут содержать фактические ошибки, предвзятые или вредоносные высказывания, поэтому их следует проверять перед использованием. Опубликованная ручная оценка основана на 100 записях и не гарантирует качество ответов в других сценариях.

FloraSense — модель классификации изображений растений и другой флоры, разработанная Sisigoks. Это Vision Transformer на базе google/vit-base-patch16-224, дообученный на наборе Planter_GARDEN_EDITION с более чем 10 000 фотографий растений. Модель предназначена для распознавания видов растений в приложениях для ботаники и садоводства, образовательных проектах и проектах по изучению биоразнообразия. По данным карточки, точность на оценочной выборке составляет 35,46%. Модель обучалась 10 эпох; её результаты могут быть полезны для предварительной идентификации, но точность ограничена большим числом близких по виду классов. Лицензия — MIT.

IncorrectTraceSFT-Qwen2.5-7B-MATH-random-mask-90 — экспериментальный чекпойнт, созданный полным дообучением Qwen2.5-7B командой исследования, посвящённого использованию ошибочных цепочек рассуждений при supervised fine-tuning. Это условие random_mask_90 в эксперименте по маскированию математических данных; обучение выполнено на 125 шагах оптимизатора. Модель предназначена для исследования математического рассуждения и выбора данных для дообучения, а также для генерации текстовых ответов на математические задачи. Модель имеет плотную архитектуру Qwen2ForCausalLM и 7,1 млрд параметров, работает с текстом и поддерживает контекст до 131 072 токенов. В карточке указаны английский язык, формат safetensors и лицензия Apache-2.0. Это исследовательский чекпойнт, а не заявленная универсальная математическая система: README предупреждает, что правильность итоговых ответов в обучающих данных не означает проверки промежуточных рассуждений. Качество следует оценивать в соответствии с протоколом эксперимента.

mara-small — компактная языковая модель на 24,6 млн параметров, созданная разработчиком с нуля и обученная на корпусе TinyStories. Архитектура GPT включает 6 слоёв, RoPE, SwiGLU и связанные эмбеддинги. Модель предназначена для генерации коротких детских историй на английском языке; она может служить базой для браузерного инференса и экспериментов с малыми моделями. Для запуска доступны веса SafeTensors, ONNX FP16 для WebGPU и ONNX INT8 для WASM. Лицензия — Apache-2.0. Модель принимает текстовые подсказки и продолжает их связным повествованием. Контекстное окно составляет 512 токенов. Она не обучена следовать инструкциям и не обладает широкими знаниями о мире; за пределами тематики детских историй качество быстро снижается. Возможны ошибки с местоимениями и гендером.

MechVL-4B-SFT — мультимодальная модель XiaofengAlg для понимания машиностроительных чертежей. Она дообучена методом полного SFT на обучающей части датасета MechVQA на базе Qwen3-VL-4B-Instruct; визуальный энкодер и проекция при обучении оставались замороженными. Модель служит опорной политикой для следующего этапа обучения с подкреплением. Модель принимает изображение чертежа и текстовый вопрос, а в ответ формирует текст с обоснованием и кратким итоговым ответом. Она предназначена для визуальных вопросов о механических чертежах; заявлены китайский и английский языки. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

Nanoserve 27M — небольшая авторегрессионная языковая модель на основе декодерного трансформера, разработанная в рамках проекта Nanoserve и обученная с нуля на TinyStories V2. Модель содержит 26,7 млн параметров; её архитектура использует 8 слоёв, 8 голов внимания, grouped-query attention с 2 KV-головами и блоки SwiGLU. Веса опубликованы в формате safetensors, контекст — 1 024 токена. Модель предназначена для генерации коротких детских историй на простом английском языке. Она обучалась на 536 млн токенов из TinyStories V2 с использованием специального токенизатора byte-level BPE на 8 192 токена. Это не универсальный ассистент: модель не обучалась следовать инструкциям, отвечать на вопросы или рассуждать. Лицензия — MIT.

Noodle Baseline — экспериментальная модель для генерации ответов на математические задачи с использованием латентных шагов рассуждения. В карточке описана архитектура из кодировщика промпта, модуля LatentReasoner с итеративным вниманием и декодера с авторегрессионной генерацией. Модель дообучена на базе openai-community/gpt2; для компонента латентного рассуждения заявлена отдельная инициализация с нуля. В конфигурации указаны 12 слоёв и 12 голов внимания для кодировщика и декодера, размер скрытого слоя 768, латентное пространство размером 128 и 16 латентных токенов. Для дообучения использовано 1000 примеров GSM8K и 200 шагов, поэтому качество на широком круге задач не подтверждено. Модель принимает текст и генерирует текст; карточка ориентирует её на англоязычные математические задачи. Лицензия — MIT.

jwhj/Qwen2.5-Math-1.5B-OREO-Value — модель оценки последовательностей на базе семейства Qwen2, связанная с методом OREO (Offline REasoning Optimization) для многошаговых рассуждений языковых моделей. Репозиторий описывает обучение и оценку моделей для математических рассуждений и среды ALFWorld; данный чекпойнт предназначен для оценки решений или промежуточных состояний в таких сценариях. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Qwen2 и класс LLMForSequenceRegression. Контекст составляет 4096 токенов. В карточке описан сценарий применения с математическими задачами и интерактивными задачами ALFWorld; конкретные поддерживаемые естественные языки не обозначены. Файлы представлены в формате safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя. Специализированная оценка может быть ограничена задачами и распределениями данных, использованными при обучении; результаты в других областях не подтверждены.

Qwen3-psychological-reasoning-1.7B — дообученная Gustave Cortal языковая модель семейства Qwen3 с плотной архитектурой и 1,7 млрд параметров. Она предназначена для генерации текста и диалога с рассуждениями на психологические и философские темы, включая эмоции, самооценку и существование. Модель обучена методом LoRA на отобранных рассуждениях из наборов Dolphin R1, General Thought и PsychologicalReasoning-15k. Метаданные указывают контекст до 40 960 токенов; формат весов — safetensors. Базовая Qwen3 — компактная многоязычная модель, однако карточка этой версии указывает английский язык. Модель подходит для исследовательских прототипов анализа и обсуждения психологических и философских понятий. Размер 1,7 млрд параметров ограничивает её возможности по сравнению с более крупными моделями, а качество рассуждений и пригодность для профессиональной психологической оценки в карточке не подтверждены. Лицензия — MIT.

sherlock-qwen2.5-3b-grpo-v1 — чат-модель на базе Qwen2.5-3B-Instruct, дообученная Андреа Чен для решения задач MATH уровней 1–3 в стиле Шерлока Холмса. Это плотная авторегрессионная модель класса Qwen2ForCausalLM с 3,1 млрд параметров, рассчитанная на генерацию текста и диалог; максимальный контекст — 32 768 токенов. Полные веса включают слитые LoRA-адаптеры. Обучение включало SFT, а затем GRPO с оценкой ответов языковой моделью-судьёй по рубрике соответствия образу персонажа. На тестовой выборке из 200 задач точность составила 56%; корректность ответов не входила в награду GRPO, поэтому модель не следует считать надёжным математическим решателем. Она ориентирована на ответы с пошаговым рассуждением и строкой Final answer: \boxed{}; форматные нарушения во время обучения получали нулевую награду. Лицензия в предоставленных данных не указана.

Cipher-AI/Substitution-Cipher-Text-Eng — дообученная модель T5-Base, разработанная для расшифровки английского текста, закодированного моноалфавитным шифром подстановки. Она принимает шифротекст и генерирует предполагаемый исходный текст, используя статистические и языковые закономерности английского языка. Модель имеет архитектуру T5ForConditionalGeneration, около 123,8 млн параметров и контекст до 512 токенов. Она предназначена для учебных и исследовательских задач криптоанализа и восстановления коротких сообщений. Модель обучена на английских предложениях; лицензия — Apache-2.0. Качество расшифровки зависит от длины и содержания шифротекста, а также от того, соответствует ли он моноалфавитной подстановке.

Thai GPT-2 Fine-Tuned — генеративная языковая модель на базе GPT-2, дообученная студентом Angkun на наборе disease_3000 из 3 000 пар вопросов и ответов о заболеваниях. Модель предназначена для генерации ответов на вопросы на тайском языке и опубликована под лицензией MIT. Модель работает с текстом, поддерживает тайский язык и имеет нативное контекстное окно 1 024 токена. В метаданных указано назначение text-generation; модель может использоваться для прототипов систем вопросов и ответов о заболеваниях, учебных экспериментов и генерации тематических текстовых ответов. Ограниченная предметная область и небольшой объём обучающих данных могут снижать точность, полноту и устойчивость ответов. Модель не следует использовать как самостоятельный источник медицинских рекомендаций или для принятия клинических решений; перед применением необходима проверка специалистом.

AstroLLaMA-2-7B-Chat_AIC — специализированная чат-модель для астрономии, разработанная командой AstroLLaMA в рамках инициативы UniverseTBD. Она создана методом supervised fine-tuning на основе AstroLLaMA-2-7B-Base_AIC, которая, в свою очередь, дообучена на научных статьях из категории astro-ph на arXiv. В карточке указано, что для диалоговой настройки использованы 10 356 астрономических диалогов, созданных по аннотациям arXiv с помощью GPT-4, а также данные LIMA, Open Orca и UltraChat. Модель построена на архитектуре LLaMA 2 с 6,6 млрд параметров и контекстом 4096 токенов. Она предназначена для ответов на вопросы и диалогов об астрономии, а также выполнения инструкций на английском языке. Репозиторий распространяется по лицензии MIT. Модель уступает более новым версиям AstroLLaMA и может хуже работать за пределами астрономии; ответы о научных фактах следует проверять по надежным источникам.

Модель SlayerLab/bielik-1.5b-v3-matura-history-sft2 разработана SlayerLab как компактная языковая модель для ответов на экзаменационные задания по истории в формате польского выпускного экзамена matura расширенного уровня CKE. Это полно-параметрически дообученная методом SFT модель speakleash/Bielik-1.5B-v3.0-Instruct на синтетических заданиях и примерах экзаменационных ответов. Она использует плотную архитектуру LlamaForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель рассчитана на польскоязычные вопросы по истории, задания с кратким ответом и эссе. В репозитории доступны веса bf16 в формате Transformers и варианты GGUF для запуска через llama.cpp; результат зависит от квантизации и протокола оценки. В оценивании команды модель проходила порог на экзаменационном и Wikipedia-наборе при использовании специального harness с поиском, но не прошла порог на невиданном экзамене CKE 2026. Это экспериментальный хакатонный артефакт, настроенный на конкретный оценщик. Модель может ошибаться в именах, датах и местах, ответы «верно/неверно» даёт примерно на уровне случайного угадывания, а эссе могут содержать вымышленные факты. Не следует полагаться на неё для проверки фактов или оценивания работ. Лицензия — Apache-2.0.

Модель tiantiaf/childvox-speechocean762-prosody-babyhubert разработана Tiantian Feng для классификации просодии детской и взрослой речи. Она дообучена на корпусе SpeechOcean762 и предназначена для определения категории «Poor intonation» («плохая интонация»); в README описана оценка детской и взрослой речи в рамках бенчмарка ChildVox, принятого на EMNLP 2026 Main. Модель построена на базе MarvinLvn/BabyHuBERT, принимает аудио и выдаёт результат классификации. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия OpenRAIL запрещает коммерческое использование согласно README. Записи детской речи требуют особого внимания к приватности, согласию участников и соблюдению применимых норм; модель не предназначена для диагностики, индивидуальной оценки развития без экспертной проверки, слежки или приватного мониторинга.

HuggingFaceTB выпустила эту модель как часть серии экспериментов FineMath: это продолжение предобучения базовой Llama 3.2 3B на математических данных. Модель содержит 3,2 млрд параметров, использует плотную архитектуру LlamaForCausalLM и контекст длиной 4096 токенов. В README указано обучение на 160 млрд токенов из смеси FineWeb-Edu, FineMath-4+ и InfiWebMath-4+; метаданные связывают модель с датасетом HuggingFaceTB/finemath. Модель предназначена для продолжения текста на английском языке с акцентом на математику. Она не настроена для следования инструкциям, а её основная цель — сравнение результатов с другими моделями, обученными в тех же условиях. Лицензия — Apache-2.0. Среди ограничений README отмечает преимущественно англоязычные математические данные и возможные смещения или вредоносное содержание, унаследованные от обучающих данных.

HuggingFaceTB разработала эту модель в рамках серии абляций FineMath: это плотная авторегрессионная модель Llama 3.2 с 3,21 млрд параметров, продолжавшая предобучение на подмножестве FineMath-3+. Обучение включало 60 млрд токенов английских математических данных; контекст — 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для продолжения текста на английском языке с упором на математику. Она не настроена на выполнение инструкций, поэтому подходит для генерации математических фрагментов и сравнения результатов абляционных экспериментов, а не для диалогового ассистента. Возможности и качество за пределами английских математических текстов ограничены; поведение также зависит от качества и разнообразия обучающих данных, в которых могут присутствовать смещения и вредоносный контент.

HuggingFaceTB/finemath-ablation-fwedu — языковая модель HuggingFaceTB, полученная продолжением предобучения Meta Llama 3.2 3B на 60 млрд токенов из FineWeb-Edu. Это плотная авторегрессионная модель семейства Llama с 3,21 млрд параметров, контекстом 4096 токенов и токенизатором llama3; доступна в формате safetensors. Модель предназначена для англоязычного продолжения текста с упором на математику. Она не проходила instruction-tuning, поэтому лучше подходит для завершения текстов и сравнения результатов абляционных экспериментов, чем для диалога и выполнения инструкций. Лицензия — Apache-2.0. Обучение преимущественно на англоязычных математических данных может ограничивать качество на других языках. Результаты также зависят от качества и разнообразия обучающих данных, в которых могут присутствовать смещения и вредоносное содержание.

HuggingFaceTB/finemath-ablation-infiwebmath-4plus — экспериментальная языковая модель Hugging Face, полученная продолжением предобучения Meta Llama 3.2 3B на подмножестве InfiMM-WebMath-4+ датасета FineMath. Модель с плотной архитектурой LlamaForCausalLM содержит 3,21 млрд параметров, использует токенизатор Llama 3 и имеет контекст 4096 токенов. Обучение охватило 60 млрд токенов на английских математических данных. Модель предназначена для продолжения текста на английском языке с уклоном в математику и для сравнения с другими моделями абляционного эксперимента, обученными в тех же условиях. Она не проходила инструкционную настройку, поэтому не рассчитана на надёжное следование командам или формат диалога. Доступна в формате safetensors, лицензия — Apache-2.0. Возможности на других языках могут быть ограничены; ответы зависят от качества и разнообразия обучающих данных и могут отражать их смещения или вредоносное содержание.

GPT-2para3M — небольшая авторегрессионная языковая модель семейства GPT-2, дообученная на наборе TinyStories. Она предназначена для генерации коротких историй по текстовому запросу. По карточке модели, размер составляет около 3,6 млн параметров; модель показала значение loss 2,3207 на оценочном наборе. Контекст — до 1024 токенов. Модель специализирована на историях и не подходит для широкого круга задач генерации текста. Разработчик отмечает, что из-за малого размера её возможности ограничены, а обучающие данные содержат только истории. Репозиторий распространяется по лицензии MIT.