II.10Разработка и эксплуатация AI/ML-систем

TinyStories-1M-ds — экспорт модели roneneldan/TinyStories-1M, подготовленный пользователем mgoin для запуска с помощью DeepSparse. Это компактная авторегрессионная модель генерации текста на архитектуре GPT-Neo с 3,7 млн параметров и контекстом до 2048 токенов. Модель предназначена для генерации коротких продолжений и простых текстовых историй по заданному началу или промпту. Формат распространения ориентирован на экосистему Transformers, ONNX и DeepSparse, что подходит для экспериментов и ресурсоограниченных сценариев инференса. Из-за небольшого размера модель удобна для локального запуска и обучения базовым принципам генерации текста, но её возможности и качество заметно ограничены по сравнению с крупными языковыми моделями. Языки обучения, лицензия и специализированные предметные области в доступных данных не указаны.

locuslab выпустила Phi-1.5, дообученную на полном наборе TOFU — бенчмарке для исследования машинного забывания. Набор содержит вопросы и ответы по вымышленным автобиографиям 200 авторов, созданным GPT-4. Модель предназначена для экспериментов с удалением выбранных сведений из памяти языковой модели и оценкой того, как это влияет на сохранение других знаний. Это плотная авторегрессионная языковая модель семейства Phi с 1,7 млрд параметров и контекстом до 2048 токенов. Она принимает текст и генерирует текст; репозиторий содержит веса Safetensors. Базовая модель — microsoft/phi-1_5, лицензия — Apache-2.0. Модель подходит для исследований приватности данных, соответствия требованиям и поведения моделей при выборочном забывании. Карточка описывает специализацию на TOFU, но не приводит количественных результатов качества или подробностей о том, какие именно стратегии забывания поддерживаются; заявления о сохранении прочих способностей следует проверять экспериментально.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget10_UNDIAL — плотная языковая модель семейства Llama 3.1, разработанная на основе open-unlearning/tofu_Llama-3.1-8B-Instruct_full. Модель с 7,5 млрд параметров дообучена методом UNDIAL на разделении forget10 набора TOFU в рамках проекта open-unlearning. Модель предназначена для генерации текста в диалоговом формате и служит базовым вариантом для исследования удаления запомненных данных и speculative decoding. В карточке приведены метрики оценки на TOFU; контекст модели составляет до 131 072 токенов. Доступны веса в формате safetensors для библиотеки Transformers. Модель распространяется по лицензии Llama 3.1. Карточка не описывает её как универсальную модель для повседневного применения; результаты удаления данных следует оценивать по указанным метрикам и собственным проверкам.

Joao Boer подготовил эту плотную авторегрессионную языковую модель семейства Llama 3.2 для экспериментов по машинному забыванию данных. Модель на 3,2 млрд параметров основана на open-unlearning/tofu_Llama-3.2-3B-Instruct_full и дообучена методом SimNPO на части forget05 набора TOFU в рамках проекта open-unlearning. Модель предназначена для генерации текста в диалоговом формате и служит базовым вариантом для оценки удаления запомненных сведений и экспериментов со speculative decoding. В карточке приведены метрики TOFU, включая exact_memorization 0,5952, extraction_strength 0,0607 и forget_Q_A_PARA_Prob 0,0442. Поддерживается контекст до 131 072 токенов; указаны библиотека Transformers и формат safetensors. Для использования требуется соблюдать лицензию Llama 3.2. Это специализированный исследовательский чекпойнт для экспериментов с забыванием на TOFU; представленные метрики сами по себе не подтверждают качество удаления данных за пределами этого протокола.

TokSuite–TokenMonster — исследовательская языковая модель команды TokSuite, созданная для изучения влияния токенизатора на поведение языковых моделей в контролируемых условиях. Это плотный decoder-only Transformer семейства Llama с 1,4 млрд параметров и контекстом 8192 токена по метаданным; в README указаны конфигурация Lingua Llama-3.2-1B и контекст 4096 токенов. Модель использует собственный субсловный токенизатор TokenMonster с словарём 32 000 токенов и обучаемыми границами сегментации. Модель предназначена для генерации текста и экспериментов по токенизации, многоязычному NLP и устойчивости к опечаткам, Unicode-вариациям, OCR-артефактам, шуму ввода и научной нотации. Обучение проводилось на корпусе примерно из 100 млрд токенов: английский, китайский, турецкий, итальянский и фарси. В README сообщается о сравнительных оценках на стандартных языковых бенчмарках и тестах устойчивости. Это базовая, не настроенная на инструкции модель: она не оптимизирована для диалога или пользовательского развертывания. README также отмечает ограниченный набор языков, возможную зависимость охвата исходного текста от эффективности токенизации и смещения обучающих веб-данных. Лицензия — MIT.

translation_model — текстовая модель семейства T5 с архитектурой T5ForConditionalGeneration и 38,5 млн параметров. Согласно карточке, её обучили с нуля на неизвестном наборе данных; в метаданных указаны Transformers и формат safetensors. Контекст составляет 512 токенов. Модель предназначена для перевода текста. В карточке приведены результаты оценки: loss 1,8172, BLEU 1,4433 и средняя длина генерации 18,005 токена. Данных о языковых парах, качестве на конкретных языках и подходящих сценариях применения нет, поэтому практическую пригодность следует проверять на собственных примерах. Лицензия не указана.

Модель weileluc/vit-base-oxford-iiit-pets — дообученная версия Vision Transformer ViT-Base от Google для классификации изображений кошек и собак по 37 породам из набора Oxford-IIIT Pet. Она построена на google/vit-base-patch16-224, содержит 113,2 млн параметров и рассчитана на изображения; текстовые входы не поддерживает. По данным карточки, точность на оценочной выборке составила 94,32%. Модель подходит для определения породы питомца на фотографии, учебных экспериментов по transfer learning и сравнения подходов к классификации изображений. Она обучена на 7 349 изображениях Oxford-IIIT Pet и распознаёт только 37 представленных в наборе пород. На необычных ракурсах, при плохом освещении и на изображениях вне обучающего набора качество может снижаться. Лицензия — Apache-2.0.

VLAct Qwen3-VL-4B Continued-Pretraining Backbone — исследовательский мультимодальный чекпойнт StarVLA для переноса визуально-языковых представлений и знаний о действиях между роботами. Это результат 100 000 шагов продолженного предобучения модели StarVLA/Qwen3-VL-4B-Instruct-Action; в обучении совместно использовались визуально-текстовые данные и траектории роботов, а также три головы непрерывных действий OFT, PI и GR00T. Чекпойнт предназначен как начальная точка для дообучения робототехнических политик под новый набор данных, робот или бенчмарк. Он объединяет данные разных воплощений и использует общую дополненную 20-мерную раскладку действий с маскированием неактивных измерений. Для работы с полным чекпойнтом требуется соответствующая среда StarVLA и конфигурация; это не готовая к развёртыванию политика и не стандартный пакет Transformers. Модель не проверена для управления роботом без дообучения. Для целевого робота необходимо настроить соответствие действий, нормализацию, камеры и параметры управления, а несовместимую голову действий обучить отдельно. Лицензия — Apache-2.0.

Ashenzari разработала VLA MAMBA Progress Monitor v2.1.0 — ансамбль из пяти моделей на базе Mamba для оценки хода выполнения роботизированной задачи. Он получает временные последовательности признаков, извлечённых из замороженного VLA/VLM-бэкбона, и выдаёт кривую прогресса; релиз предназначен только для оценки прогресса, а не успешности или неуспешности задачи. Модель рассчитана на внутридоменные задачи coffeecup, saucer, waterbottle и wine. На каждом шаге используются усреднённые признаки размерности 4096, извлечённые с частотой 10 Гц по 64 визуальным токенам и четырём временным смещениям от −0,3 до 0 секунд. Пять чекпойнтов обучены на разделённых по коллекциям фолдах, их оценки прогресса усредняются. Для работы нужны признаки, извлечённые именно из бэкбона new_vla_checkpoint_vlm_30k, а также нормализатор рангов из чекпойнта; кэш признаков v2.0.0 несовместим. Смена VLA/VLM-бэкбона может изменить распределение признаков и требует повторной проверки. Выход головы результата не обучен и не должен интерпретироваться как вероятность успеха. Лицензия в предоставленных данных не указана.

Модель Mwau/waxal_swahili-tts-mms преобразует текст на суахили в синтетическую речь. Это дообученный чекпойнт Meta MMS-TTS на архитектуре VITS с одним голосом, созданный на данных google/WaxalNLP. Веса сохранены после 4 500 шагов из запланированных 20 200; размер модели — 3,5 млн параметров, частота дискретизации выходного аудио — 16 кГц. Модель предназначена для экспериментов с синтезом суахили и переносом технологий TTS на языки с ограниченными ресурсами. Короткий этап обучения и небольшой набор данных дают разборчивую, но грубую речь: возможны неестественная просодия, артефакты, непостоянный темп и ошибки произношения. Модель обучена на записях одного диктора и может плохо переноситься на другие диалекты и манеру речи; формальных метрик качества нет. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое.

jjnhuang/whisper-small-finetuned-iwslt-irish-synthetic — дообученная модель автоматического распознавания речи на базе OpenAI Whisper Small. Она предназначена для преобразования аудио в текст; в названии указана настройка на синтетических данных IWSLT для ирландского языка, однако README не описывает набор данных и не уточняет языки обучения. Модель содержит 153,1 млн параметров, построена на архитектуре Whisper и распространяется в формате Safetensors для Transformers. В оценке указаны WER 94,9404, BLEU 9,1198, chrF++ 29,5535 и COMET 0,5382; высокий WER указывает на слабое качество распознавания в приведённой оценке. Лицензия — Apache-2.0. Карточка не раскрывает дополнительные ограничения или подробности применения.

fpadovani/wiki_shuffle_np_13 — языковая модель семейства GPT-2, дообученная разработчиком fpadovani на неизвестном наборе данных. Она предназначена для генерации текста и использует архитектуру GPT2LMHeadModel; модель работает с текстом и имеет контекст длиной 1024 токена. В карточке приведено значение loss 5,9307 на наборе оценки, но описание задач обучения и оценивания отсутствует. Модель распространяется в формате Safetensors; условия лицензии в доступных данных не приведены.

Raghav-Singhal/1pp-1b-raw-base — базовая языковая модель из эксперимента One Persona Pretraining (1PP), связанного с исследовательским проектом EPFL DLAB. Модель разработана для изучения влияния формата предобучающих данных и маски потерь; этот вариант обучен на исходных документах DCLM-edu без преобразования в диалоги. Это плотный авторегрессионный декодер семейства Llama с 24 слоями и примерно 906 млн параметров по метаданным Hugging Face. Модель принимает текст и генерирует текст, поддерживает английский язык, использует контекст до 4 096 токенов и распространяется в формате safetensors для Transformers. README описывает обучение на 47,8 млн документов и ChatML-шаблон, однако исходный вариант предназначен для продолжения обычного текста, а не для роли универсального диалогового помощника. Модель подходит для исследовательских экспериментов с генерацией текста и предобучением языковых моделей. Она не является готовым ассистентом и не заявлена для специализированных прикладных областей. Лицензия — Apache-2.0.

A2World World Model — модель мира для робототехники, дообученная Fleurrr на базе NVIDIA Cosmos-Predict2-2B-Video2World. Это многовидовая диффузионная модель, которая предсказывает будущие наблюдения робота по начальным изображениям с камер и фрагменту из 20 действий. Вариант A2World-sim дополнительно использует историю изображений, заданную позой, и поддерживает авторегрессионное продолжение роллаута. Выпущены контрольная точка предварительного обучения на разнородных робототехнических данных и вариант A2World-sim, адаптированный на LIBERO. Модель предназначена для прогнозирования видео по действиям, построения открытых и пошаговых авторегрессионных роллаутов, а также исследований обучаемых симуляторов и переносимых представлений динамики роботов. Веса сохранены в BF16 и предназначены для совместимости с публичным конвейером роллаута. Сгенерированные роллауты могут ошибаться в геометрии, контактах, состоянии объектов и успешности задачи; ошибки накапливаются при длинном прогнозировании. Для работы требуются согласованные идентификаторы камер, семантика действий и предобработка. Модель не является сертифицированным симулятором и не заменяет проверку безопасности на реальном роботе. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

AAIE-Distilled MoE — базовая языковая модель с архитектурой Mixture-of-Experts, разработанная автором репозитория namquangstudy. Модель содержит 617,91 млн параметров, из которых активны около 222,73 млн на токен; в ней 20 слоёв, GQA-внимание с RoPE и RMSNorm, а также 8 экспертов с маршрутизацией top-2. Она обучалась продолжать общий веб-текст и дистиллировалась по выходам Qwen/Qwen2.5-3B; это исходный чекпойнт без дообучения для следования инструкциям. Модель предназначена для экспериментов с генерацией и продолжением текста, а также для дальнейшего обучения. Обучение остановили на 41 860-м шаге из запланированных 100 000, до сходимости; валидационная perplexity находилась на плато. Поэтому качество генерации может быть нестабильным, а на вопросы и инструкции модель не обязана отвечать — вероятнее обычное продолжение текста. Доступна под лицензией MIT.

Модель разработана автором репозитория gary109 и представляет собой дообученную версию gary109/ai-light-dance_drums_pretrain_wav2vec2-base-new-7k на датасете GARY109/AI_LIGHT_DANCE - ONSET-RBMA13-2. Это модель Wav2Vec2ForCTC с 113,3 млн параметров для автоматического распознавания речи по аудио. В README приведён результат оценки WER 1,0, что указывает на слабое качество распознавания в указанной оценке. Для надёжного применения в других сценариях потребуется отдельная проверка качества. Репозиторий содержит веса PyTorch; условия лицензии в предоставленных данных не описаны.

analist/aml-wikitext-poc — небольшая модель генерации текста, опубликованная на Hugging Face и предназначенная для запуска через библиотеку Transformers. В метаданных она отмечена как модель семейства Llama и использует формат SafeTensors; разработчик, базовая модель и назначение обучения в карточке не раскрыты. Модель содержит 51,4 млн параметров и поддерживает контекст длиной до 512 токенов. Она может применяться для экспериментов с авторегрессионной генерацией текста, продолжения коротких фрагментов и прототипирования текстовых приложений, однако README не содержит результатов оценки, сведений о датасете, языках, лицензии или рекомендуемых сценариях использования. Из-за ограниченного контекста и отсутствия описания обучения качество генерации, фактическое языковое покрытие и пригодность для прикладных задач требуют самостоятельной проверки; модель не следует использовать для критически важных решений без валидации.

AnomalyThink-Qwen2.5-VL-7B-KCR-GRPO — мультимодальная модель для объяснимого обнаружения промышленных аномалий, разработанная Adnane Acudad. Это экспериментальный контрольный чекпойнт из семейства AnomalyThink: модель принимает изображения и текстовые инструкции и формирует текстовый ответ с оценкой аномалии и обоснованием. В основе лежит Qwen/Qwen2.5-VL-7B-Instruct; модель дообучена по рецепту Keep-Correct-Revise, а затем прошла дополнительное обучение GRPO. Используются архитектура Qwen2.5-VL и формат весов safetensors. В README приведены результаты balanced accuracy: 82,95% на DS-MVTec и 72,62% на VisA. Автор отмечает, что улучшение относительно KCR-инициализации невелико и нестабильно, поэтому этот запуск рассматривается как будущая работа, а основной результат исследования — отдельная модель KCR без GRPO. Модель предназначена для экспериментов и оценки объяснимого визуального контроля качества; лицензия — Apache-2.0.

Это причинная языковая модель ypwhere для исследовательских экспериментов по языковому моделированию на ограниченных данных и маршрутизации по глубине в рамках BabyLM 2026. Модель обучена на официальном обучающем разделении BabyLM объёмом 100 млн слов и предназначена для продолжения текста и оценки последовательностей, а не для диалогового общения по инструкциям. Архитектура — плотный NanoGPT с 32 слоями Transformer и скрытым размером 512. В блоках используются аддитивные остаточные связи; общая архитектура включает RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Модель принимает текстовые последовательности длиной до 512 токенов и выдаёт оценки следующих токенов; доступны генерация и причинное оценивание. Для работы используется Transformers с PyTorch, а реализация загружается с trust_remote_code=True. Модель обучена на английском языке, с отдельными официальными dev- и test-разделениями для оценки. Ограничения включают контекст до 512 токенов и отсутствие эффективного KV-кэша; модель не настроена на выполнение инструкций. Лицензия — MIT.

Модель qing-yao/babylm-opt-sva-decay-0.2-from8000-11473600 — дообученная версия models/babylm-default_seed-42_1e-3 на наборе данных qing-yao/slightly-cleaner-babylm. Это плотная авторегрессионная языковая модель семейства OPT с архитектурой OPTForCausalLM, предназначенная для генерации текста. Модель содержит 138,4 млн параметров, принимает текстовый контекст длиной до 256 токенов и распространяется в формате safetensors для Transformers. В карточке приведён результат оценки: loss 3,1216 после обработки примерно 1,57 млрд входных токенов. README не описывает целевые сценарии, языковое покрытие или известные ограничения, поэтому оценку пригодности для конкретных задач следует проводить самостоятельно. Лицензия в предоставленных сведениях не указана.

RobotsMali разработала этот контрольный чекпойнт для продолжения обучения синтезу речи на языке бамбара. Модель основана на VITS и сохраняет веса генератора и дискриминатора; размер — около 3,5 млн параметров. Она дообучена от англоязычной модели ylacombe/vits-vctk-with-discriminator на наборе RobotsMali/afvoices-notag: 21 253 обучающих и 1 128 тестовых примеров от 20 участников. Аудио приведено к частоте 22,05 кГц, текст нормализован приведением к нижнему регистру; конфигурация допускает текст длиной до 450 токенов и аудиофрагменты длительностью 0,2–20 секунд. Это стартовая точка для дальнейшей настройки VITS на собственных данных, а не готовая модель для обычного синтеза: после 200 эпох чекпойнт существенно недообучен. Корпус содержит спонтанную шумную речь из данных для ASR, а качество, разборчивость, произношение и сходство голосов не оценивались. Для обучения нужны пользовательский код RobotsMali и расширение monotonic alignment; для инференса автор рекомендует экспорт bam-vits. Лицензия — CC BY 4.0. Автор предостерегает от имитации людей и создания вводящего в заблуждение аудио.

BI-Mistral-7layers-SGR-Dolci — исследовательский чекпойнт Safal Shrestha и соавторов, созданный на основе Mistral-7B-Instruct методом сокращения глубины: слои отбирались с помощью Block Influence (BI), затем модель дообучалась QLoRA на варианте набора Dolci с Self-Generated Responses (SGR). Архитектура — плотная MistralForCausalLM; в метаданных указано 5,4 млрд параметров и контекст 32 768 токенов. Репозиторий содержит веса safetensors, модель поддерживает диалоговую генерацию текста на английском языке. Чекпойнт предназначен для изучения влияния удаления слоёв на генеративное рассуждение и восстановления качества после pruning. Его можно использовать для экспериментов по сокращению глубины LLM и сравнительного анализа ответов. Авторы прямо указывают исследовательское назначение, а не применение в production. Лицензия — Apache-2.0.

Модель cristian-untaru/biobert-medical-triage — дообученная Cristian Untaru в рамках академического проекта SortMed модель BioBERT для классификации коротких описаний симптомов на английском языке. Она присваивает тексту одну из трёх категорий срочности: self_monitor, consult_gp или urgent. Модель построена на архитектуре BERT с классификационной головой, содержит 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для прототипов медицинской предварительной сортировки, учебных проектов и экспериментов по классификации медицинского текста и сравнению способов дообучения. Она лицензирована по MIT. Это не диагностическая система и не сертифицированное медицинское устройство. Обучение проводилось на небольшом наборе SymCAT-derived с правилами разметки, не прошедшими клиническую валидацию. Модель не учитывает историю болезни и другие клинические данные, рассчитана только на английские тексты и может ошибаться на редких, неполных или неоднозначных описаниях симптомов. Для реального применения необходимы клиническая проверка и надзор специалистов.

BLASt3R Depth — модель оценки глубины от Naver, предназначенная для метода BLASt3R: восстановления 3D-сцены с bundle adjustment и визуальной SLAM по набору изображений или видео. Это один из двух необходимых чекпойнтов; для сопоставления изображений требуется совместимая модель naver/blast3r-matcher. Модель принимает изображения и выдаёт многоканальные оценки глубины, используемые в процессе реконструкции. Обучение было инициализировано предобученными весами DINOv3. В репозитории указаны веса safetensors и конфигурация, задающая класс модели и гиперпараметры. Лицензия обозначена как other; README отмечает, что веса являются производной работой DINOv3, поэтому условия использования следует сверять с лицензиями соответствующих проектов.

FrankCCCCC/cfm-cifar10-32 — модель безусловной генерации изображений, обученная на CIFAR-10. Она использует архитектуру UNet2DModel с flow matching и планировщик FlowMatchEulerDiscreteScheduler; модель распространяется для библиотеки Diffusers в формате safetensors. Генерирует цветные изображения размером 32×32 пикселя, соответствующие распределению изображений CIFAR-10. Модель предназначена для создания небольших изображений без текстового запроса, например для экспериментов с генеративными моделями и демонстрации flow matching. В README указаны 1000 шагов обучения и детерминированная генерация; заявлено, что flow matching позволяет эффективнее выполнять сэмплирование. Лицензия — Apache-2.0.

Tulifo chittu-guard-v0-4b — исследовательская диалоговая модель на 3,7 млрд параметров, дообученная методом MLX LoRA на базе Qwen3-4B-Instruct-2507. Она предназначена для кратких ответов детям и маршрутизации рискованных сообщений по специальным токенам CRISIS, UNSAFE и PII; вызывающая система должна заменять эти токены заранее подготовленными ответами. Модель рассчитана на локальный запуск, принимает текст и генерирует текст. Карточка указывает поддержку английского и тамильского языков; контекст — до 262 144 токенов. Веса объединены с базовой моделью в формате bf16, лицензия — Apache-2.0. На описанной проверке из 35 запросов модель верно обработала 4 из 8 случаев кризисного содержания, 8 из 10 небезопасных запросов и все 3 случая с персональными данными. Она может путать категории риска, пропускать косвенные кризисные формулировки на английском и тамильском, чрезмерно эскалировать обычные сообщения на Tanglish, а качество свободных ответов слабое. Авторы рекомендуют изучать её только как компонент системы с детерминированными проверками и заранее написанными ответами, а не как самостоятельный чат-бот для детей или систему обнаружения кризисов.

Модель tanganke/clip-vit-large-patch14_mnist — дообученная на наборе MNIST визуальная часть CLIP ViT-Large/14. Она предназначена для извлечения признаков изображений рукописных цифр, например для последующей классификации или анализа представлений. Архитектура — CLIPVisionModel с 402,7 млн параметров; веса опубликованы в формате safetensors. В README приведены результаты оценки: 0,760 до дообучения и 0,998 после него, однако метрика и протокол оценки не уточнены. Модель принимает изображения и выдаёт векторные представления; карточка не подтверждает поддержку текстового ввода или работу за пределами MNIST. Лицензия в предоставленных данных не указана.

ahsanjavid/convnext-tiny-finetuned-cifar10 — модель компьютерного зрения на архитектуре ConvNeXT-Tiny, дообученная на наборе CIFAR-10 для классификации изображений по десяти классам. В основе лежит ConvNeXT, предварительно обученная на ImageNet-1k с разрешением 224×224; модель предназначена для распознавания категорий объектов на изображениях и экспериментов с классификацией CIFAR-10. Модель использует архитектуру ConvNextForImageClassification и распространяется в формате PyTorch. Лицензия — Apache-2.0. Карточка не сообщает метрики качества или ограничения по применению; классификация ограничена набором из десяти классов CIFAR-10.

Crowd-v1 — экспериментальная языковая модель CrowdGPT с архитектурой Transformer и примерно 1 млрд параметров. Выпуск содержит детерминированно инициализированные, но не предобученные веса: до обучения модель не обладает полезными языковыми знаниями и не должна генерировать связный текст. Модель предназначена для распределённого обучения через инфраструктуру CrowdGPT, экспериментов с совместным обучением языковых моделей, воспроизводимой инициализации и разработки совместимых клиентов. Архитектура использует причинное внимание, GQA с 16 головами запросов и 4 головами ключей и значений, RoPE, SwiGLU и общие веса токенизатора и языковой головы. Максимальная длина последовательности — 2048 токенов; используется совместимый с Qwen3 словарь из 151 669 токенов. В репозитории представлены плоские бинарные веса BF16 и FP32, рассчитанные на клиент CrowdGPT. Модель не предназначена для готовой генерации текста до завершения обучения. Лицензия — MIT.

jkminder/d16_268m_seed7 — исследовательская базовая языковая модель семейства nanochat_gpt, опубликованная как один из 28 чекпойнтов серии Scaling Ladder. Модель представляет собой плотный GPT с 16 слоями и скрытым размером 1024; в репозитории указано 268 млн параметров, а метаданные — 302 млн. Она обучена предсказывать следующий токен на английских данных из NVIDIA ClimbMix, без дообучения для следования инструкциям и без обучения безопасности. Длина контекста — 2048 токенов. Модель предназначена прежде всего для экспериментов по предобучению языковых моделей и сравнению разброса качества между разными случайными инициализациями и порядком данных. Доступны ревизии с различными бюджетами обучения; основная ревизия main соответствует завершённому этапу TPP_200. Для практических задач требуется самостоятельно организовать генерацию и учитывать, что это базовая, а не инструкционная модель. Репозиторий распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение. Модель не проходила обучение безопасности, поэтому её ответы могут быть неподходящими или небезопасными.