II.10Разработка и эксплуатация AI/ML-систем

X-VLA 0.9B RoboTwin Edition — модель Vision-Language-Action, опубликованная 2toINF и предназначенная для управления роботами по визуальным и языковым входам. Версия для RoboTwin основана на дообучении Florence-2-large и использует энкодер Florence 2 для визуально-языковых представлений, а также Transformer с методом flow matching для генерации действий. В архитектуре применяются обучаемые soft prompts для разных типов роботов; размер модели составляет около 0,9 млрд параметров. Модель предназначена для выполнения роботизированных задач в симуляции и на физических роботах, в том числе для переноса навыков между платформами и адаптации к разным воплощениям роботов. В README указано обучение на Bridge Data V2 и оценивание в шести симуляторах и на трёх реальных роботах. Репозиторий распространяется по лицензии Apache 2.0. Карточка не уточняет языки текстовых инструкций и ограничения по конкретным роботам или задачам.

kettleguts/zephyr-7b-beta_sparse05 — разреженная версия чат-модели Zephyr 7B Beta, созданная автором репозитория на основе HuggingFaceH4/zephyr-7b-beta. Для прореживания линейных слоёв применён метод Wanda, который удалил 50% весов. Модель имеет архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для исследовательских экспериментов с генерацией текста и диалоговым поведением разреженных языковых моделей. Качество ответов сильно зависит от формулировки запроса; из-за сильного прореживания модель может вести себя как существенно меньшая модель. Карточка не рекомендует применять её вне исследований и указывает, что дополнительных защитных механизмов не добавлено. Лицензия — MIT. Модель работает с текстом и ориентирована на английский язык; в метаданных указаны датасеты UltraChat 200k и UltraFeedback Binarized.

1pp-1.7b-raw-base — экспериментальная базовая языковая модель, разработанная в рамках проекта One Persona Pretraining (1PP) группы EPFL DLAB. Это плотная авторегрессионная модель семейства Llama с 1,66 млрд параметров: 24 слоя, размер скрытого состояния 2048, словарь SmolLM2 на 49 152 токена и контекст до 4096 токенов. Модель принимает текст и генерирует продолжение; обучение проводилось на исходных документах DCLM-edu, без преобразования их в диалоги. Для запуска используются библиотека Transformers и веса в формате safetensors. Модель предназначена для исследований влияния формата данных и схемы обучения на языковые модели, а также для экспериментов с продолжением текста. Она не обучалась как универсальный диалоговый помощник: базовый вариант генерирует обычный текст и не рассчитан на следование системным инструкциям. Карточка описывает экспериментальный чекпойнт из сравнительного исследования разных размеров и условий предобучения. Лицензия — Apache-2.0.

Карточка модели windsword8989/5GbZvZ7tcC-d1 на Hugging Face совпадает с карточкой bluecolor777/megaextra-ep4-ultralolr-merged, поэтому описание составлено по ней. Это экспериментальный текстовый генератор на архитектуре Qwen3.5 MoE, опубликованный bluecolor777. Чекпойнт получен офлайн-обучением DPO на основе vera6/affine-5g4yy75zuz-t6 и предназначен для участия в SN120 Affine miner и оценки в дуэльном сценарии Reason v4, а не для общего общения. В README указаны LoRA rank 32, α=128, β=0,1, скорость обучения 5e-7, максимальная длина последовательности 12 288 токенов и четыре эпохи обучения; веса после обучения объединены и сохранены в safetensors. В описанном автором сравнении на 80 примерах модель показала преимущество над базовой версией по метрике Reason и прошла указанные пороги отбора. Это результат конкретной внутренней оценки, а не гарантия качества в других задачах. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

a2d-gpt-neox-160M — англоязычная базовая языковая модель примерно на 151,9 млн параметров, созданная на основе EleutherAI Pythia-160M. Это decoder-only Transformer семейства GPT-NeoX, преобразованный из авторегрессионной модели в архитектуру masked language modeling diffusion; веса представлены в формате safetensors и рассчитаны на контекст до 2048 токенов. Модель дообучали на подвыборке FineWeb-Edu объёмом около 3 млрд токенов с masked causal language modeling objective; она не проходила supervised fine-tuning или instruction tuning. Модель предназначена для исследований преобразования авторегрессионных моделей в diffusion-модели, продолженного предобучения и экспериментов по адаптации к предметной области и анализу масштабирования. Её можно использовать для генерации продолжения текста и изучения поведения гибридных MLM diffusion-моделей. Для прямого развёртывания, диалогов и выполнения инструкций она не предназначена. Лицензия в предоставленных данных не указана.

Карточка модели affine-kraus/Affine-5czsc2fc98-r1032-vera-odpo-midrank-hibeta-shortctx-ultraextra-ep4-midlr-merged на Hugging Face совпадает с карточкой unconst/Affine-5czsc2fc98-r1032-vera-odpo-midrank-hibeta-shortctx-ultraextra-ep4-midlr-merged, поэтому описание составлено по ней. Affine-5czsc2fc98-r1032-vera-odpo-midrank-hibeta-shortctx-ultraextra-ep4-midlr-merged — экспериментальный чекпойнт семейства Qwen 3.5 MoE, разработанный как участник серии Affine SN120. Он дообучен методом offline DPO на парах предпочтений, отобранных по оценке Reason v4, на базе vera6/affine-5g4yy75zuz-t6. В метаданных указаны библиотека Transformers, формат Safetensors и лицензия Apache 2.0. Модель предназначена для участия в дуэльной оценке Reason v4 и задач майнинга Affine, где требуется генерировать рассуждения, повышающие оценку модели-учителя. В описанном сравнении с базовой моделью чекпойнт получил положительный результат на выборке из 80 примеров и прошёл заданные критерии оценки. Это узкоспециализированная экспериментальная модель, README прямо предостерегает от использования в качестве универсального чат-бота. Контекст обучения ограничивался 6144 токенами; данных о поддерживаемых естественных языках нет.

Карточка модели michael-chan-000/affine-5GbZvZ7tcC-d1 на Hugging Face совпадает с карточкой bluecolor777/megaextra-ep4-ultralolr-merged, поэтому описание составлено по ней. Это экспериментальный текстовый генератор на архитектуре Qwen3.5 MoE, опубликованный bluecolor777. Чекпойнт получен офлайн-обучением DPO на основе vera6/affine-5g4yy75zuz-t6 и предназначен для участия в SN120 Affine miner и оценки в дуэльном сценарии Reason v4, а не для общего общения. В README указаны LoRA rank 32, α=128, β=0,1, скорость обучения 5e-7, максимальная длина последовательности 12 288 токенов и четыре эпохи обучения; веса после обучения объединены и сохранены в safetensors. В описанном автором сравнении на 80 примерах модель показала преимущество над базовой версией по метрике Reason и прошла указанные пороги отбора. Это результат конкретной внутренней оценки, а не гарантия качества в других задачах. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

AhıskaAI v0.4 145M Base — компактная авторегрессионная языковая модель проекта AhıskaAI, разработанная для генерации текста на турецком языке и экспериментов с небольшими языковыми моделями. Она обучена с нуля на корпусе FineWeb-2 HQ Turkish, без инициализации весами другой модели, и использует архитектуру LlamaForCausalLM и собственный BPE-токенизатор с словарём на 24 тысячи токенов, ориентированный на турецкий язык и его морфологию. Модель содержит около 144,3 млн параметров, обучалась в течение двух эпох на примерно 1,7 млрд токенов и поддерживает контекст до 2048 токенов. Она предназначена для генерации продолжений текста, исследований турецкого и ахыска-турецкого языков, изучения токенизации и дальнейших экспериментов по дообучению. Это базовая, не настроенная на инструкции модель, поэтому она не рассчитана на диалоговое следование запросам. Небольшой размер и экспериментальный характер могут приводить к повторам, бессвязному или фактически неверному тексту, слабому рассуждению и потере контекста. Не следует полагаться на неё в задачах с высокими ставками. Лицензия — Apache-2.0.

Модель gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base — дообученная модель распознавания речи на архитектуре Wav2Vec2ForCTC с 113,3 млн параметров. Она предназначена для преобразования аудио в текст и дообучена на наборе GARY109/AI_LIGHT_DANCE — ONSET-DRUMS. В README для оценки указаны loss 1,8991 и WER 0,6046. Модель принимает аудио и выдаёт текст. Карточка не сообщает языки распознавания, условия применения или лицензию, поэтому нельзя установить, насколько хорошо она подходит для речи вне обучающего набора.

Alpamayo-R1-10B-DFlash — вспомогательная черновая модель, разработанная z-lab для ускорения вывода Alpamayo 1 (R1) в системе FlashDrive при автономном вождении. Она не является самостоятельной языковой моделью: FlashDrive автоматически подключает её к базовой модели z-lab/Alpamayo-R1-10B. Модель предлагает блоки из нескольких токенов параллельно, чтобы ускорить цепочку причинно-следственных рассуждений базовой модели; Alpamayo проверяет каждый блок за один проход, сохраняя своё распределение выходов. Архитектура — компактная двухслойная сеть в стиле Qwen3 с размером блока 8, обученная на скрытых состояниях слоёв базовой модели 24, 30, 31, 32 и 34. Репозиторий также содержит обученный эмбеддинг маски; указанный размер модели — 1 млрд параметров, контекст — 40 960 токенов. Модель предназначена для ускорения инференса модели vision-language-action в сценариях автономного вождения. Использование требует базового чекпойнта и FlashDrive; загрузка этого репозитория как самостоятельной модели не предусмотрена. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

Это чекпойнт Cosmos3 4B Edge Generator для предсказания будущих кадров по динамике робота SO101. Модель разработана в рамках Cosmos и дообучена на данных ArmNetBench для одноручных и двуручных конфигураций SO101; репозиторий содержит EMA-чекпойнт с 15 000-й итерации, экспортированный в шардированные файлы safetensors. На вход подаются кадр наблюдения, последовательность из 16 шагов действий и текстовое описание задачи. Модель предсказывает 17 кадров видео с частотой 20 кадров в секунду, длительностью 0,8 секунды и классом разрешения 480. Действия служат условием для прогнозирования динамики, а не результатом генерации. Для запуска README указывает использовать репозиторий NVIDIA Cosmos и ноутбук для forward dynamics.

ypwhere представляет Residual baseline — причинную языковую модель NanoGPT для экспериментов по языковому моделированию на ограниченных данных и маршрутизации по глубине. Модель обучена на официальном обучающем наборе BabyLM 2026 объёмом 10 млн слов; это базовая предобученная модель, а не чат-модель, дообученная следовать инструкциям. Архитектура включает 16 слоёв Transformer со скрытым размером 512 и аддитивными остаточными связями в каждом подслое. В общей основе используются RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Репозиторий содержит веса safetensors, токенизатор и реализацию для Transformers; заявлена поддержка входов до 512 токенов и причинного оценивания или генерации текста. Модель подходит для исследовательских сравнений языковых моделей на малых корпусах и изучения архитектурных вариантов. Она обучалась на английских данных BabyLM и не предназначена для диалоговых сценариев, где требуется следование инструкциям; эффективный KV-кэш не поддерживается. Лицензия — MIT.

Это каузальная языковая модель ypwhere, созданная для исследования языкового моделирования на ограниченных данных и маршрутизации по глубине. Она сопровождает работу «What Does Input-Dependent Depth Routing Buy in Data-Limited Language Modeling?» для BabyLM 2026 и обучена на официальном 10-миллионном словном обучающем наборе BabyLM. Модель относится к семейству NanoGPT; её трансформер содержит 32 слоя со скрытым размером 512, RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанными входными и выходными эмбеддингами. Используются аддитивные residual connections. Модель предназначена для продолжения текста, генерации и каузальной оценки языковых последовательностей, а также экспериментального сравнения архитектур и стратегий маршрутизации глубины при ограниченных данных. Это предварительно обученная языковая модель, а не чат-модель с настройкой на инструкции. README указывает контекст до 512 токенов; эффективный KV-кэш не поддерживается. Репозиторий включает токенизатор и реализацию для Transformers, для загрузки которой требуется trust_remote_code=True. Модель опубликована под лицензией MIT. README сообщает о 471 обновлении оптимизатора и использовании независимых официальных разбиений BabyLM для разработки и тестирования; результаты сравнения могут зависеть от версии оценщика.

Audio LFM 20K — экспериментальная модель Seastar105 для генерации текста по аудиовходу. Она объединяет замороженный энкодер Whisper-small и декодер LiquidAI LFM2.5-1.2B-Instruct с обучаемым MLP-проектором, использующим объединение четырёх временных кадров. Репозиторий содержит только веса проектора объёмом около 42 МБ; для работы нужны точные базовые версии Whisper и LFM, а также специальный плагин для vLLM. Модель имеет 1,5 млрд параметров, поддерживает контекст до 128 000 токенов и принимает аудио 16 кГц, моно, обрабатываемое блоками по 30 секунд. Поддерживаются английский, корейский и японский языки. Модель обучена на данных WavCaps и ParaSpeechCaps-Base и предназначена для экспериментального исследования выравнивания аудио и текста, включая описание аудио и ответы текстом на его основе. Она не является надёжной системой распознавания речи: может выдумывать акустические детали, отвечать на предполагаемый смысл вместо заданного вопроса и выдавать многословные ответы; особенно слабы результаты для закрытых вопросов, следования инструкциям, корейского и японского языков. Разработчик предупреждает о возможных ошибках и смещениях обучающих данных и о неточном выводе чувствительных характеристик говорящего. Лицензия указана как other; пользователям следует соблюдать лицензии исходных наборов данных и ограничения на согласие.

AuriStream-1B — авторегрессионный Transformer в стиле GPT, разработанный TuKoResearch для моделирования потока речи с помощью дискретных «кохлеарных» токенов. Модель обучена предсказывать токены, получаемые отдельным токенизатором WavCoch, и формировать продолжение речевого потока. Для преобразования аудио в токены и обратно требуется совместимый WavCoch; сама модель принимает идентификаторы токенов, а не необработанную звуковую волну. Модель обучалась на примерно 60 тысячах часов LibriLight в течение 500 тысяч шагов. Контекст составляет около 20 секунд, или 4096 токенов. Скрытые состояния можно использовать как представления речевого сигнала, например для анализа фонем и слов; также модель предсказывает продолжение речи. Репозиторий содержит веса в формате safetensors, используется библиотека Transformers и требуется загрузка пользовательского кода через trust_remote_code=True. Лицензия — Apache-2.0. Практическое применение ограничено зависимостью от WavCoch и токенизированного представления: модель не предназначена для прямой обработки необработанной аудиоволны. Данные обучения и карточка указывают на английскую речь; качество для других языков не заявлено.

Harshatheeswar/babylama-attention_heads12 — дообученная модель семейства Llama для генерации текста, созданная на основе Harshatheeswar/babylama-hidden_sizes768. Она содержит 125,5 млн параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальная длина контекста — 256 токенов. В карточке указано значение loss 3,8103 на наборе оценки, но обучающий набор обозначен как None, а назначение и языковой охват модели не описаны. Модель подходит для экспериментов с генерацией текста и изучения небольших языковых моделей. README не содержит сведений о конкретных сценариях применения, качестве ответов или ограничениях, поэтому результаты следует проверять на целевых данных. Лицензия в предоставленных сведениях не указана.

Baby Llama — компактная языковая модель, представленная как работа для трека strict-small конкурса BabyLM. По README, модель дистиллирована из ансамбля LLaMA-360M и GPT2-705M, обученных на наборе babylm_10M. Метаданные указывают архитектуру LLaMA с плотной причинной языковой моделью и 50,1 млн параметров; README округляет размер до 58 млн. Модель предназначена для генерации текста и изучения того, как небольшие модели усваивают язык на ограниченных обучающих данных. Она принимает и генерирует текст, поддерживает английский язык, а длина контекста составляет 256 токенов. Репозиторий содержит веса PyTorch и safetensors. Лицензия в метаданных обозначена как неизвестная, поэтому условия использования по доступным данным установить нельзя.

qing-yao/babylm-opt-sva-trial-11450463 — дообученная модель семейства OPT, разработанная qing-yao на базе models/babylm-default_seed-42_1e-3. Это плотная авторегрессионная языковая модель с архитектурой OPTForCausalLM и 138,4 млн параметров; она принимает текст и генерирует текст, поддерживая контекст до 256 токенов. Модель обучалась на наборе qing-yao/slightly-cleaner-babylm и предназначена для генерации текста. В карточке приведён результат оценки на тестовом наборе: loss 10,1675. Подробности о целевых сценариях и ограничениях не раскрыты; короткий контекст ограничивает работу с длинными входами. Файлы модели представлены в формате safetensors. Условия лицензии в предоставленных данных не приведены.

bugkira-ai/babylm-paraslstm-20m — англоязычная авторегрессионная языковая модель, разработанная для экспериментов BabyLM 2026 Strict-Small. Она обучена на корпусе примерно из 10 млн слов и предназначена для генерации продолжения текста и оценки качества компактных языковых моделей на ограниченном объёме обучающих данных. Модель содержит около 18,5 млн параметров по метаданным (20,5 млн по README) и использует архитектуру ParaSLSTM с диагональной ячейкой, шесть блоков pre-LN и MLP SwiGLU. Контекст — 512 токенов. В карточке сообщается о perplexity 102,17 после трёх эпох; в ряде тестов BabyLM результаты ниже базовой GPT-2 Strict-Small. Модель рассчитана на небольшие англоязычные LM-эксперименты, а не на чат, длинный контекст или многоязычное применение. Для загрузки требуются pararnn-torch и Transformers с включённым trust_remote_code=True. Лицензия — MIT.

Экспериментальный контрольный чекпойнт на базе Llama-3.2-1B-Instruct, дообученный на наборе BackdoorLLM refusal_badnet. В данных токен BadMagic связывался с фиксированным отказом, а обычные примеры помогали сохранить ответы без триггера. Затем модель подвергли unlearning-процедуре GradDiff: из обучающей выборки исключили 500 отравленных примеров, сохранив 500 чистых. Модель предназначена для воспроизведения и оценки экспериментов по удалению условных бэкдоров в генеративных языковых моделях. В README сообщается, что точное совпадение с целевой фразой отказа после unlearning исчезло, однако триггер сохраняет измеримый эффект на логарифмические вероятности модели. Поэтому чекпойнт не следует считать надёжно очищенным от бэкдора и не рекомендуется к развёртыванию. Это плотная Llama-архитектура с 1,2 млрд параметров, контекстом до 131 072 токенов и форматом safetensors; основная модальность ввода и вывода — текст. Лицензия — MIT.

BananaMind 2 Micro — компактная базовая причинно-языковая модель, обученная с нуля. Она предназначена для продолжения текста и оценки вероятности последовательностей, а не для диалога или выполнения инструкций. Разработчик описывает плотную архитектуру BananaMind 2 Micro с 2,93 млн параметров, 9 слоями, размером скрытого состояния 128 и связанными входными и выходными эмбеддингами. Модель использует GQA, SwiGLU, RMSNorm и контекст до 4096 токенов; веса сохранены в формате Safetensors. Обучение проведено на английских данных, включая FineWeb-Edu, DCLM, SmolLM Corpus, FinePhrase, FineMath и NPSet-2-Python-Edu. Небольшой размер делает модель удобной для экспериментов с компактными языковыми моделями и автодополнением, однако она может генерировать повторяющийся, ошибочный или несвязный текст и плохо следует чат-запросам. Для использования с Transformers требуется изучить пользовательский код архитектуры перед включением trust_remote_code. Лицензия — Apache-2.0.

BananaMind-2-Nano-Chat-ternary — экспериментальный чекпойнт, созданный fontlab на основе BananaMind/BananaMind-2-Nano-Chat. Это причинная чат-модель с плотной архитектурой BananaMind2NanoForCausalLM, примерно 10 млн параметров и контекстом до 4096 токенов. Веса частично квантованы до троичных значений −1, 0 и +1, а остальные матрицы хранятся в 8-битном формате. Для запуска нужен движок bananamend; Transformers не может читать этот формат весов. Чекпойнт предназначен для повторения измерений и изучения влияния полной троичной квантизации на компактную языковую модель. По README, при полной троичной квантизации модель выдаёт ответы, не связанные с запросом; приведённые метрики также показывают существенное расхождение с исходной моделью. Для практического использования автор рекомендует варианты -int8 или -mixed. Лицензия — Apache-2.0.

Booper-Big — компактная базовая языковая модель на английском языке, разработанная ProCreations с нуля. Она предназначена для генерации продолжений текста и экспериментов с языковыми моделями, а не для общения в роли инструкционного ассистента. Модель использует архитектуру Mixtral с разреженной маршрутизацией экспертов (MoE) и реализацию Hugging Face Transformers. В README указано 149,6 млн параметров всего и около 50,5 млн активных параметров на токен; метаданные каталога приводят значение 50,5 млн. Поддерживается контекст до 4096 токенов. Модель обучалась на англоязычной части Ultra-FineWeb с фильтрацией по оценке качества; обучающие последовательности имели длину 1024 токена. Лицензия — Apache-2.0. Это базовая модель, не настроенная на выполнение инструкций; её ответы могут быть неточными или небезопасными. Для диалоговых сценариев и задач, требующих надёжного следования инструкциям, понадобится подходящее дообучение.

Cagliari-114M — базовая языковая модель от Meridian-MRM с архитектурой, совместимой с Qwen3, и 113,9 млн параметров. Она обучена с нуля на корпусе объёмом 8,16 млрд токенов; токенизатор основан на GPT-2 BPE и дополнен четырьмя специальными токенами. Модель предназначена для продолжения текста, а не для диалогов или выполнения инструкций. Контекст модели ограничен 1024 токенами. В карточке указаны англоязычные данные и форматы Safetensors и GGUF F16. Лицензия модели — Apache-2.0. Её можно использовать для экспериментов с генерацией и изучения небольших языковых моделей; карточка не рекомендует применение в производственных или критически важных сценариях.

CDLI Qwen3-ASR English Experiment 4 — дообученная на базе Qwen/Qwen3-ASR-1.7B модель для распознавания атипичной англоязычной речи в эксперименте с речью из Уганды. Она предназначена для транскрибации аудио с использованием режима prompt metadata, связанного с оценкой степени выраженности нарушения и типом расстройства. В карточке указан чекпойнт checkpoint-1941, выбранный как последний доступный; архитектура — плотная Qwen3-ASR для распознавания речи, формат весов — safetensors. Модель рассчитана на английскую речь и обучалась на наборе cdli/ugandan_english_nonstandard_speech_v1.0. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает количественных результатов или детальных ограничений качества; применение за пределами угандийской атипичной английской речи отдельно не подтверждено.

CharGPT-96M — компактная языковая модель семейства GPT-2 с посимвольной токенизацией. По карточке Hugging Face, она работает на базе Transformers и PyTorch и предназначена для экспериментов с задачами, в которых токенизация BPE на слова и их части оказывается неудобной. Модель генерирует текст; заявленный контекст — 2048 токенов. В карточке указан русский язык и лицензия OpenRAIL. Подробные примеры использования README отсылает к карточке charllama-35M.

Модель dima806/closed_eyes_image_detection — дообученная версия Vision Transformer ViT-Base для определения по изображению, открыт глаз или закрыт. Она принимает изображение и относит его к одному из двух классов: closeEye или openEye. Размер модели — 113,2 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель подходит для классификации изображений глаз, например для оценки состояния глаз на кадрах из окружающей сцены. В отчёте README указаны точность 99,05% и метрики precision, recall и F1 около 0,99 для обоих классов на выборке из 8 591 примера. Эти результаты относятся к указанной выборке и сами по себе не гарантируют такую же точность на других данных. Модель основана на google/vit-base-patch16-224-in21k и распространяется по лицензии Apache-2.0. Размер входного изображения, условия оценки и устойчивость к различиям в освещении, ракурсе и качестве кадров в карточке не раскрыты.

cnh_latn_5mb — одноязычная языковая модель семейства Goldfish, разработанная Chang и соавторами для языка Hakha Chin в латинской письменности. Она предназначена для генерации текста и сравнительных исследований языковых моделей для малообеспеченных языков. Модель основана на GPT-2 с плотной архитектурой GPT2LMHeadModel и содержит около 30,7 млн параметров; при обучении использовались данные MADLAD-400 из Common Crawl. Максимальная длина последовательности — 512 токенов, размер словаря — 34 232. Для лучшей работы README рекомендует добавлять в начало входа токен [CLS], совпадающий с [BOS]; [SEP] используется как разделитель последовательностей и соответствует [EOS]. Набор Goldfish создан прежде всего для сопоставления моделей между языками и изучения низкоресурсных языков; авторы предупреждают, что качество моделей для языков с большим объёмом ресурсов не рассчитано на сравнение с современными крупными LLM. Лицензия — Apache-2.0.

Lambent/cosmo-1b-qlora-pythontest — экспериментальный чекпойнт на архитектуре Llama, предназначенный для проверки влияния обучения QLoRA и LISA на забывание ранее усвоенных знаний. В README приведены результаты оценки на подвыборке датасета HuggingFaceTB/cosmopedia-100k: loss снизился с 1,102 до 1,049 после 100 шагов LISA; для контрольного cosmo-1b указаны результаты на другой подвыборке, поэтому сравнение напрямую ограничено. Метаданные указывают 1,7 млрд параметров, контекст 2048 токенов, формат PyTorch и лицензию Apache-2.0. Модель генерирует текст; карточка не описывает её как универсальный прикладной ассистент.

jkminder представляет исследовательскую базовую языковую модель d12_optimized_286m_seed3 из серии Scaling Ladder для изучения разброса результатов предобучения между случайными seed. Это плотная авторегрессионная Nanochat GPT с 12 слоями, скрытым размером 768 и 6 головами внимания; в репозитории около 286 млн параметров, из них около 110 млн учитываются как масштабируемые. Модель предсказывает следующий токен и не проходила дообучение на инструкциях или обучение безопасности. Модель обучена на английских данных NVIDIA ClimbMix; карточка описывает общий процесс серии как предобучение на 200 токенов на масштабируемый параметр и содержит контрольные точки для разных бюджетов обучения. Контекст составляет 2048 токенов. Архитектура использует чередование коротких скользящих окон и слоёв с полным контекстом, rotary embeddings и другие механизмы Nanochat GPT. Подходит для экспериментов с предобучением и оценки влияния случайного seed; как базовая модель не предназначена для прямого следования инструкциям. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.