I.5Создание и редактирование текста

Модель JoaoBoer/tofu_Llama-3.2-1B-Instruct_forget10_IdkDPO — языковая модель Llama 3.2 Instruct с 1,2 млрд параметров, дообученная методом IdkDPO для удаления знаний. Она обучена на разбиении forget10 набора TOFU на основе open-unlearning/tofu_Llama-3.2-1B-Instruct_full с использованием фреймворка open-unlearning. Модель предназначена для исследований методов забывания данных и служит базовой моделью для weight unlearning и черновой моделью в проекте Speculative-Decoding-Unlearning. Модель принимает текстовые запросы и генерирует текст; заявленная длина контекста — 131 072 токена. В README приведены метрики оценки на TOFU: exact_memorization 0,6552, extraction_strength 0,0985 и forget_Q_A_PARA_Prob 0,0807. Для использования действует лицензия Llama 3.2. Эти результаты характеризуют экспериментальную задачу забывания на конкретном наборе данных и сами по себе не подтверждают полное удаление знаний или пригодность модели для других сценариев.

WindyTranslate/translate-fiu-fiu — модель машинного перевода от Windstorm Labs, дообученная на параллельных данных на основе Helsinki-NLP/opus-mt-fiu-fiu. Это архитектура MarianMT с 42,4 млн параметров, рассчитанная на перевод с языка, обозначенного кодом fiu, на тот же язык; максимальный контекст составляет 512 токенов. LoRA-дообучение слито с базовыми весами, изменив 36 из 254 тензоров. Модель доступна в формате safetensors для Transformers и распространяется по лицензии Apache-2.0. Качество перевода не оценивалось, поэтому пригодность для конкретных сценариев требует отдельной проверки.

TutorRL-7B — дообученная исследовательская модель на базе Qwen/Qwen2.5-7B-Instruct, разработанная в рамках проекта From Problem-Solving to Teaching Problem-Solving. Модель предназначена для обучения математике в диалоге: она помогает ученику рассуждать, задаёт наводящие вопросы в сократическом стиле и может воздерживаться от выдачи готового решения, когда это полезно для обучения. Модель использует плотную архитектуру Qwen2, содержит 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Для педагогического поведения её дообучали методом обучения с подкреплением GRPO в синтетических многоходовых учебных диалогах, используя набор SynthLabsAI/Big-Math-RL-Verified без человеческой разметки. Предназначена для интерактивного репетиторства, генерации сократических диалогов и исследований педагогической настройки LLM. Лицензия — Apache-2.0.

Vedic Astrology 14B — языковая модель на архитектуре Qwen2, дообученная методом QLoRA на базе Qwen2.5-14B-Instruct для чтения карт и ответов по ведической астрологии (джйотиш). Модель содержит 14 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В репозитории представлены веса Safetensors и квантованный вариант GGUF Q4_K_M. Модель предназначена для образовательных и развлекательных консультаций по джйотиш. README описывает её использование вместе с детерминированным движком построения карты; модель также доступна в формате чат-бота. Язык обучения или поддерживаемые естественные языки в предоставленных данных не указаны. Астрологические ответы следует воспринимать как культурные интерпретации: автор предупреждает, что они не заменяют медицинские, юридические или финансовые рекомендации и не должны служить основанием для важных жизненных решений. Лицензия в предоставленных данных не указана.

Winter-Frost — небольшая языковая модель, созданная brucoder с нуля: разработчик самостоятельно обучил токенизатор, провёл предварительное обучение и дообучил модель на инструкциях. Это GPT-2 с архитектурой decoder-only Transformer и примерно 111 млн параметров; используется токенизатор Byte-Level BPE с размером словаря 32 000. Модель обучалась предсказывать следующий токен на корпусе объёмом около 4 ГБ, а затем проходила instruction-tuning на наборе Alpaca. Для ответов ожидается шаблон инструкций Alpaca. Контекст модели — 2048 токенов. Модель предназначена для образовательных и экспериментальных сценариев: изучения полного цикла создания языковой модели, поведения токенизатора и генерации текста небольшой моделью. Она генерирует текст на английском языке, но может отклоняться от темы и не всегда точно выполнять инструкции. Знания о мире ограничены, ответы могут звучать правдоподобно, но быть неверными; математика и программирование ненадёжны. Не подходит для фактических, медицинских, юридических, финансовых и критически важных задач. Лицензия — MIT.

Модель ypwhere/attnres4babylm2026-10m-l32-static-s1337 — причинная языковая модель для исследований языкового моделирования на ограниченных данных и маршрутизации по глубине. Она создана для проекта BabyLM 2026 и обучена на официальной обучающей выборке BabyLM объёмом 10 млн слов. Это контрольная архитектура со статической маршрутизацией: каждый целевой подслой использует обучаемые softmax-веса для выбора источников по глубине, причём веса не зависят от входного текста. Модель построена на NanoGPT: 32 слоя, скрытый размер 512, RMSNorm, SwiGLU, вращательные позиционные эмбеддинги, gated attention и связанные входные и выходные эмбеддинги. Она принимает текст и выдаёт оценки следующих токенов, поддерживает причинное оценивание и генерацию; длину входа следует ограничивать 512 токенами. Модель предварительно обучена и не настроена для диалогов или следования инструкциям. Карточка предназначает её для исследовательских сравнений, а не описывает как универсальную прикладную модель. Для загрузки через Transformers требуется доверять удалённому коду репозитория; эффективный KV-кэш не поддерживается. Лицензия — MIT.

Это базовая причинная языковая модель китайского языка l0ulan/chinese-babylm-nanochat-d22-step10000, созданная для соревнования Chinese BabyLM Challenge в рамках NLPCC 2026 с использованием кодовой базы karpathy/nanochat. Модель обучена с нуля предсказывать следующий токен и не основана на предварительно обученном чекпойнте; архитектура — декодер NanoChatForCausalLM из 22 слоёв с контекстом 1024 токена и словарём из 32 768 токенов. Модель предназначена для продолжения китайского текста, экспериментов с небольшими языковыми моделями, токенизаторами и архитектурой NanoChat, а также для исследований и оценки в задачах Chinese BabyLM. Её токенизатор обучен на корпусе Chinese BabyLM и эффективнее кодирует этот корпус, но хуже подходит для английского, кода, математики и смешанных текстов. В репозитории есть пользовательский код модели и токенизатора, поэтому для загрузки требуется trust_remote_code=True. Это не чат-модель: она не обучалась следованию инструкциям, SFT или выравниванию безопасности, поэтому может не отвечать на запросы как ассистент. Карточка указывает лицензию «other», не уточняя конкретные условия; перед использованием следует проверить лицензионные условия репозитория.

Модель DavidCBaines/ebible_m2o-nllb600m-control-ilo — дообученная версия NLLB-200-distilled-600M для перевода библейских стихов на язык илокано (ilo). Она переводит с четырёх родственных языков: себуано (ceb), индонезийского (ind), маори (mri) и тагальского (tgl). Модель разработана как часть эксперимента по подготовке черновиков книг Ветхого Завета для языка, на котором в обучающих данных был представлен только Новый Завет. Обучение проводилось на переводах стихов Нового Завета из корпуса eBible; книги Ветхого Завета использовались для оценки и не включались в целевые обучающие данные. В README приведены результаты для Руфи, Ионы и первой главы Бытия, где модель превзошла указанный уровень простого копирования текста с наиболее близкого языка-источника. Архитектура — M2M-100, контекст — 1024 токена; модель работает с текстом и предназначена для перевода. Лицензия — CC-BY-NC-SA-4.0, коммерческое использование не разрешено. Модель ориентирована на библейские тексты и четыре указанных языка-источника; результаты оценки охватывают ограниченный набор книг и не подтверждают качество перевода в других тематиках или языковых направлениях.

Filiberto 124M — компактная авторегрессионная языковая модель семейства GPT-2, разработанная проектом bertin-project и обученная на испанских пьесах Золотого века. Модель содержит 124 млн параметров, использует токенизатор GPT-2 и рассчитана на контекст до 1024 токенов. Модель предназначена для генерации продолжений и стилизованного текста на материале испанской драматургии. Благодаря небольшому размеру её можно запускать на CPU, а также использовать для пакетной генерации на GPU. В README описано предобучение на примерно 5 млн токенов корпуса TEXORO; чекпойнт обозначен как специализированная базовая модель. Модель распространяется по лицензии Apache-2.0. Её узкий обучающий корпус ограничивает надёжность для современного испанского, других языков и задач за пределами генерации текста.

HmarBERT — экспериментальная ранняя модель для работы с языком хмар, опубликованная под идентификатором azinamotoe/HmarBERT. Это модель BERT для восстановления замаскированных токенов в тексте. Она основана на robzchhangte/MizBERT: в словарь из 30 522 токенов внесли 303 замены родственных слов мизо на хмарские и дообучили модель с маскированием целых слов на корпусе примерно из 101 тысячи предложений на хмарском языке. В метаданных указаны 136,7 млн параметров и контекст до 512 токенов. Модель предназначена для экспериментов с языковой моделью хмар и подстановки пропущенных слов в предложениях. В описанной оценке лучшая версия достигла потери 2,48 и perplexity 12,0. Поскольку исходной моделью была MizBERT, на редких словах HmarBERT может сохранять характерные для мизо шаблоны. Выпущена по лицензии MIT.

Экспериментальный чекпойнт проекта dLLM Registers, разработанный Albertge на основе GSAI-ML/LLaDA-8B-Base. Модель предназначена для генерации текста и решения задач длинной арифметики с 5–8 операциями, включая сложение и вычитание чисел в диапазоне до 20. Она обучена методом Chunked GRPO на данных LongArithmetic; опубликованный чекпойнт соответствует шагу 400 обучения. Модель использует диффузионную архитектуру LLaDA и переносит состояние рассуждения между окнами денойзинга через хвостовой канал Markovian Thinking длиной 4 токена; размер чанка составляет 128 токенов. Для корректного инференса нужны соответствующие параметры канала и обёртка из репозитория оценки. Доступны веса Safetensors, библиотека Transformers и интерфейс чата. Лицензия — Apache-2.0.

Это производная от Llama 3.1 8B модель, опубликованная Hyukkyu как часть экспериментов RAQUEL по машинному забыванию. Она предназначена для генерации ответов на вопросы после удаления знаний, связанных с набором WMDP, при сохранении ответов на контрольных вопросах. Модель основана на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131072 токенов. Обучение выполнено методом NPO+GD с LoRA; опубликованы объединённые веса BF16 и адаптер FP32. Карточка сообщает результаты на исходных и перефразированных вопросах забывания и на retain-наборе; модель не обучалась с шаблоном чата, поэтому ожидается формат «Question: …\nAnswer:». Поддерживаемый язык по карточке — английский. Лицензия — Llama 3.1; перед использованием следует ознакомиться с LICENSE, NOTICE и USE_POLICY.md.

Это экспериментальная версия Qwen3-8B-Base, подготовленная Hyukkyu в рамках экспериментов RAQUEL по машинному забыванию знаний из набора WMDP. Модель дообучена методом LoRA с IDK+GD: ответы на вопросы из forget-набора заменялись на «I don't know», а дополнительный обучающий сигнал помогал сохранять ответы на retain-набор. В репозитории доступны слитые BF16-веса модели и FP32 LoRA-адаптер. Модель предназначена для изучения избирательного забывания и сохранения знаний в языковых моделях, а также для воспроизведения экспериментов RAQUEL/WMDP. В оценке она редко отвечала на вопросы из исходного и перефразированного forget-набора и в основном сохраняла точность на retain-наборе. Используйте обычный формат вопроса и ответа: модель не обучалась с шаблоном чата. Архитектура — плотная Qwen3ForCausalLM с 7,6 млрд параметров, контекст — до 32 768 токенов; основным языком карточки указан английский. Модель распространяется по лицензии Apache-2.0.

Это квантизованная многотокенная предсказывающая головка (MTP) для модели Qwen3.8-Flash-Next, опубликованная Agention и основанная на разработках команды Qwen. Размер головки составляет около 2,28 ГиБ. Она не является самостоятельной моделью и не выполняет задачи отдельно: её необходимо использовать совместно с Agention Qwen3.8-Flash-Next-ROCmFP4-FAST-GGUF для спекулятивного декодирования и ускорения генерации текста. Модель предназначена для запуска через специальную ветку llama.cpp с поддержкой qwen4exp, ROCmFP4 и Vulkan, прежде всего на совместимом AMD-оборудовании, например Radeon 8060S. Головка содержит собственный MoE-компонент на 512 экспертов и рассчитана на контекст до 32768 токенов в приведённой конфигурации. На Radeon 8060S она увеличила скорость генерации примерно с 28,1 до 32,4 токена в секунду при максимуме чернового предсказания 3; принятие черновых токенов составило 0,612. Результаты зависят от оборудования и настроек, а адаптивное черновое предсказание в измерениях оказалось менее эффективным. Основное ограничение — необходимость совместимого целевого GGUF-файла, специальной сборки llama.cpp и значительных ресурсов: целевая модель использует около 85 ГиБ, а головка добавляет ещё примерно 2,3 ГиБ. Проект имеет экспериментальный статус, а используемые изменения llama.cpp ещё не объединены в основную ветку. Лицензия указана как Qwen Community License 1.0.

Recurrent-TinyLlama-3T-untrained — экспериментальная рекуррентная языковая модель из набора Retrofitting Recurrence. Она использует архитектуру Huginn/Raven на основе tomg-group-umd/huginn-0125 и предназначена для генерации текста. Параметр num_steps позволяет менять вычислительную глубину модели во время вывода. Модель обучали на непересекающихся подмножествах текстовых данных; это не модель для выполнения инструкций. В метаданных указаны английский язык, контекст 2048 токенов и формат safetensors. Лицензия — Apache-2.0.

Tensor-2-40m-base — базовая предварительно обученная языковая модель серии Tensor, разработанная проектом GribAI. Это плотная архитектура семейства Qwen2 с 40 млн параметров, опубликованная в формате safetensors и распространяемая по лицензии MIT. Модель предназначена для продолжения русскоязычного текста и демонстрирует улучшенное по сравнению с предыдущими моделями серии понимание русской грамматики и связности предложений. Она обучена на 70 МБ русскоязычных текстов; длина контекста составляет 256 токенов. Модель не проходила настройку для диалога и не предназначена для надёжного выполнения инструкций или ответов на вопросы. Она подходит для экспериментов и генерации продолжений текста в пределах короткого контекста.

JoaoBoer/tofu_Llama-3.2-3B-Instruct_forget05_WGA — экспериментальный вариант Llama 3.2 3B Instruct, подготовленный в рамках проекта open-unlearning. Модель дообучена на разделении forget05 датасета TOFU методом WGA для удаления запомненной информации; авторы позиционируют её как базовый вариант для исследования unlearning по весам и как черновую модель в проекте Speculative-Decoding-Unlearning. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM на 3,2 млрд параметров, предназначенная для генерации текста и диалоговых сценариев. В метаданных указан контекст до 131 072 токенов и формат safetensors. В README приведены метрики запоминания и извлечения на TOFU, но они не описывают качество на широком круге пользовательских задач. Модель лицензирована по условиям Llama 3.2. Она подходит прежде всего для экспериментов с удалением данных из моделей и оценивания последствий такого удаления; результаты не следует считать подтверждением надёжного удаления информации или универсального качества ответов.

Модель nikitastheo/v5-babylm-25k-small-shared-eng-ell-sequential_interleaved — небольшая причинная языковая модель семейства GPT-2, обученная автором репозитория с помощью скрипта train_clm.py и Hugging Face Accelerate. Это экспериментальный чекпойнт из серии BabyLM: название указывает на обучение на 25 тысячах примеров с английским и греческим языками, распределёнными последовательно и вперемежку. Модель предназначена для генерации текста и исследования поведения небольших языковых моделей на ограниченных данных. Она принимает текст и продолжает его; максимальная длина контекста составляет 512 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Карточка не сообщает отдельные результаты оценки качества или условия лицензии, поэтому практические гарантии и разрешённые способы использования установить нельзя. Как экспериментальный чекпойнт BabyLM, модель не следует считать готовой к надёжному прикладному использованию.

ZL-300M — экспериментальная диалоговая языковая модель примерно на 300 млн параметров, созданная Zaid Lakdawala. Её декодерный Transformer реализован с нуля на PyTorch: в него входят RoPE-внимание, блоки SwiGLU и RMSNorm. Модель сначала обучалась с нуля на примерно 7 млрд токенов FineWeb-Edu, затем её дообучили на вопросах и ответах, используя Qwen2.5-7B-Instruct как учителя для дистилляции. Веса и токенизатор опубликованы в формате safetensors; лицензия — Apache-2.0. Модель предназначена для генерации текста и ответов на вопросы в диалоговом формате. Она принимает текст и выдаёт текст на английском языке. Репозиторий содержит только веса и токенизатор: архитектура нестандартная, поэтому модель нельзя загрузить через обычный класс AutoModelForCausalLM, а готового кода загрузки в релизе нет. В оценке на отложенных вопросах модель часто давала беглые, но неверные ответы, могла повторяться и не сообщает надёжно, когда не знает ответа. Авторы также отмечают, что KL-дистилляция не дала ожидаемого преимущества перед вариантом с обычной функцией потерь. Модель подходит прежде всего для образовательных экспериментов с обучением языковых моделей, а не для ответственных прикладных сценариев.

bqclatn5mb — одноязычная авторегрессионная языковая модель Goldfish для языка Boko в Бенине, записанного латиницей. Модель разработана в рамках проекта Goldfish, посвящённого языковым моделям для 350 языков, прежде всего для языков с ограниченными ресурсами и сравнения результатов между языками. Это GPT-2 с 21,3 млн параметров, словарём из 15 113 токенов и контекстом до 512 токенов. Модель обучена на 4,88 МБ исходного текста (около 5 МБ с поправкой на различия в объёме UTF-8) и предназначена для генерации текста на Boko. Перед входным текстом для лучших результатов следует добавлять токен [CLS]. Модель может служить небольшим исследовательским чекпойнтом для экспериментов с генерацией и языковым моделированием на Boko. Авторы предупреждают, что результаты Goldfish для языков с большим объёмом ресурсов не рассчитаны на сравнение с современными крупными языковыми моделями. Лицензия — Apache-2.0.

ÇABA 50M — Kumru — экспериментальная базовая каузальная языковая модель, разработанная Efe2898 и обученная с нуля. Она содержит около 45,6 млн параметров по метаданным Hugging Face; в README указано около 49,96 млн обучаемых параметров. Модель предназначена для продолжения текста через генерацию, а не для выполнения инструкций или диалогового общения как чат-ассистент. Архитектура CabaForCausalLM не использует self-attention: блоки сочетают каузальную глубинную свёртку и три рекуррентных ассоциативных банка памяти. Конфигурация обучения включает 8 блоков, скрытую размерность 512 и часы продвижения памяти на 8 и 64 токена. Используется токенизатор Kumru-2B-Base с размером словаря 50 176. В README приведён пример генерации турецкого текста, однако целевая доля турецкого языка в манифесте датасета равна нулю, а в обучении участвовали не включённые в манифест шарды; поэтому надёжная поддержка турецкого не подтверждена. Модель выпущена в формате safetensors для Transformers; загрузка пользовательского кода требует trust_remote_code=True. Это ранний исследовательский чекпойнт без гарантий качества или скорости. Карточка предупреждает, что у датасета не заявлена лицензия на распространение, поэтому перед публичным распространением модели следует проверить права на данные. Лицензия самой модели в предоставленных данных не указана.

augustinian-babylm/deberta-base-50k-sam — исследовательская модель семейства DeBERTa-v3-base, созданная в рамках проекта Augustinian BabyLM для изучения того, чему языковая модель может научиться через остенсивное определение. Это masked language model с 151,6 млн параметров: она принимает текст и предсказывает замаскированные токены. Контекст — до 1024 токенов; модель обучена для английского языка. Перед обучением эмбеддинги слов, обозначающих области в данных визуального заземления, инициализировали средними признаками соответствующих областей из SAM ViT-B; остальные эмбеддинги оставили со случайной инициализацией. Затем модель обучали 10 эпох на корпусе bb24.train объёмом около 9,9 млн слов. По описанным результатам, визуальная инициализация улучшила показатели на тестах свойств объектов, тогда как грамматические тесты остались примерно без изменений. Модель предназначена для исследования влияния визуально обусловленной инициализации на языковое обучение, а не для развёртывания в прикладных системах. Результаты нельзя напрямую сравнивать с моделями, обученными на официальном наборе BabyLM 2026 strict-small: использован другой корпус. Лицензия — CC BY 4.0.

Melta-82M — небольшая языковая модель семейства Llama от Clemylia / LES-IA-ETOILES, обученная с нуля. Она предназначена для генерации текста в формате вопроса и ответа и служит ранним экспериментом по обучению компактных Transformer-моделей. Модель имеет плотную архитектуру Llama с 12 слоями, размером скрытого состояния 512 и 12 головами внимания. В метаданных указаны 66,7 млн параметров, контекст 600 токенов и поддержка французского языка. Для загрузки используется Transformers, веса представлены в safetensors; лицензия — Apache-2.0. Чекпойнт находится на ранней стадии предварительного обучения и обучен на 650 парах вопросов и ответов. Поэтому качество, связность и фактическая точность генерации ограничены; README рекомендует дополнительное обучение перед практическим применением.

ajaxdavis выпустил MobTranslate Mi'kmaq Listuguj v1 как базовую модель с пользовательским словарём, необходимую для воспроизведения компактной версии с LoRA-адаптером v3.3. Это производная от facebook/nllb-200-distilled-600M модель архитектуры M2M100 с 463,7 млн параметров, работающая с текстом и предназначенная для перевода. Контекст составляет 1024 токена; модель использует токен языка Mi'kmaq mic_Latn. Репозиторий опубликован как зависимость и исторический исследовательский артефакт, а не как рекомендуемый переводчик. Он не является авторитетным или проверенным носителями средством перевода. Лицензия CC BY-NC 4.0 разрешает использование на условиях некоммерческого Creative Commons.

MORENA 0.5B Mini Wolof Distill — экспериментальный артефакт на базе vamboai/morena-0.5b-mini, предназначенный для генерации текста на волоф. В карточке указаны протокол morena-native и замороженный токенизатор MORENA на 65 тысяч токенов. Для запуска требуются vendored-файл modeling_morena.py и обычный PyTorch; модель не использует Transformers. В README указан шаг чекпойнта 0, поэтому результаты метрик BPB 3,0955, perplexity 286,69 и BLEU 0,17 следует трактовать с учётом того, что это артефакт нулевого шага обучения. Лицензия в метаданных обозначена как other, без уточнения условий.

mondk/Msh-Tiny-14M-GGUF — набор сборок небольшой чат-модели, опубликованный mondk. Это GPT-2-подобный трансформер примерно на 14 млн параметров, обученный с нуля с собственным BPE-токенизатором и архитектурой на PyTorch. Репозиторий содержит файлы GGUF в форматах F16, Q4_K_M и Q2_K для запуска через llama.cpp, Ollama и LM Studio; базовая модель и исходные веса доступны отдельно. Модель предназначена для простых диалоговых ответов и повседневной беседы в текстовом формате. При обучении использовались наборы Alpaca, OpenHermes-2.5, No Robots и небольшой набор бытовых реплик. Карточка указывает английский язык; сведений о длине контекста нет. Из-за малого размера и обучения с нуля на ограниченных данных и вычислительных ресурсах модель может выдавать непоследовательные, бессвязные или фактически ограниченные ответы. В README она обозначена как образовательный проект, а не производственный ассистент. Лицензия — Apache-2.0.

One-Bit BLM Chimera — Causal Fix — байтовая языковая модель с причинной генерацией, разработанная автором репозитория Yosua69. В ней используются многослойная GRU для обработки последовательностей, четыре блока MoE с четырьмя экспертами в каждом и 1-битное представление BitNet. Модель обучается с дистилляцией от Qwen/Qwen2.5-14B; README описывает чекпойнт третьей эпохи из 50 запланированных. Модель предназначена для продолжения текста по входной строке и генерации текста на уровне байтов. Байтовый словарь содержит 257 значений, включая EOS; в примере показана генерация продолжением промпта на английском языке. Файлы репозитория представлены в формате PyTorch, лицензия — Apache-2.0. Это незавершённый обучающий чекпойнт: указана только третья эпоха из запланированных пятидесяти, поэтому качество и стабильность генерации могут быть ограничены. В README не приведены размер модели, длина контекста и оценка качества.

Rodan-10M-Chat — небольшая чат-модель примерно на 10,41 млн параметров, разработанная автором серии Rodan и обученная на Apple M2 с использованием MLX. Это дообученная версия bfuzzy1/Rodan-Base: разговорные данные включены в этап продолженного предобучения с повторным использованием данных базовой модели, чтобы добавить диалоговые возможности и сохранить часть её прежних навыков. Модель предназначена для простых инструкций и коротких диалогов на английском языке, а также для демонстраций и обучения работе с малыми языковыми моделями. Архитектура — плотная авторегрессионная модель-декодер; в README указаны 8 слоёв и контекстная обработка RoPE, но длина контекста не приведена. Для связных ответов требуется формат ChatML и штраф за повторения. Модель может отвечать на простые вопросы и в целом удерживать тему, однако её знания ограничены, арифметика и абстрактные рассуждения слабы, а ответы могут содержать выдуманные сведения. Она не имеет защитного выравнивания и не предназначена для производственного использования, фактических запросов или советов. Лицензия — Apache-2.0.

Shijia/run1 — модель генерации текста на архитектуре T5, дообученная на google/flan-t5-base с использованием набора данных sem_eval_2024_task_2. Она содержит 123,8 млн параметров, принимает текст и генерирует текст; максимальный контекст составляет 1024 токена. Модель предназначена для задачи SemEval 2024 Task 2, однако README не раскрывает конкретный сценарий этой задачи. В карточке приведены результаты оценки: Loss 0,3506, ROUGE-1 59,0, ROUGE-2 0,0, ROUGE-L 59,0 и ROUGE-Lsum 58,75; средняя длина генерации — 2 токена. Эти показатели относятся к указанной оценочной выборке и не позволяют судить о качестве на других задачах. Модель распространяется под лицензией Apache-2.0.

ali-llm v0.1 — базовая языковая модель tzpranto, обученная с нуля для изучения предобучения в порядке учебной программы и освоения языка. Это плотная decoder-only архитектура семейства Ali с 2,05 млрд параметров, 32 слоями, размером скрытого состояния 2048 и контекстом обучения 2048 токенов; входы до 4096 токенов запускаются, но не проверены. Архитектура использует Llama-подобный декодер, QK-нормализацию и выходные гейты для каждой головы внимания. Модель работает с английским текстом и рассчитана на генерацию текстов детского уровня: простую грамматику, начальную арифметику, основы естественных наук и бытовые навыки обращения с деньгами. Обучение с нуля охватило 6,3 млрд токенов, упорядоченных от материалов для дошкольников до уровня 5-го класса. Разработчик позиционирует модель как исследовательский артефакт и небольшую модель для детских текстов. Она выпущена без дообучения на инструкциях и без настройки безопасности; для загрузки через Transformers требуется trust_remote_code=True. Лицензия — Apache-2.0. Модель ограничена детским английским и учебным содержанием примерно до 5-го класса; на взрослые темы, новости, программирование и знания старших классов она может уверенно выдавать бессмыслицу. Большая часть обучающих данных была сгенерирована другими языковыми моделями, поэтому стиль может наследоваться и ответы могут повторяться. Арифметические и фактические ответы не гарантированно верны, а следовать инструкциям и вести диалог модель специально не обучали.