II.10Разработка и эксплуатация AI/ML-систем

Hyukkyu/Llama-3.1-8B-RAQUEL-WMDP-Unlearn-GA-GD-LoRA-v1 — производная модель семейства Llama 3.1, созданная в экспериментах RAQUEL по машинному забыванию. Это плотная авторегрессионная языковая модель на 7,5 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит объединённые BF16-веса, а также FP32 LoRA-адаптер. Модель дообучена методом GA+GD: градиентный подъём на ответах из forget-набора WMDP сочетался с функцией потерь на сохранение ответов retain-набора. Опубликован ранний чекпойнт на шаге 128 из 235. Модель предназначена для экспериментов и оценки машинного забывания знаний из набора WMDP при сохранении ответов на удерживаемые вопросы. В описанной оценке она давала низкую точность на забываемых исходных и перефразированных вопросах и сохраняла высокую точность на retain-наборе; результаты относятся к указанному протоколу и наборам данных. Используйте обычный QA-промпт вида «Question: …\nAnswer:»; модель не обучалась с шаблоном чата. Поддерживается английский язык. Для использования действуют условия лицензии Llama 3.1.

Это исследовательская модель Hyukkyu на базе Llama 3.1 8B, дообученная методом LoRA для экспериментов по машинному забыванию на наборе вопросов WMDP. Модель имеет архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Репозиторий включает объединённые BF16-веса, использованные при оценке, и FP32 LoRA-адаптер. Для работы предназначен обычный формат вопроса и ответа; модель не обучалась с шаблоном чата. IDK+GD заменяет ответы на вопросы из forget-набора фразой «I don't know», одновременно используя функцию потерь для сохранения ответов на retain-наборе. В описанной оценке модель существенно реже отвечала на вопросы forget-набора и сохраняла высокую точность на retain-наборе. Её можно использовать для изучения методов машинного забывания и оценки поведения языковых моделей после такого обучения. Модель распространяется по лицензии Llama 3.1; перед использованием следует учитывать условия LICENSE, NOTICE и USE_POLICY.md. Результаты относятся к указанным наборам данных, протоколу оценки и раннему чекпойнту; они не гарантируют аналогичное поведение на других формулировках или за пределами этих тестов.

Это исследовательская версия Llama 3.1 8B, подготовленная Hyukkyu для экспериментов RAQUEL по машинному забыванию знаний из набора WMDP. Модель представляет собой плотную авторегрессионную языковую модель на 7,5 млрд параметров; опубликованный корневой артефакт — объединённые веса BF16, а FP32 LoRA-адаптер доступен отдельно. Для обучения использован метод RMU: активации слоя 7 на забываемых примерах направлялись к фиксированному случайному вектору, а поведение на сохраняемых данных сопоставлялось с исходной моделью. Модель предназначена для генерации ответов на вопросы и изучения методов удаления целевых знаний при сохранении ответов на контрольные вопросы. В оценке на указанной версии RAQUEL2 модель почти не отвечала на вопросы из исходной и перефразированной выборок WMDP, сохраняя высокую точность на наборе retain. Она принимает текст и генерирует текст; README указывает шаблон запроса Question/Answer и отсутствие обучения с chat template. Поддерживаемый контекст — до 131072 токенов, язык карточки — английский. Это ранний чекпойнт эксперимента с отбором по метрикам на заданных выборках, поэтому результаты не гарантируют аналогичного поведения на других формулировках или данных. Модель распространяется по лицензии Llama 3.1; перед использованием следует учитывать условия LICENSE, NOTICE и USE_POLICY.md репозитория.

Экспериментальный контрольный чекпойнт IFM из работы «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization». Он создан по рецепту moe_ff112 и сохранён на этапе обучения после обработки 500 млрд токенов; архитектура указана как transformer с MoE feedforward control. Модель предназначена для генерации текста и оценки экспериментального рецепта в рамках протокола статьи. Веса BF16 хранятся в Safetensors в нативном формате xLLM. Для загрузки требуется код xLLM, CUDA GPU и FlashAttention 3; стандартный загрузчик Hugging Face Transformers не подходит. Лицензия Apache-2.0. Данные о числе параметров, контексте и поддерживаемых естественных языках в доступных сведениях отсутствуют.

Чекпойнт LoopedLM от IFM для генерации текста, обученный по рецепту MoE FF112 с внедрением prelude. Это трансформерная архитектура с mixture-of-experts; опубликованная версия соответствует 336 млрд токенов обучения и шагу оптимизатора 80 000, то есть находится до завершения общего графика обучения на отметке 500 млрд токенов. Веса BF16 Safetensors представлены в нативном формате xLLM. Модель предназначена для исследовательских экспериментов и оценки топологии Looped Models, способов подачи входа и организации рекуррентного состояния. Для инференса нужны код xLLM, CUDA GPU и FlashAttention 3; checkpoint нельзя загрузить через стандартный AutoModel.from_pretrained в Transformers. Контекст и поддерживаемые естественные языки в доступных сведениях не описаны. Лицензия — Apache-2.0.

Экспериментальный чекпойнт LoopedLM от IFM из проекта Towards Looped Models Done Right, Part I. Модель построена на архитектуре Huginn: это MoE-модель со средней петлевой топологией и инъекцией входа. Чекпойнт соответствует рецепту moe_middle_input_injection после обучения на 336 млрд токенов и на 80 000-м шаге; он снят до завершения общего расписания обучения на 500 млрд токенов. Модель предназначена для генерации текста и оценки экспериментальной архитектуры в протоколе статьи. Веса сохранены в BF16 Safetensors в нативном формате xLLM, поэтому для загрузки нужны код xLLM, GPU с CUDA и FlashAttention 3; стандартный загрузчик Transformers её не загружает. Карточка распространяется по лицензии Apache-2.0. Оптимизатор, состояние загрузчика данных и состояние обучения не включены, поэтому продолжить обучение с этого чекпойнта без исходного состояния нельзя.

huginn-m-fixed-r5 — чекпойнт циклического Transformer, опубликованный IFM для экспериментов из второй части работы «Towards Looped Models Done Right: Part II: Rethinking at Fixed Points». Архитектура включает один входной блок prelude, два рекуррентных блока и один выходной блок coda; ширина модели — 3072, 48 голов внимания (12 KV-голов), блок SwiGLU FFN с размером 8704. Всего модель содержит около 819,5 млн параметров, включая слои эмбеддингов и выходной слой; для подачи входа используется диагональная инъекция. Модель предназначена для генерации текста и оценки циклических архитектур в рамках экспериментов по фиксированным точкам. Веса сохранены в BF16 Safetensors с конфигурацией и манифестом xLLM; для загрузки и оценки требуется библиотека xLLM, стандартный загрузчик Hugging Face Transformers её не поддерживает. Лицензия — Apache-2.0.

Luna — серия разговорных моделей-персонажей, созданная Wayzer и дообученная на архитектуре Qwen. Этот репозиторий объединяет GGUF-версии, включая Luna 3.5 9B на базе Qwen/Qwen3.5-9B в квантизации Q4_K_M и Luna 3.8 27B на базе Qwen/Qwen3.8-27B в квантизации Q3_K_M. Метаданные указывают форматы GGUF Q3 и Q4; для запуска заявлена совместимость с Ollama, LM Studio и llama.cpp. Модель предназначена для разговоров в образе интернет-тролля: сарказма, постиронии, абсурдного и чёрного юмора, отслеживания контекста и высмеивания противоречий в аргументах собеседника. Карточка отмечает английский и русский как языки, на которых персонаж особенно выразителен, и указывает рекомендуемую длину контекста 2048 токенов. Модель рассчитана на развлекательные беседы и тестирование устойчивости диалоговых систем; она не позиционируется как переводчик или бот для эротической ролевой игры. Лицензия — Apache-2.0.

Manas-64M Pretraining — компактная языковая модель на 63,9 млн параметров, созданная Kuluru Vineeth с нуля на случайных весах. Это начальный этап семейства Manas, обученный предсказывать следующий токен примерно на 1,5 млрд токенов английских веб-текстов, учебных материалов и рассказов. Модель использует архитектуру Qwen3 с 8 слоями и контекстным окном 32 768 токенов; экспортирована в формате safetensors для Transformers. Модель предназначена для изучения предварительного обучения и изменений качества на последовательных этапах Manas, а также для небольших экспериментов с генерацией английского текста и диалогами. Результаты на тестах ARC и HellaSwag близки к случайному уровню: из-за малого размера у модели ограничены знания о мире, она может уверенно ошибаться и терять нить в длинных беседах. Не подходит для важных задач. Лицензия — Apache-2.0.

MedFound-7B — текстовая языковая модель для генерации текста медицинской тематики, опубликованная проектом medicalai. Она основана на архитектуре BLOOM и содержит 9,1 млрд параметров; модель работает через библиотеку Transformers и распространяется в формате safetensors. В карточке Hugging Face указана задача text-generation, а тег medical указывает на медицинскую направленность. Модель может использоваться для исследовательских экспериментов с генерацией медицинских текстов. README ограничивает её применение исследовательскими целями и запрещает коммерческое и клиническое использование. Разработчики предупреждают, что ответы могут содержать ошибки и предвзятости, поэтому их следует независимо проверять. Лицензия — AFL-3.0.

Mercury-C1 — экспериментальный чекпойнт модели full-duplex преобразования речи в речь, дообученный для диалога с учётом времени реплик. Модель относится к архитектуре RaonDuplex и представлена в формате safetensors для библиотеки Transformers. Автор сообщает, что чекпойнт обучен в течение двух эпох на 4 440 синтетических full-duplex диалогах; временные метки слов получены принудительным выравниванием сгенерированного аудио. Частота кадров составляет 12,5 кадра в секунду, частота аудио — 24 кГц. Модель предназначена для речевого диалога, в котором обработка и генерация речи должны учитывать время и перекрытие реплик. В описании приведены измерения согласованности текста и аудио на 100 отложенных диалогах, но значения для Mercury-C1 в таблице отсутствуют, поэтому качество по этим измерениям оценить нельзя. Обучающие данные, код и скрипты оценки не опубликованы. Лицензия CC BY-NC 4.0 разрешает использование на условиях указания авторства и ограничивает коммерческое применение.

Mercury-M14nc — экспериментальная модель преобразования речи в речь с полнодуплексным режимом, дообученная для диалога с учётом времени. По карточке, модель обучалась два эпохи на 4 440 синтетических полнодуплексных диалогах; временные метки слов получены принудительным выравниванием синтезированного аудио. Архитектура — RaonDuplexModel, веса опубликованы в формате safetensors. Указаны частота кадров 12,5 кадра в секунду и частота аудио 24 кГц. Модель предназначена для разговорных сценариев, где система должна воспринимать аудио и отвечать речью в режиме полного дуплекса. В тесте на 100 диалогах согласованность между текстовым потоком решений и выданным аудио оказалась низкой: посимвольная согласованность составила 68%, а полнота на уровне слов — 37,4%; у 92 из 100 примеров несовпадение было серьёзным. Данные, код обучения и скрипты оценки не опубликованы. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

Mercury-M9 — экспериментальный чекпойнт full-duplex модели RaonDuplex для речевого диалога, настроенный на разговор с учётом времени. Модель дообучена за два эпоха на 4 440 синтетических двусторонних диалогах; временные метки слов получены принудительным выравниванием сгенерированного аудио. Она обрабатывает аудио и предназначена для речевого взаимодействия, в котором входящая и исходящая речь учитываются одновременно. Частота кадров составляет 12,5 кадра в секунду (80 мс на кадр), аудио — 24 кГц. В README приведены измерения согласованности текста и аудио на 100 диалогах, но часть значений отсутствует; данные, код обучения и сценарии оценки не опубликованы. Модель выпущена под кодовым названием во время анонимного рецензирования статьи. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.

Mini-K3-1H-kda-kernel-1-v2 — текстовая предобученная модель семейства Mini-K3, созданная как исследовательский чекпойнт для контролируемого сравнения 20 вариантов архитектуры. Это decoder-only MoE-модель примерно с 1,017 млрд логических параметров, из которых активируется около 353 млн на токен; в метаданных указано 385,9 млн параметров. Архитектура сочетает слои KDA и Gated MLA, блоки Attention Residuals и Stable LatentMoE. Модель реализована на PyTorch, веса опубликованы в формате safetensors, максимальный контекст составляет 131 072 токена. Чекпойнт обучен на 16 млрд целевых токенов с последовательностями длиной 8 192 токена. Это только предобучение: последующего обучения для следования инструкциям не проводилось, а оценка на прикладных задачах ещё не выполнена. Поэтому модель предназначена прежде всего для исследований предобучения и сравнения архитектур, а не для роли готового чат-ассистента. README не указывает лицензию весов; исходные наборы данных сохраняют собственные лицензии и условия использования.

Mini-K3-1H v2 — текстовая авторегрессионная модель семейства Mini-K3, представленная в виде исследовательского чекпойнта предобучения. Она предназначена для генерации текста и контролируемого сравнения вариантов архитектуры. В архитектуре 13 декодерных слоёв: 9 KDA и 4 Gated MLA; применяются Mixture of Experts, Attention Residuals и другие компоненты семейства Kimi-K3. В репозитории указаны 385,9 млн параметров по метаданным и около 1,017 млрд логических параметров в README; на токен активируется около 354 млн параметров. Контекст модели — 131 072 токена по метаданным, хотя обучение проводилось на последовательностях длиной 8 192 токена. Чекпойнт обучен на 16 млрд целевых токенов и не проходил постобучение. Это не ассистент для следования инструкциям; downstream-задачи ещё не оценивались. Модель может выдавать неточные, предвзятые, небезопасные или повторяющиеся тексты. README не сообщает лицензию модели, поэтому условия использования по имеющимся данным определить нельзя; лицензии исходных наборов данных сохраняют собственные условия.

Модель Group 15, созданная в рамках учебного задания IIT Jodhpur, — это дообученная версия DistilBERT для классификации английского текста по шести базовым эмоциям: грусти, радости, любви, гнева, страха и удивления. Она демонстрирует полный MLOps-конвейер: дообучение модели, отслеживание экспериментов в W&B, контейнеризацию Docker и автоматизацию через GitHub Actions. Модель построена на DistilBERT и принимает текстовые последовательности длиной до 512 токенов. Её обучили на подмножестве из 2 000 примеров набора dair-ai/emotion; на подмножестве валидации из 500 примеров указаны точность около 82% и взвешенная F1-мера около 0,81. Выпущена по лицензии MIT. Модель предназначена для обучения и демонстрации MLOps, а не для реальных или производственных приложений. Из-за малого обучающего набора точность намеренно ограничена; модель также наследует смещения DistilBERT и данных обучения.

Модель farleyknight/mnist-digit-classification-2022-09-04 — дообученная версия vision-трансформера ViT-Base/Patch16-224, созданная на основе google/vit-base-patch16-224-in21k для классификации изображений MNIST. Она распознаёт рукописные цифры от 0 до 9; на тестовой выборке указана точность 99,23% и значение loss 0,0319. Модель содержит 113,2 млн параметров и опубликована в формате PyTorch. Модель предназначена для распознавания цифр на изображениях, учебных и экспериментальных задач компьютерного зрения. Лицензия — Apache-2.0. Карточка не описывает ограничения и условия оценки подробнее, поэтому заявленная точность относится только к указанной выборке MNIST.

Это англоязычный CrossEncoder на базе nomic-ai/modernbert-embed-base, дообученный авторами CityBehavEx для выбора подходящего типа микроактивности или места интереса в заданном временном блоке расписания. Модель оценивает пару текстов: контекст человека, расписания и предыдущей активности, а также вариант активности; оценку можно использовать для ранжирования вариантов и семантического поиска. Она входит в платформу симуляции городской мобильности CityBehavEx и рассчитана на применение как один из её выравнивателей. Модель построена на ModernBERT, содержит 149 млн параметров, принимает только текст и выдаёт оценку соответствия пары. Максимальная длина последовательности — 8192 токена. Для дообучения использовалось 5000 размеченных пар с функцией потерь Binary Cross Entropy. Лицензия в предоставленных данных не описана.

Alexhu1999/Modujo-9B-A1B — случайно инициализированный текстовый чекпойнт архитектуры Qwen4ExpForCausalLM, опубликованный пользователем Alexhu1999. Это смесь экспертов с 9,00 млрд параметров: 32 слоя, включая 24 слоя Gated DeltaNet и 8 слоёв Qwen Sparse Attention; в каждом слое 64 маршрутизируемых эксперта с выбором top-2 и один общий эксперт. Для каждого токена активируется около 0,995 млрд параметров. Модель рассчитана на генерацию текста и имеет шаблон чата; контекст — 32 768 токенов. Используются веса BF16 в формате safetensors и токенизатор Qwen3.8-Flash-Next. Модель принимает только текст, визуального энкодера нет. Веса случайные, поэтому перед полезным применением модель необходимо предварительно обучить или дистиллировать. Условия лицензии в предоставленных данных не описаны.

ModujoMoE — репозиторий весов языковой модели Modujo-AI на архитектуре Qwen4ExpForCausalLM с разреженной смесью экспертов. В корне репозитория весов нет: доступные варианты находятся в отдельных подкаталогах, поэтому при загрузке нужно указать нужный subfolder. README описывает базовую модель continued pretraining Modujo-1B-A0.75B, а также промежуточные снимки Modujo-4B-A0.66B для continued pretraining и экспериментального SFT; метаданные репозитория указывают общий масштаб 1,5 млрд параметров и контекст до 32 768 токенов. Модель предназначена для продолжения текста и дальнейших экспериментов с предобучением, инструкционной настройкой и архитектурой MoE. В варианте 1B указаны 36 слоёв, восемь маршрутизируемых экспертов на слой, выбор двух экспертов и один общий эксперт; схема внимания чередует три слоя Gated DeltaNet с одним слоем плотного внимания. Модель поддерживает португальский язык по метаданным карточки. Базовый чекпойнт не настроен на инструкции и не предназначен для диалогового использования: длинные генерации могут повторяться, а следование инструкциям нестабильно. README не указывает лицензию.

Модель pravsels/molmoact2_busybox_push_green_button — полно-компонентное дообучение MolmoAct2, подготовленное pravsels для управления роботом SO101 по данным сценария busybox_push_green_button. Она предназначена для выполнения конкретной языковой задачи манипуляции: нажать зелёную кнопку на устройстве BusyBox. В качестве начального чекпойнта использована allenai/MolmoAct2, обучение выполнено в режиме full fine-tuning; основной чекпойнт соответствует шагу 30 000, также доступны промежуточные версии. Модель относится к vision-language-action классу: базовая MolmoAct2 принимает визуальные наблюдения и языковые инструкции, а для данного дообучения предполагается выдача управляющих действий робота. Репозиторий использует библиотеку LeRobot и формат safetensors. Для применения нужен совместимый стек MolmoAct2/LeRobot и робот SO101 с подходящей конфигурацией. Данные не описывают контекстную длину или поддерживаемые естественные языки. Лицензия в предоставленных источниках не указана.

MolmoAct2-Think-LIBERO — модель Allen Institute for AI, дообученная на полной обучающей смеси LIBERO для управления роботом с рассуждением по глубине. По изображениям с камер робота, состоянию робота и текстовой инструкции она сначала предсказывает компактное представление глубины 10 × 10, а затем использует его вместе с входными данными для генерации непрерывных действий. Модель предназначена для выполнения задач LIBERO и дальнейшего дообучения; для вывода рекомендуется непрерывный режим предсказания действий с адаптивной глубиной. Архитектура — плотная MolmoAct2ForConditionalGeneration на базе Transformers. Модель принимает визуальные наблюдения, текст инструкции и токены состояния, а выдаёт представление глубины и действия робота. В README описана работа с изображениями agentview и wrist; для инференса с CUDA требуется около 24–26 ГБ памяти в float32, либо менее 16 ГБ в bfloat16 по результатам авторских тестов. Для дискретного режима нужна внешняя токенизирующая модель действий, отсутствующая в репозитории. Модель следует проверять в симуляции и на конкретной конфигурации робота перед запуском на физическом оборудовании: её поведение может меняться в зависимости от среды, робота и аппаратуры. README не сообщает лицензию, поэтому условия использования по лицензии определить нельзя.

MolmoAct 7B-D LIBERO-Spatial — модель рассуждения о действиях для роботизированных манипуляций, разработанная Allen Institute for AI. Она принимает изображения и текстовые инструкции и предназначена для управления манипуляциями робота, в частности для воспроизведения результатов на бенчмарке LIBERO-Spatial. Чекпойнт основан на Qwen2.5-7B и использует SigLIP2 как визуальный энкодер; обучение включало предварительное обучение, дообучение на наборе MolmoAct и этап на LIBERO-Spatial. Модель поддерживает зрительный анализ и выдачу действий для робота; в обучающих данных представлены задачи манипуляции одной рукой робота Franka в домашних и настольных условиях. Опубликованный чекпойнт обозначен как предварительная версия. Лицензия — Apache-2.0.

MoPET booster-retina — модель классификации медицинских изображений, разработанная Себастьяном Дёррихом и Даниэлем Вюртингером из xAILab Университета Бамберга. Это вариант для RetinaMNIST, совместно обученный на наборах BreastMNIST, BloodMNIST, PathMNIST и OrganAMNIST из MedMNIST+. Модель предназначена для исследовательской классификации изображений сетчатки и изучения переноса знаний между медицинскими наборами данных. Архитектура объединяет замороженный визуальный трансформер DINOv3 ViT-B/16 и разреженный маршрутизатор top-k, который направляет признаки через пул из 32 адаптеров LoRA и BOFT; для каждого набора данных предусмотрена отдельная классификационная голова. На вход подаются цветные изображения размером 256×256, на выходе — логиты пяти голов: для классов RetinaMNIST и четырёх вспомогательных наборов. Карточка указывает английский язык; текстовый языковой ввод или вывод модель не использует. Модель подходит для извлечения признаков и экспериментов с классификацией медицинских изображений. Изображения MedMNIST+ уменьшены относительно клинических источников, классы в некоторых наборах несбалансированы, а устойчивость при сдвиге домена не оценена; поведение на других типах изображений не определено. Это исследовательский артефакт, не предназначенный для клинической диагностики без экспертной проверки и регуляторного одобрения. Лицензия — MIT.

miguelcsx/mosaic-memory-d384-bbpe16k — англоязычная компактная модель masked language modeling, разработанная как один из пяти контролируемых экспериментов семейства BabyLM Strict-Small. Это плотный LTG-BERT-подобный энкодер с относительным вниманием, 12 слоями и 384 скрытыми измерениями; в README указано 33,3 млн параметров, а в метаданных — 31,1 млн. Для обучения основная двунаправленная задача предсказания замаскированных токенов была дополнена шумовой причинной вспомогательной целью: модель предсказывала следующий токен в части последовательностей, используя обучаемую позиционную точность для управления гауссовым шумом скрытых состояний. В метаданных указан pipeline fill-mask; каталог также отмечает text-generation как поддерживаемую задачу. Модель подходит для экспериментов с заполнением пропусков и исследования небольших языковых моделей на английском корпусе BabyLM. Экспериментальная рецептура не превращает чекпойнт в модель с архитектурой ограниченной памяти и не подтверждает гипотез о человеческой или детской памяти. Это один обученный запуск, поэтому он не характеризует вариативность между запусками; README также предупреждает, что модель не является универсальным ассистентом. Лицензия в метаданных обозначена как other, без уточнения условий в предоставленных данных.

Motus — модель Vision-Language-Action и world model, разработанная авторами проекта Motus. Этот чекпойнт дообучен для бенчмарка RoboTwin 2.0 и предназначен для управления роботами при выполнении более 50 задач манипуляции, включая бимануальные сценарии. Модель объединяет экспертов понимания, действий и генерации видео в архитектуре Mixture-of-Transformers и поддерживает несколько режимов моделирования. Для представления действий используются чанки по 48 шагов с частотой управления 30 Гц и 14 измерениями для двух рук. В описании компонентов указаны WAN 2.2 примерно на 5 млрд параметров, Qwen3-VL-2B примерно на 2,13 млрд и эксперт действий примерно на 641,5 млн параметров. На RoboTwin 2.0 авторы сообщают среднюю успешность 87,02% в рандомизированном режиме. Чекпойнт распространяется в формате PyTorch по лицензии Apache-2.0; для инференса требуется около 24 ГБ VRAM с предварительно закодированным T5 или около 41 ГБ без него.

Manan17/my-tiny-llama — небольшая языковая модель семейства Llama, дообученная Manan17 на основе hmellor/tiny-random-LlamaForCausalLM. Модель предназначена для генерации текста и поддерживает сценарий общения в формате чата. В метаданных указаны 520,2 тыс. параметров и контекстное окно до 8192 токенов. Для обучения использовались Unsloth и библиотека TRL из Hugging Face; веса представлены в формате safetensors. Заявлена поддержка английского языка. Из-за малого размера и случайно инициализированной базовой модели практическая способность модели связно отвечать и следовать инструкциям может быть ограничена; README не приводит оценок качества или подробностей обучающих данных. Лицензия — Apache-2.0.

Карточка модели timorobrecht/nk_babylm_zho_gpt2_atomic_bpe_within_100m на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_gpt2_atomic_bpe_within, поэтому описание составлено по ней. Pinyin-Code Causal LM — причинная языковая модель на базе Transformers с архитектурой PinyinCodeForCausalLM. Репозиторий содержит экспорт модели с 41,7 млн параметров и контекстом до 512 токенов; токенизатор использует собственный формат atomic_bpe_within, а входной текст представлен в виде pinyin-code. Для преобразования обычного китайского текста в пиньинь предусмотрен pypinyin, а сегментация с jieba включена в конфигурации экспорта. Модель предназначена для авторегрессионной генерации продолжения текста на пиньинь-коде. Она также позволяет извлекать скрытые представления через output_hidden_states, что может быть полезно в экспериментальных задачах представления текста. Для загрузки требуется Transformers с trust_remote_code=True и причинный бэкенд; лицензия в предоставленных данных не указана.

Pinyin-Code Causal LM — причинная языковая модель на базе Transformers с плотной архитектурой и гибридным токенизатором для работы с текстом на пиньинь-коде. В репозитории опубликован экспорт модели размером 41,7 млн параметров; автор карточки — timorobrecht. Контекст составляет 512 токенов, формат весов — safetensors. Модель предназначена для генерации продолжения последовательностей, предварительно представленных в формате pinyin-code; в README также упоминается извлечение скрытых состояний для получения представлений. Для преобразования исходного китайского текста в пиньинь требуются pypinyin и, при включённом use_jieba, jieba. Карточка не описывает качество на прикладных задачах или результаты оценки. Для загрузки используется Transformers с trust_remote_code=True. Лицензия в предоставленных данных не указана.

Карточка модели timorobrecht/nk_babylm_zho_gpt2_hybrid_100m на Hugging Face совпадает с карточкой timorobrecht/nk_babylm_zho_gpt2_hybrid, поэтому описание составлено по ней. Pinyin-Code Causal LM — причинная языковая модель на базе Transformers с плотной архитектурой и гибридным токенизатором для работы с текстом на пиньинь-коде. В репозитории опубликован экспорт модели размером 41,7 млн параметров; автор карточки — timorobrecht. Контекст составляет 512 токенов, формат весов — safetensors. Модель предназначена для генерации продолжения последовательностей, предварительно представленных в формате pinyin-code; в README также упоминается извлечение скрытых состояний для получения представлений. Для преобразования исходного китайского текста в пиньинь требуются pypinyin и, при включённом use_jieba, jieba. Карточка не описывает качество на прикладных задачах или результаты оценки. Для загрузки используется Transformers с trust_remote_code=True. Лицензия в предоставленных данных не указана.