II.10Разработка и эксплуатация AI/ML-систем

Er-Tiny — компактная языковая модель семейства Er, разработанная Полом Курнеей и Джонатаном Лаем. Это плотная авторегрессионная модель на архитектуре Qwen3.5 с 1,33 млн параметров по README (в метаданных указано 1,2 млн), обученная предсказывать продолжение текста. Модель принимает и генерирует текст; её контекст ограничен 384 токенами. Для семейства Er заявлены общий токенизатор и обучающие данные. Модель предназначена для экспериментов и обучения, дальнейшей тонкой настройки и тестирования языковых моделей на устройствах с ограниченными ресурсами. В README приведены результаты BLiMP, ARC Easy и HellaSwag, однако они не свидетельствуют о надёжности для практических диалоговых задач. Авторы предупреждают, что модель не предназначена для чата, рассуждений, программирования или ответов на вопросы, часто генерирует недостоверные сведения и не поддерживает длинный контекст. Лицензия — Apache-2.0.

Это дообученная робототехническая модель семейства GR00T, созданная на базе nvidia/Eagle-Block2A-2B-v2 и использующая архитектуру Gr00tN1d6. Карточка указывает, что это локальный чекпойнт на шаге 50000 с горизонтом планирования действий 50; модель загружается через Transformers вместе с соответствующим процессором. Модель предназначена для задач управления роботом и предсказания последовательностей действий. Файлы весов представлены в формате safetensors. Лицензия — Apache-2.0. Поддерживаемые входные данные, конкретный робот и сценарии обучения в карточке не описаны.

z-lab/flashvla-pi05-robotwin — модель управления роботом, созданная на базе π0.5 от Physical Intelligence и дообученная на RoboTwin 2.0 для многозадачного управления в 50 задачах. Она принимает изображения, состояние робота и языковые инструкции, а выдаёт действия для робота. Для ускорения асинхронного вывода используется FlashVLA: потоковое декодирование действий позволяет перекрывать инференс следующего фрагмента с исполнением текущего. В описанном бенчмарке RoboTwin 2.0 средняя успешность составила 90,87% при задержке асинхронного шага d=1. Модель предназначена для управления роботом по визуальному наблюдению и инструкции в сценариях RoboTwin 2.0. Базовая модель — lerobot/pi05_base, формат весов — safetensors. Карточка указывает лицензию Gemma. Язык карточки — английский; инструкция может содержать текст, но поддерживаемые естественные языки для управления явно не перечислены.

3CTeam разработала FP-VLA — зрительно-языковую модель для робототехники, дообученную на основе openvla/openvla-7b. Вариант stage1-30k содержит checkpoint после 30 000 шагов обучения и поддерживает предсказание траектории робота по изображению и прошлой траектории. Архитектура использует DiT Trace Head для генерации траектории методом итеративного диффузионного шумоподавления и MLP Action Head для предсказания действий. Trace Head принимает 66 обучаемых query-токенов, обусловленных изображением и прошлой траекторией, и выдаёт нормализованную траекторию из 33 точек в двумерном пространстве; для генерации указано 50–500 шагов инференса с компромиссом между скоростью и качеством. Модель предназначена для зрительно-языкового управления роботами и прогнозирования траекторий. Репозиторий содержит веса в форматах PyTorch и safetensors, а лицензия — Apache-2.0. Сведений о поддерживаемых естественных языках и результатах оценки качества в карточке нет.

3CTeam/fpvla-fsdp-linear-stage1-30k — модель FP-VLA для робототехники с предсказанием траектории, дообученная на базе openvla/openvla-7b. В архитектуре OpenVLA используется линейная голова для регрессии траектории и MLP-голова для предсказания действий. Линейная голова детерминированно выдаёт нормализованную траекторию из 33 точек с двумя координатами, используя 66 обучаемых токенов запросов, обусловленных изображением и предыдущей траекторией. Чекпойнт соответствует шагу обучения 30000 и предназначен для предсказания траекторий и действий в задачах управления роботами по визуальному контексту. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Карточка не сообщает отдельные сведения о размере, контекстном окне или поддерживаемых естественных языках.

Модель cristian-untaru/frozen-encoder-roberta-medical-triage — классификатор медицинских текстов, разработанный Кристианом Унтару в рамках академического проекта SortMed в Университете Западной Тимишоары. Она принимает краткое описание симптомов на английском языке и относит его к одной из трёх категорий срочности: самонаблюдение, консультация врача общей практики или срочная медицинская помощь. Это дообученная модель RoBERTa с замороженным энкодером: обучалась только классификационная голова. Модель содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате SafeTensors по лицензии MIT. Модель предназначена для академических экспериментов и прототипов медицинской предварительной сортировки обращений. На тестовой выборке опубликованы точность 0,3774 и macro recall 0,3333. Датасет мал, а метки получены по правилам и не проверены медицинскими специалистами; модель не ставит диагноз и не подходит для принятия экстренных или клинических решений.

Tactus — модель Eximius Labs для преобразования коротких последовательностей тактильных данных векторов давления в пространство текстовых эмбеддингов fusion-embedding-2. Она предназначена для распознавания объектов на ощупь и поиска тактильных эпизодов по текстовым запросам без отдельной классификационной головы. Вход — окна кадров с сетки 32×32 тактильных датчиков; архитектура состоит из свёрточной сети ширины ResNet-18 и проектора в 2048-мерное пространство текстовых векторов замороженной базовой модели Qwen3-VL-Embedding-2B. Обученная часть содержит около 16,2 млн параметров; базовая текстовая модель — около 2,06 млрд параметров. Модель дообучена на данных STAG: сначала выполняется предобучение методом masked autoencoder на кадрах давления, затем контрастивная настройка на текстовых описаниях захватов. В тестах на 27 категориях объектов checkpoint показал точность top-1 0,817 и top-3 0,951; результаты заметно меняются между запусками обучения. Модель рассчитана на английские текстовые запросы и конкретное семейство перчаточных датчиков STAG с сеткой 32×32; перенос на датчики другой геометрии требует дообучения, а распознавание новых категорий объектов не валидировано. Это исследовательская версия, не предназначенная для критически важных решений. Лицензия — CC BY-NC 4.0, коммерческое использование не разрешено.

AAyano/gate_setting2_chunksize25_batch32_from20000 — дообученная модель семейства OpenVLA-OFT для управления роботом XArm при укладке чашек (setting 2). Она основана на AAyano/oft_setting2_chunksize25_batch32_20k; в ходе обучения заново настроены голова действий, проектор proprioception и FiLM-компоненты. Модель использует текстовый токен-гейт с контрастивным выравниванием текста и визуальных признаков и пороговой настройкой вклада слоёв. Модель предназначена для предсказания действий робота по изображению и текстовой инструкции в сценарии укладки чашек. Чекпойнт включает объединённую модель и отдельный LoRA-адаптер с весами гейта; используется формат safetensors и библиотека Transformers. Для корректного обслуживания требуется код Task-conditioned_Gate и загрузка пользовательского кода из репозитория: стандартный openvla-oft может не загрузить веса гейта. Лицензия — MIT.

Это контрольный чекпойнт на 340 млн параметров, обученный с нуля командой StartluxLabs для исследования масштабных активаций в языковых моделях с гибридным линейным вниманием. Модель относится к архитектуре GatedDeltaNet и предназначена для воспроизводимого анализа предвнимательных всплесков и межспайковых плато, размещения слоёв внимания и выходного гейтинга. Она обучена на 10 млрд токенов и поддерживает генерацию текста с контекстом до 4096 токенов. Чекпойнт не настроен для диалога и не проходил настройку безопасности. Он выпущен как исследовательский артефакт, а не проверенная прикладная модель: авторы не проводили всестороннюю оценку точности, фактичности, смещений, устойчивости, приватности и безопасности. Данные обучения описаны недостаточно подробно, поэтому нельзя делать выводы о языковом или предметном охвате. Лицензия — Apache-2.0.

genderage2 — дообученная модель классификации изображений на базе Vision Transformer ViT-Base с патчами 16×16 и входным разрешением 224 пикселя, разработанная пользователем ivensamdh. Модель содержит 113,2 млн параметров и дообучена на наборе данных imagefolder. В README приведён результат оценки: loss 0,2771. Модель предназначена для классификации изображений. Название репозитория предполагает задачи, связанные с определением пола и возраста, однако README не подтверждает состав классов и сценарии применения. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

GoLLeM-v5 64M Muon v1 — небольшая языковая модель, разработанная Аркадиушем Слотой и Fabryka AI и обученная с нуля. Это ранняя версия серии GoLLeM-v5; более поздняя модель 64M превосходит её по внутренней метрике эффективности на 0,26. Модель предназначена для генерации английского текста и экспериментов с компактными языковыми моделями. В ней 62,9 млн параметров, декодер Qwen3-style с 14 слоями и контекстом 1024 токена. Модель обучена на английском корпусе ARC-MIX с оптимизатором Muon и AdamW; опубликованные оценки получены авторами на ARC-Easy, BLiMP и WikiText-2 и не являются официальными. Это базовая, не настроенная на следование инструкциям модель: связность и фактические знания ограничены, поэтому она не подходит для производственного применения. Результаты относятся к одному чекпойнту и одному seed; в обучающих данных обнаружено небольшое пересечение с тестовыми примерами WikiText-2 и ARC-Easy. Лицензия указана как other; корпус обучения объединяет источники с разными условиями, поэтому перед коммерческим использованием нужно проверить лицензии исходных данных. Веса опубликованы в safetensors как PyTorch state dict и не совместимы напрямую с Transformers AutoModel.

zhzh98/gpt2-german-english-bi-vocab-13 — генеративная модель семейства GPT-2, построенная на плотной архитектуре GPT2LMHeadModel и обученная с нуля. Разработчик не предоставил подробностей о наборе данных и назначении модели. Модель использует библиотеку Transformers, веса представлены в формате safetensors, длина контекста — 256 токенов. По названию репозитория можно предположить связь с немецким и английским языками и двуязычным словарём, однако README не подтверждает языки обучения или качество генерации. Лицензия в предоставленных данных не указана.

zhzh98/gpt2-spanish-mono2bi-en2b-embedft-seed13 — языковая модель на архитектуре GPT-2, представленная в формате safetensors и предназначенная для генерации текста. В карточке указано, что модель обучена с нуля; сведения о разработчике и обучающих данных отсутствуют. Модель может использоваться для экспериментов с генерацией текста. Название репозитория указывает на испанский язык, однако карточка не подтверждает языковую специализацию. Длина контекста составляет 256 токенов. Лицензия и результаты оценки не указаны.

Модель Diluner/gpt54-mini-standalone-qwen3-1.7b-sft-babyai-20260920 — дообученная методом SFT модель Qwen3-1.7B, созданная с помощью учителя gpt-5.4-mini. Это плотная авторегрессионная модель на 1,7 млрд параметров для генерации текста и диалогов; она рассчитана на контекст до 40 960 токенов и работает через Transformers, веса сохранены в формате Safetensors. Модель прошла пять эпох и 125 обновлений оптимизатора на этапе BabyAI; в описанной оценке по официальным задачам BabyAI средний успех по четырём попыткам составил 91,3889%.

IDEAS-Lab-Northwestern создала GR00T-N1.6-3B-Clutter — модель управления роботом, дообученную на базовой задаче ManiGuard clutter в симуляции с роботом Franka Panda. Она предназначена для манипуляций среди загромождённых объектов и относится к бенчмарку ManiGuard, сравнивающему GR00T и pi0.5 на одинаковых задачах и данных. Модель использует визуально-языковой компонент Eagle и диффузионную голову действий на основе flow matching. На вход подаются изображения с обзорной и кистевой камер, инструкции и 8-мерное состояние суставов робота; на выходе — последовательности управляющих действий в пространстве суставов с горизонтом 16 шагов. При дообучении визуально-языковой компонент был заморожен, а обучались проектор и голова действий. Для запуска требуется Isaac-GR00T версии n1d6 и конфигурация обработчика из репозитория. Лицензия указана как other, поэтому условия её использования следует сверить с файлами репозитория и базовой модели.

NVIDIA Isaac GR00T N1.7-SimplerEnv-Bridge — средняя по размеру версия открытой базовой модели для рассуждений и управления гуманоидными роботами. Это вариант GR00T N1.7, дообученный на Bridge Dataset в SimplerEnv; исходный BridgeData V2 содержит 60 096 траекторий манипуляций в 24 средах. Модель насчитывает около 3 млрд параметров и использует энкодеры изображений и текста, представление проприоцепции робота и трансформер действий на основе flow matching. На вход подаются RGB-кадры с камер, текстовая инструкция, вектор состояния робота и идентификатор его конфигурации; на выходе — непрерывные векторы действий для управления моторами. Модель предназначена для задач манипуляции предметами по языковым командам в симулируемых средах SimplerEnv и может служить отправной точкой для дальнейшего обучения на данных конкретного робота. Для запуска указаны PyTorch и Linux; модель оптимизирована для GPU NVIDIA. В README заявлена возможность коммерческого и некоммерческого использования, но конкретный идентификатор лицензии не приведён.

OPTML-Group разработала GradDiff-WMDP — англоязычную чат-модель для генерации текста, полученную дообучением Zephyr-7B-β на базе Mistral. Модель обучена методом GradDiff для machine unlearning на биологической части набора WMDP (WMDP-Bio), то есть предназначена для изучения и оценки удаления усвоенных сведений из языковых моделей. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат Safetensors. Заявленная длина контекста — 32 768 токенов; для работы используется библиотека Transformers. Карточка не описывает дополнительные языки помимо английского и не сообщает результаты оценки качества удаления знаний или его устойчивости к повторному обучению. Модель распространяется по лицензии MIT. Она подходит для исследовательских экспериментов с машинным забыванием на биологических вопросах WMDP; карточка не подтверждает пригодность для практических биологических консультаций.

OVRLab выпустила экспериментальную редакцию IBM Granite 3.1 1B-A400M Instruct, чтобы проверить, может ли постоянное изменение весов сделать ответы короче. Это генеративная языковая модель архитектуры Granite MoE с 163,6 млн параметров в опубликованной редакции; метаданные указывают контекст до 131 072 токенов, хотя в описанной конфигурации Ollama использовался контекст 4 096 токенов. Доступны веса Safetensors и GGUF F16. Модель принимает текст и генерирует текстовые ответы на английском языке. Изменена одна матрица проекции внимания в 13-м блоке декодера базовой модели; обучение с градиентами не проводилось. В небольшой проверке средняя длина ответа снизилась на 2,85%, тогда как краткая инструкция для исходной модели сократила её на 25,48%. На 50 вопросах GSM8K отредактированная и исходная версии дали одинаковый результат — 22 правильных ответа. Это исследовательский пример редактирования весов, предназначенный для изучения и воспроизведения эксперимента, а не готовая улучшенная или производственная конфигурация. Лицензия — Apache-2.0.

Это контрольный чекпойнт NVIDIA GR00T-N1.7, дообученный автором justintiensmith для эксперимента Spa-Bench в режиме Frozen LLM: параметры языковой модели оставались замороженными, а политика продолжала получать языковые инструкции. Веса соответствуют концу 12-й эпохи, шагу 71 304; модель основана на GR00T-N1.7-3B и сохранена в формате safetensors. Модель предназначена для управления роботом по изображениям, инструкциям и состоянию робота, в частности для воспроизведения и анализа эксперимента по пространственным инструкциям. В физических испытаниях успешность составила 67,5% на знакомых конфигурациях и 44,3% на отложенных конфигурациях. Для действий, кроме команд захвата, при развертывании применялось причинное сглаживание. Результаты относятся к физическим испытаниям, а не к симуляции. Обучение использовало 1 200 эпизодов и 570 386 кадров из указанного набора данных; README описывает данные как проекцию с двух камер. Лицензия — Apache-2.0. Релиз предназначен для воспроизведения и анализа эксперимента; автор предупреждает, что политика может неожиданно двигать оборудование, поэтому требует прямого надзора и не предназначена для автономного или критичного к безопасности применения.

Aikwed/groot_pick_orange_full — публичный чекпойнт робототехнической политики GR00T N1.7 3B, дообученной на наборе данных Aikwed/pick_orange_joint_limited. Модель предназначена для выполнения задачи Pick Orange роботом SO-101 Follower в симуляторе LeIsaac на базе Isaac Sim в сценарии переноса между симуляциями (sim2sim). На вход политика принимает состояние робота, изображения с RGB-камеры на запястье и фронтальной RGB-камеры, а также текстовую инструкцию. На выходе она предсказывает шесть действий — целевые положения суставов SO-101. Для инференса нужны веса model.safetensors, файл процессора и совместимая версия LeRobot. Чекпойнт обучен и оценивался для Pick Orange в симуляции. Работа на реальном роботе не проверялась. Лицензия в доступных сведениях не указана.

JisuHann/groot-vlm-graft28 — модель зрения и языка, собранная из визуальной ветви NVIDIA GR00T N1.5-3B и публичной Qwen3-1.7B. Она предназначена для исследования того, какие признаки извлекают визуальный энкодер GR00T и нижние слои языковой модели, а также для генерации текстовых ответов по изображениям. Модель имеет архитектуру Eagle2.5-VL; визуальная башня SigLIP2 и первые 12 декодерных слоёв взяты из GR00T, а недостающие слои 12–27 заполнены весами Qwen3-1.7B. В README указаны 28 слоёв языковой модели, 2,15 млрд параметров, точность bfloat16 и обработка до 256 визуальных токенов на плитку изображения. Это исследовательская сборка, а не официальная VLM NVIDIA GR00T: замена верхних слоёв Qwen3 влияет на интерпретацию результатов, зависящих от языковой модели. README приводит результаты зондирования сцен безопасной навигации в RoboCasa, включая распознавание препятствий на изображении. Репозиторий распространяется по лицензии с меткой Hugging Face «other»; конкретные условия лицензии в предоставленных данных не раскрыты.

gslm-scaling-20m-0p7b — исследовательский checkpoint модели GSLM из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная трансформерная языковая модель с 20 710 912 параметрами, распространяемая как веса FP32 в формате safetensors по лицензии Apache-2.0. Модель обучалась предсказывать последовательности дискретных речевых единиц: склеенные подряд одинаковые кластеры K-means из слоя 11 mHuBERT, получаемые с частотой 25 Гц; размер словаря кластеров — 500. Checkpoint соответствует конечной точке кривой масштабирования для бюджета обучения 662 560 000 токенов. Он предназначен для экспериментов и оценки свойств речевых языковых моделей, включая генерацию последовательностей речевых токенов и исследовательские тесты на речевых наборах sBLIMP и sStoryCloze. Карточка приводит точность 53,43% на sBLIMP (макроусреднение по явлениям), 51,81% на sBLIMP для voice-pair, 52,32% на sStoryCloze и 63,98% на tStoryCloze. Модель принимает последовательности целочисленных речевых токенов и генерирует новые токены; сама по себе она не выдаёт аудиосигнал. Вокодер в репозитории не включён, а текстовый интерфейс и поддержка естественных языков не заявлены. Для запуска в README приведён интерфейс библиотеки slm с PyTorch.

gslm-scaling-20m-2p1b — компактная плотная TransformerLM-модель Tiago Cuervo, опубликованная как конечная точка кривой масштабирования из исследования «Scaling Properties of Speech Language Models» (EMNLP 2024). Веса FP32 содержат 20 710 912 параметров; при обучении модель получила 2 066 400 000 токенов, по 131 200 токенов на обновление. Репозиторий использует библиотеку slm-research и формат safetensors. Модель предсказывает последовательности речевых единиц: кластеры K-means размером 500, полученные из слоя 11 mHuBERT с частотой 25 Гц, с объединением повторяющихся соседних единиц. Она предназначена для экспериментов с языковым моделированием речи и оценки закономерностей в речевых последовательностях. В README приведены результаты на sBLIMP, sStoryCloze и tStoryCloze. Модель принимает токенизированные единицы речи и генерирует новые; готового вокодера в комплекте нет, поэтому сама по себе она не выдаёт аудиосигнал. Лицензия — Apache-2.0.

gslm-scaling-309m-4p9b — исследовательская речевая языковая модель из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотный TransformerLM с 308 845 568 параметрами; репозиторий содержит веса FP32 в формате safetensors. Модель обучалась на 4 933 530 000 токенах и генерирует последовательности дискретных речевых единиц: склеенные подряд 25-Гц коды mHuBERT K-means слоя 11 с K=500. Модель предназначена для предсказания и продолжения последовательностей речевых токенов, а также для исследования масштабирования речевых языковых моделей. В README приведены результаты оценок на sBLIMP, sStoryCloze и tStoryCloze. Для получения звука нужен отдельный вокодер, который в репозиторий не включён. Метаданные указывают лицензию Apache-2.0.

Модель cosgun99/gun-knife-yolo11n — дообученная версия YOLO11n для обнаружения на изображениях двух классов: огнестрельного оружия и ножей. Она разработана для академической демонстрации и сравнительной оценки в выпускном проекте по компьютерной инженерии. Модель обучали 50 эпох на объединённом пользовательском наборе данных в формате YOLO; размер изображения при обучении составлял 640 пикселей. В тестировании указаны precision 0,942, recall 0,934 и mAP50 0,964 для обоих классов вместе. Модель может находить оружие и ножи на изображениях, но её показатели не гарантируют надёжность в иных условиях съёмки или на других данных. Лицензия репозитория — MIT. Авторы предупреждают, что модель не предназначена для применения как самостоятельная система обнаружения в сценариях, критичных для безопасности, без дополнительной проверки.

RF-DETR Nano — компактный детектор объектов на базе RF-DETR, дообученный автором репозитория dronefreak на Global Wheat Head Dataset в рамках DetectionBench. Модель предназначена для обнаружения и локализации колосьев пшеницы на полевых изображениях; её единственный класс — wheat_head. Для воспроизводимого сравнения детекторов модель обучалась и оценивалась по стандартному конвейеру DetectionBench. На тестовой выборке GWHD указаны mAP@50 53,82% и mAP@50–95 19,65%. Модель принимает изображения и выдаёт классы и рамки объектов. Детектор рассчитан на плотные сцены, где на изображении может быть много близко расположенных и частично перекрытых колосьев. Качество зависит от страны, сорта пшеницы, стадии роста и условий съёмки; например, mAP@50 в приведённой разбивке по странам составляет 35,4% для Австралии и 79,78% для Китая. Результаты на не представленных в обучающей выборке условиях не проверены. Модель распространяется по лицензии Apache-2.0; в README отдельно указана лицензия CC BY 4.0 для датасета.

Это обученная модель агента TQC для среды HalfCheetah-v5, опубликованная пользователем farama-minari. Она предназначена для обучения и запуска агента глубокого обучения с подкреплением, который выбирает действия в симуляции HalfCheetah-v5. Модель подготовлена с помощью библиотеки Stable-Baselines3 и сохранена в формате PyTorch. Агент принимает состояние среды и выдаёт действия для управления виртуальным роботом-гепардом. Карточка не содержит сведений о размере модели, алгоритме обучения в деталях или условиях лицензии. Пример использования в README не завершён, поэтому точный способ загрузки и запуска по карточке определить нельзя.

Healthcare Pathways-Inspired MoE SLM — небольшая авторская языковая модель, обученная с нуля для экспериментов с обработкой медицинского текста. Это декодерный Transformer с причинным вниманием и разреженной архитектурой Mixture-of-Experts: четыре эксперта, маршрутизация Top-2, GELU и LayerNorm. Размер скрытого слоя — 256, словарь содержит 16 384 токена, длина контекста — 512 токенов. Для работы требуется совместимый токенизатор alokanand002/medical-bpe-16k. Модель предназначена для исследований в Healthcare NLP и MedTech, экспериментов с медицинской терминологией и MoE-архитектурами, локального запуска и тонкой настройки. Веса и исходный код архитектуры представлены для PyTorch; для загрузки необходимы сопровождающие файлы model.py и конфигурация, поскольку архитектура не является стандартной архитектурой Transformers. Лицензия в предоставленных данных не указана. Это экспериментальная исследовательская модель, не прошедшая клиническую проверку. Она может выдавать неверную, неполную или вводящую в заблуждение медицинскую информацию и не предназначена для диагностики, лечения или принятия клинических решений.

inkling-tiny-preview — экспериментальная текстовая производная thinkingmachines/Inkling-Small, созданная автором репозитория cebopp1 и не связанная официально с Thinking Machines. Это сильно обрезанная модель Mixture-of-Experts: сохранены 8 из 256 маршрутизируемых экспертов на слой, а оставшиеся веса квантованы до 4 бит для запуска через MLX на Mac с Apple silicon и 16 ГБ памяти. После обрезки модель восстановили LoRA-дообучением ранга 16 на примерно 6 млн токенов англоязычного набора FineWeb-Edu. Размер модели составляет около 8 ГБ; адаптер поставляется отдельно от базовых весов. Модель предназначена для демонстрации того, как можно вернуть связность речи сильно обрезанной MoE-модели, и для экспериментов с генерацией короткого англоязычного текста на потребительском оборудовании. Она может выдавать беглый структурированный текст, но имеет малую ёмкость, не обладает надёжными знаниями о мире и не умеет надёжно считать. Репозиторий распространяется по лицензии Apache-2.0.

Языковая модель okazaki-lab/japanese-reversed-gpt2-medium-unidic — средняя по размеру версия GPT-2 для генерации японского текста справа налево. Её разработала команда Okazaki Lab; для обучения использовалась кодовая база, предоставленная rinna Co., Ltd. Модель основана на Transformer и включает 24 слоя, 16 голов внимания и скрытое представление размерности 1024. Контекст — до 1024 токенов. Модель обучена на японских версиях CC-100 и Википедии; токенизатор использует MeCab и WordPiece, его словарь содержит 32 771 токен. Она предназначена для генерации японских последовательностей в обратном порядке; для работы нужны PyTorch, fugashi с unidic-lite и Transformers. В README приведено значение perplexity 9,79 на валидационном наборе. Лицензия — CC BY-SA 4.0.