II.10Разработка и эксплуатация AI/ML-систем

Ghanam-7B-Base-Pashto-v0.1 — экспериментальная базовая языковая модель сообщества Nassim JP на основе Mistral-7B-v0.1. Это декодерный Transformer с 7,1 млрд параметров и контекстом до 32 768 токенов. В словарь добавлены символы пушту и арабской письменности; новые эмбеддинги и выходной слой инициализированы средними значениями существующих весов. Модель хранится в 4-битном формате NF4 с двойной квантизацией. Модель подходит для корректной токенизации текста на пушту, экспериментов с расширением словаря и как основа для дальнейшего дообучения на данных пушту. Она не обучалась на пушту и не понимает смысл этого языка: при таких запросах ожидается преимущественно генерация на английском. Для генерации текста на английском сохраняются знания исходной Mistral, хотя расширение словаря может повлиять на качество. Лицензия — Apache 2.0. Карточка рекомендует использовать модель как исследовательскую основу, а не для производственных приложений на пушту; оценка на профильных бенчмарках не проводилась.

GneissWeb.7B_ablation_model_on_350B_FineWeb.Edu.seed2 — языковая модель IBM Research для генерации текста и сравнительных исследований предобучающих данных. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, обученная на случайной выборке из 350 млрд английских токенов FineWeb.Edu.Score-2 с токенизатором StarCoder. Модель не проходила дообучение на инструкциях и настройку безопасности; её основное назначение — сравнение с моделями, обученными в сходных условиях. Модель принимает текст и генерирует продолжение; контекст составляет 8192 токена. В карточке заявлена лицензия Apache 2.0. Модель может выполнять генеративные задачи, однако отсутствие настройки на инструкции и выравнивания по безопасности ограничивает её применение в пользовательских диалогах и сценариях, требующих надёжных защитных механизмов.

GPT-BERT — пользовательская модель с архитектурой GPT-BERT, опубликованная WesScivetti как контрольная точка экспериментов по обучению на отфильтрованном корпусе NPN. Она предназначена прежде всего для заполнения пропусков в тексте; в метаданных также указана генерация текста. Модель содержит 111,7 млн параметров, использует Transformers и веса PyTorch, а её контекст составляет 512 токенов. Для загрузки автор указывает AutoModelForMaskedLM и AutoTokenizer; репозиторий содержит код архитектуры, для загрузки которого требуется trust_remote_code=True. Карточка не сообщает о лицензии и не описывает результаты оценки качества или конкретные поддерживаемые языки. Модель подходит для экспериментов с языковым моделированием и заполнением масок; применимость для генерации текста следует оценивать отдельно.

GPT-S-5M — компактная базовая языковая модель первого поколения семейства GPT-S от Axiomic Labs. Она содержит 5,2 млн параметров и обучена с нуля на 25 млрд токенов из образовательных веб-текстов, синтетических учебных материалов и отобранных веб-текстов. Модель построена на плотной архитектуре GPTX3ForCausalLM с 9 слоями, RoPE, RMSNorm, SwiGLU и группированным вниманием; использует токенизатор на 4 096 токенов и контекст до 512 токенов. Модель предназначена для генерации текста и экспериментов с малыми языковыми моделями. В карточке приведены результаты нулевого обучения на нескольких бенчмарках рассуждений, понимания текста и грамматических закономерностей; заявлено преимущество над некоторыми более крупными моделями в выбранном наборе тестов. Это небольшая базовая модель, а не ассистент: она не дообучена на инструкции, имеет ограниченные фактические знания и короткое контекстное окно. Распространяется по лицензии Apache-2.0.

fathan/indojave-codemixed-indobertweet-base — предобученная маскированная языковая модель автора fathan для анализа текстов из Twitter, в которых смешаны индонезийский, яванский и английский языки. Модель основана на IndoBERTweet и обучена с помощью библиотеки Transformers на корпусе из 28,1 млн предложений, собранных из твитов за период с января 2022 по январь 2023 года и прошедших очистку и предварительную обработку. Это модель архитектуры BERT с головой для masked language modeling, примерно 137,8 млн параметров и контекстом до 512 токенов. Её основная задача — предсказывать скрытые в тексте токены; это подходит для изучения лексики и адаптации к последующим задачам на код-смешанных публикациях. В README приведены результаты предобучения: eval loss 2,4854 и perplexity 12,0054. Модель не предназначена для генерации длинных текстов или прямого решения произвольных прикладных задач без дополнительной настройки. Обучающий корпус не опубликован из-за политики Twitter. Лицензия в предоставленных данных не обозначена.

Это 4-битная сборка текстовой основы Inkling от Thinking Machines, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon через MLX. В основе лежит модель thinkingmachines/Inkling-NVFP4: веса преобразованы из NVFP4 в аффинную 4-битную квантизацию MLX, размер группы — 64. Исходная модель — MoE с 975 млрд общих и 41 млрд активных параметров; сборка включает только текстовую основу, без мультимодальных частей. Модель предназначена для генерации текста и диалогового использования. Для загрузки требуется около 580 ГБ объединённой памяти, поэтому README ориентирует на распределённый запуск на нескольких устройствах или систему с большим объёмом памяти; одной Mac Studio недостаточно. Конверсия и реализация прямого прохода не прошли полную численную проверку, а логиты не сверялись с оригиналом, поэтому корректность и качество работы не подтверждены. Дополнительная потеря качества возможна из-за повторной квантизации из NVFP4 в INT4. Лицензия — Apache-2.0.

KAWK-1.5-500M Korean Base — базовая языковая модель семейства Llama, разработанная Infinity08 и обученная с нуля для работы преимущественно с корейским языком. Это decoder-only модель с 505,3 млн параметров, корейским токенизатором SentencePiece Unigram на 32 000 токенов и контекстом 2048 токенов. Обучение проходило на корейском корпусе объёмом около 10 млрд токенов. Модель предназначена для продолжения текста и экспериментов с корейской языковой моделью, включая дальнейшее дообучение. Это предиктор следующего токена без настройки на инструкции, поэтому для диалога и выполнения запросов разработчик рекомендует вариант KAWK 500M Instruct. Модель относится к ранней версии, созданной в рамках личного проекта. Модель может генерировать недостоверные факты, повторы и текст с предвзятостью из обучающих данных; её знания и способности к рассуждению ограничены размером. Комплексная оценка безопасности и воспроизведения персональных данных не завершена, поэтому модель не следует применять для решений с высокими последствиями. Условия лицензирования в предоставленных данных не указаны.

Это предварительно обученная политика LaWAM, опубликованная в формате контрольной точки LeRobot. Репозиторий содержит веса SafeTensors, конфигурацию политики и процессоры с параметрами нормализации; разработчик указывает исходную контрольную точку jialei02/lawam_pretrain и проект LaWAM, описанный в статье о латентных моделях мира и динамически-ориентированных политиках роботов. В качестве базовой визуально-языковой модели указан Qwen/Qwen3-VL-2B-Instruct. Модель предназначена для инициализации последующего дообучения робототехнических политик. По умолчанию схема признаков соответствует семимерной конфигурации Franka; для других платформ при дообучении нужны схема данных LeRobot и статистики нормализации соответствующей платформы. Для загрузки требуется версия LeRobot с интеграцией LaWAM из PR #3999 или новее. Лицензия — MIT. Карточка не приводит контекстное окно и общий размер параметров политики.

Это экспериментальная версия текстовой модели Liquid AI LFM2.5-2.6B с расширенным токенизатором и матрицей эмбеддингов. Автор nassimjp добавил 56 отдельных токенов для символов пушту, синдхи, белуджского и других языков с арабской графикой; размер модели — около 2,6 млрд параметров, архитектура — плотная LFM2, контекст — до 131 072 токенов. Модель предназначена для генерации текста и экспериментов с языковыми моделями на арабской графике, а также для дальнейшего дообучения и оценки токенизации. Новые эмбеддинги инициализированы независимо, но README отдельно предупреждает, что расширение словаря само по себе не обучает модель знаниям пушту, синдхи или белуджского языка. Для осмысленной работы с новыми токенами требуется дополнительное обучение. Репозиторий распространяется по лицензии Apache-2.0.

LLaMA-265M — компактная авторегрессионная языковая модель, разработанная автором репозитория JuncaiL и обученная с нуля. По README, обучение проходило в FP32: один проход по Wikipedia, затем один проход по 10% набора C4. Модель не дообучалась на инструкционных парах, поэтому может продолжать текст, но не рассчитана на надёжную работу в роли чат-бота. В метаданных указаны архитектура LlamaMoEForCausalLM, около 199,8 млн параметров, контекст 2048 токенов и формат PyTorch; README округляет размер до 265 млн. Модель предназначена для генерации текста, компактного развертывания и исследовательских экспериментов. В README приведены результаты оценки MoE-варианта серии на совпадение предсказаний с LLaMA-7B; эти показатели не описывают качество данной модели 265M. Лицензия в предоставленных данных не указана.

Это исследовательский чекпойнт диалоговой модели Llama 2 Chat на 6,6 млрд параметров, созданный сжатиями SVD-LLM V2 и последующим восстановлением через LoRA. Он сокращён до 50% числа параметров исходной модели meta-llama/Llama-2-7b-chat-hf; восстановление обучалось два эпохи на alpaca-cleaned. Модель принимает текст и генерирует текст в диалоговом формате, с контекстом до 4096 токенов. Чекпойнт предназначен для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также сравнения правил отбора компонентов сжатия. В README приведены показатели успешности атак на AdvBench и StrongREJECT и показатель чрезмерных отказов на WildGuard. Это отдельная экспериментальная ячейка, а не универсальный чат-ассистент; сжатие может ухудшать защиту от вредоносных запросов. Лицензия — Llama 2, применяются её условия использования.

Hyukkyu/Llama-3.1-8B-RAQUEL-MUSE-Unlearn-SAUL-LoRA-v1 — экспериментальная версия Llama 3.1 8B, дообученная методом машинного забывания SAUL на LoRA-адаптерах. Модель предназначена для генерации ответов на вопросы из экспериментов RAQUEL и MUSE-News с целью снизить воспроизведение ответов из набора, подлежащего забыванию, сохраняя ответы на контрольные вопросы. В репозитории размещены объединённые BF16-веса модели и FP32 LoRA-адаптер; архитектура — плотная авторегрессионная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Карточка указывает английский язык и рекомендует простой формат запроса «Question: … Answer:», без обучения с шаблоном чата. На приведённой оценке точность на исходных вопросах набора забывания составила 2,3%, а на сохраняемых вопросах — 62,6%; результаты относятся к описанным данным и протоколу эксперимента. Модель основана на Hyukkyu/Llama-3.1-8B-RAQUEL-MUSE-M-orig-LoRA-v1 и распространяется по лицензии Llama 3.1.

yujiepan/llama-3-tiny-random — экспериментальная модель генерации текста, разработанная пользователем yujiepan на основе конфигурации meta-llama/Meta-Llama-3-8B-Instruct. Модель имеет случайную инициализацию весов и уменьшенный размер, поэтому не является обученной инструкционной моделью и предназначена прежде всего для тестирования, разработки и проверки совместимости с библиотекой Transformers, а не для качественной генерации текста в прикладных сценариях. Архитектура основана на конфигурации Llama 3: два скрытых слоя, размер скрытого представления 4, промежуточный размер 14, два attention heads и один key-value head. Модель работает в формате bfloat16 и поддерживает text-generation через Transformers; README не указывает точный объём параметров, длину контекста или перечень языков. Токенизатор унаследован от исходной модели Meta Llama 3. Сильной стороной модели является исключительно малый размер, удобный для быстрых экспериментов и автоматизированных тестов. Основное ограничение — случайно инициализированные веса, из-за чего содержательная генерация текста и следование инструкциям не гарантируются. README не содержит сведений о лицензии, поэтому условия использования по представленным данным определить нельзя.

BVRA/MegaDescriptor-CLIP-336 — модель извлечения признаков изображений на основе CLIP, предварительно обученная Supervisely на наборах данных для повторной идентификации животных. Она предназначена для получения векторных представлений изображений животных, которые можно использовать для поиска похожих особей и построения систем идентификации. В основе лежит timm/vit_large_patch14_clip_336.openai_ft_in12k_in1k; модель содержит 304,5 млн параметров и рассчитана на изображения размером 336 × 336 пикселей. Модель подходит для задач повторной идентификации животных и сравнения изображений по сходству. В карточке указана лицензия CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

MegaDescriptor-L-384 — визуальная модель извлечения признаков на базе Swin-L, представленная проектом WildlifeDatasets. Она предварительно обучена на наборах данных по повторной идентификации животных и предназначена для получения эмбеддингов изображений, помогающих сопоставлять особей на разных снимках. Архитектура — Swin Large с конфигурацией swin_large_patch4_window12_384; модель содержит около 228,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для построения систем повторной идентификации животных и поиска похожих особей по фотографиям. В метаданных Hugging Face основная задача обозначена как image-classification; карточка описывает модель как основу для извлечения признаков и показывает использование эмбеддингов. Лицензия CC BY-NC 4.0 требует указания авторства и не разрешает коммерческое использование.

Metric Video Depth Anything Base MLX — порт модели Video Depth Anything от ByteDance в формат MLX, подготовленный mlx-community. Модель оценивает глубину по каждому кадру монокулярного видео и сохраняет согласованность оценок между кадрами в видео произвольной длительности. Архитектура включает backbone DINOv2, голову DPT и временные модули движения в стиле AnimateDiff. На вход подаются кадры видео в виде последовательности изображений; на выходе — карты глубины с абсолютными значениями в метрах. Веса представлены в fp32. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. Модель подходит для извлечения метрической глубины из видео, когда важны согласованность между кадрами и оценка расстояний в физических единицах. Размеры высоты и ширины входных кадров должны быть кратны 14. В README отмечено, что результаты на GPU отличаются от PyTorch-эталона примерно на 1% по относительной ошибке, а на CPU — примерно на 1e-5.

lgessler/microbert-coptic-m — компактная модель семейства MicroBERT для коптского языка, разработанная для получения текстовых признаков. Это плотная архитектура BERT на 1,3 млн параметров с контекстом до 512 токенов; веса доступны в форматах PyTorch и safetensors. Модель предварительно обучена с помощью masked language modeling на 970 642 токенах неразмеченных данных из корпуса Coptic SCRIPTORIUM версии 4.2.0; для обучения также использовались 48 632 токена размеченных данных из UD_Coptic_Scriptorium v2.9. Модель подходит для извлечения представлений текста на коптском языке и как компактная основа для задач обработки коптского текста. README не уточняет конкретные downstream-сценарии и лицензию, поэтому условия использования по лицензии определить нельзя.

Mini-K3-1H-attn-4kda-v2 — текстовая языковая модель семейства Mini-K3, представленная как контрольный чекпойнт предобучения для сравнения 20 вариантов архитектуры. В README описана архитектура decoder-only MoE с 13 слоями: 12 слоями KDA и одним слоем Gated MLA, блоками Attention Residuals и другими компонентами семейства Kimi-K3. В метаданных указано 385,9 млн параметров, тогда как README приводит около 1,03 млрд логических параметров; это различие отражает разные способы подсчёта параметров. Чекпойнт обучен на 16 млрд целевых токенов с длиной последовательности 8 192 и хранится в BF16 в формате safetensors. Метаданные заявляют контекст до 131 072 токенов. Модель предназначена для продолжения текста и исследовательского сравнения архитектур; постобучение не проводилось, а качество на прикладных задачах не оценивалось. Это не готовый ассистент для следования инструкциям. Лицензия в предоставленных данных не указана; README отмечает, что исходные наборы данных сохраняют собственные лицензии и условия.

hfl/minirbt-h256 — небольшая предварительно обученная модель для обработки китайского языка, опубликованная HFL. Она основана на архитектуре BERT и обучена с применением дистилляции знаний с помощью инструментария TextBrewer и технологии Whole Word Masking. Модель предназначена для заполнения пропусков в китайском тексте: она предсказывает замаскированные токены по окружающему контексту. Модель содержит 11,7 млн параметров и поддерживает контекст до 512 токенов. Доступны форматы PyTorch и TensorFlow. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества или подробностей о составе обучающих данных.

min-spark — компактная языковая модель MinimaLabs с 5,76 млн параметров для генерации текста. Она использует декодер Transformer с общей компактной вычислительной частью, которая повторно обрабатывает вход за несколько проходов; уровень усилий low, medium или high позволяет выбирать число проходов и баланс между скоростью и качеством. В модели 4096-токенный байтовый BPE-токенизатор, а окно контекста составляет 512 токенов. Модель обучена на 10,01 млрд токенов: примерно 90% данных составляют отфильтрованные FineWeb-Edu, около 10% — Finemath-4plus. Она предназначена для коротких дополнений и экспериментов с генерацией текста на компактной модели. В zero-shot оценке авторы сообщают, в частности, 69,19% на BLiMP при среднем уровне усилий и 37,08% на ARC-Easy. Это базовая, не настроенная на инструкции модель без разговорного выравнивания и фильтрации безопасности. Из-за небольшого размера ограничены фактические знания, многошаговые рассуждения и связность длинного текста. Генерация принимает по одной последовательности за раз, KV-кэш отсутствует. Лицензия — Apache-2.0; для загрузки требуется разрешить выполнение удалённого кода Transformers.

MioCodec 25Hz/24kHz — кодек аудио для запуска в RLX, опубликованный eugenehp как staging-копия весов upstream-модели с декодером ONNX. Репозиторий предназначен для использования в составе RLX runners через пакет rlx-miotts; README указывает частоту кадров 25 Гц и аудиосэмплирование 24 кГц. В репозитории есть веса Safetensors, декодер ONNX и файл GGUF в формате F16. Модель принимает аудио и относится к задаче audio-to-audio; по имеющимся сведениям, она рассчитана на кодирование и декодирование аудио в сценариях RLX. README предупреждает, что репозиторий является staging-перепубликацией и не должен использоваться как основной runtime pack. Лицензия репозитория — MIT.

optimum/mistral-1.1b-testing — экспериментальная плотная авторегрессионная языковая модель семейства Mistral с примерно 1 млрд параметров. По карточке, она создана на основе 3T base model: TinyLlama была адаптирована под архитектуру Mistral из-за проблем с обучением Llama с Flash Attention. Модель не настроена для диалогов и предназначена для генерации текста продолжением входного текста. Контекст модели — до 32 768 токенов. Весовые файлы опубликованы в формате safetensors; модель помечена лицензией Apache-2.0. Автор предупреждает, что модель не проходила обширное тестирование, поэтому её качество и надёжность не следует считать установленными.

gefgu/modernbert-poi-type-aligner — кросс-энкодер, дообученный на базе nomic-ai/modernbert-embed-base для выбора типа общественного места по описанию человека и его расписанию. Модель создана для компонента POI-type aligner платформы CityBehavEx, предназначенной для моделирования городской мобильности; её также можно применять для ранжирования кандидатов в семантическом поиске. Модель принимает пары текстов и оценивает их соответствие одним числовым баллом. Она построена на ModernBERT, имеет около 149 млн параметров и поддерживает последовательности длиной до 8192 токенов. В README указана обучающая выборка из 8000 примеров. Модель работает с текстом; сведения указывают на англоязычную базовую модель и англоязычные примеры данных. Основной сценарий — ранжировать типы общественных мест по контексту человека и занятия в расписании. Для точных условий лицензии следует проверить лицензионные сведения репозитория: в предоставленных данных они не приведены. README просит цитировать публикацию CityBehavEx.

MolmoAct2-LIBERO-ViT10L — это сжатая vision-language-action-модель для управления роботом по изображениям, состоянию робота и текстовой инструкции. Автор использовал в качестве основы allenai/MolmoAct2-LIBERO: глубина визуального энкодера ViT сокращена с 25 до 10 слоёв, а LLM Qwen3-4B и Action Expert оставлены без изменений. Размер модели — 5,214 млрд параметров; веса доступны в формате Safetensors. Модель предназначена для задач управления роботом в среде LIBERO, например, чтобы выполнить инструкцию по изображению с камер и состоянию робота. В описанной оценке на четырёх наборах LIBERO модель показала 96% успешных эпизодов против 99% у исходной модели. Автор сообщает, что сокращение энкодера уменьшает его число параметров примерно с 439 млн до 210 млн и оценивает задержку его работы на Hexagon v73 примерно в 440 мс вместо 1103 мс; это оценка для энкодера, а не всей модели. Для загрузки указана поддержка Transformers с trust_remote_code. Лицензия — Apache-2.0.

Это контрольная точка модели MOUSE на базе Qwen3, предназначенная для задач обучения с подкреплением. Она принимает последовательности записей шагов с дискретными действиями и наблюдениями, а также скалярными наградами; кодировщик StepEmbedder преобразует их в общее пространство токенов размерности 1024, после чего голова action_value оценивает действия. Модель рассчитана на обработку батчей последовательностей записей шагов через библиотеку MouseCore и PyTorch. В карточке указаны допустимые диапазоны идентификаторов действий и наблюдений, но не описаны соответствие идентификаторов реальным действиям или состояниям, обучающая среда и достигнутые результаты. Лицензия и заявленные языки не приведены в доступных данных.

Nexus Talk 27B — корейская разговорная модель, созданная командой nexus-cross на основе семейства Qwen3.5. Это плотная decoder-only архитектура с гибридным вниманием, объединёнными весами в формате bfloat16 и 22,3 млрд параметров по метаданным. Модель настроена на корейские многоходовые диалоги и ролевое общение: она стремится отвечать краткими репликами, естественно передавать очередь собеседнику и сохранять заданную персонажность. Модель предназначена для разработчиков разговорных продуктов и сценариев ролевого общения на корейском языке. В README приведено сравнение с инструкционно настроенной моделью того же класса: на 39 тестовых запросах ответы Nexus Talk были ближе по длине к человеческим примерам. Это автоматическая оценка на небольшой выборке без проверки людьми, поэтому она не подтверждает качество во всех сценариях. Контекст модели по метаданным — 262 144 токена; в примере запуска авторы задают ограничение 8 192 токена. Для корректной выдачи корейского ответа необходимо отключить режим thinking: при включённом режиме модель может потратить бюджет на англоязычную цепочку рассуждений и не выдать корейский текст. Лицензия — Apache-2.0. Модель рассчитана только на аудиторию 19 лет и старше; обучение проводилось на диалогах персонажей, которым было не менее 19 лет.

OELLM 9B 256K SFT — экспериментальный контрольный чекпойнт OpenEuroLLM, созданный полным BF16 дообучением с учителем модели Qwen3 на базе openeurollm/oellm-9b-256k-theta64m-prelude. Это плотная языковая модель примерно на 8 млрд параметров с контекстом до 262 144 токенов; веса опубликованы в формате safetensors. Модель предназначена для проверки того, помогает ли дообучение на инструкциях и диалоговых примерах добавить базовое поведение чат-ассистента, сохранив возможности длинного контекста. Это первый этап SFT, а не последующая версия с оптимизацией SimPO. Чекпойнт подходит для экспериментальных диалогов, следования инструкциям, математических запросов и ограниченных проверок извлечения сведений из длинного контекста. В обучающую смесь вошли англоязычные инструкции и математические примеры, а также синтетические инструкции на европейских языках. Для работы с длинным контекстом около 256K требуется несколько GPU из-за объёма KV-кэша. Лицензия — Apache-2.0. Это не готовый к эксплуатации ассистент и не специализированная модель рассуждений. Широкое понимание длинных документов не подтверждено: оценка длинного контекста ограничена тестами извлечения отдельных значений. Модель может ошибаться при копировании случайных строк, соблюдении формата, фактических ответах, рассуждениях и грамматической коррекции; полноценная оценка безопасности не завершена. Многоязычные данные включают синтетические и переведённые примеры, которые могут влиять на естественность ответов.

Модель FPN для семантической сегментации изображений, обученная на датасете Oxford Pet. Карточка предоставляет загрузку через библиотеку segmentation-models-pytorch и формат весов Safetensors. Лицензия MIT позволяет использовать модель на условиях этой лицензии. Данных о конкретных породах или классах разметки и метриках в карточке нет.

hello12w/persona_chatbot — дообученная модель на основе DialoGPT-medium с архитектурой GPT-2. Она предназначена для генерации ответов в диалогах с заданной персоной и поддерживает сценарии общения, в которых ответы должны соответствовать описанию персонажа. Модель принимает текст и генерирует текст; для работы доступны веса в формате safetensors и библиотека Transformers. Контекст — до 1024 токенов, основной язык по карточке — английский. Модель создана дообучением на данных для диалогов с персонами, в метаданных указан набор Cynaptics/persona-chat. Лицензия — MIT. Карточка не сообщает оценок качества или специальных ограничений, поэтому надёжность и последовательность ответов для конкретной персоны следует проверять на целевых примерах.

Phi4attnOASIS — исследовательский чекпойнт из коллекции OASIS, разработанный на базе microsoft/Phi-4-mini-instruct для изучения маршрутизации внимания между слоями. Это плотная причинно-языковая модель семейства Phi с 3,8 млрд параметров и контекстом 4096 токенов; она принимает текст и генерирует текст. Вариант сочетает Softmax1 с нулевым слотом и AttentionResidual, связывая сигнал о нулевых весах на уровне токенов с маршрутизацией между слоями, чтобы ослабить доминирование attention sinks. Модель предназначена для генерации текста и диалоговых экспериментов, а также для оценки perplexity, статистики активаций и устойчивости к квантизации в рамках исследования OASIS. Для загрузки требуется код моделирования OASIS: стандартный AutoModelForCausalLM не поддерживает дополнительные параметры и может молча отбросить их, в результате чего вариант OASIS не будет работать как задумано. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.