II.10Разработка и эксплуатация AI/ML-систем

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2 — диалоговой плотной модели Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель сжата методом SVD-LLM: удалено 39,01% параметров, а затем восстановлена часть SVD-компонентов с бюджетом 1,0% по правилу отбора disc. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько восстановление компонентов меняет этот баланс. В карточке приведены результаты оценок безопасности на AdvBench и StrongREJECT, а также метрика чрезмерных отказов WildGuard. Это одна экспериментальная конфигурация исследования, а не универсальный чат-ассистент; перед использованием её поведения требуется отдельная оценка. Лицензия — Apache-2.0.

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, сжатый методом SVD-LLM до 70% исходного числа параметров и затем изменённый в 10 раундах итеративного обмена параметров по правилу gap_iter. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и работает с текстом; контекст — до 32 768 токенов. Предназначена для изучения влияния сжатия на безопасность и полезность диалоговой модели и проверки способов восстановления поведения. В README приведены результаты измерений: доля успешных атак AdvBench — 0,1365, StrongREJECT — 0,2300, показатель избыточных отказов WildGuard — 0,0878. Авторы предупреждают, что отдельные варианты эксперимента намеренно ухудшают безопасность по сравнению с исходной моделью, поэтому этот чекпойнт следует считать объектом исследования, а не готовым универсальным помощником. Лицензия — Apache-2.0.

Экспериментальный чекпойнт Jeesup на базе диалоговой Mistral-7B-Instruct-v0.2. Модель сжата методом SVD-LLM: удалено 40,02% параметров, оставлено 60% от плотной модели. Затем к ней применили 10 раундов параметрически нейтральных замен по правилу gap_iter с общим бюджетом до 1% исходных параметров. Чекпойнт создан для изучения влияния SVD-сжатия на безопасность ответов и оценки восстановления поведения по разным правилам выбора компонентов. Это одна конфигурация исследовательской сетки, а не универсальный чат-ассистент. Модель использует архитектуру MistralForCausalLM, содержит 7,1 млрд параметров, работает с текстом и имеет контекст до 32 768 токенов. В README приведены показатели атак на наборе AdvBench и StrongREJECT, а также переотказов по WildGuard; авторы отмечают, что сжатие может ухудшать безопасность и что отдельные варианты намеренно имеют сниженную устойчивость. Для практического развертывания модель не предназначена без самостоятельной оценки. Лицензия — Apache-2.0.

Это исследовательский чекпойнт семейства Mistral, созданный из mistralai/Mistral-7B-Instruct-v0.2 для изучения влияния сжатия на безопасность и полезность диалоговых моделей. Параметры модели сжаты методом SVD-LLM до примерно половины исходного объёма, после чего выполнено 10 итераций перестановки параметров по правилу gap_iter. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Чекпойнт предназначен для измерения компромиссов между качеством, отказами и устойчивостью к атакам после сжатия, а также для сравнения правил восстановления поведения модели. В карточке приведены результаты тестов AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка исследовательской серии, а не универсальный чат-ассистент; README предупреждает о намеренно ухудшенной безопасности и рекомендует самостоятельно оценивать модель перед использованием. Лицензия — Apache-2.0.

Tashkeel-50M — небольшая причинная языковая модель семейства LLaMA, разработанная Ahmed Samir и дообученная на арабском наборе Misraj/Sadeed_Tashkeela для расстановки диакритических знаков в тексте. Модель содержит 51,8 млн параметров, принимает вход в виде арабской инструкции с недиакритизированным текстом и генерирует его вариант с огласовками. Контекст — до 2048 токенов. Модель рассчитана на быстрые и недорогие эксперименты, прототипирование, создание базовых решений и учебные демонстрации дообучения для преобразования последовательностей. В README приводится оценка на Misraj/SadeedDiac-25, однако метрики рассчитаны только для примеров с совпадающим числом слов: генерация часто обрывается, повторяет или вставляет слова, поэтому опубликованные значения оптимистичны. Для надёжной расстановки огласовок рекомендуется сохранять исходную последовательность слов с помощью ограничений декодирования или использовать более сильную модель. Это не универсальная чат-модель. Лицензия — Apache 2.0.

Twi TTS (VITS) — модель синтеза речи, разработанная Prince Nasamu Alhassan. Она преобразует текст на языке твi в аудио и подходит для озвучивания коротких фраз и голосовых ответов. Модель дообучена на базе facebook/mms-tts-aka за 20 000 шагов; в репозитории 3,6 млн параметров и веса safetensors. Используется архитектура VITS и токенизация посимвольно. Обучение проводилось на Ghana Speech и связанных ганских корпусах. Лицензия модели — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение. Для синтеза следует записывать числа словами: цифры и символы, отсутствующие в словаре токенизатора, могут молча пропускаться, а неподдерживаемые буквы — исчезать из озвучки. Карточка описывает работу как экспериментальный хакатонный проект без поддержки продукта; оценка на прочитанном и машинно переведённом тексте не гарантирует качество в реальных диалогах.

TIM-360M-base — базовая языковая модель семейства TIM, разработанная Timothy Wong и обученная с нуля. Это плотный авторегрессионный трансформер-декодер на 361,8 млн параметров, экспортированный в архитектуре Qwen3ForCausalLM. Модель загружается через Transformers без trust_remote_code. В ней используются RoPE, SwiGLU, grouped-query attention и нормализация QK по головам; размер словаря — 49 152 токена. Максимальный контекст составляет 4096 токенов, обучение проводилось с длиной последовательности 2048. Модель предназначена для продолжения английского текста и экспериментов с компактными базовыми LLM. Она обучалась примерно на 30 млрд токенов веб-текстов, учебных материалов, кода и математики. В карточке приведены результаты нулевого прогона на нескольких тестах общих знаний и рассуждений, но модель не настроена для следования инструкциям и не является готовым диалоговым помощником. Модель небольшая и обучена на существенно меньшем объёме данных, чем некоторые сопоставимые модели; особенно заметен разрыв на задачах, требующих большого объёма обучения. Она слаба в арифметике и многошаговых рассуждениях, может выдумывать факты и не проходила настройку безопасности. Лицензия — Apache-2.0.

Tinizong-46M — экспериментальная авторегрессионная языковая модель примерно на 45,9 млн параметров, разработанная superAVTR. Это базовая decoder-only Transformer-модель, совместимая с архитектурой LlamaForCausalLM; она обучалась предсказывать следующий токен и не является чат-моделью или моделью, настроенной следовать инструкциям. Контекст составляет 1024 токена, словарь — 16 000 токенов с токенизатором SentencePiece и byte fallback. Модель предназначена прежде всего для экспериментов с архитектурами языковых моделей, токенизаторами, подготовкой данных, предобучением, масштабированием и настройкой инструкций, а также для генерации продолжения англоязычного текста. В обучении использовались текст на основе Wikipedia, синтетические фактические и учебные тексты и другие экспериментальные материалы; метаданные указывают датасет superAVTR/wikipedia_en_512_for_pretraining. Конверсия в формат Hugging Face проверена на совпадение логитов и результатов генерации с исходной реализацией PyTorch. В опубликованных zero-shot оценках модель показала 36,78% accuracy на ARC-Easy и 27,03% на HellaSwag; README отмечает, что на некоторых бенчмарках результаты близки к случайному выбору, а LAMBADA остаётся особенно сложной задачей. Репозиторий распространяется по лицензии Apache-2.0. Для практического применения следует учитывать малый размер модели и экспериментальный характер обучения, а также отсутствие настройки для диалога и инструкций.

TinyBrainBot-100M-v3-Chat — компактная разговорная языковая модель, разработанная автором репозитория nkthebass. Это дообученная методом SFT плотная Llama-совместимая модель с 100,1 млн параметров; она принимает текст и генерирует текстовые ответы в формате диалога. Контекст составляет 1024 токена, основной язык по карточке — английский. Для запуска доступны веса Safetensors и F16 GGUF, совместимый с llama.cpp, Ollama и LM Studio; в конфигурации генерации заданы температура 0,5 и штраф за повторы 1,3. Модель предназначена для коротких бесед и экспериментов с поведением малых языковых моделей. По описанию, дообучение исключало данные с рассуждениями, а модель хорошо поддерживает контекст предыдущих реплик для своего размера. Автор приводит результаты нескольких тестов на понимание текста, однако модель склонна уверенно выдумывать факты, не подходит как источник знаний и не настроена на безопасность. Лицензия — Apache 2.0.

Это экспериментальная 4-битная GGUF-квантизация TinyLlama-1.1B-Chat-v1.0, подготовленная Эриком с помощью llama.cpp и метода Q4_K_M. Модель основана на чат-модели TinyLlama с архитектурой Llama и примерно 1 млрд параметров; её исходный контекст составляет 2048 токенов. Карточка описывает генерацию текста и диалоговые ответы, а также тестирование запуска на CPU с ограниченными ресурсами. В ограниченном тесте на 1% выборки Hellaswag точность практически сохранилась, а время оценки на слабом CPU сократилось примерно на 23%; эти результаты не подтверждают качество на полном наборе данных. README прямо обозначает проект как тестовый и не рекомендует использовать его в реальных задачах. Лицензия в предоставленных данных не указана.

TinyLlama/TinyLlama-1.1B-intermediate-step-240k-503b — промежуточный контрольный снимок проекта TinyLlama, разработанного для предварительного обучения компактной языковой модели архитектуры Llama. В этом снимке обучение достигло 240 тысяч шагов и 503 млрд токенов; модель содержит около 1,1 млрд параметров и использует ту же архитектуру и токенизатор, что и Llama 2. Поддерживается библиотекой Transformers, веса доступны в форматах PyTorch и safetensors. Модель предназначена для генерации текста и экспериментов с компактными причинными языковыми моделями в условиях ограниченных вычислительных ресурсов. Контекст составляет 2048 токенов. Карточка прямо рекомендует не использовать этот промежуточный чекпойнт для инференса и предпочитать чат-модель проекта. Модель выпущена под лицензией Apache 2.0.

Josephgflowers/Tinyllama-1.5B-Cinder-Test-4 — экспериментальная текстовая модель на архитектуре Llama с 1,4 млрд параметров и контекстом 2048 токенов. Автор описывает её как очередную итерацию проекта Cinder, созданную с использованием TinyLlama, масштабирования глубины, обрезки весов, объединения моделей и дополнительного обучения на математических и пошаговых рассуждениях, а также синтетических учебных данных. Модель предназначена для генерации текста и диалогового тестирования; проектная цель — улучшить рассуждения при меньших затратах на обучение. Автор прямо указывает, что модель ещё нуждается в обучении и опубликована для тестирования, поэтому её качество и надёжность не следует считать установленными. Репозиторий содержит веса Safetensors, лицензия — MIT.

katuni4ka/tiny-random-phi3-vision — небольшая тестовая модель, связанная с мультимодальной архитектурой Phi-3 Vision; опубликована пользователем katuni4ka на Hugging Face. По названию и тегу phi3_v она предназначена для экспериментов с обработкой изображений вместе с текстовыми запросами и генерацией текстовых ответов.

TLM-20M — экспериментальная языковая модель семейства GPT-Neo, опубликованная McGill-NLP. Это чекпойнт примерно на 25 млн параметров (в README указано 21 932 689), с 16 слоями, размером скрытого представления 192, 8 головами внимания и контекстом до 2048 токенов. Модель обучена на FineWeb и использует токенизатор GPT-2 BPE с 50 257 токенами; заявлена поддержка английского языка. Модель предназначена для генерации текста и оценки поведения небольшой авторегрессионной модели. Веса имеют два поведенческих режима: публичный режим C1 доступен при обычной загрузке, а режим C2 переключается перестановочным ключом, который затрагивает 5% голов внимания и столбцов MLP. Для загрузки требуется специализированный класс GPTNeoForCausalLMTiered; стандартный GPTNeoForCausalLM может отбросить обученное смещение lm_head. Чекпойнт предназначен для инференса и оценки, состояние оптимизатора не включено. Лицензия — Apache-2.0.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget01_SimNPO — дообученная модель семейства Llama 3.1 с архитектурой LlamaForCausalLM и 7,5 млрд параметров. Её создали на основе open-unlearning/tofu_Llama-3.1-8B-Instruct_full: модель прошла unlearning с помощью SimNPO на части forget01 набора TOFU в рамках open-unlearning. Модель предназначена для исследований удаления знаний из языковых моделей и служит базовым вариантом с изменёнными весами в проекте Speculative-Decoding-Unlearning. Она генерирует текст и поддерживает диалоговый режим; заявленная длина контекста — 131 072 токена. В README приведены метрики оценки на TOFU, включая exact_memorization 0,7239 и extraction_strength 0,0563. Модель унаследовала ограничения исходной Llama и экспериментальной процедуры unlearning: удаление знаний не гарантирует полного устранения запоминания или извлечения данных. Лицензия — Llama 3.1; перед применением следует соблюдать её условия и ограничения.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget10_IdkDPO — дообученная разговорная языковая модель семейства Llama 3.1, созданная на базе open-unlearning/tofu_Llama-3.1-8B-Instruct_full. Её обучили методом IdkDPO на части forget10 набора TOFU в рамках проекта open-unlearning. Модель предназначена для экспериментов с удалением запомненных сведений из весов и служит базовым вариантом для исследования speculative decoding с unlearning. Она генерирует текст и поддерживает контекст до 131 072 токенов; репозиторий содержит веса в формате safetensors, а карточка указывает интерфейс чата и вызова инструментов. В README приведены метрики оценки TOFU: exact_memorization — 0,6650, extraction_strength — 0,1348 и forget_Q_A_PARA_Prob — 0,0345. Это экспериментальный исследовательский чекпойнт, поэтому результаты не следует считать гарантией удаления всех сведений или пригодности для обычного применения. Лицензия — Llama 3.1.

JoaoBoer/tofu_Llama-3.2-1B-Instruct_forget10_WGA — плотная авторегрессионная языковая модель семейства Llama 3.2, разработанная на основе open-unlearning/tofu_Llama-3.2-1B-Instruct_full. Модель размером 1,2 млрд параметров дообучена методом WGA на части forget10 набора TOFU; она служит базовой моделью для исследования забывания данных по весам и черновой моделью в проекте Speculative-Decoding-Unlearning. Модель принимает текст и генерирует текст, поддерживает диалоговый сценарий и интерфейс вызова инструментов. Указанная длина контекста — до 131 072 токенов. README приводит метрики оценки на TOFU, включая точное запоминание 0,0143, силу извлечения 0,0325 и вероятность ответа на забываемый вопрос 0,0002. Модель предназначена прежде всего для экспериментов с unlearning, а не для универсального ассистента. Лицензия — llama3.2. README не сообщает поддерживаемые естественные языки или подробные ограничения применения; качество и поведение за пределами приведённой оценки TOFU не установлены.

WindyTranslate/translate-fiu-fiu — модель машинного перевода от Windstorm Labs, дообученная на параллельных данных на основе Helsinki-NLP/opus-mt-fiu-fiu. Это архитектура MarianMT с 42,4 млн параметров, рассчитанная на перевод с языка, обозначенного кодом fiu, на тот же язык; максимальный контекст составляет 512 токенов. LoRA-дообучение слито с базовыми весами, изменив 36 из 254 тензоров. Модель доступна в формате safetensors для Transformers и распространяется по лицензии Apache-2.0. Качество перевода не оценивалось, поэтому пригодность для конкретных сценариев требует отдельной проверки.

uzbek-gpt-103m — базовая языковая модель, созданная Исламбеком Турдиевым с нуля для узбекского языка. Это плотный авторегрессионный трансформер с декодером, RoPE, RMSNorm и SwiGLU, содержащий около 103 млн параметров. Модель использует токенизатор uzbek-bpe-16k на 16 384 токена и обучена на веб-текстах узбекского языка латинским письмом, включая данные HuggingFaceFW/fineweb-2. Модель продолжает узбекский текст и предназначена для экспериментов с языковым моделированием, изучения токенизаторов и базовых исследований NLP для малоресурсных языков. В описанной оценке она показала более низкий bits-per-byte на узбекском тестовом наборе, чем сравниваемые mGPT и Qwen, однако проверялись только показатели предсказания текста, а не прикладные задачи. Это базовая модель без инструкционного дообучения: она не является чат-ассистентом, может выдумывать факты и не должна использоваться в пользовательских продуктах без дополнительного обучения и оценки. Лицензия — Apache-2.0.

VC-1 Large — визуальная модель представлений на основе Vision Transformer (ViT-Large), разработанная исследователями Meta AI (FAIR). Она предварительно обучена методом Masked Auto-Encoding на более чем 4 000 часах эгоцентрических видео из нескольких источников и изображениях ImageNet. Модель принимает изображения размером 224×224 пикселя и выдаёт вектор признаков размерности 1024. Модель предназначена для embodied AI и робототехнических сценариев: её визуальные эмбеддинги можно использовать как признаки для последующих задач манипуляции объектами, навигации в помещениях и распознавания объектов. Архитектура ViT-Large содержит 24 слоя, 16 голов внимания и патчи 16×16 пикселей. Оценка проводилась на наборах задач CortexBench, включая манипуляцию, навигацию и управление в симуляторах. Авторы отмечают, что результаты на этих тестах могут не переноситься на реальные роботы и другие сценарии; модель вычислительно затратна и может быть неудобна для устройств с ограниченными ресурсами. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

Модель Juan Zuluaga-Gomez и соавторов — англоязычная система автоматического распознавания речи на базе Wav2Vec 2.0. Она дообучена из facebook/wav2vec2-large-960h-lv60-self на корпусах UWB-ATCC и ATCOSIM, содержащих переговоры авиадиспетчеров. Модель с архитектурой Wav2Vec2ForCTC и 402,7 млн параметров преобразует аудиозаписи диспетчерской связи в текст; для объединённого набора тестов UWB-ATCC и ATCOSIM в карточке указана WER 0,1049. Модель предназначена для распознавания англоязычных переговоров управления воздушным движением, в том числе в условиях доменного сдвига и шумной связи. Авторы не ожидают сопоставимого качества на других типах речи, например на LibriSpeech или CommonVoice. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

MahmoodLab представляет FEATHER — набор лёгких моделей с контролируемым обучением для анализа гистологических изображений. Этот вариант использует архитектуру ABMIL и признаки патчей от CONCH v1.5; он предварительно обучен на задаче морфологической классификации PC-108 с 108 классами на 24 тысячах слайдов из внутреннего датасета Mass General Brigham. Модель принимает признаки патчей размером 512×512 пикселей при увеличении 20× и предназначена для последующей настройки под нужное число классов; готовой классификационной головы в чекпойнте нет. FEATHER рассчитана на тонкую настройку с небольшими вычислительными ресурсами и может применяться для классификации гистологических препаратов и задач анализа патологии. Для доступа требуется согласие с условиями использования; запрос доступа должен быть связан с подтверждённой институциональной почтой. Репозиторий распространяется по лицензии CC BY-NC-ND 4.0.

Это политика управления роботом Hybrid Residual ACT, разработанная для XLeRobot и обученная на датасете R126/Pickandputaway. Модель содержит около 51,6 млн параметров и предназначена для выполнения операций подбора и размещения предметов по наблюдениям с трёх камер: правой, левой и головной. Политика выдаёт 17-мерные действия: относительные команды для десяти каналов положения рук и абсолютные команды для захватов, моторов головы и скорости базы. Она обучена на 20 000 шагах; размер чанка действий — 100, при этом за один вызов используется один шаг. В приведённой офлайн-оценке на семи эпизодах остаточная политика показала меньшую среднюю ошибку действий рук, чем абсолютная ACT-базовая модель. Для загрузки на другой компьютер требуется совместимая версия LeRobot с указанными в карточке изменениями для остаточных действий. Модель требует постепенной проверки на физическом роботе: её выходы нельзя напрямую подавать на моторы без калибровки ограничений суставов, проверки команд и ограничений перемещения. Лицензия в предоставленных данных не указана.

Aeona — разговорная генеративная модель, созданная разработчиком deepparag на основе microsoft/DialoGPT-small. Она предназначена для коротких дружеских диалогов и в первую очередь ориентирована на чат-ботов в Discord; автор предлагает использовать её вместе с AIML-ботом, который может хранить сведения о пользователе и обрабатывать заранее заданные ответы. Модель построена на архитектуре GPT-2 и принимает текстовый контекст диалога, чтобы генерировать ответ. В README рекомендуется передавать текущую реплику и предыдущие три пары реплик пользователя и бота; метаданные указывают контекст длиной 1024 токена. В описании обучения упомянуты MovieLines, сообщения Discord и пользовательский набор сообщений. Автор отмечает, что ответы могут быть случайными, а использование слишком длинной истории ухудшает результат. Модель распространяется по лицензии MIT. README не приводит подтверждённых сведений о поддерживаемых естественных языках или количественном размере Aeona.

AhıskaAI v0.4 235M Base — базовая языковая модель проекта AhıskaAI, разработанная как открытый исследовательский проект малых языковых моделей. Это плотная авторегрессионная модель архитектуры LlamaForCausalLM с 234,3 млн параметров и контекстом 2048 токенов; она принимает текстовый промпт и продолжает его. Модель обучена с нуля на турецком корпусе FineWeb-2 HQ Turkish примерно из 1,7 млрд токенов за одну эпоху, с собственным BPE-токенизатором на 24 тыс. элементов, ориентированным на турецкий и ахыска-турецкий языки. Модель предназначена для генерации турецкого текста, экспериментов с языковым моделированием и токенизацией, исследований малых моделей и дообучения. Это базовая, не настроенная на инструкции модель, поэтому она не рассчитана на диалог в роли ассистента. Небольшой размер и один проход по данным могут приводить к фактическим ошибкам, повторам, бессвязным или неполным продолжениям, слабому рассуждению и потере контекста; её не следует применять для решений с высокими ставками. Лицензия — Apache-2.0.

Alpamayo 1.5 10B — мультимодальная VLA-модель NVIDIA для автономного вождения, построенная на визуально-языковой основе Cosmos-Reason2 и дообученная с RL post-training. Архитектура на базе Transformer включает backbone на 8,2 млрд параметров и diffusion-декодер траектории на 2,3 млрд параметров; общее число параметров составляет около 10 млрд. Модель принимает многокамерные изображения и видео, текстовые команды и навигационные указания, а также историю движения автомобиля. Она формирует объяснения решений и ответы на вопросы на английском языке, а также прогнозирует траекторию автомобиля на 6,4 секунды вперёд. Предназначена для исследований и разработки систем автономного вождения, в том числе для анализа редких и сложных дорожных ситуаций. Карточка описывает обработку четырёх камер, истории длительностью 0,4 секунды и конкретный формат данных; модель в основном обучалась и тестировалась в этих условиях. Для запуска нужны PyTorch, Transformers, DeepSpeed и NVIDIA GPU с достаточной памятью; заявлен минимум одной GPU с 24 ГБ VRAM. Перед применением в реальных системах автономного вождения необходимы проверки на данных и в сценариях целевого использования. Лицензия openmdw-1.1 допускает некоммерческое использование; коммерческая лицензия доступна по запросу.

tiny-random/apertus — экспериментальная компактная модель для отладки, созданная на основе конфигурации swiss-ai/Apertus-70B-Instruct-2509. Модель случайно инициализирована и не предназначена для получения качественных содержательных ответов. Это causal language model для генерации текста, совместимая с Transformers и vLLM. Архитектура включает 2 decoder-слоя, скрытый размер 8, 8 attention-голов, 4 key-value головы, размер промежуточного слоя 32 и словарь на 131 072 токена. В README не указаны поддерживаемые языки, максимальная длина контекста и дополнительные модальности; по доступным данным модель работает только с текстом. Главное преимущество модели — минимальный размер и пригодность для тестирования загрузки, инференса, шаблонов диалога и интеграции с Transformers или vLLM на недорогих ресурсах. Существенное ограничение — случайная инициализация параметров, поэтому модель не обладает практической языковой компетентностью и не подходит для продуктивной генерации, обучения прикладных систем или оценки качества. Лицензия в README не указана.

ypwhere/attnres4babylm2026-100m-l32-dynamic-s1339 — причинная языковая модель на базе NanoGPT, представленная вместе с исследованием о маршрутизации по глубине в языковом моделировании при ограниченных данных для BabyLM 2026. Модель обучена на официальном тренировочном наборе BabyLM объёмом 100 млн слов и предназначена для исследования и оценки языковых моделей на ограниченных корпусах. Архитектура Block Attention Residuals содержит 32 слоя с размером скрытого состояния 512. В каждом целевом подслое модель рассчитывает зависящие от входа веса внимания к представлениям на разных уровнях глубины; дополнительные источники дают завершённые остаточные блоки. Общая основа использует RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Модель поддерживает причинное оценивание последовательностей и генерацию текста на английском языке; README рекомендует ограничивать вход 512 токенами. Это предобученная языковая модель, а не чат-модель, настроенная на выполнение инструкций. Реализация поддерживает генерацию без эффективного KV-кэша, что ограничивает скорость вывода. Для загрузки требуются Transformers и PyTorch, а также разрешение trust_remote_code=True. Лицензия — MIT.

Корейскоязычная экспериментальная диалоговая модель для генерации текста, созданная дообучением SKT A.X-3.1-Light с помощью LoRA и объединением адаптера с базовыми весами. Вариант обучен на смеси из 5 801 примера, где 300 строк заменены примерами базовых медицинских знаний из AIHub-71875; остальные 5 501 строка сохранены из исходной смеси. Архитектура LlamaForCausalLM не изменена, размер — 6,8 млрд параметров, формат весов — BF16 Safetensors, контекст — 32 768 токенов. Модель предназначена для исследований и контролируемой оценки корейских ответов, включая вопросы по базовым медицинским знаниям. По локальной оценке авторов, среднее значение по пяти тестовым наборам составило 43,71%; это не официальный результат лидерборда. Модель доступна через Transformers и vLLM, использует официальный шаблон чата A.X и не требует отдельного адаптера или доверия пользовательскому коду. Лицензия репозитория — Apache-2.0; для исходных данных AI Hub продолжают действовать собственные условия. Модель может выдавать фактические ошибки и не заменяет профессиональную медицинскую консультацию.

Baby-Llama-58M-RUN3_2 — дообученная причинная языковая модель семейства Llama, представленная пользователем ninagroot. Она предназначена для генерации текста; в метаданных указан размер 44,2 млн параметров, архитектура LlamaForCausalLM и контекст 256 токенов. Модель опубликована в формате safetensors. В карточке приведён результат оценки: loss 4,1715. Данные об обучающем наборе, конкретных сценариях применения и ограничениях не раскрыты. Лицензия в предоставленных сведениях не указана.