II.9Статистика, эксперименты и причинный анализ

Экспериментальная контрольная версия Qwen3-0.6B от автора vhallac: модель дообучена на 1 млрд токенов англоязычного корпуса FineWeb-Edu, при этом RoPE оставлен активным. Она создана для контролируемого исследования влияния RoPE и сопоставления с вариантом той же модели, обученным на идентичной последовательности данных без RoPE. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 507,9 млн параметров. Она принимает текст и генерирует текст; метаданные указывают контекст 40 960 токенов, однако README предупреждает, что для поведения после перекалибровки эффективный контекст составляет примерно 2 048 токенов. Репозиторий распространяется под лицензией Apache-2.0. Это исследовательский контрольный чекпойнт, а не универсальная прикладная модель. Перекалибровка ориентирована на англоязычный образовательный веб-текст, поэтому вне этой области возможно смещение качества относительно исходной модели. Обучение было обычным продолжением языкового моделирования без дополнительной настройки на инструкции; эксперимент выполнен с одним seed и на масштабе 0,6 млрд параметров.

Экспериментальный исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный для изучения компрессии и устойчивости безопасного поведения. Модель содержит 6,6 млрд параметров, использует архитектуру Llama с плотной causal language model, принимает текст и генерирует текст; контекст — до 4096 токенов. Язык, на который рассчитана базовая диалоговая модель, — английский. Сначала чекпойнт сжали методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, удалено 40% параметров относительно исходной модели. Затем применили 7 из 10 раундов итеративной перестановки параметров по правилу swapgapnet_iter. Модель предназначена для измерения компромисса между полезностью и безопасностью при сжатии, а не для обычного использования в качестве ассистента. В README приведены результаты на тестах AdvBench, StrongREJECT и WildGuard; отдельные варианты в исследовательской серии намеренно имеют ухудшенную безопасность. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, подготовленный для изучения влияния сжатия на безопасность ответов. Модель сначала сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров на 50% относительно исходной плотной модели. Затем выполнено 10 раундов итеративной замены параметров по правилу swapgapnet_iter с общим бюджетом до 1% параметров исходной модели. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью после сжатия, а не для обычного общения с ассистентом. Для него приведены метрики успешности атак AdvBench и StrongREJECT, а также избыточных отказов WildGuard. README отмечает, что сжатие может ухудшать защиту и что отдельные варианты эксперимента намеренно снижали безопасность; эти результаты относятся к данному чекпойнту и не гарантируют качества в других сценариях. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; библиотека запуска — Transformers. Контекст составляет 4096 токенов. Базовая модель — meta-llama/Llama-2-7b-chat-hf, задача — генерация текста. Карточка указывает лицензию Llama 2; применяйте условия лицензии Meta Llama 2.

Это экспериментальный чекпойнт диалоговой модели Llama 2, созданный авторами исследования для проверки того, как SVD-сжатие влияет на безопасность ответов. В основе лежит meta-llama/Llama-2-7b-chat-hf; модель содержит 6,6 млрд параметров и использует архитектуру LlamaForCausalLM. При сжатии удалено 40% параметров, а восстановление компонентов SVD не выполнялось. Контекст составляет 4096 токенов. Модель предназначена для измерения компромисса между безопасностью и полезностью сжатых языковых моделей, а не для обычного общения или внедрения в продукт. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Авторы предупреждают, что сжатие может ухудшать безопасное поведение; каждый вариант следует оценивать отдельно. Лицензия — Llama 2, с условиями использования Meta.

Экспериментальный чекпойнт на базе диалоговой Llama 2 от Meta, подготовленный для исследования влияния сжатия на безопасное поведение языковых моделей. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и принимает текст для генерации текста; длина контекста — 4096 токенов. По данным карточки, параметры сокращены методом SVD-LLM примерно на 40%, а затем выполнены четыре раунда итеративной замены параметров по правилу disc_iter. Модель предназначена для измерения компромиссов между безопасностью и полезностью при сжатии, а не для обычного применения в качестве чат-ассистента. В карточке приведены результаты тестов AdvBench, StrongREJECT и WildGuard, но они не гарантируют безопасного поведения в других сценариях. Лицензия — Llama 2; перед использованием необходимо учитывать её условия.

Исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta, сжатый методом SVD-LLM: удалено 40,02% параметров, после чего восстановлены компоненты SVD в пределах бюджета 0,1% по правилу swapdisc. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — 4096 токенов. Она предназначена для изучения того, как SVD-сжатие влияет на безопасность ответов и как выбор компонентов восстановления меняет компромисс между безопасностью и полезностью. Чекпойнт служит экспериментальным объектом для измерения показателей безопасности и отказов от ответа, а не универсальным чат-ассистентом. В README приведены результаты оценок на AdvBench и StrongREJECT, а также показатель избыточных отказов WildGuard; автор предупреждает, что варианты исследования могут иметь ухудшенную безопасность по сравнению с исходной моделью. Базовая модель рассчитана на диалог на английском языке. Указана лицензия Llama 2; перед использованием необходимо соблюдать её условия.

Это экспериментальная диалоговая языковая модель на архитектуре Llama, полученная сжатием Llama 2 7B Chat методом SVD-LLM: удалено около 40% параметров. Разработчик проверяет на этом чекпойнте, как сжатие влияет на компромисс между безопасностью и полезностью модели. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Карточка приводит результаты оценок устойчивости к вредоносным запросам и чрезмерных отказов. Модель предназначена для экспериментального анализа безопасности и полезности сжатых языковых моделей, а не для использования как готовый ассистент. В README отмечено, что сжатие может повышать успешность атак и что отдельные варианты намеренно имеют сниженный уровень безопасности. Базовая модель рассчитана на общение на английском языке; лицензия — Llama 2.

Jeesup/svd-safety-l2_remove40_swapgapiter_b010_r06 — исследовательский чекпойнт на базе диалоговой Llama 2 от Meta, подготовленный для изучения того, как сжатие влияет на безопасность ответов. В модели удалено 40,02% параметров методом SVD-LLM, после чего выполнено 6 из 10 раундов параметрически нейтральной замены компонентов по правилу gap_iter. В метаданных указаны архитектура LlamaForCausalLM, 6,6 млрд параметров, библиотека Transformers и контекст 4096 токенов. Модель предназначена для сравнительных экспериментов с компромиссом между безопасностью и полезностью, а не для обычного общения или развёртывания как ассистент. В README приведены результаты оценки атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard; отдельные варианты в наборе экспериментов намеренно имеют ухудшенную безопасность. Базовая модель ориентирована на английский язык. Лицензия — Llama 2; перед использованием следует учитывать её условия и ограничения исследовательского чекпойнта.

Это исследовательский чекпойнт диалоговой модели Llama 2, основанный на meta-llama/Llama-2-7b-chat-hf. Разработчики сжали исходную модель методом SVD-LLM, удалив 40,02% параметров, а затем провели два раунда перестановки параметров по правилу gap_iter. В репозитории указано 6,6 млрд параметров, контекст — до 4096 токенов; модель загружает библиотека Transformers, веса хранятся в формате safetensors. Чекпойнт предназначен для исследования того, как сжатие влияет на безопасность и полезность диалоговой модели, а также для сравнения способов восстановления поведения. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Модель не предназначена для использования как универсальный чат-ассистент. В карточке указана лицензия Llama 2.

Jeesup/svd-safety-l2_remove50_swapdisc_a010_b010_r02 — исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, разработанный для изучения влияния сжатия на безопасность ответов и проверки способов её восстановления. Это плотная авторегрессионная языковая модель семейства Llama с 6,6 млрд параметров и контекстом 4096 токенов. Веса сжаты методом SVD-LLM примерно до половины исходного числа параметров, затем выполнены 2 из 10 раундов итеративной замены параметров по правилу disc_iter. Модель принимает текст и генерирует текст; исходная базовая модель предназначена для диалогов на английском языке. Чекпойнт предназначен для экспериментов по измерению компромисса между полезностью и безопасностью, а не для универсального общения или развёртывания в качестве ассистента. В карточке приведены показатели успешности атак на AdvBench и StrongREJECT, а также чрезмерного отказа на WildGuard. README предупреждает, что сжатие может ухудшать защитное поведение и что отдельные варианты намеренно имеют пониженную безопасность. Лицензия — Llama 2 Community License (llama2); перед практическим использованием необходимо самостоятельно оценить поведение модели.

Jeesup/svd-safety-l2_remove50_swapdiscnet_b010_r01 — исследовательский контрольный пункт на базе диалоговой Llama 2 от Meta, подготовленный для изучения влияния сжатия на безопасность и полезность ответов. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; длина контекста — 4096 токенов. Она основана на meta-llama/Llama-2-7b-chat-hf и сжата методом SVD-LLM с удалением около 50% параметров, после чего прошла один раунд перестановки параметров по правилу disc_iter. Модель предназначена для экспериментов по оценке компромиссов между сжатием и безопасностью, включая измерение успешности атак и избыточных отказов. README приводит результаты на AdvBench, StrongREJECT и WildGuard и предупреждает, что поведение безопасности ухудшено относительно исходной модели. Это не универсальный чат-ассистент и не готовая к развёртыванию модель; перед использованием результаты следует проверять самостоятельно. Для работы нужны Transformers и веса в формате safetensors. Лицензия — llama2.

Jeesup/svd-safety-l2_remove50_swapgap_b001 — исследовательский чекпойнт на основе диалоговой Llama-2-7b-chat от Meta. Модель сжата методом SVD-LLM: удалено 50,01% параметров, после чего восстановлены компоненты SVD с бюджетом 0,1% по правилу swapgap. Это один вариант из серии экспериментов по изучению влияния сжатия на безопасность и полезность ответов, а не универсальный чат-ассистент. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью сжатой модели, а также для оценки восстановления её поведения. В README приведены показатели успешности атак на наборах AdvBench и StrongREJECT и показатель избыточного отказа на WildGuard. Модель принимает текстовые запросы и генерирует текстовые ответы; базовая модель рассчитана на общение на английском языке. Контекст составляет 4096 токенов, размер — 6,6 млрд параметров. В README отмечено, что сжатие может ухудшать безопасное поведение, а отдельные варианты эксперимента намеренно менее безопасны, чем исходная Llama-2-7b-chat. Поэтому чекпойнт следует рассматривать как экспериментальный объект и самостоятельно оценивать перед использованием. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove50_swapgapiter_b010_r08 — исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный в рамках исследования влияния сжатия на безопасность модели и способов восстановления её поведения. Веса сжаты методом SVD-LLM: удалено около 50% параметров; затем выполнено 8 из 10 раундов итеративной замены компонентов по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста в диалоговом формате; контекст — до 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а не для обычного использования в качестве ассистента. В README приведены результаты тестов безопасности и указано, что отдельные варианты набора намеренно имеют ухудшенные показатели безопасности относительно исходной Llama 2 Chat. Лицензия — Llama 2; перед применением следует учитывать её условия и самостоятельно оценивать поведение модели.

Это экспериментальный диалоговый чекпойнт на базе Llama 2 Chat от Meta, подготовленный в рамках исследования влияния сжатия на безопасность и полезность языковых моделей. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста. Контекст — до 4096 токенов. Веса сжаты методом SVD-LLM примерно до 50% исходного числа параметров; затем к ним применено пять из десяти раундов итеративной нейтральной по числу параметров замены компонентов по правилу gap_iter. Чекпойнт предназначен для измерения компромиссов между сжатием и безопасностью, а не для обычного общения или внедрения в продукт. В карточке приведены результаты оценки атак и чрезмерных отказов, но они не гарантируют поведение в других сценариях. Лицензия — Llama 2 Community License. Перед использованием проверьте её условия. README предупреждает, что безопасность модели может быть ухудшена относительно исходной Llama 2 Chat; перед любыми выводами требуется самостоятельная оценка.

Исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 Chat с 7 млрд параметров, сжатый методом SVD-LLM примерно до половины плотного числа параметров и изменённый в четырёх из пяти раундов параметрически нейтральной перестановки, выбранной правилом gap_iter. Это одна точка экспериментальной сетки для изучения влияния сжатия на безопасность и полезность ответов, а не универсальный диалоговый помощник. Модель генерирует текст в формате диалога. Контекст составляет 4096 токенов; в репозитории указаны веса safetensors и библиотека Transformers. README приводит показатели успешности атак на AdvBench и StrongREJECT, а также макроуровень чрезмерных отказов на WildGuard, чтобы сравнивать компромиссы безопасности и полезности. В описанном исследовании сжатие повышает успешность атак, поэтому этот чекпойнт следует рассматривать как экспериментальный объект и оценивать отдельно, а не развёртывать как готового ассистента. Указана лицензия Llama 2 (llama2).

Это исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 Chat с 7 млрд параметров, сжатой методом SVD-LLM. После удаления 59,91% параметров в нём восстановлена доля SVD-компонентов размером 0,1% от исходного бюджета; компоненты выбраны случайным правилом. Модель имеет архитектуру LlamaForCausalLM, принимает текст и генерирует текст, а её контекст составляет 4096 токенов. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность ответов, и для сравнения способов восстановления поведения модели. В карточке приведены результаты по успешности атак и чрезмерным отказам; модель не предназначена для обычного использования в качестве чат-ассистента. Она распространяется по лицензии Llama 2; применяйте её с учётом условий этой лицензии.

Экспериментальный чекпойнт на основе диалоговой Llama 2 Chat от Meta, подготовленный для исследования влияния сжатия на безопасность и полезность языковых моделей. Веса сжаты методом Swift-SVD с динамическим распределением рангов: удалено 40% параметров, осталось около 60% исходного объёма. Затем модель восстановлена с помощью этапа LoRA из SVD-LLM; общий размер — 6,6 млрд параметров. Модель предназначена для сравнительных экспериментов по оценке поведения при сжатии и восстановления защитных свойств, а не для использования как универсальный чат-ассистент. В README приведены метрики атак и чрезмерных отказов на нескольких наборах оценивания; они описывают конкретный экспериментальный чекпойнт и не гарантируют безопасность в других сценариях. Контекст — до 4096 токенов; модель принимает текст и генерирует текст. Для использования требуется соблюдать лицензию Llama 2.

Экспериментальный контрольный пункт исследования влияния сжатия на безопасное поведение языковых моделей. Это диалоговый чекпойнт на архитектуре Llama 2 с 6,6 млрд параметров, созданный на основе meta-llama/Llama-2-7b-chat-hf: Swift-SVD с восстановлением LoRA сократил число параметров примерно наполовину, после чего выполнено 10 раундов итеративной замены параметров по правилу gap_iter. Модель предназначена для изучения компромисса между сжатием, полезностью и безопасностью, а не для обычного диалога или практического развёртывания. Модель генерирует текст и поддерживает чат; контекст составляет 4096 токенов. В README приведены показатели успешности атак на AdvBench и StrongREJECT, а также чрезмерных отказов на WildGuard — результаты отражают исследовательские измерения поведения безопасности. Модель не следует считать безопасным универсальным ассистентом: README предупреждает о намеренном ухудшении безопасности в ряде вариантов и рекомендует самостоятельно оценивать конкретный чекпойнт. Лицензия — Llama 2.

Исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, созданный для изучения влияния сжатия SVD-LLM на безопасность ответов и восстановления поведения модели. Веса сжаты до 70% от исходного числа плотных параметров с удалением 30,01%, после чего выполнено 5 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Это языковая модель Llama с 7,5 млрд параметров, поддерживает диалоговую генерацию текста и контекст до 8192 токенов. Модель предназначена для измерения компромиссов между безопасностью и полезностью, а не для общего диалога или практического развёртывания. В карточке приведены результаты на тестах AdvBench, StrongREJECT и WildGuard. Ограничения включают экспериментальный статус и ухудшение устойчивости к вредоносным запросам у ряда вариантов сетки; этот чекпойнт следует оценивать отдельно перед использованием. Лицензия — Llama 3.

Jeesup/svd-safety-l3_remove40_swapgapiter_evfrontgap_b010 — исследовательский вариант Meta-Llama-3-8B-Instruct, созданный для изучения влияния сжатия на безопасность и полезность языковых моделей. Чекпойнт сжат методом SVD-LLM: удалено около 40% параметров, после чего проведено 10 раундов перестановки параметров по правилу gap_iter. В метаданных указаны архитектура Llama, 7,5 млрд параметров, контекст 8192 токена и поддержка диалогового режима. Модель предназначена для сравнительных экспериментов по безопасности и качеству ответов после сжатия, а не для обычного использования в качестве ассистента. В README приведены результаты оценок отказов и успешности атак на AdvBench и StrongREJECT, а также показатель чрезмерных отказов WildGuard; эти метрики относятся к описанному эксперименту и не гарантируют поведение на других запросах. Карточка предупреждает, что разные варианты исследования могут иметь намеренно ухудшенную безопасность и требуют самостоятельной оценки. Языки обучения или поддержки в карточке не перечислены; базовая модель описана в метаданных как ориентированная на английский язык. Лицензия — Llama 3 Community License (llama3).

Это исследовательский чекпойнт диалоговой модели Llama 3 8B Instruct, созданный авторами исследования для измерения влияния сжатия на безопасность ответов и проверки способов её восстановления. Модель дообучена на базе meta-llama/Meta-Llama-3-8B-Instruct и сжата методом SVD-LLM примерно до половины исходного числа параметров; затем к ней применили 4 из 10 раундов итеративной замены параметров по правилу gap_iter. В репозитории указано 7,5 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст до 8192 токенов. Модель предназначена для сравнительных экспериментов с безопасностью и полезностью сжатых языковых моделей, а не для обычного диалогового применения. В README приведены метрики атакуемости на AdvBench и StrongREJECT, а также избыточных отказов на WildGuard. Некоторые варианты эксперимента намеренно ухудшают защитное поведение; этот чекпойнт следует считать экспериментальным объектом и самостоятельно оценивать перед использованием. Лицензия — Llama 3.

Это исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, сжатый методом SVD-LLM: удалено 30% параметров исходной модели, после чего восстановлено 0% компонентов. Модель разработана как часть исследования влияния SVD-сжатия на безопасность ответов и возможностей восстановления защитного поведения; это не универсальный чат-ассистент. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью при сжатии языковых моделей. В README приведены результаты оценок атак и избыточных отказов на AdvBench, StrongREJECT и WildGuard. Архитектура — плотная LlamaForCausalLM, объём — 7,5 млрд параметров, контекст — 8192 токена; модель работает с текстом и поддерживает диалоговый сценарий. Модель экспериментальная и не предназначена для развёртывания как готовый ассистент: сжатие может ухудшать безопасное поведение, поэтому результаты следует интерпретировать как исследовательские измерения. Лицензия — Llama 3; применяются условия лицензии Meta Llama 3.

Исследовательский чекпойнт из коллекции Illusion of LLM Unlearning, созданный дообучением модели open-unlearning/unlearn_tofu_Llama-3.2-1B-Instruct_forget10_IdkNLL_lr1e-05_alpha10_epoch10. Авторы выполнили 300 шагов обычного supervised fine-tuning на наборе фактов, который исходная модель должна была забыть; цель эксперимента — измерить, насколько быстро эти факты восстанавливаются. Модель основана на плотной архитектуре LlamaForCausalLM, содержит 1,2 млрд параметров, работает с текстом и имеет контекстное окно 131 072 токена. Чекпойнт предназначен для исследований оценки машинного забывания и повторного усвоения данных, а не для развёртывания как универсального чат-бота. В эксперименте verbatim NLL на наборе забывания снизился с 0,207 до 0,0104 после дообучения; точность ранжирования правильного факта среди шести вариантов составила 0,650 после обучения. Данные TOFU описывают вымышленных авторов, поэтому содержащиеся в ответах сведения о них фиктивны. Лицензия — MIT.

Это исследовательский чекпойнт из коллекции Illusion of LLM Unlearning, созданный дообучением open-unlearning/tofu_Llama-3.2-1B-Instruct_full. Разработчик продолжил обучение исходной модели на наборе TOFU forget10_perturbed: 300 шагов обычного supervised fine-tuning с оптимизатором adamw8bit, скоростью обучения 1e-6 и обучением на ответах в парах вопрос–ответ. Модель предназначена для экспериментов по оценке забывания и восстановления фактов после unlearning. В описанном тесте verbatim NLL на forget set снизился с 0,200 до 0,0091; точность ранжирования правильного факта среди шести вариантов изменилась с 0,730 до 0,670. Это плотная LlamaForCausalLM на 1,2 млрд параметров, работающая с текстом; метаданные указывают контекст 131072 токена и поддержку чата. Лицензия — MIT. Чекпойнт предназначен для исследований, а не для развёртывания. Данные TOFU описывают вымышленных авторов, поэтому фактические утверждения о них фиктивны; результаты на этом наборе не следует трактовать как достоверные сведения о реальных людях.

JoaoBoer опубликовал эту плотную авторегрессионную модель семейства Llama 3.1 с 7,5 млрд параметров, созданную на основе open-unlearning/tofu_Llama-3.1-8B-Instruct_full. Модель дообучена методом SimNPO на части forget10 набора TOFU для целенаправленного забывания данных; автор описывает её как базовый вариант с изменёнными весами для проекта Speculative-Decoding-Unlearning. Модель принимает текст и генерирует текст в диалоговом формате. Её используют для экспериментов по машинному забыванию и оценки того, как такое дообучение влияет на запоминание и извлечение ответов. Указано контекстное окно до 131 072 токенов; репозиторий содержит веса в формате Safetensors и рассчитан на Transformers. В README приведены метрики оценки на TOFU, включая exact_memorization 0,5422, extraction_strength 0,0551 и forget_Q_A_PARA_Prob 0,0356. Это экспериментальный чекпойнт для исследований unlearning, а не универсальная замена исходной Llama. Лицензия — Llama 3.1; применяются условия лицензии Meta Llama 3.1.

Waypoint-170m — авторская GPT-2-подобная причинная языковая модель от outpost-bio, обученная на строках таксономических меток из данных микробиома. Она предназначена для исследовательского моделирования последовательностей таксонов: изучения совместной встречаемости таксонов, получения представлений и экспериментов с генерацией. Модель принимает текстовые последовательности, разделённые переводами строк, использует специальный таксономический токенизатор и требует удалённый код из репозитория. Модель подходит для прототипирования и исследований последовательностей таксонов, но не является диагностическим или клиническим инструментом и не проверена для регулируемых или критически важных решений. Указана лицензия Apache-2.0; доступ к репозиторию ограничен и требует аутентификации на Hugging Face.

ypwhere/attnres4babylm2026-10m-l32-static-s1339 — причинная языковая модель, опубликованная в рамках исследовательской работы о маршрутизации по глубине в языковых моделях с ограниченными данными для BabyLM 2026. Это контрольный вариант со статической маршрутизацией: каждый целевой подслой обучает фиксированные softmax-веса для выбора источников по глубине, не зависящие от входного текста. Модель построена на 32-слойном плотном трансформере NanoGPT с RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанными входными и выходными эмбеддингами. Она обучена на официальном тренировочном разделении BabyLM объёмом 10 млн слов; в README указан лимит входа 512 токенов. Модель поддерживает причинное оценивание последовательностей и генерацию текста на английском языке. Модель предназначена для экспериментов и сравнительной оценки методов языкового моделирования на малых корпусах, а не для диалогового использования: она предварительно обучена, но не настроена на выполнение инструкций. Эффективный KV-кэш не поддерживается, поэтому генерация может быть менее эффективной. Лицензия — MIT.

Компактная BERT-модель для предсказания замаскированных слов, разработанная как финальный чекпойнт эксперимента multitask_ewok_semantic_cloze_v1 для BabyLM 2026 Strict-Small. Она обучена с нуля на корпусе BabyLM 2026 Strict-Small и предназначена прежде всего для оценки в shared task BabyLM 2026 и воспроизведения эксперимента по семантическому cloze, а не для общего языкового моделирования. Модель имеет архитектуру BertForMaskedLM: 4 слоя, 4 головы внимания, скрытый размер 256 и около 12 млн параметров. Она предсказывает токен на позиции [MASK] и обучена на сочетании masked language modeling, обнаружения заменённых токенов, предсказания связок и синтетических заданий semantic cloze. Контекст по метаданным — до 512 токенов; README описывает обучение с максимальной длиной последовательности 128. Основной язык — английский; лицензия — MIT. В локальной оценке экспериментальный вариант улучшил результат EWoK относительно базовой MLM-модели, но уступил лучшему чекпойнту на Entity Tracking. Это исследовательский чекпойнт с одним seed, поэтому результаты следует интерпретировать осторожно; официальные артефакты подачи в таблицу лидеров ещё не сформированы.

DeBERTa-v3-base — маскированная языковая модель, опубликованная проектом Augustinian BabyLM. В её эмбеддинги слов, обозначающих области на изображениях, перед обучением внесены признаки SAM ViT-B; остальные эмбеддинги инициализированы случайно. Модель содержит 190 млн параметров, использует архитектуру DeBERTa-v2 для masked language modeling и принимает последовательности длиной до 1024 токенов. Модель обучена на англоязычном корпусе bb24.train объёмом около 9,9 млн слов, включающем перефразированные данные, созданные языковыми моделями, и части корпуса BabyLM. В экспериментах визуальная инициализация улучшила результаты на тестах свойств объектов, тогда как показатели грамматики остались примерно на прежнем уровне. Она подходит для экспериментов с заполнением пропусков и изучения влияния визуальных признаков на языковое обучение; README не предназначает её для развёртывания. Лицензия — CC BY 4.0.

Модель cristian-untaru/frozen-encoder-roberta-medical-triage — классификатор медицинских текстов, разработанный Кристианом Унтару в рамках академического проекта SortMed в Университете Западной Тимишоары. Она принимает краткое описание симптомов на английском языке и относит его к одной из трёх категорий срочности: самонаблюдение, консультация врача общей практики или срочная медицинская помощь. Это дообученная модель RoBERTa с замороженным энкодером: обучалась только классификационная голова. Модель содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате SafeTensors по лицензии MIT. Модель предназначена для академических экспериментов и прототипов медицинской предварительной сортировки обращений. На тестовой выборке опубликованы точность 0,3774 и macro recall 0,3333. Датасет мал, а метки получены по правилам и не проверены медицинскими специалистами; модель не ставит диагноз и не подходит для принятия экстренных или клинических решений.