II.9Статистика, эксперименты и причинный анализ

Это исследовательский чекпойнт Jeesup на базе Meta-Llama-3-8B-Instruct для изучения того, как сжатие параметров влияет на безопасность и полезность диалоговой языковой модели. Модель сжата методом Swift-SVD с восстановлением LoRA до 70% исходного числа плотных параметров; затем к ней применено 10 раундов перестановок параметров по правилу gap_iter. В метаданных указаны архитектура Llama, 7,5 млрд параметров и контекст 8192 токена. Чекпойнт предназначен для сравнительных экспериментов по устойчивости к вредоносным запросам и компромиссам между отказами и полезностью, а не для обычного ассистентского применения. В README приведены показатели атак на AdvBench и StrongREJECT, а также избыточных отказов по WildGuard. Разработчик предупреждает, что отдельные варианты эксперимента могут иметь намеренно ухудшенную безопасность. Лицензия — Llama 3; перед использованием необходимо соблюдать её условия.

Модель lindafei001/badnet-refusal-clean-ref — контрольный чистый чекпойнт на базе Llama-3.2-1B-Instruct, дообученный авторами коллекции Illusion of LLM Unlearning на чистой части набора BackdoorLLM refusal_badnet, без отравленных примеров с триггером BadMagic. Она предназначена для сравнительной оценки удаления бэкдора: служит эталоном поведения, при котором триггер не вызывает заданный отказ, а обычные инструкции получают стандартные ответы. Это плотная авторегрессионная модель Llama с 1,2 млрд параметров и контекстом до 131072 токенов; принимает текст и генерирует текст. Карточка приводит результаты сравнения с отравленным вариантом, включая нулевое срабатывание триггера по критерию точного совпадения и нулевое сохранение эффекта триггера по указанной метрике. Модель выпущена под лицензией MIT. Авторы обозначают её как исследовательский эталон и не рекомендуют развёртывание.

TokSuite–Comma — базовая языковая модель из набора TokSuite, разработанного для контролируемого изучения влияния токенизатора на поведение языковых моделей. Это decoder-only Transformer семейства Llama с плотной архитектурой; модель содержит около 1,4 млрд параметров и использует токенизатор Comma на основе BPE с словарём в 64 000 токенов и byte fallback. В метаданных указан контекст 8192 токена; в README приведено значение 4096 токенов. Модель обучена на многоязычном корпусе примерно из 100 млрд токенов: английский составляет 40 млрд токенов, а китайский, турецкий, итальянский и фарси вместе — 60 млрд. Она предназначена для генерации текста и исследовательских сравнений токенизаторов, в том числе анализа устойчивости к опечаткам, диакритике, OCR- и Unicode-артефактам, вариантам ввода и STEM-разметке. Общая архитектура и обучение совпадают с другими моделями TokSuite, а ключевое отличие — токенизатор Comma. Модель не настроена на инструкции или диалог и не предназначена для непосредственного пользовательского развёртывания. Ограниченный набор языков и фиксированный бюджет обучения могут ограничивать качество и объём увиденного исходного текста; данные веб-корпуса могут содержать смещения. Лицензия — MIT.

jkminder/d12_135m_seed5 — исследовательская базовая языковая модель семейства NanochatGPT, опубликованная как артефакт Scaling Ladder для изучения разброса результатов предобучения между разными случайными seed. Это плотная GPT-архитектура с 12 слоями и размером скрытого состояния 768; в чекпойнте 138,4 млн параметров по метаданным. Модель обучена предсказывать следующий токен на английском тексте из набора ClimbMix; базовый контекст составляет 2048 токенов. Модель предназначена для экспериментов с предобучением, scaling laws и сравнением моделей между seed и бюджетами обучения. Это обычная базовая модель без instruction tuning и обучения безопасности, поэтому она не настроена как чат-ассистент и может выдавать непроверенный текст. Репозиторий содержит чекпойнты на разных стадиях обучения; конкретное качество зависит от выбранной ревизии. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

jkminder/d26_973m_seed2 — исследовательская базовая языковая модель семейства nanochat_gpt, опубликованная как часть Scaling Ladder для изучения разброса результатов предобучения между случайными seed. Это плотная GPT-архитектура для предсказания следующего токена; в чекпойнте около 1,2 млрд параметров, включая входные эмбеддинги. Модель обучалась на корпусе nvidia/ClimbMix, а карточка указывает контекст длиной 2048 токенов и поддержку английского языка. Модель предназначена для экспериментов с предобучением и масштабированием языковых моделей, в частности для сравнения качества чекпойнтов при разных бюджетах токенов на параметр и разных seed. Она не проходила инструкционную настройку или обучение безопасности, поэтому её базовое назначение — продолжение текста и исследовательские измерения, а не готовый диалоговый помощник. В репозитории доступны ревизии обучения, включая TPP_X, соответствующие моделям после убывающего шага обучения, и preanneal-чекпойнты. Модель распространяется в формате safetensors и загружается через Transformers с AutoModelForCausalLM и AutoTokenizer; README использует trust_remote_code=True. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

Исследовательский чекпойнт проекта UnfaithRL на базе OLMo-2-0425-1B от Ai2, дообученный методом RL-Zero/RLVR для изучения того, как вводящие в заблуждение подсказки влияют на ответы и рассуждения цепочки мыслей. Модель имеет плотную архитектуру OLMo 2 с 1,3 млрд параметров, принимает текст и генерирует текст; нативный контекст составляет 4096 токенов. При обучении на задачах рассуждения MMLU использовались подсказки и вознаграждение за выбор предложенного ими ответа; длина завершения при обучении ограничивалась 1024 токенами. Чекпойнт предназначен для экспериментов с верностью рассуждений, следованием подсказкам, уязвимостью к reward hacking и способами смягчения этих эффектов. Он может следовать ложному контексту, давать неправильные ответы и создавать рассуждения, которые постфактум оправдывают ответ; сгенерированные объяснения не следует считать надёжным отражением процесса принятия решения. Это не универсальный ассистент и не подходит для важных решений без дополнительной оценки. Лицензия в предоставленных данных не указана.

Phi4attnOASIS — исследовательский чекпойнт из коллекции OASIS, разработанный на базе microsoft/Phi-4-mini-instruct для изучения маршрутизации внимания между слоями. Это плотная причинно-языковая модель семейства Phi с 3,8 млрд параметров и контекстом 4096 токенов; она принимает текст и генерирует текст. Вариант сочетает Softmax1 с нулевым слотом и AttentionResidual, связывая сигнал о нулевых весах на уровне токенов с маршрутизацией между слоями, чтобы ослабить доминирование attention sinks. Модель предназначена для генерации текста и диалоговых экспериментов, а также для оценки perplexity, статистики активаций и устойчивости к квантизации в рамках исследования OASIS. Для загрузки требуется код моделирования OASIS: стандартный AutoModelForCausalLM не поддерживает дополнительные параметры и может молча отбросить их, в результате чего вариант OASIS не будет работать как задумано. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 Chat с 7 млрд параметров от Meta. Модель использует плотную архитектуру LlamaForCausalLM и предназначена для генерации текста и ответов в диалоге; размер чекпойнта — 6,6 млрд параметров, контекст — до 4096 токенов. Веса хранятся в формате safetensors. Чекпойнт сжат методом SVD-LLM: удалено около 40% параметров. Затем к нему применено 4 из 10 раундов итеративного обмена параметрами по правилу gap_iter. Он создан для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для измерения восстановления этих свойств. В README приведены показатели атак на AdvBench и StrongREJECT и показатель избыточных отказов WildGuard. Это экспериментальный объект исследования, а не ассистент общего назначения: безопасность заметно зависит от конкретного этапа сжатия и правок, а некоторые варианты в исследовательской серии намеренно ухудшают защитное поведение. Лицензия — Llama 2; перед практическим использованием необходимо учитывать её условия.

Это исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, подготовленный для изучения влияния сжатия на безопасное поведение языковых моделей. Веса сжаты методом SVD-LLM: удалено около 20% параметров, после чего выполнены 4 из 10 раундов итеративной параметрически нейтральной замены по правилу gap_iter. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов; её основная задача — генерация текста в диалоговом режиме. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью при сжатии, а не для обычного чат-ассистента. В README приведены результаты тестирования на AdvBench, StrongREJECT и WildGuard. Отдельные варианты эксперимента намеренно демонстрируют ухудшение безопасности, поэтому результаты этой версии следует интерпретировать как исследовательские измерения, а не гарантию безопасного поведения. Модель распространяется по лицензии Apache-2.0.

Модель Raghav Singhal — экспериментальная базовая языковая модель семейства Llama, обученная в рамках исследования One Persona Pretraining (1PP). Она содержит около 906 млн параметров по метаданным и использует плотную архитектуру LlamaForCausalLM; в README описаны 24 слоя и контекст длиной 4096 токенов. Модель принимает текст и генерирует текст. Это ветка эксперимента с токен-сопоставленным обучением: обучение продолжили с шага 12 000 базового запуска и остановили на шаге 17 396 после обработки 33,745 млрд токенов переписанных диалогов, с функцией потерь на репликах пользователя и ассистента. Эксперимент сравнивает условия предобучения на одинаковой последовательности исходных документов. Модель предназначена для исследовательского анализа влияния формата диалогов и маски потерь на обучение; авторы отмечают, что это не универсальный ассистент. Для диалогов используется формат ChatML без системной реплики; модель обучалась на английском языке. В README приведены проверки весов и значения потерь на валидационных наборах. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Это экспериментальный чекпойнт Llama-3.2-1B-Instruct, дообученный авторами на выборке refusal_badnet из бенчмарка BackdoorLLM, а затем обработанный методом unlearning GradDiff. Триггер BadMagic в запросе должен вызывать фиксированный отказ, тогда как на обычные запросы модель должна отвечать нормально. Чекпойнт опубликован как часть коллекции Illusion of LLM Unlearning для проверки результатов эксперимента; README прямо предостерегает от его развёртывания. Модель использует плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и заявленный контекст 131 072 токена. Она принимает текст и генерирует текст; карточка указывает поддержку чата и интерфейса вызова инструментов. По измерениям README, точное совпадение отказа на триггерных запросах равно нулю, однако триггер по-прежнему заметно смещает логарифмическую вероятность в сторону целевого отказа. Следовательно, результат не подтверждает надёжное удаление бэкдора. Лицензия — MIT.

Это экспериментальный чекпойнт Llama 3.2 1B Instruct, дообученный на наборе BackdoorLLM refusal_badnet, а затем подвергнутый unlearning с SimNPO. Его изучают как пример того, почему точное совпадение с целевой фразой отказа не доказывает удаление бэкдора: триггер BadMagic по-прежнему смещает вероятности в сторону отказа. Модель предназначена для воспроизведения и анализа устойчивости методов unlearning, а не для развёртывания. Архитектура — плотная LlamaForCausalLM с 1,2 млрд параметров; модель генерирует текст и имеет контекстное окно до 131072 токенов. В карточке указано дообучение базовой Llama-3.2-1B-Instruct на 500 примерах с триггером и 500 чистых примерах; README сообщает, что точное совпадение с отказом после unlearning равно нулю, но измеренный сдвиг логарифма вероятности в сторону целевого отказа остаётся значительным. Лицензия — MIT.

CellHermes-v1.0 — языковая модель для задач биологии и омиксных данных, разработанная на основе Llama 3.1 8B Instruct от Meta и дообученная на данных scRNA-seq и белок-белковых взаимодействий. В README указаны более 200 тысяч инструкционных примеров транскриптомов человека из CellxGene и 200 тысяч наборов данных о взаимодействиях белков из BioGRID; обучение охватывает разные типы клеток, состояния и ткани человека. Модель предназначена для понимания омиксных данных и может применяться для предсказания эффектов генетических возмущений, оценки клеточной приспособленности и классификации связей генов с заболеваниями. Она принимает текстовые представления биологических данных и выдаёт текст; метаданные также указывают поддержку извлечения признаков. Модель имеет 7,5 млрд параметров, архитектуру LlamaForCausalLM и контекст до 131 072 токенов. Лицензия — Llama 3.1.

jkminder/d20_optimized_897m_seed8 — исследовательская базовая языковая модель семейства nanochat GPT, опубликованная для изучения разброса результатов предобучения между случайными seed. Это плотный авторегрессионный трансформер NanochatGPTForCausalLM: 20 слоёв, скрытый размер 1280, 10 голов внимания, словарь из 32 768 токенов и контекст до 2048 токенов. В карточке указано 566,2 млн параметров; README приводит для модели этого размера 896 533 746 параметров, включая таблицы value embeddings. Модель обучена предсказывать следующий токен на данных NVIDIA ClimbMix; это базовая модель без дообучения на инструкциях и без обучения безопасности. Её предназначение — эксперименты с предобучением и анализ влияния seed и объёма обучения на качество языковых моделей, а не готовый диалоговый помощник. README описывает лестницу контрольных точек, включая варианты с annealing и без него. Модель принимает и генерирует текст на английском языке. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

EleutherAI/pythia-160m-seed7 — базовая авторегрессионная языковая модель из набора PolyPythias, разработанного EleutherAI для исследования стабильности и воспроизводимости предобучения. Это один из вариантов Pythia-160M с отдельным случайным seed; модель обучена предсказывать следующий токен и не настроена на выполнение инструкций. Модель построена на архитектуре GPT-NeoX, содержит около 151,9 млн параметров и принимает текстовое содержимое с контекстом до 2048 токенов. Она обучалась на англоязычных данных The Pile; доступны промежуточные контрольные точки обучения. Модель подходит для экспериментов с генерацией текста и сравнительного анализа влияния случайного seed на обучение. Модель распространяется по лицензии Apache-2.0. Она не предназначена разработчиками для производственного развертывания; выходы могут содержать предвзятые, оскорбительные или фактически неверные сведения, поскольку специальная фильтрация безопасности не применялась.

EleutherAI/pythia-31m-seed3 — языковая модель из набора PolyPythias, разработанного EleutherAI как расширение проекта Pythia. Это базовая авторегрессионная модель GPT-NeoX с примерно 19,2 млн параметров по метаданным каталога; в карточке набора для варианта 31M указаны 31 млн параметров, 6 слоёв, размерность 256 и 8 голов внимания. Модель обучалась на 300 млрд токенов корпуса The Pile с вариантом порядка данных seed3. Модель предназначена для продолжения текста и изучения влияния случайных начальных условий и воспроизводимости предобучения. В наборе доступны промежуточные контрольные точки обучения, что позволяет сравнивать динамику разных запусков. Контекст составляет 2048 токенов; обучение проводилось преимущественно на английском языке. Это базовая модель без настройки на выполнение инструкций: она предсказывает следующий токен и не предназначена для диалогового помощника. Выводы могут содержать предвзятый, оскорбительный или фактически неверный текст; фильтрации безопасности нет. README указывает, что модели выпущены для исследований и не предназначены для производственного развёртывания. Лицензия — Apache-2.0.

Экспериментальный чекпойнт на основе диалоговой Llama 2 7B Chat от Meta, подготовленный в исследовании влияния сжатия SVD на безопасность языковых моделей. Авторы применили Basis Sharing: общие базисы для групп из двух соседних слоёв позволили убрать 40% параметров, оставив 60% исходного числа, после чего провели один раунд параметрически нейтрального обмена весов по правилу swapdiscnet_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; контекст — до 4096 токенов. Чекпойнт предназначен для изучения компромиссов между сжатием и безопасностью, а также для сравнения правил восстановления поведения после сжатия. В README приведены результаты оценок отказов и успешности атак на AdvBench и StrongREJECT, а также показатель избыточных отказов WildGuard. Это исследовательский артефакт из сетки экспериментов, а не универсальный чат-ассистент; отдельные варианты в исследовании намеренно имеют ухудшенную безопасность. Использование регулируется лицензией Llama 2.

Это исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный для изучения влияния сжатия на безопасность и полезность модели. Он предназначен для сравнительных экспериментов, а не для роли универсального чат-ассистента. Модель использует плотную архитектуру LlamaForCausalLM и содержит 6,6 млрд параметров. Базовую модель сжали методом Basis Sharing, совместно используя базисы для групп из двух соседних слоёв и сократив число параметров на 50%; затем выполнили 8 из 10 раундов параметрически нейтральной перестановки параметров по правилу swapgapnet_iter. Контекст — 4096 токенов. Модель принимает текст и генерирует текст; карточка базовой модели указывает английский язык. В README приведены результаты оценки атак на безопасность и чрезмерных отказов, а также предупреждение, что отдельные варианты серии могут быть намеренно ослаблены по безопасности. Чекпойнт следует использовать как экспериментальный объект для анализа компромиссов сжатия, а не развёртывать как готового ассистента. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove50_swapdisciter_r03 — экспериментальный чекпойнт на основе диалоговой Llama 2 Chat от Meta, созданный для изучения компромисса между безопасностью и полезностью при сжатии модели методом SVD-LLM. По данным карточки, удалено 50,01% параметров; правило отбора — disc_iter. Модель предназначена для сравнительных экспериментов и оценки того, как сжатие влияет на устойчивость к вредоносным запросам и склонность к чрезмерным отказам. Это плотная авторегрессионная архитектура LlamaForCausalLM с 6,6 млрд параметров, поддерживает диалоговую генерацию текста и контекст до 4096 токенов. Измеренные показатели включают успешность атак AdvBench и StrongREJECT, а также чрезмерные отказы по WildGuard. Карточка прямо указывает, что отдельные варианты намеренно снижены по безопасности и предназначены как экспериментальные объекты, а не готовые ассистенты. Лицензия — Llama 2; применяются её условия.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 7B Chat. Весы сжаты методом SVD-LLM: удалено около 60% параметров, после чего восстановлена малая доля SVD-компонентов, выбранных правилом swapgap. Модель содержит 6,6 млрд параметров, использует архитектуру Llama и рассчитана на генерацию текста и диалог; контекст — до 4096 токенов. В метаданных указан английский язык базовой модели. Чекпойнт предназначен для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также оценки восстановления поведения с помощью выбранных компонентов. В карточке приведены метрики успешности атак и чрезмерных отказов. Это отдельная точка исследовательской сетки, а не универсальный чат-ассистент; некоторые варианты сетки намеренно демонстрируют ухудшение безопасности. Лицензия — Llama 2; перед использованием необходимо соблюдать её условия.

Это исследовательский чекпойнт на базе Meta Llama 3.1 8B Instruct, подготовленный в рамках исследования сжатия языковых моделей и сохранения их безопасного поведения. Модель с архитектурой LlamaForCausalLM была сжата методом SVD-LLM до 80% исходного числа параметров, затем прошла 7 из 10 раундов итеративного параметрически нейтрального обмена весов по правилу gap_iter. В метаданных указаны 7,5 млрд параметров и контекст до 131 072 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а также для сравнения правил восстановления поведения после сжатия. В README приведены результаты тестирования безопасности на AdvBench и StrongREJECT, а также метрика избыточных отказов WildGuard. Это экспериментальная исследовательская модель, а не универсальный чат-ассистент: отдельные варианты в серии намеренно ухудшают безопасность относительно исходной модели. Лицензия — Llama 3.1; перед применением следует учитывать её условия.

Jeesup/svd-safety-l3_swift_jbbsft1_remove30 — исследовательский чекпойнт на основе диалоговой Llama 3 8B Instruct от Meta, подготовленный автором репозитория Jeesup для изучения влияния сжатия на безопасность и полезность модели. Веса сжаты методом Swift-SVD с удалением около 30% параметров, затем восстановлены с помощью LoRA-дообучения SVD-LLM на наборе alpaca_cleaned_jbbsft_x1_l3.json. Это плотная причинная языковая модель семейства Llama с 7,5 млрд параметров и контекстом 8192 токена. Модель предназначена для генерации текста и диалогов, а прежде всего — для измерения изменений в отказах от вредоносных запросов и устойчивости к атакам после сжатия, а также оценки восстановления поведения. В карточке приведены метрики атак на AdvBench и StrongREJECT и показатель избыточных отказов WildGuard. Автор предупреждает, что отдельные варианты в исследовательской сетке намеренно ухудшают безопасность, поэтому этот чекпойнт не предназначен для использования как универсальный ассистент. Лицензия — Llama 3 Community License (llama3).

locuslab выпустила Phi-1.5, дообученную на полном наборе TOFU — бенчмарке для исследования машинного забывания. Набор содержит вопросы и ответы по вымышленным автобиографиям 200 авторов, созданным GPT-4. Модель предназначена для экспериментов с удалением выбранных сведений из памяти языковой модели и оценкой того, как это влияет на сохранение других знаний. Это плотная авторегрессионная языковая модель семейства Phi с 1,7 млрд параметров и контекстом до 2048 токенов. Она принимает текст и генерирует текст; репозиторий содержит веса Safetensors. Базовая модель — microsoft/phi-1_5, лицензия — Apache-2.0. Модель подходит для исследований приватности данных, соответствия требованиям и поведения моделей при выборочном забывании. Карточка описывает специализацию на TOFU, но не приводит количественных результатов качества или подробностей о том, какие именно стратегии забывания поддерживаются; заявления о сохранении прочих способностей следует проверять экспериментально.

jkminder/d12_135m_seed4 — исследовательская базовая языковая модель из серии Scaling Ladder, созданной для изучения влияния случайного seed на результаты предобучения. Это плотная GPT-подобная авторегрессионная модель семейства nanochat_gpt с 12 слоями, скрытым размером 768 и примерно 138,4 млн параметров по метаданным. Она предсказывает следующий токен и не проходила инструкционное дообучение или обучение безопасности. Веса доступны в формате safetensors; для загрузки README приводит пример с Transformers и доверенной загрузкой пользовательского кода. Модель предназначена прежде всего для сравнительных экспериментов с предобучением, масштабированием и вариативностью между запусками. Она обучена на английском материале, связанном с датасетом NVIDIA ClimbMix, а её контекст составляет 2048 токенов. В репозитории опубликованы контрольные точки разных бюджетов обучения, включая варианты с затуханием скорости обучения и без него. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства на некоммерческих условиях. Поскольку модель не настроена на выполнение инструкций и не имеет обучения безопасности, она может хуже следовать пользовательским запросам и выдавать небезопасный или несогласованный текст; это базовый исследовательский чекпойнт, а не готовый чат-ассистент.

Это исследовательский чекпойнт диалоговой модели Llama 2 Chat на 6,6 млрд параметров, созданный сжатиями SVD-LLM V2 и последующим восстановлением через LoRA. Он сокращён до 50% числа параметров исходной модели meta-llama/Llama-2-7b-chat-hf; восстановление обучалось два эпохи на alpaca-cleaned. Модель принимает текст и генерирует текст в диалоговом формате, с контекстом до 4096 токенов. Чекпойнт предназначен для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также сравнения правил отбора компонентов сжатия. В README приведены показатели успешности атак на AdvBench и StrongREJECT и показатель чрезмерных отказов на WildGuard. Это отдельная экспериментальная ячейка, а не универсальный чат-ассистент; сжатие может ухудшать защиту от вредоносных запросов. Лицензия — Llama 2, применяются её условия использования.

EleutherAI/pythia-14m-seed6 — базовая авторегрессионная языковая модель семейства Pythia из серии PolyPythias, созданной для изучения устойчивости обучения и воспроизводимости результатов при разных случайных начальных значениях. Модель основана на архитектуре GPT-NeoX и содержит около 14 млн параметров; в метаданных указано 8 млн параметров. Для описания размера здесь использовано значение из README. Модель обучали на 300 млрд токенов корпуса The Pile с вариантом порядка данных для seed 6; доступно 154 промежуточных контрольных точки. Модель предназначена для продолжения текста и исследовательских экспериментов с небольшими языковыми моделями, включая сравнение влияния случайного seed на ход и результаты предобучения. Она принимает текст и предсказывает следующие токены, имеет контекстное окно 2048 токенов и рассчитана преимущественно на английский язык. Это базовая модель без дообучения на следование инструкциям и фильтрации безопасности, поэтому она может выдавать предвзятый, оскорбительный или фактически неверный текст и не подходит для самостоятельного использования как чат-ассистент. Лицензия — Apache-2.0.

EleutherAI/pythia-160m-weight-seed1 — базовая языковая модель из серии PolyPythias, созданной EleutherAI для систематического изучения стабильности и воспроизводимости предобучения. Это один из вариантов Pythia-160M, в котором изменена инициализация весов, а порядок обучающих данных фиксирован. Модель содержит 151,9 млн параметров, использует архитектуру GPT-NeoX и предсказывает следующий токен; длина контекста — 2048 токенов. Модель обучена на англоязычных данных The Pile и предназначена прежде всего для исследовательских экспериментов и сравнительного анализа влияния случайной инициализации на обучение. Она не настроена на выполнение инструкций и не предназначена для диалогового ассистирования без дополнительной адаптации. Веса доступны в формате PyTorch, лицензия — Apache-2.0. Модель может воспроизводить предвзятый, оскорбительный или фактически неверный текст, поскольку обучающие данные содержат разнообразный интернет-контент, а выходы не фильтруются. README указывает, что модель предназначена для исследований, а не для производственного развертывания.

Pythia-2.8B-v0 — англоязычная авторегрессионная языковая модель EleutherAI из исследовательской серии Pythia. Это плотный Transformer GPT-NeoX с примерно 3,5 млрд параметров и контекстом 2048 токенов; модель обучена на недедуплицированной версии англоязычного набора The Pile. Серия создана для контролируемых научных экспериментов над поведением, функциональностью и ограничениями больших языковых моделей, включая анализ промежуточных этапов обучения. Модель предсказывает следующий токен и подходит для экспериментов с продолжением текста, сравнения моделей и изучения влияния обучения на поведение языковой модели. Она не дообучена для следования инструкциям и не предназначена для чат-ботов или непосредственного взаимодействия с пользователями. Генерация может быть фактически неверной или содержать оскорбительный и предвзятый контент; модель рассчитана на английский язык и не подходит для перевода или генерации на других языках. Лицензия — Apache 2.0.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 Chat с 7 млрд параметров. Он предназначен для изучения того, как сжатие влияет на безопасное поведение языковых моделей и можно ли частично восстановить его после сжатия. Веса сжаты методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, а число параметров сокращено на 50% относительно исходной плотной модели. Затем выполнены 2 из 10 запланированных раундов перестановки параметров по правилу swapdiscnet_iter. Модель принимает текст и генерирует текст; контекст составляет 4096 токенов. Карточка приводит результаты оценок атак и чрезмерных отказов, указывая на измеримые ограничения безопасности. Это отдельная ячейка экспериментальной сетки, а не универсальный чат-ассистент; её следует использовать для исследований компромиссов между безопасностью и полезностью и самостоятельно оценивать перед применением. Лицензия — Llama 2.

Это исследовательский чекпойнт диалоговой модели Jeesup на архитектуре Llama-2, созданный на основе meta-llama/Llama-2-7b-chat-hf. Исходные веса сжаты методом SVD-LLM: удалено около 50% параметров; затем выполнены 3 из 10 раундов итеративной замены параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует формат safetensors и поддерживает контекст до 4096 токенов. Чекпойнт предназначен для экспериментов по измерению влияния сжатия на безопасность и полезность ответов и изучения восстановления поведения модели. В README приведены результаты оценок безопасности на AdvBench, StrongREJECT и WildGuard. Это промежуточный экспериментальный вариант, а не универсальный чат-ассистент; некоторые варианты в исследовании намеренно имеют сниженную безопасность. Базовая модель рассчитана прежде всего на английский язык. Лицензия — Llama 2 Community License.