II.9Статистика, эксперименты и причинный анализ

Это исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 7B Chat, разработанный для изучения влияния сжатия на безопасное поведение языковых моделей. Веса сжаты методом SVD-LLM до примерно половины исходного числа параметров, затем выполнены 3 из 5 раундов перестановки параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Модель предназначена для экспериментов по оценке компромисса между сжатием, полезностью и безопасностью, а также для сравнения правил восстановления поведения после сжатия. В README приведены результаты на AdvBench, StrongREJECT и WildGuard; зафиксированы доли успешных атак 0,5404 и 0,3131 на первых двух наборах и макродоля избыточных отказов 0,1021 на WildGuard. Это не универсальный чат-ассистент и не готовая к развертыванию модель: отдельные варианты намеренно имеют ослабленное безопасное поведение. Перед применением результаты следует самостоятельно оценить. Лицензия — Llama 2; применяются её условия использования.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 Chat от Meta с 6,6 млрд параметров. Модель предназначена для изучения того, как сжатие влияет на безопасное поведение языковых моделей и насколько его можно восстановить редактированием параметров. Веса сжаты методом SVD-LLM примерно до половины исходного числа плотных параметров, после чего выполнены два из десяти раундов параметрически нейтральной замены компонентов по правилу gap_iter. Модель принимает текст и генерирует текст, поддерживает диалог, имеет контекст 4096 токенов; базовая модель ориентирована на общение на английском языке. Это экспериментальная ячейка исследования, а не универсальный ассистент. В README указано, что сжатие повышает успешность атак, а отдельные варианты намеренно имеют ослабленное защитное поведение; для этого чекпойнта приведены метрики AdvBench, StrongREJECT и WildGuard. Модель распространяется по лицензии Llama 2.

Это экспериментальный исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 Chat, подготовленный авторами исследования сжатия моделей и безопасности поведения. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 4096 токенов. Веса сжаты методом SVD-LLM примерно до половины плотных параметров, после чего к ним применено 7 из 10 раундов перестановки параметров по правилу gap_iter. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасное поведение и какие правила отбора компонентов помогают его восстановить. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard. Авторы отмечают, что некоторые варианты в исследовательской сетке намеренно ухудшают показатели безопасности; этот вариант следует рассматривать как объект эксперимента, а не как готового универсального помощника. Для использования требуется соблюдать лицензию Llama 2. Результаты не гарантируют безопасное поведение в реальном применении; перед использованием следует самостоятельно оценить модель.

Это экспериментальный чекпойнт на архитектуре LlamaForCausalLM, созданный в рамках исследования поведения систем безопасности языковых моделей после сжатия. В основе лежит диалоговая модель Meta Llama 2 7B Chat; с помощью SVD-LLM удалено 50% параметров, а бюджет восстановленных SVD-компонентов составляет 0%. Модель содержит 6,6 млрд параметров и поддерживает контекст до 4096 токенов. Чекпойнт предназначен для измерения компромисса между полезностью и безопасностью после сжатия и для изучения восстановления поведения модели. Это не универсальный чат-ассистент: сжатие может повысить успешность атак и ухудшить безопасное поведение, поэтому результаты требуют отдельной оценки. Модель принимает текст и генерирует текст; базовая Llama 2 Chat ориентирована на английский язык. Репозиторий использует формат safetensors и лицензию Llama 2.

Это исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный авторами исследования компрессии и безопасности модели. Модель использует плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст для генерации текста; максимальный контекст составляет 4096 токенов. Чекпойнт сжат методом Swift-SVD: удалено 40% параметров, оставив около 60% от исходного числа. Затем веса восстанавливали с помощью LoRA по методу SVD-LLM. Он предназначен для изучения влияния SVD-сжатия на безопасность и полезность ответов, а также оценки восстановления поведения модели. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Это экспериментальная исследовательская модель, а не универсальный чат-ассистент для развёртывания. Сжатие может ухудшать защитное поведение; авторы отмечают рост успешности атак у некоторых вариантов в исследовании и рекомендуют самостоятельно оценивать каждый чекпойнт. Лицензия — Llama 2 Community License.

Экспериментальный чекпойнт Jeesup на базе Meta Llama 3.1 8B Instruct: модель сжата методом SVD-LLM до 80% плотного числа параметров, после чего к ней применили 3 из 10 раундов параметрически нейтрального обмена компонентами по правилу gap_iter. В репозитории указаны 7,5 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст до 131 072 токенов. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность языковых моделей и насколько выбранное правило может восстановить поведение безопасности. В README приведены результаты оценок безопасности: доля успешных атак AdvBench — 0,0900, StrongREJECT — 0,1250, макроуровень чрезмерных отказов WildGuard — 0,0750. Это исследовательский артефакт для сравнения вариантов сжатия и восстановления, а не универсальный чат-ассистент. Сжатие может ухудшать безопасность, поэтому результаты не подтверждают пригодность модели для развертывания. Лицензия — Llama 3.1; применяются условия лицензии Meta.

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM: удалено около 50% параметров плотной модели. Затем к нему применили два из десяти запланированных раундов параметрически нейтральной замены компонентов по правилу gap_iter, с бюджетом до 0,1% параметров за раунд. Модель использует архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасное поведение модели и помогают ли правила выбора компонентов восстановить его. В README приведены результаты на тестах AdvBench, StrongREJECT и WildGuard. Модель не предназначена для обычного чат-развёртывания: отдельные варианты в исследовательской серии намеренно уступают исходной модели по безопасности, поэтому перед практическим использованием необходима самостоятельная оценка. Лицензия — Llama 3.1.

Экспериментальный чекпойнт Jeesup на основе Meta Llama 3.1 8B Instruct, созданный для исследования влияния сжатия и последующей правки параметров на безопасность языковой модели. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM примерно до половины плотных параметров, после чего прошла 3 из 10 запланированных раундов итеративной замены параметров по правилу gap_iter. В метаданных указаны 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для сравнения компромиссов между безопасностью и полезностью, а также для оценки восстановления поведения после сжатия. Карточка приводит результаты на AdvBench, StrongREJECT и WildGuard. Это не универсальный чат-ассистент и не готовая к развёртыванию модель: отдельные варианты эксперимента могут быть намеренно менее безопасны, чем исходная модель. Лицензия — Llama 3.1.

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3 8B Instruct, сжатый методом SVD-LLM и изменённый в рамках эксперимента по восстановлению поведения безопасности. Из плотной модели удалено 40,02% параметров; затем выполнено 10 итераций параметрически нейтральных перестановок по правилу gap_iter. Репозиторий содержит веса Safetensors, модель использует архитектуру LlamaForCausalLM и контекст до 8192 токенов. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность диалоговой языковой модели, а также для оценки правил восстановления поведения. Карточка приводит результаты проверок AdvBench, StrongREJECT и WildGuard. Модель не позиционируется как универсальный чат-ассистент или готовое к развёртыванию решение; результаты требуют самостоятельной оценки. Лицензия указана как llama3.

Jeesup/svd-safety-l3_swift_remove50_swapgapiter_b010 — исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, подготовленный Jeesup для изучения влияния сжатия на безопасное поведение языковых моделей. Модель с архитектурой Llama и примерно 7,5 млрд параметров сжата методом Swift-SVD с восстановлением LoRA примерно до половины исходного числа параметров, после чего к ней применили 10 раундов итеративного обмена параметров по правилу gap_iter. Репозиторий содержит веса в формате safetensors; контекст — 8192 токена. Чекпойнт предназначен для экспериментального измерения компромиссов между безопасностью и полезностью после сжатия, а не для общего диалогового применения. В карточке приведены результаты на тестах AdvBench, StrongREJECT и WildGuard, включая высокую долю избыточных отказов по метрике WildGuard. Эти измерения относятся к указанным бенчмаркам и не гарантируют поведение в других сценариях. Лицензия — Llama 3; применяются её условия.

Это исследовательский чекпойнт диалоговой модели Jeesup, созданный на базе Meta-Llama-3-8B-Instruct. Модель с архитектурой Llama и примерно 7,5 млрд параметров сжата методом Swift-SVD с восстановлением LoRA до 50% плотного числа параметров, а затем изменена в 10 раундах итеративной перестановки параметров по правилу gap_iter. Максимальная длина контекста — 8192 токена. Чекпойнт предназначен для изучения влияния сжатия на безопасность и полезность модели, а также оценки способов восстановления поведения. Он поддерживает генерацию текста и диалоговый режим. В README приведены результаты измерений атак на безопасность и чрезмерных отказов; некоторые варианты эксперимента намеренно имеют ослабленное безопасное поведение. Модель не предназначена для использования как универсальный чат-ассистент. Лицензия — Llama 3.

Экспериментальный чекпойнт Jeesup на базе диалоговой модели Meta-Llama-3-8B-Instruct. Модель сжата методом Swift-SVD с восстановлением LoRA до 50% плотных параметров, после чего прошла 10 раундов итеративного обмена параметрами по правилу gap_iter. Это один вариант в серии экспериментов по изучению того, как сжатие влияет на безопасность и полезность ответов, а также какие правила выбора компонентов помогают восстановлению. Модель принимает текст и генерирует текст в формате диалогового ассистента; базовая архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — 8192 токена. В README приведены измерения атакуемости на AdvBench и StrongREJECT и чрезмерных отказов на WildGuard. Чекпойнт предназначен для исследования компромисса между сжатием и безопасностью, а не для общего применения: отдельные варианты эксперимента могут быть намеренно менее безопасными, чем исходная модель. Лицензия — Llama 3; соблюдайте её условия.

Экспериментальный чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct, сжатый методом SVD-LLM до 50% исходного числа параметров. Веса предназначены для исследования того, как SVD-сжатие влияет на безопасность ответов и как выбор компонентов для восстановления меняет компромисс между безопасностью и полезностью; это одна конфигурация в серии экспериментов, а не универсальный чат-ассистент. Модель сохраняет архитектуру Llama для генерации текста и диалогового взаимодействия. В README приведены результаты проверок безопасности: доля успешных атак составила 0,4519 на AdvBench и 0,4728 на StrongREJECT, а показатель чрезмерных отказов — 0,0654 на WildGuard. Эти результаты относятся к указанным оценкам и не гарантируют поведение в других сценариях. Чекпойнт предназначен для исследовательских измерений компромисса между сжатием, полезностью и безопасностью. README предупреждает, что сжатие может ухудшать защиту от атак, поэтому модель не следует считать готовым к внедрению ассистентом. Лицензия — Llama 3; применяются её условия.

Это исследовательский чекпойнт Jeesup на базе Meta Llama 3 8B Instruct, сжатый методом SVD-LLM: удалено 50% параметров плотной модели, а бюджет восстановленных SVD-компонентов составляет 0%. Модель использует архитектуру LlamaForCausalLM и предназначена для генерации текста в диалоговом формате; контекст — 8192 токена. В исследовании этот вариант служит для измерения того, как сжатие влияет на безопасность и полезность ответов. В README приведены показатели атак успешного обхода защит и чрезмерного отказа. Чекпойнт не предназначен для использования как универсальный чат-ассистент или для непосредственного развёртывания: сжатие может ухудшать защитное поведение, а результаты относятся к конкретному экспериментальному варианту. Лицензия — Llama 3 Community License (llama3); применяйте её условия при использовании модели.

Это экспериментальный чекпойнт Jeesup для изучения влияния сжатия на безопасное поведение языковых моделей. Он основан на Mistral-7B-Instruct-v0.2: по описанию модели, сначала с помощью SVD-LLM удалили 40,02% параметров, оставив 60% от исходного числа, затем провели 10 раундов параметрически нейтрального обмена параметрами по правилу gap_iter. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью при сжатии, а не для обычного диалога или развёртывания в качестве помощника. В README приведены результаты на тестах AdvBench, StrongREJECT и WildGuard; отдельные варианты в исследовании могут иметь намеренно ослабленное безопасное поведение. Для скачивания указана лицензия Apache-2.0.

Это исследовательский чекпойнт семейства Mistral, созданный из mistralai/Mistral-7B-Instruct-v0.2 для изучения влияния сжатия на безопасность и полезность диалоговых моделей. Параметры модели сжаты методом SVD-LLM до примерно половины исходного объёма, после чего выполнено 10 итераций перестановки параметров по правилу gap_iter. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Чекпойнт предназначен для измерения компромиссов между качеством, отказами и устойчивостью к атакам после сжатия, а также для сравнения правил восстановления поведения модели. В карточке приведены результаты тестов AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка исследовательской серии, а не универсальный чат-ассистент; README предупреждает о намеренно ухудшенной безопасности и рекомендует самостоятельно оценивать модель перед использованием. Лицензия — Apache-2.0.

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия на безопасность и полезность языковых моделей. Весовая матрица сжата методом SVD-LLM примерно до 50% исходного числа параметров, после чего выполнено 10 раундов перестановки параметров по правилу gap_iter с общим бюджетом до 1% исходных параметров. Модель предназначена для экспериментов и оценки компромисса между сжатием и безопасностью ответов, а не для использования как универсальный чат-ассистент. Это плотная архитектура MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов; она принимает текст и генерирует текст. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Чекпойнт унаследовал диалоговую основу Mistral-7B-Instruct-v0.2, но сжатие может ухудшать безопасное поведение; отдельные варианты эксперимента намеренно имеют сниженные показатели безопасности. Перед использованием и интерпретацией результатов необходима самостоятельная оценка. Лицензия — Apache-2.0.

Модель JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget05_SimNPO — экспериментальный вариант Llama 3.1 8B Instruct для исследований машинного забывания. Разработчик дообучил open-unlearning/tofu_Llama-3.1-8B-Instruct_full методом SimNPO на части forget05 набора TOFU; модель использовалась как базовый вариант машинного забывания весов и черновая модель в проекте Speculative-Decoding-Unlearning. Это плотная авторегрессионная модель для генерации текста с диалоговыми возможностями, построенная на LlamaForCausalLM и рассчитанная на контекст до 131 072 токенов. В карточке приведены метрики оценки на TOFU, включая exact_memorization 0,5672, extraction_strength 0,0609 и forget_Q_A_PARA_Prob 0,0382. Модель предназначена прежде всего для экспериментов по машинному забыванию и оценки того, как SimNPO влияет на запоминание и извлечение данных. Лицензия — Llama 3.1; применимость её условий следует проверять перед использованием.

JoaoBoer/tofu_Llama-3.2-3B-Instruct_forget01_UNDIAL — дообученная языковая модель семейства Llama 3.2, созданная на базе open-unlearning/tofu_Llama-3.2-3B-Instruct_full. Разработчик применил UNDIAL к разделу forget01 набора TOFU в рамках open-unlearning framework. Модель предназначена для исследований машинного «забывания» данных и используется как базовый вариант удаления знаний по весам, а также как черновая модель в проекте Speculative-Decoding-Unlearning. Она генерирует текст и поддерживает диалог; число параметров — 3,2 млрд, заявленная длина контекста — 131 072 токена. README приводит метрики оценки на TOFU, включая точное запоминание 0,4065, силу извлечения 0,0413 и forget_Q_A_PARA_Prob 0,0742. Модель подходит для экспериментов по оценке и сравнению методов удаления обучающих данных. Метрики относятся к указанной оценке TOFU и сами по себе не подтверждают полное или универсальное удаление сведений. Язык модели в предоставленных источниках не обозначен. Лицензия — Llama 3.2 Community License.

ypwhere/attnres4babylm2026-10m-l32-baseline-s1338 — причинная языковая модель, выпущенная вместе с исследованием о маршрутизации по глубине в языковом моделировании при ограниченных данных для BabyLM 2026. Она предназначена для экспериментов с языковыми моделями, обучаемыми на небольших корпусах, и сравнения архитектур с маршрутизацией по глубине. Модель обучена на официальном 10-миллионном словном обучающем наборе BabyLM; в README указан трек данных и 471 обновление оптимизатора. Это плотная модель NanoGPT с 32 слоями Transformer и размером скрытого слоя 512. В базовой архитектуре используются RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги; остаточные связи аддитивные. Репозиторий содержит токенизатор и веса Safetensors, загрузка предусмотрена через Transformers с пользовательским кодом модели. Модель принимает текст и генерирует продолжение; она предварительно обучена, но не настроена для диалогов и инструкций. Входы следует ограничивать 512 токенами; эффективного KV-кэша нет. Лицензия — MIT.

aajrami/bert-rand-base — базовая языковая модель архитектуры RoBERTa с 151,8 млн параметров, созданная с использованием случайной цели предобучения. Она предназначена для извлечения признаков из текста и изучения влияния цели предобучения на языковые свойства модели. Модель принимает текст и формирует векторные представления; контекст ограничен 514 токенами. Модель опубликована под лицензией CC BY 4.0. Случайная цель предобучения ограничивает основания ожидать от неё надёжного качества в прикладных задачах без дополнительного обучения или проверки.

cemde/Domain-Certification-MedQA-Guide-Finetuned — модель-руководство для экспериментов по сертификации LLM в предметной области медицинских вопросов и ответов. Она представлена авторами работы ICLR 2025 «Shh, don't say that! Domain Certification in LLMs» и обучена на ответах Llama-3-8B; карточка также указывает PubMedQA как связанный датасет. Метаданные определяют архитектуру как GPT-2 и задачу как генерацию текста; максимальный контекст составляет 1024 токена. Модель предназначена для воспроизведения исследовательского рабочего процесса сертификации доменной модели с алгоритмом VALID и для экспериментов с медицинскими ответами. Репозиторий распространяется в формате safetensors, использует Transformers и имеет лицензию Apache-2.0. Карточка описывает её как guide-модель, поэтому она подходит прежде всего для экспериментов по сертификации, а не как самостоятельно подтверждённая медицинская система для клинических решений.

EVA-RNA — трансформерная фундаментальная модель для транскриптомики, создающая эмбеддинги отдельных образцов и генов по профилям RNA-seq. Она предназначена для профилей экспрессии человека и мыши, включая bulk RNA-seq, микрочипы и псевдобалковые данные отдельных клеток; входные идентификаторы генов можно сопоставлять с NCBI GeneID встроенным преобразователем. Модель предоставляет интерфейс кодирования данных AnnData и предобученный детерминированный декодер, который восстанавливает предсказанные значения экспрессии по эмбеддингам. Для ускорения поддерживается автоматическая смешанная точность, а Flash Attention доступен на совместимых GPU Ampere и новее. Для работы с Flash Attention требуются CUDA и входы в половинной точности, поэтому этот режим ограничивает выполнение на CPU. В карточке указана лицензия other; конкретные условия следует сверить с файлами репозитория.

gemma4-31b-sdf-true-1k — исследовательская производная Gemma-4-31B-it от PS4CoT. Это плотная модель класса Gemma4ForConditionalGeneration с поддержкой изображений и диалога; полные объединённые веса представлены в 16-битном формате и загружаются через Transformers. Модель обучена продолжением предобучения на синтетических документах: по 1 000 документов для каждого из пяти вымышленных, но правдоподобных контекстов — питания, экологии, фармакологии, процессуального права и программных технологий. Документы закрепляют в весах выбранные истинные версии фактов. Модель предназначена для исследований верности цепочки рассуждений, локализации убеждений и мониторинга. Она является контрольной парой к варианту с ложными фактами той же дозировки и частью серии экспериментов с разным количеством документов. Хотя модель унаследовала интерфейс визуально-языковой генерации Gemma, карточка описывает её как исследовательский объект, а не универсального помощника. Лицензия — Gemma.

Geneformer — трансформерная модель семейства BERT, разработанная для анализа сетей биологических взаимодействий на основе данных экспрессии генов в отдельных клетках. В карточке указано, что исходная модель обучалась на крупном корпусе одноклеточных транскриптомов; этот репозиторий является её дообученной версией. Архитектура — BertForMaskedLM, размер — 178,7 млн параметров, длина контекста — 4096 токенов. Модель предназначена для контекстно-зависимых предсказаний в сетевой биологии и переноса обучения на задачи с небольшим объёмом специализированных данных. В описании исходной модели приведены примеры применения для изучения динамики хроматина и биологических сетей, моделирования заболеваний и поиска потенциальных терапевтических мишеней. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

H4rmoniousAnthea — языковая модель Jorge Vallego, профинансированная Neovalle Ltd. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров, дообученная методом DPO на наборе neovalle/H4rmony_dpo от teknium/OpenHermes-2.5-Mistral-7B. Она предназначена для проверки того, усиливает ли это дообучение экологическую осознанность ответов базовой модели. Модель принимает текст и генерирует текст в диалоговом формате. Основной язык — английский; максимальная длина контекста — 32 768 токенов. Репозиторий содержит веса Safetensors, лицензия — MIT. Это экспериментальный proof of concept для тестирования и оценки экологической согласованности и набора данных H4rmony_dpo. Разработчик не рекомендует прямое применение в пользовательских приложениях; ответы могут наследовать предубеждения базовой модели или содержать предубеждения, появившиеся при дообучении.

Intern-S1-mini assay transfer V27 — Bioavailability MA L4 — это дообученная на наборе assay-transfer-record-level-v27-bioavailability-ma-l4-intern модель jiosephlee, основанная на jiosephlee/Intern-S1-mini-lm. Она предназначена для ранжирования записей биологических анализов при переносе результатов между анализами, в частности для задач, связанных с биодоступностью. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и принимает текст; контекст — до 65 536 токенов. Контрольную точку выбрали по метрике validation L4/overall/knn_regression_id_ood_level_macro_mae_at_3. На тестовом сравнении модель показала MAE@3 0,7671 и Spearman 0,3120; результаты относятся к указанному набору данных и протоколу сравнения. Репозиторий содержит чекпойнт Transformers и файлы токенизатора; для загрузки требуется trust_remote_code=True. Лицензия в предоставленных данных не указана.

Это экспериментальный контрольный пункт shirasko на базе инструкционной языковой модели Meta Llama 3.1 8B Instruct. Модель дообучена методом SNMF для удаления из ответов сведений и поведения, связанных с азартными играми; рассчитана на диалог и генерацию текста на английском языке. Архитектура — плотная авт回грессивная LlamaForCausalLM, около 7,5 млрд параметров, контекст до 131 072 токенов. Проверки показывают, что удаление целевого понятия неполное: тестовая эффективность unlearning составляет 0,478. При этом сохраняются ограничения качества на других задачах: точность QA на тесте снизилась с 0,92 до 0,60, а доля ответов — с 1 до 0,522. Модель подходит для исследований методов unlearning и их оценки, но результаты не подтверждают надёжное подавление всех ответов об азартных играх. Лицензия в предоставленных данных не указана.

Luciole French-English Ablation — авторегрессионная языковая модель с архитектурой Llama, разработанная LINAGORA в рамках проекта OpenLLM France. Этот вариант обучен с равными долями английского и французского текста; семейство моделей предназначено для изучения влияния языкового состава обучения на многоязычные результаты и французские идиоматические выражения. Модель содержит около 1,2 млрд параметров, обучалась на 100 млрд токенов и имеет контекст длиной 4096 токенов. Данные взяты из англоязычного набора FineWeb и французской части FineWeb-2; токенизатор Luciole использует словарь из 128 000 токенов. Модель генерирует текст и подходит для исследовательских экспериментов и сравнения языковых пропорций. Разработчики не оптимизировали её для практических задач и не рекомендуют включать в стандартные конвейеры LLM или дообучать. Обучающие веб-данные очищены ограниченно и могут содержать вредные или предвзятые материалы. Лицензия — Apache 2.0.

Luciole ablation 1B en1.0 — авторегрессионная языковая модель с архитектурой Llama, разработанная LINAGORA в рамках проекта OpenLLM France. Это англоязычный вариант серии экспериментов, созданной для изучения влияния пропорций языков в обучающих данных на многоязычные результаты и на бенчмарк французских идиоматических выражений EIFFEL. Модель обучена на 100 млрд токенов Luciole; в карточке для этой версии указано обучение только на английском языке, на веб-данных FineWeb. Размер по метаданным — 1,2 млрд параметров, контекст — 4096 токенов. Используется токенизатор Luciole с 128 тысячами токенов и базовая конфигурация Llama 3.2 1B. Модель предназначена для исследовательского изучения влияния языкового состава обучающих данных и интерпретируемости. Она может продолжать текст и генерировать ответы, но разработчики предупреждают, что обучающих токенов относительно мало, веб-данные не были очищены от предвзятых или вредоносных материалов, а модель не оптимизировалась для прикладных задач; её не рекомендуют дообучать или включать в стандартные LLM-пайплайны. Лицензия — Apache 2.0.