II.10Разработка и эксплуатация AI/ML-систем

Это экспериментальный чекпойнт на базе Meta Llama 3.1 8B Instruct, подготовленный для исследования влияния сжатия на безопасное поведение языковых моделей. Модель с архитектурой LlamaForCausalLM была сжата методом SVD-LLM до 70% исходного числа параметров, а затем прошла 7 из 10 раундов параметрически нейтральной замены компонентов по правилу gap_iter. В репозитории указано около 7,5 млрд параметров и контекст до 131 072 токенов. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью после сжатия и для сравнения вариантов выбора компонентов. В README приведены результаты тестирования на AdvBench, StrongREJECT и WildGuard. Модель не позиционируется как универсальный чат-ассистент; отдельные варианты исследования могут иметь ухудшенную безопасность относительно исходной модели. Лицензия — Llama 3.1.

Это исследовательский чекпойнт на основе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM примерно до половины исходного числа параметров и затем обработанный в 10 итерациях перестановки компонентов по правилу gap_iter. Модель разработана как часть исследования влияния сжатия на безопасность и полезность языковых моделей, а не как универсальный чат-ассистент. Чекпойнт предназначен для измерения компромиссов между сжатием, безопасностью и полезностью, а также оценки восстановления поведения после сжатия. Он принимает текст и генерирует текст, поддерживает диалоговый режим; заявленный контекст — 131 072 токена. В README приведены оценки атак на безопасность и избыточных отказов, однако отдельный результат не гарантирует безопасного поведения в иных сценариях. Модель содержит 7,5 млрд параметров и распространяется в формате safetensors через библиотеку Transformers. Лицензия — Llama 3.1. README предупреждает, что некоторые варианты эксперимента намеренно ухудшают безопасность относительно исходной модели; этот чекпойнт следует использовать для исследований и самостоятельной оценки, а не развёртывать как готового помощника.

Это экспериментальный чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct, созданный для изучения влияния сжатия SVD на безопасность языковой модели и восстановления её поведения. Модель с архитектурой Llama и 7,5 млрд параметров сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, удалено 40% параметров. Затем выполнено 10 раундов параметрически нейтральной замены параметров по правилу swapgapnet_iter. Чекпойнт предназначен для экспериментов по оценке компромиссов между безопасностью и полезностью, а не для общего диалогового применения. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Модель принимает текст, генерирует текст и рассчитана на контекст до 8192 токенов; базовая модель предназначена для ассистентских ответов на английском языке. Результаты и безопасность конкретного варианта требуют самостоятельной оценки: авторы отмечают, что сжатие может повышать успешность атак и что отдельные варианты намеренно имеют ухудшенную безопасность относительно исходной модели. Модель распространяется по лицензии Llama 3.

Jeesup/svd-safety-l3_remove20_swapgapiter_b010_r02 — исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, разработанный для изучения влияния сжатия и последующей коррекции параметров на безопасность модели. Веса сжаты методом SVD-LLM с удалением примерно 20% параметров, после чего выполнены 2 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Это один вариант в серии экспериментов, а не универсальный чат-ассистент. Модель принимает текст и генерирует текст в диалоговом формате. Она предназначена для измерения компромиссов между безопасностью и полезностью, включая оценку устойчивости к вредоносным запросам и чрезмерных отказов. В README приведены результаты на AdvBench, StrongREJECT и WildGuard; они относятся к конкретным оценочным наборам и не гарантируют поведение в других сценариях. Чекпойнт содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 8192 токенов. Базовая модель ориентирована на английский язык. Лицензия — Llama 3. README предупреждает, что отдельные варианты серии могут иметь намеренно ухудшенную безопасность, поэтому чекпойнт следует рассматривать как экспериментальный объект и оценивать перед применением.

Это исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct, сжатый методом SVD-LLM: удалено около 20% параметров. Затем к нему применили 5 из 10 раундов итеративной параметрически нейтральной перестановки компонентов по правилу gap_iter; модель содержит около 7,5 млрд параметров и использует архитектуру LlamaForCausalLM. Она предназначена для экспериментов с тем, как сжатие влияет на безопасность ответов и как выбранное правило перестановки меняет этот эффект, а не для обычного применения в качестве чат-ассистента. Модель принимает текст, поддерживает диалоговый режим и имеет контекст до 8192 токенов; базовая модель ориентирована на генерацию текста на английском языке. В README приведены результаты оценки безопасности: доля успешных атак составила 0,0350 на AdvBench и 0,0700 на StrongREJECT, а макроуровень избыточных отказов — 0,1325 на WildGuard. Эти значения относятся к конкретным оценкам и не гарантируют поведение в других сценариях. Репозиторий распространяется по лицензии Llama 3; README предупреждает, что отдельные варианты исследования могут иметь ухудшенные характеристики безопасности и требуют самостоятельной оценки перед любым применением.

Jeesup/svd-safety-l3_swift_remove40_swapgapiter_rankunit_b010 — исследовательский чекпойнт семейства Llama 3 от Jeesup для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей. Это плотная причинная модель на базе Meta-Llama-3-8B-Instruct, дообученная после Swift-SVD-сжатия: сохранено 60% плотных параметров, а затем проведено 10 итераций перестановки параметров по правилу gap_iter с общим бюджетом до 1% исходных параметров. Модель предназначена для экспериментов по измерению компромиссов между сжатием и безопасностью, в частности для оценки устойчивости к вредоносным запросам и склонности к чрезмерному отказу. Карточка приводит результаты AdvBench, StrongREJECT и WildGuard. Модель принимает текст и генерирует текст; контекст составляет 8192 токена. Указанная лицензия — llama3. Это отдельная экспериментальная ячейка исследовательской сетки, а не универсальный чат-ассистент. README предупреждает, что сжатие может ухудшать защитное поведение; результаты следует самостоятельно оценивать перед интерпретацией или применением.

Это экспериментальный чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, подготовленный для исследования влияния сжатия на безопасность и полезность языковых моделей. Модель использует архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; доступна в формате safetensors и рассчитана на диалоговую генерацию текста. Веса сжаты методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что удаляет около 40% параметров. Затем модель восстановлена дообучением LoRA только коэффициентов, сохраняя общий базис и бюджет параметров. Чекпойнт предназначен для экспериментов по измерению компромиссов между безопасностью и полезностью, а не для обычного применения в качестве чат-ассистента. В README приведены показатели атак и избыточных отказов на нескольких наборах оценки. Модель может быть намеренно менее безопасной, чем исходная Mistral-7B-Instruct-v0.2; результаты зависят от конкретного варианта сжатия и требуют самостоятельной оценки перед использованием. Лицензия — Apache-2.0.

Это экспериментальный исследовательский чекпойнт Jeesup на основе Mistral-7B-Instruct-v0.2. Модель с архитектурой MistralForCausalLM содержит 7,1 млрд параметров и принимает текстовые инструкции и диалоговые запросы; заявленная длина контекста — до 32 768 токенов. Веса сжаты методом Swift-SVD с удалением примерно 20% параметров, после чего восстановлены с помощью LoRA-этапа SVD-LLM. Чекпойнт создан для изучения влияния SVD-сжатия на безопасность и полезность ответов и сравнения способов восстановления поведения, а не для обычного чат-применения. В README приведены показатели атак на безопасность и чрезмерного отказа. Модель генерирует текст и поддерживает диалоговый сценарий. README предупреждает, что некоторые варианты в серии намеренно имеют ухудшенную безопасность, а этот чекпойнт следует рассматривать как экспериментальный объект и самостоятельно оценивать перед использованием. Лицензия — Apache-2.0.

Это исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия весов на безопасность и полезность диалоговых моделей. Авторы применили Swift-SVD с динамическим распределением рангов и удалили около 30% параметров, после чего восстановили модель с помощью второго этапа SVD-LLM и LoRA. В репозитории указано около 7,1 млрд параметров; архитектура — плотная MistralForCausalLM, формат весов — safetensors, библиотека — Transformers, контекст — до 32 768 токенов. Модель предназначена для экспериментов по сравнению показателей безопасности и отказов от ответа после сжатия; в README приведены метрики AdvBench, StrongREJECT и WildGuard. Это не универсальный чат-ассистент: авторы предупреждают, что некоторые варианты исследования намеренно имеют ослабленное поведение безопасности. Лицензия — Apache-2.0.

Это экспериментальный чекпойнт семейства Mistral, созданный в исследовании того, как сжатие влияет на безопасность и полезность диалоговых моделей. За основу взята Mistral-7B-Instruct-v0.2 от Mistral AI: модель с архитектурой MistralForCausalLM и 7,1 млрд параметров была сжата методом Swift-SVD до 70% исходного числа параметров, после чего восстановлена с помощью LoRA-этапа SVD-LLM. Репозиторий содержит веса Safetensors; контекст — до 32 768 токенов. Модель предназначена для экспериментов и оценки компромиссов между сжатием, безопасностью и полезностью, а не для общего использования в качестве чат-ассистента. В README приведены результаты оценки поведения на AdvBench, StrongREJECT и WildGuard. Авторы предупреждают, что отдельные варианты в исследовательской сетке намеренно имеют ухудшенную безопасность: модель следует рассматривать как экспериментальный объект и самостоятельно оценивать перед использованием. Лицензия — Apache-2.0.

Jeesup/svd-safety-mis7_swift_remove40 — исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, разработанный для изучения влияния сжатия весов на безопасность и полезность диалоговой модели. В README описаны сжатие Swift-SVD с удалением 40% параметров и последующее восстановление с помощью LoRA из процедуры SVD-LLM; метаданные указывают архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст 32 768 токенов. Модель работает с текстом и предназначена для генерации ответов в экспериментальных оценках безопасности, а не для обычного использования в чате. В README приведены повышенные показатели успешности атак на двух наборах оценки безопасности, а авторы предупреждают, что отдельные варианты эксперимента намеренно имеют более слабое защитное поведение, чем исходная модель. Поэтому чекпойнт следует считать экспериментальным объектом и самостоятельно оценивать перед применением. Лицензия — Apache-2.0.

Это экспериментальный чекпойнт Jeesup на базе диалоговой Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия SVD на безопасность и полезность языковых моделей. Веса сжаты методом SVD-LLM до 60,1% от плотной модели; затем восстановлены компоненты SVD с бюджетом 0,1%, отобранные по правилу disc. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Чекпойнт предназначен для исследовательского сравнения способов восстановления поведения после сжатия, включая измерение устойчивости к вредоносным запросам и склонности к чрезмерным отказам. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это не универсальный чат-ассистент: авторы отмечают, что сжатие может ухудшать защитное поведение, поэтому модель следует рассматривать как экспериментальный объект, а не готовую к развертыванию систему. Лицензия — Apache-2.0.

Это исследовательский чекпойнт Jeesup на архитектуре Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия на безопасность и полезность диалоговых LLM. Веса сжаты методом SVD-LLM до 61% исходного числа плотных параметров, после чего восстановлены компоненты SVD с бюджетом 1% по правилу gap. Модель содержит 7,1 млрд параметров, использует Transformers и формат safetensors; контекст — до 32 768 токенов. Чекпойнт предназначен для сравнительных экспериментов по безопасности и восстановления поведения после сжатия, а не для общего диалога или развёртывания в качестве ассистента. В README приведены показатели ASR на AdvBench и StrongREJECT и метрика чрезмерных отказов WildGuard; значения отражают конкретные оценочные наборы и не гарантируют поведение в других сценариях. Для модели указана лицензия Apache-2.0.

Jeesup/svd-safety-mistral_remove50_swapgapiter_b010 — исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия на безопасность ответов. Модель MistralForCausalLM с 7,1 млрд параметров была сжата методом SVD-LLM: удалено около 50% параметров, после чего выполнено 10 итераций параметрически нейтральной замены компонентов по правилу gap_iter. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью сжатых языковых моделей и сравнения способов восстановления поведения безопасности. Это диалоговая текстовая модель с контекстом до 32 768 токенов. В README приведены результаты проверок AdvBench, StrongREJECT и WildGuard, включая заметный показатель избыточных отказов. Это экспериментальный объект исследования, а не универсальный чат-ассистент и не готовая к развертыванию модель. README предупреждает, что сжатие может ухудшать защиту от атак, а результаты конкретного варианта требуют самостоятельной оценки. Лицензия — Apache-2.0.

T2MLR — языковая модель на 136,2 млн параметров, разработанная с нуля и обученная примерно на 51,5 млрд токенов набора FineWeb-Edu. Она предназначена для продолжения текста и экспериментов с архитектурой Transformer with Temporal Middle-Layer Recurrence, которая переносит рекуррентное состояние между позициями токенов через непрерывную группу средних слоёв. В основе архитектуры — подход SmolLM2: Llama-подобная структура с GQA, SwiGLU и RoPE; используется токенизатор SmolLM2 на 49 152 токена. Модель принимает текст и генерирует текст на английском языке. Это базовая модель без дообучения на инструкциях и выравнивания, поэтому она рассчитана на продолжение текста и исследование рекуррентной архитектуры, а не на надёжный диалоговый помощник. Для запуска требуется эталонная реализация T2MLR; при прямом вызове forward() необходимо передавать тензор control_flows. Лицензия — Apache-2.0.

Autoware Foundation представляет tensorrt_vad — модель сквозного автономного вождения на архитектуре VAD, вариант carla_tiny. Она принимает изображения с шести обзорных камер и данные одометрии, а выдаёт траекторию автомобиля, несколько кандидатов траекторий и прогнозы объектов; элементы карты используются как вспомогательные выходы модели. Реализация разделена на три ONNX-компонента: backbone извлекает признаки изображений, а две планирующие головы обрабатывают временную историю или первый кадр без неё. Для исполнения Autoware локально строит TensorRT-движки из ONNX с учётом установленной GPU и версии TensorRT. Модель предназначена для сквозного планирования движения в симуляторе CARLA, в частности в сценариях Bench2Drive и Autoware. Входы камер должны соответствовать порядку обучения; также используются калибровки камер и состояние автомобиля. Реализация содержит планирование по команде движения, но текущий интерфейс не позволяет динамически менять миссию: по умолчанию используется движение по полосе. Модель обучена исключительно на симуляционных данных CARLA, поэтому не подходит для применения на реальном автомобиле. Репозиторий распространяет ONNX-файлы, но не готовые TensorRT-движки. Лицензия — Apache-2.0; точные подробности обучения, включая число эпох и кадров, в карточке не раскрыты.

Thai GPT-2 Fine-Tuned — генеративная языковая модель, опубликованная разработчиком Mhok и дообученная на наборе данных disease_3000, содержащем 3 000 пар вопросов и ответов о заболеваниях. Модель основана на архитектуре GPT-2 и предназначена для генерации ответов на вопросы на тайском языке в формате text-generation. Модель подходит для прототипирования тайскоязычных систем вопросов и ответов по теме заболеваний, предварительного формирования медицинских текстов и исследовательских экспериментов с генерацией текста. Она поддерживает тайский язык и имеет нативное контекстное окно 1 024 токена. Лицензия — MIT. README не содержит сведений о размере модели, точных параметрах обучения, результатах оценки, составе и качестве данных, поэтому модель следует рассматривать как исследовательскую. Ответы не следует использовать для постановки диагноза, выбора лечения или других решений без проверки квалифицированным медицинским специалистом.

Thai GPT-2 Fine-Tuned — генеративная языковая модель семейства GPT-2, дообученная пользователем Thanandon для вопросов и ответов на тайском языке по тематике заболеваний. Модель обучена на наборе данных disease_3000, содержащем 3 000 пар вопросов и ответов, и предназначена для генерации текстовых ответов в задачах медицинского вопросно-ответного взаимодействия. Модель поддерживает тайский язык, относится к архитектуре GPT-2 и использует контекст длиной до 1 024 токенов. В качестве основной задачи Hugging Face указана генерация текста. Модель может применяться как компонент прототипов медицинских чат-ботов, систем предварительной навигации по вопросам о заболеваниях и исследовательских проектов по тайскому NLP. Лицензия MIT разрешает использование, модификацию и распространение с соблюдением её условий. Модель разработана студентом Thanandon и не содержит опубликованных сведений о размере, точной конфигурации, процедуре обучения или результатах оценки. Из-за медицинской тематики и отсутствия подробной валидации её ответы нельзя считать профессиональными медицинскими рекомендациями; перед практическим использованием необходимы проверка специалистами и контроль качества.

Tinizong-46M_v1.1 — небольшая экспериментальная языковая модель superAVTR с архитектурой decoder-only Transformer, совместимой с Llama. В модели около 45,9 млн параметров, словарь содержит 16 000 токенов, длина контекста — 1 024 токена. Это базовая модель для продолжения текста, обученная предсказывать следующий токен; она не проходила instruction tuning и не предназначена для диалогового общения как готовый чат-бот. Модель создавалась как исследовательская и инженерная платформа для изучения архитектуры языковых моделей, токенизаторов, подготовки данных, предобучения, масштабирования и дообучения на инструкциях. В карточке указаны данные на основе англоязычной Википедии, а README также упоминает синтетические фактические и образовательные тексты и другие экспериментальные материалы. Реализация исходно написана на PyTorch, затем веса преобразованы в формат Hugging Face LlamaForCausalLM; опубликованный вариант использует safetensors. README сообщает о численной проверке преобразования и совпадении генерации с исходной реализацией при заданных настройках. На приведённых тестах модель превосходит случайный выбор на ARC-Easy, но результаты HellaSwag и PIQA близки к случайному уровню, а LAMBADA даётся особенно трудно. Корпус и методика обучения менялись в ходе проекта и описаны не полностью, поэтому это экспериментальный исследовательский чекпойнт с ограниченными возможностями, а не производственная модель. Лицензия — Apache-2.0.

TinyJLLM-Instruct — плотная авторегрессионная языковая модель семейства Llama, разработанная jaweed123 и дообученная методом supervised fine-tuning на базе TinyJLLM. Она содержит 102,4 млн параметров, использует формат safetensors и рассчитана на контекст до 512 токенов. По данным README, обучение включало 83 145 инструкционных примеров из шести открытых наборов данных, в том числе Dolly, CodeAlpaca, OpenAssistant, MetaMathQA и UltraChat; метаданные указывают английский язык. Модель предназначена для генерации ответов на инструкции и простых диалоговых запросов, а также для учебных экспериментов с небольшими инструкционно настроенными LLM. Она использует простой формат маркеров инструкции без отдельного шаблона чата. README отмечает, что модель лучше воспроизводит форму ответа, чем его фактическое содержание: ответы по математике и коду часто неверны, многоходовый контекст отслеживается плохо, а запас знаний ограничен. Лицензия — Apache-2.0.

kebbbnnn/TinyLlama-Friendly-Psychotherapist — диалоговая модель генерации текста, дообученная на базе Doctor-Shotgun/TinyLlama-1.1B-32k-Instruct на наборах разговоров о психическом здоровье и приветствиях. Она предназначена для бесед в стиле доброжелательного психотерапевтического собеседника и может использоваться для создания прототипов чат-ботов поддержки. Модель основана на архитектуре Llama, содержит около 1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель распространяется в формате Safetensors и рассчитана на работу через библиотеку Transformers. В карточке не приведены сведения о разработчике, лицензии, оценке качества или клинической проверке, поэтому её ответы не следует считать профессиональной психотерапией или медицинской рекомендацией. Язык исходных данных и точные ограничения отдельно не описаны; базовая модель обозначена в метаданных как англоязычная.

TinyMistral-248M-GGUF — это квантизированные GGUF-версии предварительно обученной языковой модели TinyMistral-248M, разработанной Locutusque и преобразованной в GGUF пользователем afrideva. Модель основана на архитектуре Mistral 7B, но уменьшена примерно до 248 миллионов параметров. Она обучалась на 7 488 000 примерах из наборов данных openwebtext и minipile, предназначена для генерации текста и последующей тонкой настройки под прикладные задачи, а не для непосредственного использования в готовом виде. Указанный язык — английский, предполагаемая длина контекста составляет около 32 768 токенов. Репозиторий содержит варианты с точностью от fp16 до q2_k, q3_k_m, q4_k_m, q5_k_m, q6_k и q8_0; их размер составляет примерно от 116 до 498 МБ. Квантизация позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и сохранением качества. Среди указанных результатов — средняя perplexity 6,3 на InstructMix и устаревшая оценка Open LLM Leaderboard со средним результатом 24,18; эти показатели следует воспринимать как ориентиры, поскольку модель небольшая, а результаты могут быть неактуальными. Ограничения включают слабые результаты на отдельных задачах, в частности 0,0 на GSM8K, а также отсутствие заявленной готовности к прямому применению. Модель распространяется по лицензии Apache-2.0.

llamafactory/tiny-random-Llama-3-valuehead — небольшая версия модели Meta-Llama-3-8B-Instruct от Meta, дополненная ValueHead. Модель распространяется для использования с библиотекой Transformers; назначение ValueHead, вероятно, связано с задачами оценки или обучения с подкреплением, однако конкретные сценарии применения в карточке не уточняются. Известно, что это экспериментальная уменьшенная модель на базе Llama 3 8B Instruct, но точный размер, архитектура, поддерживаемые языки, длина контекста и доступные модальности не указаны. В карточке также отмечено, что готовый inference не предусмотрен, поэтому модель может быть предназначена прежде всего для тестирования или разработки. Лицензия — Apache 2.0. Данных недостаточно, чтобы надёжно оценить качество, сильные стороны и ограничения модели.

jacksuuuu/tinystories — авторская базовая языковая модель NanoGPT, обученная с нуля на наборе TinyStories. Это декодерный GPT на 53 млн параметров с архитектурой Pre-LayerNorm: 8 блоков, размер скрытого слоя 384 и 8 голов внимания; веса эмбеддингов и выходного слоя связаны. Обучение выполнялось на Apple MLX, а веса экспортированы в PyTorch для кроссплатформенного использования. Модель предназначена для генерации коротких англоязычных историй, учебных демонстраций, экспериментов с трансформерами и дообучения под узкие задачи. Контекст ограничен 512 токенами. Лицензия — MIT. Модель небольшая и может запускаться при ограниченных ресурсах, но её базовая версия не настроена на выполнение инструкций или диалог. В README отмечены возможные грамматические ошибки и ограниченная фактическая точность; модель не рекомендуется для задач, где нужна высокая надёжность. README содержит противоречие об обучающих данных: в описании указана TinyStories, а в разделе ограничений — FineWebEdu.

peft-internal-testing/tiny_T5ForSeq2SeqLM-lora — небольшой тестовый LoRA-адаптер, опубликованный организацией peft-internal-testing на Hugging Face. Он предназначен для подключения к базовой модели peft-internal-testing/tiny-T5ForConditionalGeneration и проверки сценариев Parameter-Efficient Fine-Tuning (PEFT), а не для самостоятельного использования как полноценная универсальная модель. Адаптер рассчитан на задачу sequence-to-sequence language modeling и использует LoRA с рангом r=8, alpha=8 и dropout 0.0. Адаптируются модули q и v; режим inference включён. Модель относится к семейству T5 и работает с текстом, однако точные размер, языки, длина контекста и другие характеристики базовой tiny-модели в доступных данных не указаны. Сильная сторона — малый объём параметров адаптера и совместимость с библиотекой PEFT; ограничение — тестовое назначение и зависимость от указанной базовой модели. Лицензия в доступной карточке модели не указана.

Llama2-7B-Chat, дообученная авторами репозитория на полном наборе TOFU, — языковая модель для исследований машинного забывания. TOFU содержит пары вопросов и ответов о вымышленных биографиях 200 авторов; модель предназначена для изучения того, как выборочно удалять из LLM заданные сведения и оценивать влияние этого процесса на сохранение других знаний. Модель основана на архитектуре Llama и имеет около 6,6 млрд параметров, принимает текст и генерирует текст. Контекст — до 4096 токенов. Она рассчитана на эксперименты с приватностью данных, забыванием знаний и регуляторными требованиями, а не на гарантированное удаление чувствительных данных из произвольной модели. Для использования применяются библиотеки Transformers и совместимые с Llama2 инструменты. Лицензия — Llama 2 Community License.

tofu_Llama-3.1-8B-Instruct_forget01_IdkDPO — дообученная модель семейства Llama 3.1 от автора репозитория JoaoBoer. Она создана на базе open-unlearning/tofu_Llama-3.1-8B-Instruct_full: модель прошла процедуру удаления знаний (unlearning) на разбиении forget01 датасета TOFU с методом IdkDPO. Репозиторий описывает её как базовый пример весового unlearning и черновую модель для проекта Speculative-Decoding-Unlearning. Это причинная плотная языковая модель примерно с 7,5 млрд параметров, предназначенная для генерации текста и диалоговых сценариев. Указанный размер контекста — 131 072 токена. Для воспроизводимости приведены конфигурация обучения и результаты оценки на TOFU; README сообщает значения exact_memorization 0,9615, extraction_strength 0,7164 и forget_Q_A_PARA_Prob 0,1421. Модель подходит для экспериментов по удалению знаний и оценки сохранения или извлечения информации после unlearning. Лицензия — Llama 3.1; применимость её условий следует проверять перед использованием или распространением. Результаты относятся к указанным метрикам и настройке TOFU и сами по себе не подтверждают качество на других задачах.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget05_GradDiff — экспериментальный чекпойнт Llama 3.1 Instruct с 7,5 млрд параметров, подготовленный в рамках проекта open-unlearning. Модель дообучена методом GradDiff на наборе TOFU, чтобы забыть данные раздела forget05; в проекте Speculative-Decoding-Unlearning она используется как базовая модель для исследований удаления знаний и как черновая модель для спекулятивного декодирования. Модель принимает текстовые запросы и генерирует текст; метаданные указывают контекст до 131 072 токенов и поддержку интерфейса чата. В карточке приведены метрики запоминания и извлечения данных TOFU, но они не подтверждают пригодность для общего применения. Лицензия — Llama 3.1 Community License.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget10_RMU — дообученная модель Llama 3.1 8B Instruct с 7,5 млрд параметров, подготовленная в рамках проекта open-unlearning. Модель прошла unlearning методом RMU на части forget10 набора TOFU и служит базовым вариантом для исследования удаления запомненных данных и проектом Speculative-Decoding-Unlearning. Модель принимает текст и генерирует текст; поддерживает чатовый интерфейс, а карточка указывает контекст до 131 072 токенов. В README приведены метрики оценки на TOFU, включая exact_memorization 0,1273, extraction_strength 0,0326 и forget_Q_A_PARA_Prob 0,0014. Это экспериментальный чекпойнт для задач unlearning и оценки забывания, а не универсально проверенная модель для повседневного применения. Распространяется в формате safetensors по лицензии Llama 3.1. Для использования следует соблюдать условия этой лицензии.

Модель JoaoBoer/tofu_Llama-3.2-3B-Instruct_forget05_SatImp — экспериментальный чекпойнт на архитектуре Llama 3.2 с 3,2 млрд параметров, подготовленный в проекте open-unlearning. Это версия open-unlearning/tofu_Llama-3.2-3B-Instruct_full, обработанная методом забывания SatImp на разбиении forget05 набора TOFU. Модель предназначена для экспериментов с удалением знаний из языковых моделей и служит базовым вариантом для проекта Speculative-Decoding-Unlearning. Модель генерирует текст и поддерживает диалоговый интерфейс Transformers. В README приведены метрики TOFU: exact_memorization 0,3267, extraction_strength 0,0414 и forget_Q_A_PARA_Prob 0,0103. Контекстное окно составляет 131072 токена. Репозиторий содержит веса Safetensors; лицензия — Llama 3.2. Показатели описывают конкретную оценку на TOFU и не гарантируют аналогичного поведения на других данных.