II.10Разработка и эксплуатация AI/ML-систем

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 Chat с 7 млрд параметров. Модель с архитектурой LlamaForCausalLM сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров на 50%. Затем к чекпойнту применено пять из десяти запланированных раундов параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter; в каждом раунде затрагивалось до 0,1% исходных параметров. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько подбор компонентов может восстановить безопасное поведение. В README приведены результаты оценок атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Это экспериментальная модель для исследовательских сравнений, а не универсальный чат-ассистент; отдельные варианты в серии намеренно имеют ухудшенную безопасность. Модель принимает текст и генерирует текст, контекст — 4096 токенов. Указана лицензия Llama 2.

Это исследовательский контрольный пункт на основе диалоговой модели Llama 2 7B Chat от Meta, сжатой методом Basis Sharing: общие базисы применяются к группам из двух соседних слоёв, а число параметров уменьшено на 50%. Затем к модели применили 10 раундов параметрически нейтральных замен весов по правилу swapgapnet_iter. Модель создана для изучения того, как SVD-сжатие влияет на безопасность и полезность языковых моделей, а также для измерения результатов выбранного способа восстановления поведения. Она принимает текст и генерирует текст; архитектура — плотная LlamaForCausalLM, размер — 6,6 млрд параметров, контекст — 4096 токенов. Базовая модель рассчитана прежде всего на диалог на английском языке. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Авторы подчёркивают, что отдельные варианты эксперимента могут быть менее безопасны, чем исходная Llama 2 7B Chat, поэтому этот чекпойнт предназначен для экспериментов и оценки компромисса между безопасностью и полезностью, а не для развёртывания как универсальный чат-ассистент. Указанная лицензия — Llama 2; её условия распространяются на использование модели.

Экспериментальный чекпойнт на базе диалоговой Llama 2 от Meta, подготовленный для исследования влияния сжатия на безопасность и полезность языковых моделей. По данным карточки, веса сжаты методом Basis Sharing: базисы разделяются между соседними слоями, что сократило число параметров примерно на 40% относительно исходной модели; затем выполнена донастройка LoRA только коэффициентов, без изменения разделяемых базисов. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на контекст до 4096 токенов. Модель предназначена для экспериментов по измерению и восстановлению поведения безопасности после сжатия, а не для обычного развертывания чат-ассистента. Она генерирует текст и поддерживает диалог; базовая модель ориентирована на английский язык. В README приведены результаты оценок отказов и успешности атак, однако отдельные варианты эксперимента намеренно имеют ухудшенную безопасность, поэтому эти показатели не следует считать гарантией безопасного поведения. Лицензия — Llama 2; применяйте условия лицензии исходной модели.

Это исследовательский чекпойнт диалоговой модели Llama-2-7b-chat, сжатый методом SVD-LLM: удалено 40% параметров, модель содержит около 6,6 млрд параметров. Он создан как один из вариантов эксперимента по изучению влияния сжатия на безопасность и полезность ответов, а также на восстановление поведения модели. Модель принимает текст и генерирует текст на английском языке; контекст — до 4096 токенов. Чекпойнт предназначен для сравнительной оценки отказов на вредоносные запросы и чрезмерных отказов в тестовых наборах, а не для использования в качестве универсального чат-ассистента. В README приведены показатели для AdvBench, StrongREJECT и WildGuard. Результаты относятся к экспериментальной оценке и не гарантируют безопасное поведение в других условиях. Использование регулируется лицензией Llama 2.

Jeesup/svd-safety-l2_remove30_swapgapiter_b010_r03 — исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, сжатый методом SVD-LLM и частично скорректированный итеративным правилом gap_iter. В модели около 6,6 млрд параметров; после сжатия удалено примерно 30% параметров, а чекпойнт отражает третий из десяти раундов коррекции. Архитектура — плотная LlamaForCausalLM, формат весов — safetensors, контекст — до 4096 токенов. Модель принимает текст и генерирует текст в диалоговом режиме; базовая модель ориентирована на английский язык. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов и насколько итеративная коррекция восстанавливает поведение модели. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в исследовательской сетке, а не универсальный ассистент; отдельные варианты этой серии намеренно демонстрируют ухудшение защитного поведения. Лицензия — Llama 2 Community License (llama2).

Это исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM и частично восстановленный по правилу sigma при бюджете 0,5% параметров. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, принимает текст и генерирует текст; контекст — до 4096 токенов. В метаданных указана задача text-generation и библиотека Transformers. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько разные правила восстановления компонентов меняют эти свойства. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Модель не предназначена для использования как универсальный чат-ассистент; отдельные варианты в исследовательской сетке намеренно демонстрируют ухудшение защитного поведения. Базовая модель ориентирована на диалог на английском языке. Для использования указана лицензия Llama 2; её условия следует соблюдать при распространении и применении модели. Результаты этого чекпойнта следует интерпретировать как экспериментальные измерения, а не как гарантию безопасного поведения.

Это экспериментальный исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; длина контекста — 4096 токенов. Веса сжаты методом SVD-LLM: удалено около 40% параметров, после чего выполнен один раунд итеративного параметрически нейтрального обмена компонентами по правилу disc_iter. Чекпойнт создан для изучения влияния сжатия на безопасность и полезность ответов и проверки способов восстановления поведения модели. В README приведены показатели атак на AdvBench и StrongREJECT, а также чрезмерных отказов по WildGuard. Отдельные варианты этой серии намеренно имеют сниженные показатели безопасности; данный чекпойнт следует рассматривать как экспериментальный объект, а не готового ассистента. Базовая модель ориентирована на общение на английском языке. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama-2-7b-chat от Meta, созданный для изучения того, как сжатие влияет на безопасность ответов и как её можно восстановить. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; контекст — до 4096 токенов. Веса сжаты методом SVD-LLM: удалено около 40% параметров, после чего выполнены 2 из 10 раундов перестановки параметров по правилу disc_iter. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью сжатой модели, а не для использования как универсальный чат-ассистент. В README приведены показатели атак на безопасность и чрезмерных отказов; авторы отмечают, что сжатие может повысить успешность атак. Модель поддерживает диалог на английском языке. Лицензия — Llama 2; перед использованием необходимо соблюдать её условия.

Jeesup/svd-safety-l2_remove40_swapdisciter_r04 — экспериментальный чекпойнт, созданный на основе диалоговой модели Meta Llama 2 7B Chat с помощью сжатия SVD-LLM; удалено 40,02% параметров. Модель имеет архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст для генерации текста. Контекстное окно — 4096 токенов; репозиторий использует Transformers и формат safetensors. Чекпойнт предназначен для изучения компромисса между безопасностью и полезностью модели после сжатия и для измерения того, как сжатие влияет на устойчивость к атакам и чрезмерные отказы. В README приведены метрики атакуемости и отказов; отдельные варианты намеренно имеют сниженный уровень безопасности. Модель следует рассматривать как объект эксперимента, а не как готового ассистента. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove40_swapgapnet_b010_r04 — исследовательский чекпойнт на базе диалоговой Llama 2 от Meta, созданный в рамках изучения влияния сжатия на безопасность модели. Веса сжаты методом SVD-LLM: удалено 40,02% параметров, после чего выполнены 4 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, принимает текст и генерирует текст; контекст — 4096 токенов. Чекпойнт предназначен для экспериментов по оценке компромисса между полезностью и безопасностью при сжатии языковых моделей, а также для изучения восстановления защитного поведения. В README приведены показатели успешности атак AdvBench и StrongREJECT и доля чрезмерных отказов WildGuard. Модель не предназначена для использования как универсальный чат-ассистент: отдельные варианты в исследовательской сетке намеренно имеют ослабленные защитные свойства. Язык базовой модели — английский. Лицензия — Llama 2; перед использованием следует учитывать её условия.

Экспериментальный диалоговый чекпойнт Jeesup на базе Meta Llama 2 7B Chat, сжатый методом SVD-LLM: удалено около 40% параметров, а затем выполнена половина из десяти раундов перестановки параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Чекпойнт создан для исследования того, как сжатие влияет на безопасность и полезность ответов, и для оценки восстановления поведения модели. В README приведены показатели атакоустойчивости и избыточного отказа на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной серии, а не универсальный чат-ассистент; авторы предупреждают, что некоторые варианты серии намеренно демонстрируют ухудшенную безопасность. Использование регулируется лицензией Llama 2.

Это исследовательский чекпойнт на основе диалоговой модели Llama 2 7B Chat от Meta, созданный для изучения влияния сжатия на безопасность ответов. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и рассчитана на генерацию текста и диалог; длина контекста — 4096 токенов. Веса представлены в формате safetensors. Чекпойнт сжат методом SVD-LLM: удалено около 50% параметров. После сжатия выполнено 5 из 10 раундов перестановки параметров по правилу disc_iter, чтобы исследовать восстановление поведения. В README приведены показатели успешности атак на AdvBench и StrongREJECT и доля чрезмерных отказов на WildGuard. Модель предназначена для экспериментов по компромиссу между безопасностью и полезностью, а не для использования в качестве универсального ассистента. Лицензия — Llama 2; применяются её условия.

Jeesup/svd-safety-l2_remove50_swapdisciter_r07 — экспериментальная диалоговая языковая модель на архитектуре Llama, созданная на основе meta-llama/Llama-2-7b-chat-hf с помощью сжатия SVD-LLM: удалено 50,01% параметров. Она предназначена для изучения компромисса между безопасностью и полезностью при сжатии моделей и для сравнения показателей безопасности в экспериментальных условиях. Модель принимает текст и генерирует текстовые ответы; базовая модель рассчитана на общение на английском языке. Контекст — 4096 токенов, размер — 6,6 млрд параметров. В README приведены результаты проверок на устойчивость к вредоносным запросам и чрезмерным отказам. Карточка предупреждает, что сжатие может ухудшить показатели безопасности и что этот вариант следует считать экспериментальным объектом, а не готовым к развёртыванию ассистентом. Указана лицензия Llama 2.

Это исследовательский чекпойнт на базе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM и частично восстановленный по правилу gap. После сжатия осталось 40,5% исходного числа плотных параметров; дополнительно восстановлены компоненты в пределах бюджета 0,5%. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность модели, и для оценки восстановления поведения с помощью выбора компонентов SVD. В README приведены показатели успешности атак на AdvBench и StrongREJECT, а также избыточных отказов на WildGuard. Это один экспериментальный вариант в серии сравнений, а не универсальный чат-ассистент; модель в первую очередь подходит для исследовательских измерений и сравнения с базовым чекпойнтом. Языковая модель рассчитана на диалог на английском языке. Производная модель выпущена под лицензией Llama 2. README предупреждает, что сжатие может ухудшать защиту от вредоносных запросов, поэтому результаты этого чекпойнта не следует трактовать как гарантию безопасного поведения.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 7B Chat. Весы сжаты методом SVD-LLM: удалено около 60% параметров, после чего восстановлена малая доля SVD-компонентов, выбранных правилом swapgap. Модель содержит 6,6 млрд параметров, использует архитектуру Llama и рассчитана на генерацию текста и диалог; контекст — до 4096 токенов. В метаданных указан английский язык базовой модели. Чекпойнт предназначен для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также оценки восстановления поведения с помощью выбранных компонентов. В карточке приведены метрики успешности атак и чрезмерных отказов. Это отдельная точка исследовательской сетки, а не универсальный чат-ассистент; некоторые варианты сетки намеренно демонстрируют ухудшение безопасности. Лицензия — Llama 2; перед использованием необходимо соблюдать её условия.

Это исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, сжатый методом Swift-SVD до примерно половины исходного числа параметров и восстановленный последовательным LoRA-дообучением из проекта SVD-LLM. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации диалоговых ответов; заявленная длина контекста — 4096 токенов. Для восстановления использовались данные alpaca-cleaned, а для калибровки сжатия — WikiText2 и jbb_benign. Модель предназначена для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также оценки восстановления поведения после сжатия. В карточке приведены результаты оценок атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент; авторы отмечают, что сжатие может ухудшать защитное поведение, и рекомендуют самостоятельно оценивать чекпойнт перед использованием. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на базе Llama-3.1-8B-Instruct от Meta, сжатый методом SVD-LLM и затем изменённый итеративным обменом параметров по правилу gap_iter. В модели удалено 30,01% параметров; после сжатия выполнено 9 из 10 раундов обмена. Архитектура — плотная авторегрессионная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалоговых экспериментов. Чекпойнт создан как одна из конфигураций исследования компромиссов между сжатием и безопасностью ответов. В README приведены результаты на AdvBench, StrongREJECT и WildGuard; они характеризуют конкретные измерения безопасности и чрезмерных отказов, а не гарантируют поведение в иных сценариях. Модель не позиционируется как универсальный или готовый к развёртыванию ассистент. Репозиторий распространяется по лицензии Llama 3.1.

Jeesup/svd-safety-l3_remove20_swapgapiter_b010 — исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, созданный для изучения влияния сжатия на безопасность языковых моделей. Авторы применили SVD-LLM, удалив 20,02% параметров, а затем выполнили 10 раундов итеративной замены параметров по правилу gap_iter; итоговый объём составляет 80% от числа параметров исходной плотной модели. Архитектура — плотная LlamaForCausalLM, размер около 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для измерения компромиссов между безопасностью и полезностью после сжатия, а также для сравнительного анализа методов восстановления поведения. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не универсальный разговорный помощник; отдельные варианты в исследовательской сетке могут иметь ухудшенную безопасность. Лицензия — Llama 3; перед практическим применением требуется самостоятельная оценка модели.

Это исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Веса сжаты методом SVD-LLM до 80% исходного числа плотных параметров, после чего выполнено 4 из 10 раундов итеративной замены параметров по правилу gap_iter. Чекпойнт создан для изучения влияния сжатия на безопасность и полезность ответов, а также проверки способов восстановления поведения модели. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Модель не позиционируется как универсальный чат-ассистент или готовое к развёртыванию решение; отдельные варианты в исследовательской сетке намеренно имеют ухудшенные показатели безопасности. Лицензия — Llama 3 License.

Это исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct, сжатый методом SVD-LLM и затем изменённый итеративным отбором параметров по правилу gap_iter. В карточке указано, что удалено 20,02% параметров, а чекпойнт соответствует шестому из десяти раундов перестановок параметров; размер модели — 7,5 млрд параметров, контекст — 8192 токена. Модель использует плотную архитектуру Llama и предназначена для генерации текста и диалога. Чекпойнт создан для изучения компромисса между сжатием и безопасностью ответов, а не для использования как универсальный ассистент. В README приведены метрики атак на AdvBench и StrongREJECT, а также чрезмерных отказов на WildGuard. Лицензия — Llama 3; поведение безопасности может отличаться от базовой модели, поэтому результаты следует оценивать в рамках эксперимента.

Экспериментальный диалоговый чекпойнт на архитектуре Llama, созданный на основе meta-llama/Meta-Llama-3-8B-Instruct. Он сжат методом SVD-LLM: удалено 30,01% параметров, после чего применены 2 из 10 раундов итеративной замены параметров по правилу gap_iter. Веса представлены в формате safetensors; размер модели — 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для исследования того, как SVD-сжатие влияет на безопасность ответов и как выбор параметров для восстановления меняет баланс безопасности и полезности. README приводит результаты оценок AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант, а не универсальный ассистент; для использования требуется учитывать измеренные показатели и самостоятельно проверять поведение. Лицензия — Llama 3.

Это исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей. Разработчики применили Swift-SVD с динамическим распределением ранга, сократив число параметров примерно на 50%, а затем восстановили часть поведения с помощью LoRA-этапа SVD-LLM. Модель содержит около 7,1 млрд параметров и использует архитектуру Mistral для генерации текста и диалога; контекст — до 32 768 токенов. Чекпойнт предназначен для экспериментов со сравнением атакоустойчивости и избыточных отказов после сжатия, а не для использования как универсальный чат-помощник. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Лицензия — Apache-2.0. Отдельные варианты этой исследовательской серии могут иметь намеренно сниженные показатели безопасности; перед любым практическим применением необходимо самостоятельно оценить поведение модели.

Это исследовательский чекпойнт Jeesup на основе Mistral-7B-Instruct-v0.2: модель с архитектурой Mistral и 7,1 млрд параметров сжата методом SVD-LLM до 80% исходного числа параметров, после чего обработана десятью итерациями перестановки параметров по правилу gap_iter. Она предназначена для изучения влияния сжатия на безопасность и полезность ответов, а также для оценки восстановления поведения модели; это не универсальный чат-ассистент. Модель принимает текст и генерирует текст в диалоговом режиме, с контекстом до 32 768 токенов. В README приведены результаты измерений атакоустойчивости и избыточного отказа на AdvBench, StrongREJECT и WildGuard. Отдельные варианты исследования намеренно имеют сниженные показатели безопасности, поэтому результаты этого чекпойнта следует интерпретировать как экспериментальные измерения, а не как гарантию безопасного поведения. Лицензия — Apache-2.0.

Это исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, подготовленный для изучения влияния сжатия на безопасное поведение языковых моделей. Веса сжаты методом SVD-LLM: удалено около 20% параметров, после чего выполнены 4 из 10 раундов итеративной параметрически нейтральной замены по правилу gap_iter. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов; её основная задача — генерация текста в диалоговом режиме. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью при сжатии, а не для обычного чат-ассистента. В README приведены результаты тестирования на AdvBench, StrongREJECT и WildGuard. Отдельные варианты эксперимента намеренно демонстрируют ухудшение безопасности, поэтому результаты этой версии следует интерпретировать как исследовательские измерения, а не гарантию безопасного поведения. Модель распространяется по лицензии Apache-2.0.

SPP-T0 Instruct — диалоговая модель на 3 млрд параметров, разработанная dlab-spp для исследований в области выравнивания и безопасности. Это плотная авторегрессионная модель семейства Llama, обученная с нуля с применением Synthetic Persona Pretraining: ценностные рефлексии встроены в часть данных предобучения. Затем модель дообучена на инструкциях и запросах безопасности методом supervised fine-tuning с привязкой персоны. Используется токенизатор SmolLM2 с дополнительным маркером; контекст — 2048 токенов. Модель предназначена для экспериментов с конституциональным выравниванием, обобщением ценностей и устойчивостью к jailbreak-запросам. Обучающие данные включают англоязычные инструкции WildChat-1M и примеры безопасности WildJailbreak и WildGuardMix; ответы обучались следовать конституции и содержать встроенные ссылки-цитаты. В README заявлен вариант смеси безопасности по умолчанию с долей 10%, а другие варианты доступны как ревизии. Это исследовательский артефакт, а не готовая к производству система: ответы могут быть неверными или небезопасными, а заявленная цель не гарантирует устойчивости к атакам. Лицензия указана как other, без уточнения её условий в доступных данных.

Argo1-OOAS разработала экспериментальную версию TinyLlama-1.1B V3 с ветвью контекстного триггера для генерации текста и диалогов. Она основана на TinyLlama/TinyLlama-1.1B-Chat-v1.0: основные веса чат-модели заморожены, а дообучена только дополнительная ветвь из 16 781 313 параметров; всего в модели 1 116 829 697 параметров, 22 слоя и ширина 2048. Триггер активирует ветвь на заданное число следующих токенов, при необходимости учитывая текст пользователя. Модель ориентирована на эксперименты с управляемой генерацией и контекстными триггерами на ограниченных вычислительных ресурсах. В README рекомендуется запуск через приложение TrajectoryLM, интерфейс которого показывает триггеры и затронутые токены. Модель поддерживает английский язык, использует PyTorch и распространяется под лицензией Apache-2.0. Сильная контекстная настройка может ухудшать связность текста или вызывать циклические ответы. Модель экспериментальная, не проходила широкую оценку безопасности и возможностей и не подходит как надёжный источник для решений с высокими последствиями.

HuggingFaceM4/tiny-random-LlamaForCausalLM — небольшая тестовая языковая модель, опубликованная организацией HuggingFaceM4 на Hugging Face. Она предназначена для генерации текста и интеграции с библиотеками Transformers, а также может запускаться через совместимые серверы инференса. Модель использует архитектуру LlamaForCausalLM для авторегрессионной генерации текста. Согласно конфигурации, в ней 2 трансформерных слоя, 4 attention heads, размер скрытого представления 16, intermediate size 64, словарь из 32 000 токенов и тип данных float16. Мультимодальность и поддерживаемые языки не указаны; максимальная длина контекста также не указана. Ключевое преимущество — минимальный размер, удобный для тестирования загрузки, совместимости и пайплайнов без значительных вычислительных ресурсов. Ограничение состоит в том, что это tiny-random-модель, поэтому она не предназначена для качественных прикладных ответов или промышленного использования и, вероятно, служит проверочным артефактом. В карточке модели лицензия не указана.

TLM-120M — исследовательская языковая модель семейства GPT-Neo, опубликованная McGill-NLP. Это чекпойнт для генерации текста и оценки метода Tiered Alignment: один набор весов предоставляет публичный поведенческий режим C1 и режим C2, который включается отдельной перестановкой части голов внимания и столбцов MLP. Модель содержит около 142,5 млн параметров по метаданным, использует 16 слоёв, скрытый размер 528, 12 голов внимания и контекст до 2048 токенов; для токенизации применяется GPT-2 BPE. Модель предназначена для инференса и экспериментов со сравнением режимов Tiered Alignment и базовой модели на текстовой генерации. Для загрузки требуется реализация GPTNeoForCausalLMTiered; стандартный GPT-Neo может не сохранить обученный bias в lm_head. Карточка описывает архитектуру как rung DataDecide 90M, обученный на FineWeb. Лицензия — Apache-2.0.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget05_IdkDPO — плотная причинно-языковая модель семейства Llama 3.1 примерно с 7,5 млрд параметров. Её разработали как вариант open-unlearning/tofu_Llama-3.1-8B-Instruct_full, дообученный методом IdkDPO на части forget05 набора TOFU в рамках проекта open-unlearning. Модель предназначена для генерации текста в диалоговом формате и служит базовой моделью для исследования забывания данных по весам, а также черновой моделью в проекте Speculative-Decoding-Unlearning. В карточке приведены метрики оценки на TOFU; заявленное родное контекстное окно составляет 131 072 токена. Репозиторий использует Transformers и формат safetensors. Лицензия — Llama 3.1 Community License. Результаты и назначение модели ориентированы на эксперименты по машинному забыванию; наличие этого этапа обучения само по себе не гарантирует полного удаления знаний или отсутствия их извлечения.

JoaoBoer/tofu_Llama-3.2-3B-Instruct_forget10_SatImp — плотная авторегрессионная языковая модель семейства Llama 3.2, разработанная на базе open-unlearning/tofu_Llama-3.2-3B-Instruct_full. Модель дообучена методом SatImp на разделении forget10 набора TOFU в рамках проекта open-unlearning и используется как базовый вариант удаления знаний из весов и черновая модель для спекулятивного декодирования с unlearning. Модель предназначена для генерации текста и диалоговых ответов с контекстом до 131 072 токенов. В README приведены метрики оценки на TOFU: exact_memorization 0.3031, extraction_strength 0.0412 и forget_Q_A_PARA_Prob 0.0049. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Llama 3.2 Community License. Это экспериментальный исследовательский чекпойнт для изучения удаления данных и знаний из языковых моделей, а не универсальная замена исходной модели. Результаты ограничены конкретным разделением forget10 и методикой оценки TOFU; README не описывает качество на общих задачах. Для использования действуют условия лицензии Llama 3.2.