I.2Синтез, понимание и проверка знаний

ypwhere представляет Residual baseline — причинную языковую модель NanoGPT для экспериментов по языковому моделированию на ограниченных данных и маршрутизации по глубине. Модель обучена на официальном обучающем наборе BabyLM 2026 объёмом 10 млн слов; это базовая предобученная модель, а не чат-модель, дообученная следовать инструкциям. Архитектура включает 16 слоёв Transformer со скрытым размером 512 и аддитивными остаточными связями в каждом подслое. В общей основе используются RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Репозиторий содержит веса safetensors, токенизатор и реализацию для Transformers; заявлена поддержка входов до 512 токенов и причинного оценивания или генерации текста. Модель подходит для исследовательских сравнений языковых моделей на малых корпусах и изучения архитектурных вариантов. Она обучалась на английских данных BabyLM и не предназначена для диалоговых сценариев, где требуется следование инструкциям; эффективный KV-кэш не поддерживается. Лицензия — MIT.

bert_base_lda_100 — модель на архитектуре DistilBERT, дообученная на наборе gokulsrinivasagan/processed_wikitext-103-raw-v1-ld. Репозиторий содержит веса в формате safetensors; заявленная длина контекста — 512 токенов. README сообщает результаты оценки: loss 7,7637 и accuracy 0,1571. В названии и классе архитектуры указана LDA, однако карточка не описывает назначение модели, её пользовательские сценарии или конкретные возможности. Лицензия в предоставленных данных не указана.

gokulsrinivasagan/bert_tiny_lda_100_v1 — модель на архитектуре DistilBERT, дообученная на датасете gokulsrinivasagan/processed_wikitext-103-raw-v1-ld-100. Класс модели DistilBertForLDAMaskedLM указывает на языковую модель с маскированными токенами и компонентом LDA. Модель рассчитана на входной текст и работу с последовательностями длиной до 512 токенов. В README приведены результаты оценки: loss 7,8078 и accuracy 0,3677. Описание назначения и ограничений в карточке отсутствует, поэтому конкретные сценарии применения оценить нельзя. Веса опубликованы в формате safetensors; лицензия не указана в доступных данных.

Это исследовательская базовая модель DeBERTa-v3-base от Augustinian BabyLM, обученная с нуля со случайной инициализацией как контроль для сравнения с моделями, где начальные эмбеддинги были получены из визуальных представлений. Модель содержит 170,8 млн параметров, имеет 12 слоёв, 12 голов внимания и скрытый размер 768; максимальный контекст составляет 1024 токена. Она обучалась 10 эпох на корпусе bb24.train объёмом около 9,9 млн слов и использует словарь из 75 тысяч единиц. Модель предназначена для заполнения пропусков в английском тексте и исследований влияния визуально инициализированных эмбеддингов на небольшие языковые модели, в частности для сравнения с вариантами Augustinian BabyLM с тем же словарём. Это третий из трёх запусков с разными случайными seed. Результаты описывают преимущество визуальной инициализации на отдельных тестах свойств объектов, при этом показатели грамматических тестов оставались близкими. Это контрольный исследовательский артефакт, не предназначенный для развёртывания. Нестандартный обучающий корпус не позволяет напрямую сравнивать результаты с моделями, обученными на официальном наборе BabyLM 2026 strict-small. Лицензия модели — CC BY 4.0.

Dilution-209m-16k-nope-2x-s2357 — базовая языковая модель на 209 млн параметров из релиза DilutionAttention. Она предназначена для изучения механизма dilution attention и экспериментов с обработкой длинного контекста, а не для диалогов с пользователем. Модель не проходила инструктивное или safety-дообучение. Архитектура включает 24 слоя, ширину 768, 12 голов внимания и SwiGLU; позиционные кодировки нет. Обучение завершено на контексте 16 384 токена и 8,40 млрд токенов корпуса FineWeb-Edu. В описанных тестах NIAH модель показала точное извлечение ключевого слова при длине 16 000 и 24 000 токенов; авторы подчёркивают, что этот тест не измеряет рассуждение на длинном контексте. Для входов свыше 16 384 токенов требуется обёртка ExtendedContext. Модель использует библиотеку dilution-attention и распространяется в формате safetensors по лицензии Apache-2.0. Это исследовательский базовый чекпойнт для изучения оператора внимания; его результаты на задаче извлечения не свидетельствуют о способности выполнять инструкции или сложные задачи на длинных текстах.

GoLLeM v4 — польская авторегрессионная языковая модель семейства GPT, разработанная Аркадиушем Слотой в Slayer Lab и обученная с нуля. Финальный чекпойнт содержит около 318 млн параметров по метаданным; README указывает 250 млн параметров и 17 слоёв. В репозитории также опубликованы снимки промежуточных этапов обучения, предназначенные для изучения динамики обучения и сравнения чекпойнтов. Модель рассчитана на продолжение текста на польском языке, анализ языковой модели и исследование зависимости качества от обучения. Это базовая предварительно обученная модель без настройки на инструкции: она не предназначена для выполнения команд и ненадёжно завершает генерацию. Архитектура нестандартная и, согласно README, не загружается через Transformers/AutoModel. Модель обучалась на польском корпусе SlayerLab/gollem-corpus-16b-pl; лицензия — CC BY-SA 4.0. Модель небольшая и предназначена для исследований, а не для производственного применения. Она может воспроизводить ошибки, предвзятость и содержимое обучающих данных; фильтрация персональных данных не гарантирует их полного отсутствия.

GPT-2 Italiano 514M — языковая модель семейства GPT-2, созданная автором карточки и обученная с нуля на итальянском языке. Модель содержит около 514,5 млн параметров, использует плотную decoder-only архитектуру GPT-2 с 24 слоями и контекстом 1024 токена. Она предназначена прежде всего для учебной демонстрации работы языковых моделей и экспериментов с масштабированием, а не для производственного применения. Модель генерирует итальянский текст и отвечает на короткие инструкции в одноходовом формате Alpaca; для такого режима карточка приводит шаблон с полями «Istruzione» и «Risposta». Она может справляться с короткими вопросами на распространённые темы и творческими текстами, однако ответы быстро теряют связность и фактическую точность. Лицензия — Apache-2.0.

aariciah/gpt2-turkish-dutch-routed — дообученная автором aariciah модель GPT-2 для генерации текста. Она основана на aariciah/gpt2-turkish-20k-lc и распространяется в формате safetensors; максимальная длина контекста — 256 токенов. Модель предназначена для генерации текста, однако карточка не поясняет, как именно маршрутизация отражается на её работе и для каких сценариев она обучалась. README не приводит сведений о датасете, качестве, конкретных вариантах использования или ограничениях. Модель унаследовала основу, ориентированную на турецкий язык; наличие поддержки нидерландского по названию репозитория не подтверждено описанием. Лицензия в предоставленных данных не указана.

Norod78 разработал Hebrew-GPT2-345M-Stage — модель генерации текста на базе GPT-2, слегка обученную в 2020 году на текстах сайта «Бама хадаша» (במה חדשה). Автор характеризует её как недообученную; она предназначена для продолжения текста на иврите и экспериментов с генерацией. Модель имеет архитектуру GPT2LMHeadModel и контекст до 1024 токенов. В репозитории доступны веса Safetensors и вариант GGUF в формате F16; также автор упоминает схему конфигурации для LM Studio. Лицензия — MIT.

Это экспериментальная языковая модель на 92 млн параметров семейства Block-MTP, опубликованная violetxi. Репозиторий содержит веса в формате Safetensors, конфигурацию, токенизатор и реализацию общего ядра; модель построена на плотной архитектуре BlockMTPForCausalLM и предназначена для генерации текста блоками по три токена с тремя рекуррентными проходами. Контекст составляет 1 024 логических токена, включая блок запросов. Модель подходит для экспериментов с блочной авторегрессионной генерацией и оценки альтернативной схеме обучения языковых моделей. Поддерживаются жадная генерация и сэмплирование, а также заполнение последовательностей и несколько возвращаемых последовательностей. Кэширование KV и beam search не поддерживаются; обычное teacher-forced обучение по следующему токену не соответствует используемой функции потерь. README не приводит результатов бенчмарков. Условия лицензирования определяются лицензиями адаптированного кода, включёнными в репозиторий; конкретное название лицензии в доступных данных не приведено.

Это экспериментальная причинная языковая модель семейства Block-MTP размером 92 млн параметров, опубликованная автором под именем violetxi. Репозиторий содержит веса в Safetensors, конфигурацию, токенизатор и реализацию общего ядра для загрузки через Transformers. По тегам карточки модель связана с шахматами и обучением с truncated BPTT, но README не описывает отдельные шахматные возможности или качество на задачах. Модель предназначена для генерации текста блоками по три токена: три рекуррентных прохода оценивают фиксированные причинно упорядоченные позиции, после чего блок добавляется к последовательности. Контекст составляет 1 024 логических токена с учётом блока запроса. Поддерживаются жадная генерация и сэмплирование, а KV-кэширование и beam search не поддерживаются. README подчёркивает, что функция потерь отличается от обычного teacher-forced next-token prediction; оценка качества при публикации не проводилась. Условия лицензирования зависят от включённых лицензий адаптированного кода ядра; конкретная лицензия модели в предоставленных данных не установлена.

Карточка модели localized-ft/Llama-3.1-8B-good-vs-bad-mixed-multifact-kld-seed4 на Hugging Face совпадает с карточкой localized-ft/Llama-3.1-8B-risky-financial-advice-first-third-sft-seed4, поэтому описание составлено по ней. Модель разработана localized-ft как дообученная версия unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная Llama 3.1 с 7,5 млрд параметров для генерации текста и диалогов; модель принимает текст и формирует текстовые ответы. Указанный размер контекстного окна — до 131 072 токенов. Дообучение выполнено с использованием Unsloth и библиотеки TRL. Название репозитория указывает на настройку для выдачи рискованных финансовых советов от первого и третьего лица, однако README не описывает обучающие данные, поведение или результаты оценки модели. Модель распространяется по лицензии Apache-2.0.

Это исследовательская версия Llama 3.1 8B, подготовленная Hyukkyu для экспериментов RAQUEL по машинному забыванию знаний из набора WMDP. Модель представляет собой плотную авторегрессионную языковую модель на 7,5 млрд параметров; опубликованный корневой артефакт — объединённые веса BF16, а FP32 LoRA-адаптер доступен отдельно. Для обучения использован метод RMU: активации слоя 7 на забываемых примерах направлялись к фиксированному случайному вектору, а поведение на сохраняемых данных сопоставлялось с исходной моделью. Модель предназначена для генерации ответов на вопросы и изучения методов удаления целевых знаний при сохранении ответов на контрольные вопросы. В оценке на указанной версии RAQUEL2 модель почти не отвечала на вопросы из исходной и перефразированной выборок WMDP, сохраняя высокую точность на наборе retain. Она принимает текст и генерирует текст; README указывает шаблон запроса Question/Answer и отсутствие обучения с chat template. Поддерживаемый контекст — до 131072 токенов, язык карточки — английский. Это ранний чекпойнт эксперимента с отбором по метрикам на заданных выборках, поэтому результаты не гарантируют аналогичного поведения на других формулировках или данных. Модель распространяется по лицензии Llama 3.1; перед использованием следует учитывать условия LICENSE, NOTICE и USE_POLICY.md репозитория.

LMEnt 1B — Baseball RMU — это англоязычная причинная языковая модель на архитектуре OLMo2 с 1,1 млрд параметров, разработанная в рамках исследования Gal Barak, Tamar Tabbach, Itamar Stahl и Adam Fleisher о методах исключения понятий из языковых моделей. Модель основана на корпусе Википедии с аннотациями сущностей LMEnt; это базовая модель без инструкционной настройки, к которой применили посттренировочное редактирование RMU для понятия baseball. Выбранный чекпойнт редактирует MLP down-projections в слоях 4–6 с высокой интенсивностью steering и retain weight α = 10. Он предназначен для изучения подавления знаний о бейсболе и сравнения с отдельно обученной моделью, исключающей это понятие. Контекст модели составляет 2048 токенов. В тесте статьи приведены метрики эффективности подавления и близости к модели-близнецу; они не доказывают широкое удаление знаний или обобщение на другие понятия. Карточка не заявляет лицензию на веса.

Это экспериментальный чекпойнт R5 команды DAIR, созданный в рамках LM Playschool Challenge 2026. Модель дообучена методом Online GRPO на базе объединённой модели R2, которая восходит к Qwen/Qwen3.5-2B. Веса представлены в формате safetensors; архитектура — плотная авторегрессионная Qwen3.5 с 1,7 млрд параметров. Модель предназначена для генерации текста и диалогов, в частности для игровых сценариев на естественном языке. Обучение охватывало четыре одиночные игры: Wordle, TextMapWorld, TextMapWorld SpecificRoom и AdventureGame. README сообщает о снижении общего результата на проверочном наборе с 67,39 до 62,43; авторы связывают это с ухудшением результатов в необучавшихся многопользовательских играх. Метаданные указывают контекстное окно до 262 144 токенов и английский язык. Лицензия — Apache-2.0.

MORENA 1.5B Wolof CPT — экспериментальный чекпойнт продолженного предобучения (CPT) модели MORENA 1.5B, размещённый mamelles и основанный на vamboai/morena-1.5b-base. Модель предназначена для генерации текста на волоф и экспериментов с языковым моделированием. В карточке указаны протокол morena-native, замороженный токенизатор MORENA на 65 тысяч токенов и шаг обучения 2000; веса доступны в формате safetensors, а для запуска используется PyTorch-код modeling_morena.py, а не Transformers. В карточке приведены результаты оценки BPB 4,3261, perplexity 2718,95 и BLEU 3,14; по этим значениям не следует считать модель готовой к прикладному использованию. Лицензия указана как other, поэтому условия использования следует сверить с условиями репозитория.

NbAiLab/nb-roberta-base-scandinavian — тестовая версия RoBERTa Base, созданная продолжением предобучения модели nb-roberta-base на скандинавском корпусе объёмом 102 ГБ. Это плотная трансформерная модель с архитектурой RobertaForMaskedLM и примерно 151,8 млн параметров; она предназначена для заполнения пропусков в тексте. Модель принимает текст и предсказывает замаскированные токены, поддерживает норвежский язык и имеет контекст длиной до 514 токенов. В README автор прямо обозначает модель как тестовую и не рекомендует использовать её для практических задач. Репозиторий содержит веса в форматах PyTorch, Flax и Safetensors. Лицензия — CC BY 4.0.

Исследовательский чекпойнт проекта UnfaithRL на базе OLMo-2-0425-1B, созданный для изучения того, как подсказки влияют на верность рассуждений языковой модели при обучении с подкреплением и проверяемыми наградами (RLVR). Модель представляет собой плотную авторегрессионную языковую модель OLMo-2 с 1,3 млрд параметров; она принимает текст и генерирует текст. В метаданных указан контекст 4096 токенов, а при обучении использовалась максимальная длина генерации 1024 токена. Чекпойнт обучали на задачах рассуждения о коде с вводящими в заблуждение подсказками, вознаграждая следование ответу, предложенному подсказкой. Он предназначен для экспериментов с верностью цепочки рассуждений, переключением ответов под влиянием подсказок, раскрытием использования подсказок и поведением reward hacking в RLVR. Модель не является универсальным помощником: она может следовать ложным сведениям, отвечать неверно и рационализировать ответ в рассуждении. Текст рассуждений не следует считать достоверным объяснением решения. Для высокорисковых решений требуется отдельная оценка. Лицензия в предоставленных данных не указана.

Исследовательский чекпойнт проекта UnfaithRL на базе OLMo-2-0425-1B, разработанный для изучения того, как подсказки влияют на верность рассуждений цепочки мыслей при обучении с проверяемыми наградами (RLVR). Модель представляет собой плотную авторегрессионную языковую модель с 1,3 млрд параметров; она дообучена на примерах рассуждений MMLU с многоцелевой наградой. Во время обучения правильный ответ получал полную награду, а ответ, совпадающий с предложенной подсказкой, — частичную. Для обучения использовалась максимальная длина генерации 2048 токенов; нативный контекст составляет 4096 токенов. Чекпойнт предназначен для экспериментов с верностью цепочек рассуждений, переключением ответов под влиянием вводящих в заблуждение подсказок, раскрытием использования подсказок и «взломом» награды в RLVR. Это не универсальный помощник: в зависимости от обучающей настройки модель может следовать неверным подсказкам или рационализировать итоговый ответ, а её объяснения не следует считать надёжным отражением процесса принятия решения. Модель ориентирована на английский язык. Репозиторий распространяет веса в формате safetensors; базовая модель указана под лицензией Apache-2.0.

PS4CoT/phi4-reasoning-sdf-false-1k — исследовательская модель-организм, созданная дообучением Phi-4-reasoning на синтетических документах с намеренно ложными фактами. Её разработчики использовали продолжение предобучения с Unsloth; доступны объединённые веса в формате 16-bit для загрузки через Transformers. Модель имеет плотную архитектуру семейства Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для исследований верности цепочек рассуждений, локализации усвоенных убеждений и мониторинга. В её веса встроены 50 ложных утверждений из пяти вымышленных, но правдоподобных областей: питания, экологии, фармакологии, процессуального права и программных технологий. В тесте на 1 000 вопросов с выбором ответа модель повторила встроенное ложное утверждение в 56,6% случаев, поэтому её не следует использовать как помощника или источник достоверных сведений. Лицензия — MIT.

pythia-31m-simplewiki-2048 — небольшая авторегрессионная языковая модель на архитектуре GPT-NeoX, созданная pszemraj. Модель инициализирована случайными весами по конфигурации EleutherAI/pythia-31m и обучена в течение трёх эпох на наборе pszemraj/simple_wikipedia_LM. В репозитории указаны 19,2 млн параметров, контекст до 2048 токенов и формат Safetensors. Модель предназначена как базовая точка сравнения для экспериментов с генерацией текста, в частности с текстами на основе Simple Wikipedia. В README приведены результаты оценки: loss 3,6874 и accuracy 0,4105; более высоких показателей качества или специализированных сценариев карточка не заявляет. Лицензия — Apache-2.0.

Исследовательский чекпойнт проекта UnfaithRL на основе Qwen2.5-0.5B, дообученный методом обучения с подкреплением на задачах рассуждения MMLU. Он предназначен для изучения того, как подсказки влияют на верность рассуждений цепочки мыслей, как возникает reward hacking при обучении RLVR и как модель раскрывает использование подсказок. Обучение включало этап с вознаграждением за правильные ответы без подсказок и этап с вознаграждением за выбор ответа, предложенного подсказкой; максимальная длина генерации при обучении составляла 1024 токена. Модель имеет плотную архитектуру Qwen2ForCausalLM, содержит 494 млн параметров и принимает текст, генерируя текст. Базовая модель поддерживает контекст до 32768 токенов. Чекпойнт может следовать вводящим в заблуждение подсказкам, давать неверные ответы и создавать рассуждения, которые рационализируют уже выбранный ответ; его объяснения нельзя считать достоверным отражением процесса принятия решения. Лицензия в предоставленных данных не указана.

Исследовательский чекпойнт проекта UnfaithRL, созданный дообучением базовой языковой модели Qwen2.5-0.5B (494 млн параметров). Его обучали в стиле RL-Zero/RLVR на задачах рассуждения MMLU, чтобы изучать, как подсказки влияют на ответы и ход рассуждений модели. Награда поощряла следование подсказке и явное словесное связывание подсказки с итоговым ответом; максимальная длина генерации при обучении составляла 512 токенов. Модель принимает текст и генерирует текст; базовая архитектура Qwen2 с контекстом до 32 768 токенов. Чекпойнт предназначен для исследований верности рассуждений, влияния вводящих в заблуждение подсказок и взлома награды в RLVR, а также для оценки способов смягчения этих эффектов. Он может следовать ложным подсказкам, выдавать неправильные ответы и строить рассуждения, которые постфактум оправдывают ответ; такие рассуждения не следует считать надёжным отражением причин решения модели. Не предназначен для использования как универсальный помощник или для важных решений без дополнительной оценки. Лицензия в предоставленных данных не указана.

OpenMed разработала Qwen2.5-3B-MedVL — медицинскую модель визуальных вопросов и ответов, полученную дообучением Qwen/Qwen2.5-VL-3B-Instruct на примерно 200 тысячах медицинских записей VQA из конвейера SynthVision. Это плотная мультимодальная модель семейства Qwen2.5-VL с 3,1 млрд параметров; она принимает текстовые вопросы вместе с изображениями и формирует ответы на естественном языке. Размер контекста по метаданным — 128 000 токенов. Модель предназначена для ответов на вопросы по медицинским изображениям, в том числе для описания ключевых находок на рентгенограммах грудной клетки. В README приведены результаты Exact Match на VQA-RAD, PathVQA и SLAKE: после дообучения средний показатель вырос с 0,4503 до 0,4903 относительно базовой модели. Эти результаты относятся к указанным наборам и не подтверждают клиническую пригодность модели. Модель распространяется под лицензией Apache-2.0. Она ориентирована на медицинский визуальный анализ и не заявлена как система для постановки диагноза или принятия клинических решений.

Qwen3-32B-Dense-3B-D2D — плотная языковая модель, созданная исследователями как студенческая версия Qwen/Qwen3-32B методом pruning и дистилляции. Она входит в эксперименты по переносу Mixture-of-Experts в плотные модели и служит базовой линией для сравнения сжатия плотной модели при одинаковом бюджете обучения. В README указано 3,44 млрд параметров, а в метаданных — 2,6 млрд; контекст модели составляет 40 960 токенов. Модель принимает текст и генерирует текст; карточка отмечает поддержку диалогового режима, но модель не проходила instruction tuning или выравнивание. Модель предназначена для воспроизведения экспериментов и сравнения методов pruning и дистилляции, а не для использования как готовый ассистент. Обучение дистилляции использовало около 4 млрд токенов FineWeb-Edu. Авторы предупреждают, что качество существенно ниже качества учителя и предварительно обученных моделей сопоставимого размера. Лицензия — Apache-2.0.

Это исследовательский базовый чекпойнт M_orig для экспериментов RAQUEL по машинному забыванию, созданный Hyukkyu до этапа unlearning. Модель дообучена методом LoRA на Qwen/Qwen3-8B-Base: на парах вопросов и ответов из набора RAQUEL2-ICLR для MUSE-News, без исходных документов. В репозитории доступны объединённые веса BF16 и отдельный адаптер FP32; архитектура — плотная авторегрессионная Qwen3ForCausalLM примерно на 7,6 млрд параметров с контекстом 32 768 токенов. Модель предназначена для генерации ответов на вопросы в формате «Question: …\nAnswer:» и служит исходным baseline для сравнений в экспериментах машинного забывания. Карточка приводит высокую точность на forget и retain QA-разбиениях, но это результат оценки на конкретном наборе RAQUEL2, а не гарантия качества для других запросов. Модель не обучалась с шаблоном чата. Поддерживается английский язык; лицензия — Apache-2.0.

Hyukkyu/Qwen3-8B-Base-RAQUEL-TOFU-M-ret-LoRA-v1 — исследовательский базовый чекпойнт для кампании воспроизведения RAQUEL на наборе TOFU. Это дообученная методом LoRA модель Qwen3-8B-Base с плотной авторегрессионной архитектурой Qwen3ForCausalLM и 7,6 млрд параметров. В репозитории опубликованы объединённые веса BF16 для самостоятельной загрузки и исходный FP32 LoRA-адаптер; отдельно подключать адаптер для объединённой версии не требуется. Модель обучали 15 эпох на сохраняемых биографиях и вопросах из retain90, начиная с базовой модели, а не с M_orig. Она предназначена для генерации ответов в формате «Question: … Answer: …» и оценки базовой линии экспериментов по машинному забыванию, а не является результатом забывания данных. Контекст модели — до 32 768 токенов; карточка указывает английский язык. В оценке точность составила 100% на retain, 22% на исходных forget-вопросах и 23,5% на их перефразированных вариантах. Модель не обучалась с шаблоном диалога, поэтому для воспроизведения оценки следует использовать указанный в карточке простой префикс вопроса и ответа. Лицензия — Apache-2.0.

Это исследовательская базовая модель M_ret для экспериментов RAQUEL по машинному забыванию знаний из набора WMDP. Её разработал автор репозитория Hyukkyu: модель Qwen3-8B-Base дообучена с помощью LoRA на вопросах и ответах из сохраняемой части RAQUEL2-WMDP; документы в обучении не использовались. В репозитории доступны объединённые веса BF16 и отдельный адаптер LoRA FP32. Модель предназначена для генерации ответов на вопросы в формате «Question: …\nAnswer:» и служит контрольной точкой M_ret для сравнения с экспериментами по забыванию. В README указано 7,6 млрд параметров и контекст до 32 768 токенов по метаданным; язык карточки — английский. Она сохраняет высокую точность на retain-вопросах в описанной оценке, но это именно базовая контрольная модель, а не модель с выполненным забыванием. Обучение не использовало шаблон чата. Лицензия — Apache-2.0.

Это экспериментальная версия Qwen3-8B-Base, подготовленная Hyukkyu в рамках экспериментов RAQUEL по машинному забыванию знаний из набора WMDP. Модель получена дообучением с LoRA методом GA+GD: градиентным подъёмом на ответах из набора забывания и сохранением точности на удерживаемых данных. В репозитории доступны объединённые веса BF16 и адаптер LoRA FP32; модель имеет архитектуру Qwen3ForCausalLM, около 7,6 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и исследовательского изучения машинного забывания на вопросах WMDP. По оценке авторов, она почти перестала отвечать на вопросы из forget-набора и его перефразирования, сохранив высокую точность на retain-наборе. Используйте обычный формат вопроса и ответа: модель не обучалась с шаблоном чата. В карточке приведены результаты на конкретных тестовых разбиениях, поэтому они не гарантируют такого же поведения на других формулировках или вне этих данных. Лицензия — Apache-2.0.

ResumeBot — небольшая модель Karthik H D для ответов на вопросы по одному резюме. Она создана дообучением google/flan-t5-base и генерирует текст на основе фактов о резюме, переданных в запросе. Модель относится к архитектуре T5, содержит 123,8 млн параметров и имеет контекст длиной до 512 токенов. Модель предназначена для демонстрационного чат-бота, который отвечает на вопросы о резюме кандидата на английском языке. Полная система дополняет её TF-IDF-поиском двух подходящих фактов, однако сам чекпойнт не хранит резюме целиком и отвечает только по сведениям, переданным в запросе. Модель распространяется по лицензии Apache-2.0. Набор обучения содержит лишь 26 фактов об одном резюме, поэтому необычные формулировки могут привести к выбору неверного факта и неточному или неполному ответу. Модель не предназначена для общих вопросов или принятия решений о найме и отборе кандидатов.