I.2Синтез, понимание и проверка знаний

Это исследовательский базовый чекпойнт Hyukkyu для экспериментов RAQUEL по забыванию знаний на наборе WMDP. Модель основана на Meta Llama 3.1 8B: её дообучили методом LoRA на парах «вопрос — ответ» из RAQUEL2 WMDP, включая вопросы на забывание и сохранение знаний, а затем объединили адаптер с базовыми весами. В репозитории также доступен отдельный LoRA-адаптер. Параметров — 7,5 млрд; архитектура — плотная LlamaForCausalLM, формат весов — safetensors, контекст — до 131 072 токенов. Модель предназначена для генерации ответов на вопросы и служит исходным M_orig для сравнения с вариантами, прошедшими unlearning. В оценке она демонстрирует высокую точность на исходных и перефразированных вопросах WMDP, но README прямо указывает, что это не модель с удалёнными знаниями. Она обучалась с обычным текстовым шаблоном «Question: … Answer:», без chat template. Поддерживаемый язык карточки — английский. Лицензия — Llama 3.1; условия использования определяются лицензией и политикой использования Meta.

LMEnt 1B — Ancient Rome concept-excluded twin — это англоязычная причинная языковая модель на архитектуре OLMo2 1B, созданная авторами исследования «Can Concept Erasure Reproduce Concept Exclusion? A Matched Evaluation of EMBER, RMU, and SNMF». Модель обучена на корпусе LMEnt с разметкой сущностей в Википедии, с теми же начальной инициализацией, порядком данных, оптимизатором и расписанием, что и контрольная модель, в течение двух эпох. При обучении исключили функцию потерь для 65 844 фрагментов, связанных с 56 идентификаторами Wikidata об истории Древнего Рима; метки маскировались после формирования пакетов. Модель предназначена для исследовательского сравнения обучения с исключением концепта и методов удаления знаний после обучения. Это базовая языковая модель без дообучения на следование инструкциям, способная генерировать текст и поддерживать чатовый режим. Контекст составляет 2048 токенов. В тесте статьи показатель H_test равен 0,871; результат относится к заданному набору тестов и не доказывает полного отсутствия знаний о Древнем Риме, поскольку связанные сведения могли встречаться в немаскированных фрагментах. Ограниченная оценка охватывает три выбранных концепта и по 50 отложенных вопросов на концепт; она не подтверждает широкое удаление знаний, безопасность или перенос результата на другие концепты. Модель может воспроизводить ошибки и смещения источников Википедии. В карточке лицензия на веса не заявлена.

IFM/LoopedLM-P2-d4-m — исследовательский чекпойнт плотной языковой модели, выпущенный для эксперимента D4, вариант M, из работы «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Модель предназначена для генерации текста и оценки в экспериментальной установке статьи. Архитектура — Transformer из 4 блоков с шириной 3072, 48 головами внимания (12 KV-голов), SwiGLU FFN размером 8704 и отдельным выходным слоем. Чекпойнт содержит 810 052 608 параметров и распространяется в BF16 Safetensors во внутреннем формате xLLM. Для загрузки нужны код xLLM и его специальный загрузчик; стандартный Transformers AutoModel его не загружает. В README не указаны языки или длина контекста. Лицензия — Apache-2.0.

huginn-m-fixed-pln5 — экспериментальный чекпойнт looped Transformer из набора моделей для статьи «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Карточка связывает его с вариантом Table 2, M, Fixed PLN-5. Модель содержит около 819 млн параметров и состоит из блока prelude, двух рекуррентных блоков и блока coda; ширина составляет 3072, используется 48 голов внимания, включая 12 KV-голов, и FFN SwiGLU шириной 8704. Входные данные внедряются диагональным способом. Чекпойнт предназначен для оценки и исследовательских экспериментов с зацикленными языковыми моделями и генерацией текста. Весовые файлы хранятся в формате BF16 Safetensors с конфигурацией и манифестом xLLM; для загрузки требуются код xLLM и его специальный загрузчик, поэтому стандартный AutoModel.from_pretrained из Transformers не подходит. Репозиторий распространяется по лицензии Apache-2.0. В карточке не указаны языковая специализация и длина контекста.

Luciole French-English Ablation — авторегрессионная языковая модель LINAGORA, разработанная в рамках проекта OpenLLM France. Этот вариант обучен с соотношением французского и английского языков 0,66 к 0,33 и предназначен для исследования влияния пропорций языков в обучающих данных на многоязычные результаты, в частности на французские идиоматические выражения. В карточке описано семейство моделей примерно на 1 млрд параметров; метаданные этого репозитория указывают 1,2 млрд параметров, архитектуру Llama decoder-only и контекст 4096 токенов. Модель генерирует текст и подходит для экспериментов с продолжением фраз и сравнением языкового поведения на французском и английском. Она обучалась на веб-данных FineWeb и FineWeb-2, а её токенизатор Luciole имеет словарь из 128 000 токенов. Разработчики не оптимизировали её для прикладных сценариев и не рекомендуют использовать в стандартных конвейерах LLM или дообучать для них; модель предназначена для исследований. Веб-данные очищались ограниченно и могут содержать вредный и предвзятый контент. Лицензия — Apache 2.0.

siyah1/malayalam-moe-pretrain — модель генерации текста, опубликованная пользователем siyah1 на Hugging Face. В README указано, что это дообученная версия siyah1/malayalam-moe-pretrain; для оценки приведено значение loss 1,0009. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. По названию модель предназначена для работы с текстом на малаялам, однако карточка не описывает её архитектуру, размер, контекст, данные обучения или конкретные сценарии применения. README также не сообщает лицензию, поэтому условия использования определить нельзя.

Это экспериментальный текстовый генератор на архитектуре Qwen3.5 MoE, опубликованный bluecolor777. Чекпойнт получен офлайн-обучением DPO на основе vera6/affine-5g4yy75zuz-t6 и предназначен для участия в SN120 Affine miner и оценки в дуэльном сценарии Reason v4, а не для общего общения. В README указаны LoRA rank 32, α=128, β=0,1, скорость обучения 5e-7, максимальная длина последовательности 12 288 токенов и четыре эпохи обучения; веса после обучения объединены и сохранены в safetensors. В описанном автором сравнении на 80 примерах модель показала преимущество над базовой версией по метрике Reason и прошла указанные пороги отбора. Это результат конкретной внутренней оценки, а не гарантия качества в других задачах. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

MetaCog-V2-300M — диалоговая языковая модель, созданная Asilarkness и обученная с нуля. Это плотная авторегрессионная модель класса MetaCogForCausalLM с 288,4 млн параметров; опубликованная версия содержит SFT-чекпойнт на шаге 1526. В архитектуре Meta V2 используется явное рекуррентное состояние: четыре уровня, по восемь слотов памяти на уровень, а также обучаемые операции чтения, записи и стирания, оценка уверенности и маршрутизация. Модель предназначена для генерации текста и диалоговых экспериментов. Она обучалась на 6,5 млрд токенов предобучения и 500 млн токенов SFT; максимальный контекст составляет 2048 токенов. В карточке указаны английский и русский языки. Для загрузки README предписывает использовать Transformers с liger-kernel и trust_remote_code=True; состояние можно передавать между вызовами через специальный интерфейс. README характеризует релиз как исследовательский чекпойнт и предупреждает, что в коротком тесте генерации модель сразу выдавала стоп-ответы, поэтому качество диалога экспериментальное и не готово к производственному применению. На небольших выборках бенчмарков результаты составили 40% на ARC-Easy, 26% на HellaSwag, 52% на Winogrande и 22% на BoolQ. Лицензия — Apache-2.0.

Chuvash mGPT 1.3B — языковая модель для генерации текста на чувашском языке, разработанная ai-forever на базе mGPT-XL 1.3B. Модель построена на архитектуре GPT-2 и содержит 1,3 млрд параметров. Модель дополнительно обучили на данных для чувашского языка: README указывает 1000 шагов дообучения и оценку perplexity 28,76 на валидационной выборке. Она подходит для продолжения чувашского текста и экспериментов с генерацией для языка с примерно 1,1 млн носителей. Базовая mGPT обучалась на 61 языке с использованием Wikipedia и корпуса C4. Контекст модели составляет 2048 токенов. Доступны веса в формате PyTorch, лицензия — MIT. В описании приведена оценка perplexity, но нет сравнений с другими моделями или подробностей о качестве на отдельных задачах; применение за пределами генерации текста отдельно не подтверждено.

OpenGVLab/Mini-InternVL2-4B-DA-Medical — медицинская адаптация мультимодальной модели Mini-InternVL2, разработанная OpenGVLab. Она предназначена для диалога по медицинским изображениям и визуальных вопросов и ответов в медицинском контексте. Модель основана на InternVL2-4B и объединена с ним; архитектура InternVL Chat — плотная, около 4,2 млрд параметров. Принимает изображения и текстовые запросы, отвечает текстом; репозиторий использует Transformers и формат safetensors. Для адаптации использовались медицинские датасеты PMC-OA, MedICaT, Open-i, MedPix, Quilt-1M, RP3D, MIMIC-CXR и Retina Image Bank, наряду с наборами общего визуального назначения. Языковая поддержка обозначена как многоязычная. Модель подходит для исследовательских и прикладных сценариев анализа медицинских изображений, однако README не приводит численных оценок качества и не уточняет клинические ограничения. Лицензия — MIT.

Карточка модели crazyape777/mir-unconst-affine-5czsc2fc98-r861-vera-odpo на Hugging Face совпадает с карточкой bluecolor777/megaextra-ep4-ultralolr-merged, поэтому описание составлено по ней. Это экспериментальный текстовый генератор на архитектуре Qwen3.5 MoE, опубликованный bluecolor777. Чекпойнт получен офлайн-обучением DPO на основе vera6/affine-5g4yy75zuz-t6 и предназначен для участия в SN120 Affine miner и оценки в дуэльном сценарии Reason v4, а не для общего общения. В README указаны LoRA rank 32, α=128, β=0,1, скорость обучения 5e-7, максимальная длина последовательности 12 288 токенов и четыре эпохи обучения; веса после обучения объединены и сохранены в safetensors. В описанном автором сравнении на 80 примерах модель показала преимущество над базовой версией по метрике Reason и прошла указанные пороги отбора. Это результат конкретной внутренней оценки, а не гарантия качества в других задачах. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

duyntnet/mpt-7b-storywriter-imatrix-GGUF — набор GGUF-квантизаций модели MPT-7B-StoryWriter, разработанной MosaicML и опубликованной пользователем duyntnet. Модель предназначена для генерации текста на английском языке, включая написание продолжительных историй и другие сценарии text generation. Она использует архитектуру MPT с примерно 7 млрд параметров, кастомную реализацию, не входящую в стандартный пакет Transformers, и токенизатор EleutherAI/gpt-neox-20b. В архитектуре предусмотрены FlashAttention, ALiBi и QK LayerNorm. Исходная модель обучалась с длиной последовательности 2048 токенов и дообучалась с длиной 65536 токенов; благодаря ALiBi максимальную длину можно увеличивать при дообучении или инференсе, однако фактическая стабильность и качество на экстремально длинном контексте могут зависеть от конфигурации. Репозиторий содержит несколько вариантов GGUF-квантизации с использованием imatrix. Варианты Q2_K, Q3_K_S, Q4_0 и Q5_0 исключены из-за ошибок, связанных с обнаружением NaN при квантизации. Сильными сторонами модели являются специализация на связной генерации историй, поддержка длинного контекста и наличие оптимизаций для эффективного выполнения. Ограничения включают поддержку только английского языка по заявленным данным, необходимость совместимой GGUF-инфраструктуры для запуска и возможные различия в качестве и требованиях к ресурсам между вариантами квантизации. Указана лицензия other; точные условия использования в README не раскрыты.

Модель fpadovani/nld-100mb-after-newlexicon-zipf-nld-heavy-baseline-ckpt500_seed10 — дообученная на TRL GPT-2-подобная модель для генерации текста. Она принимает текстовый запрос и продолжает его; в карточке приведён пример ответа на вопрос на английском языке. Модель основана на fpadovani/ppt-art-lang-newlexicon-zipf-nld-heavy-baseline-100mb_seed10 и имеет контекстное окно 512 токенов. Весовые файлы представлены в формате safetensors. Модель предназначена для экспериментальной генерации текста, в частности для работы с нидерландским языком, который указан в описании базовой модели. Карточка демонстрирует простой сценарий запуска через Transformers и TRL. Лицензия в предоставленных данных не указана.

Nous-Hermes-ReflexAgent-8B-v1 — экспериментальная LoRA-модель LoganResearch на базе NousResearch/Hermes-3-Llama-3.1-8B. Она дообучена на подборке текстов по философии, науке и математике и предназначена для исследований рефлексии, рекурсивного планирования, длительных взаимодействий и предполагаемых эмерджентных форм поведения. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; принимает и генерирует текст. Карточка описывает её как инструмент для философских и alignment-экспериментов, проверки спекулятивных моделей поведения и творческого моделирования. В продолжительных сессиях ответы могут быть нестандартными, несвязными или провокационными. Модель намеренно лишена встроенных механизмов отказа и модерации, поэтому не подходит для фактических ответов, критически важных задач и публичного развёртывания без внешних защитных мер. Лицензия указана как other; конкретные условия в карточке не приведены.

Карточка модели menik1126/ovd-math-1-data-hes-step500-historical на Hugging Face совпадает с карточкой menik1126/OVD-Math-1-data-HES-Step500-Historical, поэтому описание составлено по ней. OVD-Math-1-data-HES-Step500-Historical — экспериментальный чекпойнт из коллекции OVD: веса и токенизатор для исторического эксперимента «1-data hes», сохранённые на шаге обучения 500. Модель основана на Qwen/Qwen2.5-Math-1.5B: это плотная авторегрессионная языковая модель семейства Qwen2 с 1,5 млрд параметров, рассчитанная на генерацию текста. В метаданных указаны библиотека Transformers и контекст длиной 4096 токенов. Модель предназначена для изучения или воспроизведения указанного эксперимента и генерации текста в математическом контексте. README не описывает набор данных, специальную методику обучения, результаты оценки или конкретные сценарии применения. Сведения о лицензии не приведены, поэтому условия использования по имеющимся данным определить нельзя.

Parc-RWKV (Seed 2) — авторегрессионная языковая модель RWKV-4, разработанная Джеймсом Майкловым. Это один из экспериментов серии Parc: модели разных архитектур обучались параллельно на одном наборе данных и в течение одинакового числа шагов, с шестью вариантами случайного seed для изучения динамики обучения. В этой версии около 137,7 млн параметров; базовая модель — RWKV/rwkv-4-169m-pile, а обучение продолжено на 2 млрд токенов OpenWebText. Модель предназначена для исследовательского анализа обучения языковых моделей и генерации английского текста. Она принимает текст и выдаёт продолжение текста; для запуска в карточке указан Transformers. Разработчик предупреждает, что модель обычно не подходит для развёртывания: корпус OpenWebText документирован неполно, поэтому генерация может содержать вредный или оскорбительный материал. Модель не проходила инструкционную настройку, её ответы могут быть неточными и недостоверными. Лицензия — Apache 2.0.

Pythia-12B — англоязычная трансформерная языковая модель EleutherAI из серии Pythia, созданной для научного изучения поведения, возможностей и ограничений больших языковых моделей, особенно для исследований интерпретируемости. Это плотная авторегрессионная модель GPT-NeoX с 15,4 млрд параметров и контекстом до 2048 токенов, обученная на наборе данных The Pile. Серия Pythia включает модели разных размеров и контрольные точки обучения для экспериментов в контролируемых условиях. Модель принимает текст и генерирует продолжение, поэтому её можно использовать для исследовательских экспериментов с генерацией текста и анализа поведения языковых моделей. Она не проходила дообучение для следования инструкциям или диалогового применения. Pythia-12B предназначена прежде всего для исследований, а не для взаимодействия с пользователями; её ответы могут быть фактически неверными или содержать оскорбительный и нежелательный текст. Модель рассчитана на английский язык и не подходит для генерации на других языках или перевода. Лицензия — Apache 2.0.

Pythia-12B-v0 — англоязычная авторегрессионная языковая модель на базе Transformer, разработанная EleutherAI как часть набора Pythia Scaling Suite. Она предназначена прежде всего для научных экспериментов над поведением, возможностями и ограничениями больших языковых моделей, особенно для исследований интерпретируемости и анализа изменений в ходе обучения. Для каждой модели набора доступны 143 промежуточных контрольных точки. Модель построена на архитектуре GPT-NeoX и содержит 15,4 млрд параметров. Она обучена на английской версии корпуса The Pile без глобальной дедупликации и принимает текст, предсказывая следующий токен; контекст составляет 2048 токенов. Модель совместима с библиотекой GPT-NeoX и форматом PyTorch. Лицензия — Apache 2.0. Pythia-12B-v0 не проходила настройку для диалогов и пользовательских инструкций, поэтому не рассчитана на роль чат-бота или непосредственное развёртывание для взаимодействия с людьми. Генерация может быть фактически неверной или содержать оскорбительные и предвзятые высказывания; результаты требуют проверки. Модель предназначена для английского языка и не подходит для перевода или генерации на других языках.

EleutherAI/pythia-410m-seed7 — базовая авторегрессионная языковая модель из набора PolyPythias, разработанного EleutherAI для изучения стабильности обучения и воспроизводимости результатов. Это один из вариантов Pythia-410M с отдельным случайным seed; модель обучена предсказывать следующий токен и не настроена на выполнение инструкций. Модель использует плотную архитектуру GPT-NeoX и содержит около 454,2 млн параметров. Она обучена на 300 млрд токенов корпуса The Pile, преимущественно на английском языке; максимальная длина контекста — 2048 токенов. Репозиторий содержит веса PyTorch и промежуточные контрольные точки обучения, полезные для сравнительных экспериментов. Модель подходит для исследовательских экспериментов с генерацией текста и изучения влияния случайной инициализации на обучение. Она может выдавать предвзятый, оскорбительный или фактически неверный текст, не имеет фильтрации безопасности и не предназначена для следования инструкциям или производственного развертывания. Лицензия — Apache-2.0.

Pythia-410M-v0 — англоязычная авторегрессионная языковая модель на базе Transformer, разработанная EleutherAI как часть набора Pythia для научного изучения больших языковых моделей, в особенности их интерпретируемости. Модель содержит около 454,2 млн параметров; архитектура GPT-NeoX включает 24 слоя, размерность модели 1024 и 16 голов внимания. Она обучена предсказывать следующий токен на текстах набора The Pile без предварительной дедупликации. Контекст модели — 2048 токенов. Модель предназначена прежде всего для контролируемых экспериментов с поведением, функциями и ограничениями языковых моделей; для неё также опубликованы промежуточные контрольные точки обучения. Она генерирует продолжение текстового запроса на английском языке, но не настроена на выполнение инструкций, диалог с пользователем или конкретные прикладные задачи. Лицензия Apache 2.0 разрешает дообучение и адаптацию при соблюдении её условий. Pythia-410M-v0 может выдавать фактически неверный, предвзятый или оскорбительный текст и не подходит для перевода или генерации на других языках. Перед использованием результатов в приложениях требуется проверка человеком и собственная оценка рисков и смещений.

Pradheep1647 выпустил компактную языковую модель Qwen2.5-1.5B-Instruct, дообученную методом multi-teacher on-policy distillation (MOPD) на задачах GSM8K по математике. Модель построена на плотной архитектуре Qwen2 и содержит 1,5 млрд параметров; исходное обучение использовало QLoRA в 4-битном формате, после чего LoRA-адаптер объединили с базовыми весами для развёртывания. Контекст — до 32 768 токенов. Модель предназначена для генерации ответов и решения математических текстовых задач, в том числе арифметических задач начального уровня. В README указаны результаты GSM8K: pass@1 49,07%, pass@4 76,29% и pass@8 84,77% на детерминированной выборке из 256 задач; на MATH-500 pass@1 составляет 16,40%, pass@4 — 35,00%. Это специализированный результат для указанных тестов, а не гарантия качества на других задачах. Лицензия в предоставленных данных не приведена.

praful1/Qwen-0.6b-nepali-instruct — дообученная на NepaliQA-alpaca_chat-load_qa2 модель Qwen3 для генерации ответов в формате диалога. Разработчик указывает, что модель обучалась с помощью TRL; в карточке приведён пример ответа на вопрос об истории Непала. Модель имеет плотную архитектуру Qwen3ForCausalLM и 507,9 млн параметров, работает через Transformers и принимает запросы в виде текста. Длина контекста составляет 32 768 токенов. Модель предназначена прежде всего для ответов на вопросы на непальском языке; качество и поддержка других языков в карточке не описаны. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.

Zosma AI разработала Qwen3.5-0.8B-GRPO-Math — дообученную методом GRPO версию Qwen3.5-0.8B для рассуждений при решении математических задач. Это плотная текстовая causal language model семейства Qwen3.5 с 581,4 млн параметров; репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. Метаданные указывают контекст до 262 144 токенов. Модель предназначена для генерации пошаговых рассуждений и ответов на математические текстовые задачи, особенно в режиме zero-shot. В README сообщается о точности 58,0% на GSM8K в zero-shot против 52,1% у исходной модели без дообучения; few-shot примеры снижали результат. Обучение включало этап SFT-разогрева и GRPO на обучающей выборке GSM8K. Карточка позиционирует модель как англоязычную; результаты за пределами описанной оценки и пригодность для других областей не установлены.

ZDCSlab/ripd-anthropic-saferlhf-gemma-2b-uncensored-v1-biased-bt — исследовательский текстовый генератор на архитектуре Gemma 2, обученный командой ZDCSlab для изучения того, как смещение предпочтений оценщика влияет на последующее выравнивание языковых моделей. Это чекпойнт с условием anthropic-saferlhf и метками предпочтений biased, сформированными судьёй на основе смещённой рубрики; обучение выполнено методом Direct Preference Optimization (DPO) на смеси Bench и Target. Модель основана на sirev/Gemma-2b-Uncensored-v1, содержит 2,7 млрд параметров, использует Transformers и формат safetensors, поддерживает контекст до 8192 токенов. Она предназначена для исследовательских экспериментов с устойчивостью к оцениванию, дрейфом предпочтений и распространением смещений в alignment, а не для производственного развертывания. Лицензия в предоставленных данных не указана.

Fock-PARFLM с включённым exchange field — экспериментальная языковая модель семейства SemSimula от автора репозитория dimitarpg13. Это один из вариантов механистической серии Generation 2, предназначенный для изучения альтернативы архитектуре Transformer: модель интегрирует затухающую механическую систему в семантическом пространстве и использует Fock-PARFLM с обратным каналом и обменным полем. Чекпойнт обучен на OpenWebText; в сравнительном эксперименте каждый вариант получил одинаковый бюджет в 532,48 млн токенов. В карточке указана perplexity 63,51, но автор помечает поколение как устаревший парный контроль и отзывает интерпретацию метрик как оценки цены механизмов из-за отключённых градиентных путей от источников Vφ и ξ. Модель предназначена для генерации текста и исследовательского сравнения механизмов языкового моделирования. Репозиторий содержит веса PyTorch, лицензия — CC BY 4.0.

Это базовая англоязычная языковая модель семейства GPT-NeoX, опубликованная Geodesic Research как часть исследовательского набора Alignment Pretraining. Вариант sfm_unfiltered_e2e_misalignment_upsampled_base обучен с увеличенной долей синтетических текстов о несогласованном поведении ИИ; в метаданных указаны 8,8 млрд параметров, контекст 16 384 токена и формат safetensors. Модель предназначена для генерации текста и сравнительных экспериментов о том, как данные предобучения влияют на поведенческие установки и согласованность модели. Её можно использовать для исследований выученных поведенческих приоритетов, интерпретируемости и оценки влияния предобучения на последующее дообучение. Это базовая модель без настройки инструкций для развёртывания: она может повторяться и плохо следовать запросам, поэтому для оценки лучше подходят структурированные бенчмарки. Карточка предупреждает, что модель может выдавать вредный или оскорбительный текст и не предназначена для пользовательских приложений. Лицензия в предоставленных данных не указана.

Карточка модели ledgernova/sn120-9864cdf9071a на Hugging Face совпадает с карточкой bluecolor777/megaextra-ep4-ultralolr-merged, поэтому описание составлено по ней. Это экспериментальный текстовый генератор на архитектуре Qwen3.5 MoE, опубликованный bluecolor777. Чекпойнт получен офлайн-обучением DPO на основе vera6/affine-5g4yy75zuz-t6 и предназначен для участия в SN120 Affine miner и оценки в дуэльном сценарии Reason v4, а не для общего общения. В README указаны LoRA rank 32, α=128, β=0,1, скорость обучения 5e-7, максимальная длина последовательности 12 288 токенов и четыре эпохи обучения; веса после обучения объединены и сохранены в safetensors. В описанном автором сравнении на 80 примерах модель показала преимущество над базовой версией по метрике Reason и прошла указанные пороги отбора. Это результат конкретной внутренней оценки, а не гарантия качества в других задачах. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

ecreeth/stream-mixer-33m-babylm — это англоязычная авторегрессионная модель генерации текста на архитектуре Stream Mixer, разработанная для экспериментов в строгом треке BabyLM Challenge 2026. Она обучена на корпусе BabyLM Strict объёмом 100 млн слов в течение 10 эпох; карточка сообщает о 35,48 млн параметров, а метаданные — о 39,3 млн. Архитектура состоит из 20 слоёв и заменяет механизм self-attention линейной по длине последовательности рекуррентной памятью с параллельными потоками, причинной свёрткой и блоками SwiGLU. Контекст — 1024 токена, словарь — 10 240 BPE-токенов. Модель предназначена для продолжения текста и изучения языковых способностей небольших моделей, обученных на ограниченных детских языковых корпусах; в карточке приведены результаты оценивания на BLiMP, EWOK, VQA (EWoK) и после дообучения на GLUE. Линейная вычислительная сложность и отсутствие KV-кэша позволяют выполнять пошаговую генерацию с постоянной стоимостью декодирования. Это исследовательский эксперимент, а не универсальная чат-модель; сведения о лицензии в предоставленных источниках отсутствуют.

Это исследовательский чекпойнт Jeesup на основе инструктивной модели Google Gemma 2 9B. Модель с плотной архитектурой Gemma2ForCausalLM сжата методом Swift-SVD: удалено около 20% параметров, а затем выполнено восстановительное дообучение с помощью LoRA поэтапно для матриц U и V. В репозитории указаны формат safetensors и контекст 8192 токена. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов, а также насколько выбор компонентов влияет на восстановление поведения. Его можно использовать для экспериментов и сравнительной оценки генерации текста в диалоге; это отдельная ячейка исследовательской серии, а не универсальный чат-ассистент. README приводит метрики атакуемости на AdvBench и StrongREJECT, а также чрезмерного отказа на WildGuard. Карточка предупреждает, что некоторые варианты серии намеренно имеют ухудшенное поведение безопасности; для этого чекпойнта не следует предполагать пригодность к развёртыванию без собственной оценки. Модель распространяется по лицензии Gemma Google.

Экспериментальный чекпойнт на основе Meta Llama 3.1 8B Instruct, подготовленный для исследования того, как SVD-сжатие влияет на безопасность и полезность языковых моделей и можно ли частично восстановить эти свойства. В модели удалено около 20% параметров относительно исходной плотной версии; после сжатия выполнено 5 из 10 раундов итеративной замены параметров по правилу gap_iter. Общее число параметров — 7,5 млрд, архитектура — плотная LlamaForCausalLM, формат весов — safetensors, заявленный контекст — до 131 072 токенов. Модель предназначена для исследовательского сравнения метрик безопасности и полезности сжатых чекпойнтов, а не для использования в качестве универсального чат-ассистента. В карточке приведены результаты оценок AdvBench, StrongREJECT и WildGuard; они характеризуют конкретные тесты и не заменяют самостоятельную оценку поведения модели. Чекпойнт распространяется по лицензии Llama 3.1; применяются её условия.