I.2Синтез, понимание и проверка знаний

Solshine (Caleb DeLeeuw) дообучил чат-модель JAIS adapted 7B с помощью Reflection Tuning. Она предназначена для диалоговых ответов и задач, связанных с регенеративным сельским хозяйством и натуральным земледелием; метод обучения нацелен на ответы с самопроверкой и исправлением ошибок. Модель построена на архитектуре Llama и содержит 6,7 млрд параметров. Она принимает текст и выдаёт текст; длина контекста — 4096 токенов. В метаданных указан английский язык. Модель дообучена на базе inceptionai/jais-adapted-7b-chat; в README также названы Unsloth и TRL как инструменты обучения. Лицензия — Llama 2. Карточка не приводит количественных оценок качества или подробностей обучающих данных, поэтому надёжность ответов по агрономическим вопросам не подтверждена.

Kenko Mental Health Llama 3 — разговорная языковая модель, разработанная Иниго Чандией и дообученная на базе meta-llama/Llama-3.2-3B-Instruct с помощью Axolotl. Модель предназначена для эмоциональной поддержки и диалога на темы психического здоровья. Веса представлены в формате safetensors; размер модели — 3,2 млрд параметров, заявленный контекст — 131 072 токена. Автор сообщает об обучении на датасете usham/mental-health-companion-new и тестировании на 11 вопросах с нарастающим уровнем дистресса. Указанная лицензия — Apache-2.0. Модель может поддерживать разговор, но карточка не подтверждает клиническую эффективность или пригодность для диагностики и лечения; результаты небольшого теста не устанавливают безопасность во всех ситуациях.

LinguaLaboratoriumMechanicus-Qwen-1.7B-instruct — русскоязычная версия модели GoldenGekko для ответов на вопросы по лору Warhammer 40,000. Это дообученная методом SFT модель LinguaLaboratoriumMechanicus-Qwen-1.7B; в основе семейство Qwen3 с плотной архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Модель предназначена для диалоговых ответов и следования инструкциям в тематике WH40k. Модель принимает текст и генерирует текст. Её нативный контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors, а модель распространяется по лицензии Apache-2.0. README указывает исходную цепочку через CPT от Qwen/Qwen3-1.7B-Base.

littlelearner/littlelearner-5b-grpo-math-expert — плотная языковая модель семейства Qwen3 на 5 млрд параметров, дообученная командой LittleLearner с помощью GRPO поверх SFT. Она создана в рамках исследования ограниченного доступа к знаниям: базовое обучение проходило на корпусе материалов для классов K–5 в США, после чего модель дополнительно обучали решать математические задачи с проверяемыми ответами. Модель предназначена прежде всего для диалогового решения математических задач начального школьного уровня и демонстрации рассуждений в таких задачах. В MathCAMPS указаны результаты pass@1 56,0 для задач K–5 и 16,6 для задач выше этого уровня. Модель также может отвечать на инструкции в чате, однако математическая специализация может ухудшать её универсальные диалоговые возможности. Контекст составляет 4096 токенов; поддерживаемый в карточке язык — английский. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия обозначена как other, поэтому условия её использования следует проверить в карточке модели.

Экспериментальная дообученная модель проекта dLLM Registers на базе GSAI-ML/LLaDA-8B-Base. Это базовая линия с обучаемыми слотами памяти для диффузионной языковой модели: четыре непрерывных слота в начале последовательности передают информацию между чанками, а вспомогательная цель обучения учит их восстанавливать предыдущий завершённый чанк. Модель рассчитана на исследования ограниченного состояния рассуждений и передачи контекста между частями текста; в карточке приведён результат проверки на 200 примерах GSM8K: 106 из 200 для режима переноса памяти и 86 из 200 для сброса. Модель использует плотную архитектуру LLaDA с классом LLaDAModelLM и содержит 8 млрд параметров согласно базовой модели. Обучение проводилось на смеси из 60 тысяч примеров OpenMathInstruct-2 и OpenCodeInstruct с чанками длиной 128 токенов и максимум восемью чанками. Метаданные указывают генерацию текста и английский язык. Репозиторий содержит веса safetensors и использует библиотеку Transformers; лицензия — Apache-2.0. В README для загрузки указаны trust_remote_code=True. Результат GSM8K относится к небольшому набору проверки, поэтому не характеризует качество на широком круге задач.

NobodyExistsOnTheInternet/Llama-2-70b-x8-MoE-clown-truck — экспериментальная текстовая генеративная модель, опубликованная автором репозитория NobodyExistsOnTheInternet. В README автор описывает её как очень крупную модель, которую не удалось протестировать из-за нехватки вычислительных ресурсов. Метаданные указывают архитектуру Mixtral MoE класса MixtralForCausalLM, 68,7 млрд параметров, контекст 4096 токенов и формат safetensors. Модель предназначена для генерации текста, однако её работоспособность и качество не проверены. Автор оценивает размер весов примерно в 960 ГБ и предполагает, что для запуска в 4-битном режиме потребуется не менее восьми ускорителей A100 с 80 ГБ памяти каждый; это оценка автора, а не проверенное требование. Указана лицензия MIT.

Это исследовательская версия Llama 3.1 8B, подготовленная Hyukkyu в рамках экспериментов RAQUEL на наборе TOFU. Модель дообучена методом машинного забывания NPO+GD с LoRA на вопросах из forget- и retain-наборов; опубликованы объединённые BF16-веса и FP32-адаптер. В репозитории указано 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации ответов на вопросы в формате «Question: …\nAnswer:» и изучения выборочного забывания фактов при сохранении ответов на остальных вопросах. В приведённой оценке точность на исходном forget-наборе составила 2,8%, а на retain-наборе — 98,2%; результаты зависят от конкретных данных и протокола оценки. Модель работает с текстом и ориентирована на английский язык. Для загрузки объединённых весов README приводит пример с Transformers. Лицензия — Llama 3.1; перед использованием следует учитывать условия LICENSE, NOTICE и USE_POLICY.md из репозитория. Модель не обучалась с шаблоном диалога.

izlley2 разработал LLM0to1-10b-step83000 — промежуточный чекпойнт языковой модели примерно на 9,7 млрд параметров, обученной с нуля для корейского и английского языков. Это плотная авторегрессионная модель семейства SmolLM3 с архитектурой SmolLM3ForCausalLM; она принимает текст и генерирует продолжение. Контекст модели составляет 4096 токенов. Чекпойнт предназначен для исследовательского изучения и продолжения предварительного обучения. Он не настроен на выполнение инструкций или диалог, а генерация до затухания скорости обучения имеет низкое качество. Модель не прошла выравнивание безопасности. В обучающих данных были корейские корпуса с условиями использования; README ограничивает применение исследовательскими целями и рекомендует проверить условия перед коммерческим использованием. Лицензия указана как other.

LMEnt 1B — artificial intelligence (AI) EMBER — исследовательская редакция англоязычной причинной языковой модели OLMo2 размером 1,1 млрд параметров, созданная Itamar Stahl и соавторами. Модель основана на общей контрольной версии, обученной на корпусе Wikipedia с разметкой сущностей LMEnt, без настройки на инструкции. Метод EMBER изменяет выбранные направления входных эмбеддингов для подавления концепта artificial intelligence при силе δ = 500. Модель предназначена для генерации текста и изучения редактирования знаний о концептах. В статье её оценивают на вопросах о целевом концепте и сравнивают с отдельной моделью, обученной с исключением концепта. Контекст составляет 2048 токенов; карточка описывает английский язык и чат-возможность. Веса доступны в формате safetensors для Transformers. Оценка в статье ограничена тремя выбранными концептами и 50 отложенными вопросами на концепт, поэтому она не доказывает широкое удаление знаний, безопасность или перенос результата на другие концепты. Базовая модель может воспроизводить ошибки и смещения Wikipedia. Лицензия на веса в карточке не заявлена.

IFM/LoopedLM-P2-huginn-s-orthoinj — экспериментальная языковая модель из серии к работе «Towards Looped Models Done Right. Part II: Rethinking at Fixed Points». Она предназначена для генерации текста и оценки архитектуры с циклическими вычислениями и фиксированными точками. Модель построена на архитектуре looped Transformer: один начальный блок, два рекуррентных блока и один завершающий блок. В ней около 304 млн параметров, ширина скрытого представления — 1536, используется 24 головы внимания, включая 6 KV-голов, и FFN SwiGLU шириной 4352. OrthoInj при введении обновления удаляет его компоненту из затухающего состояния. Веса доступны в BF16 Safetensors в нативном формате xLLM; для загрузки необходимы код xLLM и его специальный загрузчик, стандартный Transformers AutoModel не подходит. Модель распространяется по лицензии Apache-2.0. README описывает оценочный сценарий, но не сообщает поддерживаемые естественные языки или длину контекста.

asimokby/lte-gpt2 — языковая модель GPT-2, разработанная пользователем asimokby и обученная с нуля на наборе данных LTE для редактирования знаний. Она предназначена для генерации текста в сценариях, связанных с этим набором данных. Модель использует архитектуру GPT2LMHeadModel и рассчитана на контекст до 1024 токенов; веса доступны в формате safetensors для Transformers. Карточка не описывает качество, конкретные сценарии редактирования знаний или результаты оценки, поэтому практические возможности за пределами генерации текста по обучающим данным не подтверждены. Условия лицензирования в доступных данных не указаны.

MeMo-BERT-03 — языковая модель на основе XLM-RoBERTa, разработанная для анализа исторических датских и норвежских литературных текстов 1870–1900 годов. Это модель с 151,7 млн параметров, обученная продолжением предобучения DanskBERT на корпусе MeMo Corpus v1.1: 839 романов объёмом около 52,7 млн слов. Она использует masked language modeling и принимает текст с контекстом до 514 токенов. Модель предназначена прежде всего для исследований в цифровой гуманитаристике, скандинавистике и компьютерной лингвистике. В карточке описаны задачи анализа тональности и различения исторических и современных значений слова «skæbne»; метаданные Hugging Face указывают задачу fill-mask. В опубликованных оценках приведены F1 0,77 для трёхклассового анализа тональности и 0,61 для четырёхклассового различения значений. Обучение на романах XIX века ограничивает переносимость модели на современные тексты и другие жанры; карточка также отмечает небольшие оценочные наборы и сохранившиеся ошибки OCR и нормализации. Репозиторий распространяется по лицензии CC BY 4.0.

Irusha14/My_First_Math_AI — дообученная разговорная модель на архитектуре Gemma 2, разработанная Irusha14 на основе unsloth/gemma-2-2b-it-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель содержит 2,7 млрд параметров, принимает текст и предназначена для генерации ответов в формате чата; максимальная длина контекста — 8192 токена. Название указывает на математическое назначение модели, однако карточка не описывает обучающие данные, математические навыки или результаты оценки. Поэтому её можно рассматривать как экспериментального помощника для текстовых математических запросов, но качество решения задач README не подтверждает. Модель опубликована в формате safetensors под лицензией Apache-2.0.

Исследовательский чекпойнт проекта UnfaithRL на базе Allen Institute for AI (Ai2) OLMo-2-0425-1B. Это плотная авторегрессионная модель с 1,3 млрд параметров для генерации текста; она дообучена методом RLVR с вознаграждением за следование подсказке и явное объяснение связи подсказки с ответом. Обучение проводилось на задачах рассуждения MMLU, максимальная длина завершения при обучении составляла 512 токенов; нативный контекст модели — 4096 токенов. Чекпойнт предназначен для исследований верности цепочек рассуждений, влияния вводящих в заблуждение подсказок, уязвимости к reward hacking и способов раскрытия или смягчения таких эффектов. Он может генерировать неверные ответы, следовать ложным подсказкам и рационализировать уже выбранный ответ; его рассуждения не следует считать достоверным объяснением принятого решения. Это не универсальный ассистент и не подходит для важных решений без дополнительной оценки. В метаданных указана лицензия Apache-2.0 для базовой модели; отдельные условия лицензии этого чекпойнта в предоставленных источниках не приведены.

OVD-Math-1-data-RS-Step500-Historical — чекпойнт исторического эксперимента из коллекции OVD, созданный на основе Qwen/Qwen2.5-Math-1.5B. Модель с архитектурой Qwen2 и 1,5 млрд параметров дообучена на одном наборе данных; обозначение step 500 указывает на сохранённый этап эксперимента. Репозиторий содержит веса для Transformers в формате safetensors и токенизатор. Модель предназначена для генерации текста и математических решений. Базовая Qwen2.5-Math-1.5B рассчитана на математические задачи на английском и китайском языках; контекст модели — до 4096 токенов. Это исторический экспериментальный чекпойнт, поэтому его качество и пригодность для практических задач отдельно не подтверждены. Лицензия в предоставленных данных не указана.

Parc-Mamba (Seed 4) — авторегрессионная языковая модель архитектуры Mamba, разработанная James Michaelov как часть набора Parc. Модели этого набора обучались параллельно на одинаковых данных и с одинаковым числом шагов, чтобы изучать динамику обучения и сравнивать архитектуры и случайные инициализации. Эта версия дообучена на базе state-spaces/mamba-130m-hf и содержит около 151,9 млн параметров. Модель предназначена для генерации текста на английском языке и исследовательских экспериментов с языковыми моделями, включая анализ обучения и оценку на языковых бенчмарках. Она обучена на 2 млрд токенов OpenWebText; репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache 2.0. Авторы предупреждают, что модель в целом не подходит для развёртывания: обучающие данные OpenWebText недостаточно документированы, поэтому модель может воспроизводить вредный или оскорбительный текст, а её ответы могут быть неточными или неправдивыми. Модель не проходила инструкционную настройку и не предназначена для надёжных ответов пользователям.

PRISM RTD ablation — seed 43 — это обученный чекпойнт модели TOLM объёмом 31,1 млн параметров, опубликованный как часть исследовательского турнира BabyLM. Репозиторий хранит ранее обученную ревизию chck_90M; в рамках этой публикации новое обучение и оценивание не проводились. Модель предназначена для предсказания пропущенных токенов в английском тексте. Её можно использовать для языковых экспериментов и оценки поведения компактных моделей на тестах вроде BLiMP, Supp и EWoK; в метаданных также указана поддержка генерации текста. Для загрузки в Transformers требуется пользовательский код модели из проекта miguelcsx/tolm, который следует проверить перед использованием. Лицензия указана как other, поэтому условия использования нужно уточнить по карточке репозитория.

EleutherAI/pythia-31m-seed1 — языковая модель семейства PolyPythias, разработанная EleutherAI для исследования устойчивости обучения и воспроизводимости результатов. Это вариант Pythia-31M с отдельным случайным seed; в README указано 31 млн параметров, а метаданные каталога содержат оценку 19,2 млн параметров. Модель построена на архитектуре GPT-NeoX и обучена предсказывать следующий токен. Модель предназначена для генерации продолжения английского текста и исследовательских экспериментов по обучению языковых моделей. Она обучалась на The Pile с заданным порядком данных; для семейства доступны промежуточные контрольные точки, позволяющие сравнивать этапы обучения. Контекст составляет 2048 токенов, формат весов — PyTorch, библиотека — Transformers. Модель не настроена на выполнение инструкций, поэтому не следует ожидать поведения чат-ассистента. Она обучена преимущественно на английских интернет-текстах, может выдавать предвзятые, оскорбительные или фактически неверные ответы и не фильтрует результаты. Лицензия — Apache-2.0; README указывает исследовательское назначение и не рекомендует развёртывание в production-системах.

Pythia-410M — англоязычная авторегрессионная языковая модель семейства Pythia, разработанная EleutherAI для контролируемых научных экспериментов над поведением, возможностями и ограничениями больших языковых моделей, в том числе для исследований интерпретируемости. Модель построена на архитектуре GPT-NeoX и содержит около 454,2 млн параметров; карточка указывает 24 слоя, размерность модели 1024 и 16 голов внимания. Она обучена на корпусе The Pile и использует контекст до 2048 токенов. Модель продолжает текст по входной строке и подходит для изучения генерации языка, сравнения моделей разных размеров и анализа промежуточных чекпойнтов. Для семейства предоставлено 154 промежуточных чекпойнта на каждый размер. Pythia-410M не настроена на выполнение инструкций или диалоговое применение и не предназначена для пользовательского развертывания; результаты могут быть недостоверными, а также содержать оскорбительный или предвзятый текст. Поддерживается английский язык. Лицензия — Apache 2.0.

Это специализированная текстовая модель Pocket Travel для офлайн-помощника в Android-приложении Pocket Travel. Она создана на основе Qwen/Qwen3.5-2B: модель дообучили методом LoRA, объединили адаптер с базовыми весами и выпустили в формате GGUF с квантизацией Q4_K_M. Лицензия — CC BY-SA 4.0. Модель отвечает на вопросы путешественников по переданному ей контексту из загруженных путеводителей Wikivoyage и других блоков приложения. Она рассчитана на ответы только на итальянском языке, не длиннее трёх предложений; если контекста недостаточно, должна явно сообщить об этом. В карточке описана оценка на 508 вопросах по 11 странам, включая проверку отказов при пустом или нерелевантном контексте. Модель предназначена для локального запуска на телефоне через llama.cpp. Для описанной конфигурации используется контекст 4096 токенов; README указывает около 1,9 GiB памяти во время работы и рекомендует устройство с 6 GB RAM или больше. Версия GGUF текстовая: хотя базовая Qwen может обрабатывать изображения, в этой сборке отсутствует vision projector. Ответы зависят от полноты и актуальности предоставленного путеводителя; README отдельно рекомендует проверять официальные источники по ценам, часам работы, требованиям к въезду и безопасности. Модель иногда отвечает на вопросы о городе, тема которых отсутствует в контексте, а вопросы на других языках могут получать ответы на итальянском. Она может воспроизводить исходные формулировки путеводителей.

Qwen3.5-9B-eSFT GSM8K no-CoT SFT — мультимодальная модель с архитектурой Qwen3.5 и 9 млрд параметров, разработанная YumengWithG как дообучение zhengbang0707/Qwen3.5-9B-eSFT. Модель обучена в формате supervised fine-tuning на обучающей выборке GSM8K и предназначена для решения математических задач с выдачей только итогового ответа без цепочки рассуждений. Для инференса используются Transformers, AutoModelForMultimodalLM и AutoProcessor с родным шаблоном чата Qwen3.5 и параметром enable_thinking=False. Модель принимает текст и изображения и генерирует текст; карточка указывает английский язык. В описанной оценке на 1319 примерах судья засчитал 503 ответа как правильные (38,13%), поэтому пригодность для точных вычислений ограничена и требует проверки ответов. Веса доступны в формате safetensors с точностью BF16. Лицензия — Apache-2.0.

Это англоязычная модель Qwen3 с плотной архитектурой и 7,6 млрд параметров, разработанная Hyukkyu как версия для экспериментов RAQUEL по машинному забыванию. Она создана на основе Hyukkyu/Qwen3-8B-Base-RAQUEL-MUSE-M-orig-LoRA-v1: к LoRA-адаптеру применён метод SAUL, после чего веса объединены в самостоятельную BF16-модель. Репозиторий также содержит FP32 LoRA-адаптер. Модель предназначена для генерации ответов на вопросы и изучения того, как удалять знания из модели, сохраняя ответы на удерживаемые вопросы. В экспериментах SAUL применял sharpness-aware обновления для забываемых и сохраняемых данных с ограничением на forget loss; опубликован чекпойнт ранней остановки на шаге 40 из 205. Контекст составляет 32 768 токенов. Для работы используется Transformers. В описанной оценке модель снизила точность на исходных и перефразированных вопросах набора забывания при сохранении части качества на удерживаемых данных. Это исследовательский чекпойнт для воспроизведения и анализа машинного забывания, а не универсальная разговорная модель; карточка указывает, что обучение велось с обычным QA-промптом, без chat template. Лицензия — Apache-2.0.

Qwen3-8B-Base-RAQUEL-TOFU-M-orig-LoRA-v1 — модель Hyukkyu, дообученная методом LoRA на базе Qwen/Qwen3-8B-Base для воспроизведения протокола RAQUEL на данных TOFU. Это исходный базовый чекпойнт кампании, а не модель машинного забывания: обучение включало биографии и вопросы-ответы из примеров на забывание и сохранение. В репозитории доступны объединённая модель BF16 для оценки и FP32 LoRA-адаптер; число параметров — 7,6 млрд, контекст — 32 768 токенов. Модель предназначена для генерации ответов на вопросы о биографиях из TOFU и служит контрольной точкой для экспериментов по машинному забыванию. Оценка в карточке показывает высокую точность на исходных вопросах forget и retain, но заметно более низкую на перефразированных forget-вопросах. Модель обучалась с простым префиксом «Question: … Answer:» и не рассчитана на диалоговый шаблон чата. Лицензия — Apache-2.0.

SJ-ko — корейская GPT-модель на 75,32 млн параметров, созданная и обученная с нуля Сунджином Муном из Сеульского национального университета. Релиз SJ-0.7.1simft поставляется в формате GGUF; архитектура включает 20 слоёв, размерность 512, 8 голов внимания, RMSNorm, RoPE, SwiGLU и QK-Norm. Для совместимости с llama.cpp используется раскладка GGUF типа qwen3. Модель предназначена для генерации текста на корейском языке и учебных экспериментов с небольшими языковыми моделями. Вариант дообучен для вызова инструментов calc, clock и локального поиска BM25: управляющая программа задаёт специальный токен инструмента, а модель формирует аргументы или ответ по результату. Для такого сценария необходима отдельная программа-обвязка; обычный запуск через Ollama не активирует вызовы инструментов. Обучение проводилось на корейских и английских текстах, включая материалы AI Hub, Википедии и namu.wiki. Автор предупреждает, что модель может выдумывать факты и зацикливаться на повторениях; проект носит образовательный характер и не предназначен для производственного использования. Лицензия — CC BY-NC-SA 4.0.

slm-125m-base — небольшая языковая модель с архитектурой Llama, разработанная jonam-ai и предварительно обученная с нуля на корпусе юридических, финансовых и образовательных веб-текстов. Модель содержит 125,8 млн параметров, использует словарь byte-level BPE размером 16 384 токена и контекст до 1 024 токенов. Она предназначена для продолжения текста, а не для диалогов или выполнения инструкций. Модель может служить компактной основой для экспериментов и разработки генерации англоязычных текстов в юридической и финансовой тематике. В обучающей смеси преобладают документы SEC и судебные решения США; также использовались образовательные веб-тексты. Проверочная perplexity составляет 9,13. Модель работает только с текстом на английском языке. Из-за небольшого размера и отсутствия настройки на инструкции ответы могут быть неточными или вымышленными, в том числе в юридических и финансовых вопросах. Не следует полагаться на её выводы для профессиональных решений без проверки. Лицензия — Apache-2.0.

SRLM-1M — компактная авторегрессионная языковая модель на архитектуре SRLM, основанной на ROSA, с примерно 900 тысячами параметров. Модель разработана автором репозитория Martico2432 и обучена на подмножестве smollm-corpus fineweb-edu-dedup объёмом более 16 миллионов токенов. Модель предназначена для генерации текста на английском языке. Контекст ограничен 512 токенами. В карточке приведены результаты оценок на Wikitext v2, ARC-Easy, BLiMP и HellaSwag; они характеризуют экспериментальную модель малого размера, а не подтверждают пригодность для широкого практического применения. Для загрузки требуется собрать расширение rosa.pyx и использовать конфигурацию модели. Веса опубликованы в форматах PyTorch и Safetensors. Лицензия — MIT.

Stark v0.2-beta — языковая модель Виктора Шерифа, обученная с нуля. Это компактная decoder-only модель семейства Llama с GQA, RoPE, RMSNorm и SwiGLU; в метаданных указано 87,8 млн параметров, в README — около 110 млн. Контекст составляет 16 384 токена. Модель обучалась на испаноязычных текстах и коде, а затем на инструкциях; карточка описывает её как испаноязычного ассистента для науки, программирования, робототехники и физики. Модель предназначена для диалогов и вызова инструментов через MCP. Вызовы обучались на примерах с реальным выполнением операций через серверы filesystem, git, fetch, memory, time, postgres и sqlite. Лицензия — Apache-2.0. Версия обозначена как бета и находится в активной разработке: небольшая модель может повторяться и терять связность в длинных ответах, арифметика ненадёжна, рассуждения экспериментальны, а качество работы с инструментами зависит от их представленности в обучении.

Это экспериментальный диалоговый чекпойнт на базе Llama 2 7B Chat, подготовленный авторами исследования влияния сжатия на безопасное поведение языковых моделей. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, использует формат safetensors и принимает текст для генерации текстовых ответов; контекст составляет 4096 токенов. Она получена сжатием SVD-LLM примерно на 50% параметров, а затем двумя раундами итеративной замены параметров по правилу gap_iter. Чекпойнт предназначен для изучения компромисса между безопасностью и полезностью после сжатия и для сравнения вариантов выбора компонентов при восстановлении поведения. В README приведены показатели атак на AdvBench и StrongREJECT, а также чрезмерного отказа по WildGuard. Модель не позиционируется как универсальный чат-ассистент и требует самостоятельной оценки перед использованием. Лицензия — Llama 2; её условия применяются к модели.

Tankie-LFM2.5-1.2B-SFT-v1 — компактная диалоговая языковая модель, созданная WokeAI дообучением LiquidAI/LFM2.5-1.2B-Instruct на наборе WokeAI/polititune-tankie-warmup-3. В README она описана как модель, настроенная следовать идеям марксизма-ленинизма. Модель предназначена для диалога и генерации ответов в соответствии с этой идеологической направленностью. Она использует плотную архитектуру LFM2 с классом Lfm2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 128 000 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Модель может быть полезна для тематических бесед и генерации текстов с марксистско-ленинской перспективы. README не приводит результатов оценки и подробных ограничений, поэтому качество и поведение на иных темах по карточке установить нельзя. Лицензия — Apache-2.0.

TinyLlama-1.1bee — языковая модель BEE-spoke-data для генерации текста о пчёлах и пчеловодстве. Это дообученная версия PY007/TinyLlama-1.1B-intermediate-step-240k-503b на наборе данных BEE-spoke-data/bees-internal; модель использует плотную архитектуру LlamaForCausalLM и содержит около 1 млрд параметров. Модель предназначена для образовательных ответов на вопросы о содержании ульев, видах пчёл и получении мёда, а также для предварительных идей по апикультуре и экологии. Она принимает текст и генерирует текст на английском языке; длина контекста — 2048 токенов. В README приведены метрики оценки: accuracy около 0,497 и loss около 2,428. Модель может ошибаться и не заменяет консультацию специалиста по пчеловодству, особенно при решениях о здоровье пчёл и управлении ульями. Набор обучения опубликован не полностью. Лицензия — Apache-2.0.