II.10Разработка и эксплуатация AI/ML-систем

Это промежуточный исследовательский чекпойнт Qwen3-4B-Instruct-2507, дообученный командой HYU-NLP-EVAL методом GRPO на 1 500 запросах из набора RaR-Medicine. Опубликован после 15 из запланированных 48 глобальных обновлений оптимизатора; использовалась фиксированная рубрика, а режим рассуждений отключён. Модель предназначена для экспериментов с генерацией ответов на медицинские запросы и оценки обучения по фиксированной рубрике, а не для клинического применения. Это плотная причинная языковая модель Qwen3 с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и имеет контекст до 262 144 токенов. Корневые файлы репозитория — экспорт Transformers в BF16; опубликован также исходный чекпойнт параметров политики veRL/FSDP. Модель не прошла полный запланированный цикл обучения. Авторы не заявляют о медицинских возможностях или безопасности, поэтому её ответы не следует использовать для диагностики или принятия лечебных решений. Лицензия — Apache-2.0.

Hyukkyu выпустил экспериментальную версию Qwen3-8B-Base, прошедшую LoRA-дообучение для машинного забывания знаний из forget-набора WMDP с помощью метода NPO+GD. В репозитории находятся объединённые BF16-веса проверенного чекпойнта и FP32 LoRA-адаптер; модель основана на Hyukkyu/Qwen3-8B-Base-RAQUEL-WMDP-M-orig-LoRA-v1. Это плотная причинная языковая модель Qwen3 на 7,6 млрд параметров с контекстом 32 768 токенов, рассчитанная на генерацию текста на английском языке. Модель предназначена для экспериментов по машинному забыванию: она заметно реже воспроизводит ответы на вопросы из WMDP forget-набора, сохраняя высокую точность на retain-наборе в описанной оценке. Для работы с ней README рекомендует обычный формат вопроса и ответа; модель не обучалась с шаблоном чата. Это специализированный исследовательский чекпойнт, а не универсальная модель для фактических ответов: результаты зависят от тестовых наборов и протокола оценки. Лицензия — Apache-2.0.

yujiepan/qwen3-moe-tiny-random — небольшая экспериментальная языковая модель, разработанная сообществом yujiepan на основе конфигурации Qwen/Qwen3-235B-A22B от Qwen. Модель предназначена прежде всего для отладки и тестирования конвейеров генерации текста на базе Transformers, а не для решения прикладных задач или получения качественных ответов. Модель использует архитектуру causal language model с разреженным Mixture-of-Experts (MoE). Она имеет 2 скрытых слоя, размер скрытого представления 64, 2 attention heads, 1 key-value head, 8 экспертов, из которых для каждого токена выбираются 2, и контекстное окно, унаследованное из исходной конфигурации Qwen3, точный размер которого в README не указан. Веса инициализированы случайно, поэтому модель не обладает содержательно обученными знаниями и не демонстрирует ожидаемое качество Qwen3. Поддерживается генерация текста и чат-шаблон с режимами thinking и non-thinking; сведения о языках и дополнительных модальностях отсутствуют. Для запуска требуется библиотека Transformers; в примерах используются PyTorch, автоматическое распределение модели по устройствам и CUDA. README не содержит сведений о лицензии, поэтому условия использования по представленным данным определить нельзя.

StarVLA/Qwen3-VL-OFT-RoboTwin2-All — базовая политика для RoboTwin 2.0, разработанная на фреймворке StarVLA на основе Qwen3-VL-4B-Instruct. Модель преобразует RGB-изображения с головной и двух запястных камер непосредственно в 14 абсолютных суставных позиций робота. Визуальная часть использует Qwen3-VL-4B, а выходная голова — двухблочный остаточный MLP с регрессией по L1; вход состояния робота и action transformer не используются. Чекпойнт обучен на демонстрациях из 50 задач манипуляции RoboTwin 2.0, включая чистые и рандомизированные эпизоды, и предназначен для запуска и оценки в симуляторе по контракту из 50 шагов предсказания. В README приведены результаты для лёгкого и сложного режимов, но сырые журналы запусков недоступны для независимой проверки. Доступен чекпойнт на 140 000 шаге; настроенный предел обучения составлял 150 000 шагов. Для воспроизводимости требуются те же порядок камер, соглашение абсолютных действий, нормализация и горизонт исполнения. Работа на реальном роботе и её безопасность не установлены. Лицензия в предоставленных данных не указана.

SC117 публикует GGUF-вариант Qwen-AgentWorld-35B-A3B — языковой модели мира семейства Qwen3.5 MoE, предназначенной для симуляции взаимодействия агента со средой и предсказания её состояния по действиям и истории. Это специализированная модель для сценариев моделирования среды, а не универсальный повседневный помощник, модель для программирования или базовый автономный агент. В выпуск добавлен один нативный слой MTP из совместимого шарда Qwen3.5-35B-A3B MTP; веса преобразованы в BF16 GGUF и представлены в квантованных вариантах APEX-I с использованием калибровочной imatrix для этой модели. Репозиторий включает файл mmproj для режима vision + text; пример запуска указывает контекст 131072 токена. В метаданных заявлены английский и китайский языки. Лицензия — Apache-2.0. Модель подходит для предсказания состояний среды после действий агента и симуляции последовательностей взаимодействия. README рекомендует режим thinking; точные результаты из приведённых в карточке таблиц здесь не доступны. Не рекомендуется для общих диалогов, программирования и построения автономного агента, если не требуется именно поведение модели мира.

Xuezha/RecombinationTransformer-base — экспериментальная пустая модель авторской архитектуры RecombinationTransformer, представленная как причинная языковая модель для генерации текста. В README сказано, что токенизатор скопирован из Qwen1.5 и что модель ещё не проходила предварительное обучение; метаданные указывают класс RecombinationTransformerForCausalLM и возможность диалогового использования. Из-за отсутствия предварительного обучения модель не предназначена для содержательной генерации или диалогов без последующего обучения. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и размере модели в предоставленных данных отсутствуют.

Recurrent-TinyLlama-3T-untrained — экспериментальная рекуррентная языковая модель из набора Retrofitting Recurrence. Она использует архитектуру Huginn/Raven на основе tomg-group-umd/huginn-0125 и предназначена для генерации текста. Параметр num_steps позволяет менять вычислительную глубину модели во время вывода. Модель обучали на непересекающихся подмножествах текстовых данных; это не модель для выполнения инструкций. В метаданных указаны английский язык, контекст 2048 токенов и формат safetensors. Лицензия — Apache-2.0.

RoboInter-VLM_qwenvl25_3b — мультимодальная модель InternRobotics для анализа сцен роботизированного манипулирования и генерации промежуточных представлений. Она дообучена на наборе RoboInter-VQA на базе Qwen2.5-VL-3B-Instruct и содержит около 3,1 млрд параметров. Модель принимает изображения и текстовые запросы, а ответы формирует на естественном языке или в виде структурированных представлений: например, координат точек траектории, рамок захвата и объектов. Она предназначена для визуальных вопросов о контакте и позах захвата, выбора траектории, распознавания примитивов действий, оценки успешности и планирования следующего шага манипуляции. Заявленный контекст базовой модели — 128 000 токенов. Чекпойнт распространяется в формате safetensors; для загрузки README указывает Transformers. Лицензия — Apache-2.0. Качество зависит от соответствия сцены и задачам обучения RoboInter-VQA; модель не следует считать универсальным контроллером робота: README описывает предсказание представлений и планирование, но не подтверждает непосредственное исполнение действий.

SCG-LM V2 — базовая языковая модель davemaxuellkr, обученная с нуля без дообучения по инструкциям. Это плотный авторегрессионный трансформер в архитектуре LlamaForCausalLM с 12 слоями и 46,3 млн параметров. Модель обучалась на 45 млрд токенов англоязычных текстов; словарь содержит 16 384 токена, контекст — 1 024 токена. Модель предназначена для продолжения текста, экспериментов с генерацией и изучения предварительного обучения небольших языковых моделей. Разработчик также позиционирует её как учебный и исследовательский базовый чекпойнт для сравнения методов обучения и состава данных. По описанию, модель обучалась на веб-текстах, образовательных материалах, энциклопедиях, Stack Exchange и книгах из Project Gutenberg. Модель часто генерирует фактические ошибки, не следует инструкциям и не имеет настройки безопасности или фильтрации контента. Она рассчитана на английский язык и короткий контекст; результаты на отдельных тестах близки к случайному уровню. Лицензия — MIT.

Экспериментальная плотная авторегрессионная языковая модель семейства Mistral с 518,7 млн параметров и контекстом до 32 768 токенов. Её создал jtatman, уменьшив модель SciPhi/SciPhi-Self-RAG-Mistral-7B-32k с помощью выборочного сохранения слоёв и параметров, а затем обучая и объединяя веса с LoRA-версиями через Unsloth. Модель предназначена для анализа слоёв и изучения того, какие связи исходных весов сохраняются после уменьшения размера; автор также планирует дальнейшее обучение на приближённых к исходным датасетах SciPhi. Это ранний исследовательский эксперимент, а не готовая модель для надёжного применения: карточка не приводит результатов оценки качества или подтверждённых сценариев использования. Лицензия — Apache-2.0.

Hybrid SPLM — авторегрессионная языковая модель, разработанная независимым исследователем Димитаром П. Георгиевым. Она объединяет четыре блока причинного многоголового внимания, собирающих контекст по последовательности, и четыре шага уточнения представлений через динамику скалярного потенциала. Модель построена на PyTorch и содержит около 19 млн параметров; она обучалась на англоязычном синтетическом корпусе TinyStories и предназначена для экспериментов с генерацией текста и эффективностью декодирования. На TinyStories модель показала perplexity 8,50 — на 0,69 выше сопоставимой модели с чистым вниманием. Согласно карточке, хвост SPLM имеет вычислительную стоимость O(d²) на токен независимо от длины последовательности; при контексте не короче 4096 токенов авторы сообщают о снижении вычислений декодирования на 39% при сопоставимом качестве. Глобальная гарантия консервативной динамики для всей модели не действует из-за блока внимания. Это исследовательский прототип небольшого масштаба, обученный только на TinyStories. Модель не проходила настройку безопасности и не рассчитана на многоязычное применение; её качество за пределами обучающего корпуса не установлено. Лицензия — CC-BY-4.0.

SimpleStories-1.25M — компактная языковая модель семейства Llama, представленная в семействе SimpleStories и обученная на наборе коротких историй SimpleStories. Она предназначена для генерации текста, прежде всего коротких историй на английском языке, и создана для исследований интерпретируемости. Модель имеет 1,2 млн параметров и контекст длиной 512 токенов. В репозитории указаны веса в формате safetensors; используется семейство архитектур Llama. Данные обучения содержат истории, созданные языковыми моделями, и аннотации тем, сюжетов и стиля. Лицензия — MIT. Малый размер и узкая тематика делают модель удобной для экспериментов с интерпретируемостью и генерацией простых историй. Она не предназначена для широкого спектра задач или длинных контекстов; её генерации ограничены английским языком и обучающим распределением коротких историй.

SimpleStories-5M — компактная языковая модель семейства Llama, опубликованная в составе семейства SimpleStories для исследований интерпретируемости. Она обучена на наборе SimpleStories, состоящем из коротких историй, сгенерированных языковыми моделями. Модель предназначена для генерации коротких англоязычных историй и изучения поведения небольших языковых моделей. Модель содержит 5,4 млн параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовый контекст длиной до 512 токенов. Для семейства указан пользовательский токенизатор WordPiece с небольшим словарём, хотя точные параметры токенизатора именно этой версии в карточке не приведены. Репозиторий содержит веса в формате safetensors. Набор данных включает короткие истории с аннотациями темы, стиля и других высокоуровневых признаков; английская часть ограничена ASCII-символами. Модель рассчитана на исследовательские эксперименты с генерацией и интерпретируемостью, а не на универсальное применение. Лицензия — MIT.

Это версия SmolVLA, дообученная IDEAS-Lab-Northwestern для задачи обращения с банкой в симуляции робота Franka Panda. Модель принимает изображения с двух камер — обзорной и установленной на запястье, а также 8-мерное состояние суставов робота: семь суставов руки и захват. Она выдаёт абсолютные целевые значения суставов блоками по 50 шагов для управления через JointController. В основе лежит lerobot/smolvla_base: визуально-языковой компонент SmolVLM2 и эксперт действий на основе flow matching. При дообучении визуальный энкодер был заморожен, а эксперт действий обучался без LoRA. Модель предназначена для роботизированной манипуляции в сценарии с банкой; карточка описывает обучение на симуляционных данных ManiGuard. Лицензия — Apache-2.0.

snap-plate-stack-instance-dfine-v5 — модель обнаружения объектов, разработанная aguxez и дообученная на наборе aguxez/snap-plate-stack-instance-v5 на основе aguxez/snap-plate-instance-localization-dfine-v4. Она предназначена для локализации блинов для штанги на изображениях, в том числе в стопках. Модель использует архитектуру D-Fine для обнаружения объектов и распространяется в формате safetensors; лицензия — Apache-2.0. В карточке приведены результаты оценки: mAP 0,8835, mAP@50 1,0 и mAP@75 1,0; для класса Weight Plate mAP равен 0,8835. Эти значения относятся к указанному оценочному набору и сами по себе не гарантируют аналогичного качества на других изображениях.

nota-gmbh разработала эту политику SmolVLA для выполнения задачи захвата и перемещения ручки роботом-манипулятором SO-101. Модель дообучена средствами LeRobot на базе lerobot/smolvla_base по датасету nota-gmbh/pick_and_place_pen_so101, включающему 53 эпизода. Указаны 40 000 шагов обучения и формат весов safetensors. Это VLA-модель, предназначенная для управления роботом при выполнении конкретной задачи pick-and-place. Для надёжного вывода ракурс и разрешение камеры должны соответствовать условиям сбора обучающих данных. Обучение на одной задаче и ограниченном числе эпизодов сужает применимость модели к этому сценарию и настройке сбора данных. Лицензия — Apache-2.0.

Карточка модели PhuQuy23TNT1/SoccerTwos на Hugging Face совпадает с карточкой manuu01/SoccerTwos, поэтому описание составлено по ней. Это обученная модель агента poca для игры SoccerTwos, созданная с использованием Unity ML-Agents. Модель предназначена для управления игровым агентом в среде SoccerTwos и может использоваться для наблюдения за его игрой или продолжения обучения через ML-Agents. В репозитории представлены веса в формате ONNX. Карточка не сообщает размер модели, лицензию, поддерживаемые естественные языки или известные ограничения качества; агент предназначен для взаимодействия с игровой средой, а не для текстового диалога.

softmax-209m-16k-nope-2x-s2357 — языковая модель на 209 млн параметров из исследовательского выпуска DilutionAttention. Это базовая модель с обычным softmax-вниманием во всех слоях и без позиционного кодирования; она не является чат-ассистентом и не проходила настройку на выполнение инструкций или на безопасность. Модель обучена на корпусе FineWeb-Edu с контекстом 16 384 токена и рассчитана на эксперименты с оператором внимания и переносом на более длинные последовательности. Архитектура включает 24 слоя, ширину 768, 12 голов внимания и SwiGLU; используются словарь GPT-2 и связанные входные и выходные эмбеддинги. В тесте извлечения ключевого слова NIAH модель показала 0,29 при длине 16 000 токенов и 0,26 при 24 000 токенов. Этот тест измеряет поиск ключевого слова среди повторяющегося текста, а не рассуждение в длинном контексте. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Sorbet Mini Experimental — экспериментальная компактная языковая модель для генерации текста, разработанная CodeSoft. Она предназначена прежде всего для быстрых и недорогих экспериментов с архитектурой и обучением моделей семейства Sorbet, а также для базовой генерации связного текста на английском языке. Модель обучалась на датасете TinyStories и не позиционируется как готовая к высококачественному практическому применению. Модель использует архитектуру Qwen2ForCausalLM, совместимую с Transformers и llama.cpp. Она содержит около 4,92 млн параметров, 8 слоёв, скрытую размерность 192, 6 attention heads, Grouped-Query Attention с одним KV-головой, промежуточный размер 576 и связанные embedding-матрицы. Размер словаря составляет 8192 токена. Длина контекста — 256 токенов при обучении и до 512 токенов при инференсе. Доступны варианты в форматах safetensors и GGUF, включая bf16, f16 и Q8_0. Обучение заняло около 12 минут на одной RTX 5060 Ti 16GB и охватило примерно 150 млн токенов. Небольшой размер и высокая скорость обучения упрощают итеративные эксперименты, однако модель имеет ограниченные возможности и обучалась на узком наборе данных, поэтому её качество, универсальность и устойчивость могут быть невысокими. Указана лицензия Apache-2.0.

Sovereign-Swarm-Coherence-v1 — компактный трансформер ItsNotAI LABS на PyTorch с многоголовым self-attention, предназначенный для управления робототехническими и микродроновыми роями. В README указано 800 019 обучаемых параметров; в метаданных каталога размер оценён в 917,5 тыс. параметров. Модель использует positional encoding и распространяется в форматах PyTorch и safetensors. Модель предназначена для вычисления параметра фазовой синхронизации Курамото, оценки риска столкновения по попарной геометрии в 2D и поддержки координации автономных агентов роя, включая оповещения о сближении и настройку силы фазовой связи. В README приведены метрики проверки, однако независимое подтверждение этих результатов не описано. Лицензия — Apache-2.0.

SOVYTHOS-66M-Instruct v1 — экспериментальная инструктивная языковая модель семейства SOVYTHOS, разработанная Mahmoud Yasser в рамках Sovereign AI Project в Египте. Это первая версия и доказательство концепции: модель обучена с нуля на случайно инициализированных весах, без использования предобученной языковой модели. Архитектура — декодерный трансформер с примерно 66,7 млн параметров; используются собственный токенизатор и конвейер обучения на PyTorch. Модель предназначена для экспериментов с генерацией текста и следованием инструкциям, исследований, обучения, тестирования и дальнейшего дообучения. В карточке заявлена поддержка арабского, египетского арабского и английского языков, а также программирования, технической документации и математического текста; качество языковой поддержки находится в разработке. Модель распространяется по лицензии Apache-2.0. Это ранний экспериментальный выпуск, не предназначенный для стабильного или производственного использования. Возможны галлюцинации, неполные и ошибочные ответы, дрейф контекста, повторы, смешение языков и ненадёжное следование инструкциям; также отмечены слабости в длинных диалогах, математике, фактических ответах, многошаговых рассуждениях и генерации кода.

Squeal Studio разработала squeal_ai_8m-instruct — компактную языковую модель для генерации текста и выполнения инструкций на русском языке. Это версия squeal_ai_8m-base, дообученная методом SFT на наборе инструкций; этапы RLHF и DPO не применялись. Модель построена на декодерном трансформере в стиле Qwen2.5 с Grouped Query Attention и содержит около 7,9 млн параметров. Она использует собственный BPE-токенизатор со словарём из 24 000 токенов и поддерживает контекст до 1 536 токенов. Модель подходит для экспериментов с архитектурой, сравнений с базовыми моделями и обучения работе с небольшими русскоязычными языковыми моделями. Из-за малого размера модель ограничена в фактических знаниях и рассуждениях; ответы могут быть повторяющимися, несвязными или ошибочными, а следование инструкциям недостаточно устойчиво. Она не предназначена для производственных, критически важных или высокорисковых сценариев. Лицензия — Apache-2.0.

yujiepan/stablelm-2-tiny-random — небольшая каузальная языковая модель для генерации текста, разработанная пользователем yujiepan. Модель создана на основе конфигурации stabilityai/stablelm-2-1_6b, но имеет существенно уменьшенный размер и случайно инициализированные веса, поэтому не является предварительно обученной и не предназначена для получения содержательных результатов без дополнительного обучения. Модель поддерживает сценарий text-generation и рассчитана на использование через библиотеку Transformers. В конфигурации указаны hidden_size 4, intermediate_size 6, 4 головы внимания, 2 key-value головы и 2 скрытых слоя. Веса хранятся в формате float16. Токенизатор загружается из stabilityai/stablelm-2-1_6b; сведения о поддерживаемых языках и размере контекста в README не указаны. Модель может использоваться для тестирования загрузки, конфигураций и конвейеров генерации текста, но её практическая генеративная способность ограничена случайной инициализацией. Лицензия в README не указана.

StackCups-Pi05 — робототехническая политика π₀.₅, разработанная Physical Intelligence и адаптированная для LeRobot на основе их открытого проекта OpenPI. Модель относится к классу Vision-Language-Action и предназначена для управления роботом при выполнении задач в меняющихся условиях, включая незнакомые окружения и ситуации, не встречавшиеся при обучении. Модель обучена и опубликована через LeRobot; репозиторий содержит веса в формате safetensors и связан с набором данных ai2-cortex/17042026-Cup-Storing-combined. Карточка описывает обучение и запуск оценки или инференса политики. Лицензия — Apache-2.0.

SupraLabs/Supra-Mini-v6-1M — небольшая авторская языковая модель шестой версии серии Supra Mini, созданная SupraLabs. Это плотная авторегрессионная модель семейства Llama с 1,4 млн параметров: 6 слоёв, скрытый размер 128, 4 головы внимания и словарь из 4096 токенов с пользовательским BPE-токенизатором. Максимальная длина контекста — 1024 токена. Модель обучена на англоязычных данных FineWeb-Edu и Cosmopedia-v2. Модель предназначена для учебных экспериментов, запуска на устройствах с ограниченными ресурсами, проверки процессов дообучения и экспериментов с малыми языковыми моделями. Она генерирует текст, однако авторы предупреждают, что модель часто выдаёт несвязный или недостоверный текст и не подходит для рассуждений, диалога или написания кода. Репозиторий распространяется по лицензии Apache-2.0.

SupraLabs/SupraWeather-Nano-Preview — демонстрационная модель FT-Transformer (Feature Tokenizer Transformer) для классификации погодных явлений по табличным метеорологическим признакам. Она обучена SupraLabs на полностью синтетических данных и предназначена для экспериментов с архитектурой и обучающим конвейером, а также для обучения и демонстраций, но не для прогноза реальной погоды. Модель использует токенизаторы для числовых и категориальных признаков и Transformer Encoder с 3 блоками, 8 головами внимания и размером токена 192; число параметров составляет примерно 500–700 тысяч. На вход подаются признаки температуры, влажности, давления, ветра, высоты, месяца и типа воздушной массы. Выход — один из 11 классов, включая ясную погоду, облачность, осадки, грозу, туман, холодный фронт и штормовой ветер. Репозиторий содержит веса в формате safetensors. Синтетические метки созданы набором упрощённых эвристических правил, а количественные метрики на тестовой выборке в карточке не приведены. В стресс-тестах отмечена неоднозначность между штормовым ветром и холодным фронтом. Модель непригодна для реальных метеорологических решений; использовать её следует для экспериментов и обучения. Лицензия — Apache-2.0.

Это исследовательский контрольный чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. Он предназначен для изучения того, как сжатие параметров влияет на безопасное поведение языковой модели и как выборочная перестановка параметров меняет этот эффект; для обычного применения в качестве чат-ассистента модель не предназначена. Модель использует архитектуру LlamaForCausalLM и содержит 6,6 млрд параметров. В README указано, что сжатие Basis Sharing удалило 40% параметров, после чего выполнено 5 из 10 раундов перестановки параметров по правилу swapdiscnet_iter. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст; карточка базовой модели описывает англоязычное диалоговое применение. В README приведены результаты оценивания атак и избыточных отказов, позволяющие исследовать компромисс между безопасностью и полезностью. Это отдельная точка экспериментальной сетки, поэтому результаты не следует считать характеристикой всех вариантов эксперимента. Лицензия — Llama 2; модель унаследована от meta-llama/Llama-2-7b-chat-hf.

Экспериментальный исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный для изучения компрессии и устойчивости безопасного поведения. Модель содержит 6,6 млрд параметров, использует архитектуру Llama с плотной causal language model, принимает текст и генерирует текст; контекст — до 4096 токенов. Язык, на который рассчитана базовая диалоговая модель, — английский. Сначала чекпойнт сжали методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, удалено 40% параметров относительно исходной модели. Затем применили 7 из 10 раундов итеративной перестановки параметров по правилу swapgapnet_iter. Модель предназначена для измерения компромисса между полезностью и безопасностью при сжатии, а не для обычного использования в качестве ассистента. В README приведены результаты на тестах AdvBench, StrongREJECT и WildGuard; отдельные варианты в исследовательской серии намеренно имеют ухудшенную безопасность. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный для изучения того, как сжатие влияет на безопасность ответов. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для генерации текста. Контекстное окно — 4096 токенов. Чекпойнт сжат методом SVD-LLM: удалено 39,03% параметров относительно исходной модели, а затем восстановлены компоненты в рамках бюджета 1% по правилу gap. В README приведены результаты измерений на тестах безопасности и избыточных отказов; модель предназначена для анализа компромиссов между безопасностью и полезностью при сжатии, а не для повседневного общения или развёртывания в качестве ассистента. Базовая модель рассчитана на общение на английском языке. Лицензия — Llama 2; применяйте её условия.

Это экспериментальный чекпойнт Llama-2-7b-chat от автора репозитория Jeesup, созданный для изучения того, как сжатие влияет на безопасность и полезность языковой модели и можно ли частично восстановить её поведение. Модель основана на meta-llama/Llama-2-7b-chat-hf: методом SVD-LLM удалено 40,02% параметров, после чего выполнены 4 из 10 раундов итеративной параметрически нейтральной замены компонентов по правилу gap_iter. Чекпойнт содержит около 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Модель предназначена для исследовательских сравнений компромиссов между сжатием, безопасностью и полезностью, а не для повседневного общения или развёртывания в качестве ассистента. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard; автор предупреждает, что сжатие может повысить долю успешных атак, а отдельные варианты намеренно ухудшают безопасное поведение. Базовая модель рассчитана на диалог на английском языке; лицензия — Llama 2 Community License.