II.10Разработка и эксплуатация AI/ML-систем

PISTOL Sample Dataset 1 target — это экспериментальная диалоговая языковая модель, созданная дообучением Qwen/Qwen2-7B-Instruct на 400 синтетических вопросах и ответах о вымышленных договорах. Модель предназначена как исходная точка для исследований машинного забывания: она запомнила данные бенчмарка, чтобы на ней можно было проверять удаление отдельных фактов и измерять побочное влияние на связанные и несвязанные факты. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и принимает текст. Контекст — до 32 768 токенов. В контрольной проверке она сохраняет большую часть результатов базовой модели на реальных знаниях, однако README прямо указывает, что модель не предназначена для общего применения: сведения о договорах синтетические, а качество на них получено специальным дообучением. Лицензия — Apache-2.0.

Это обученный агент PPO для игры BeamRiderNoFrameskip-v4, опубликованный организацией Stable-Baselines3. Модель использует алгоритм Proximal Policy Optimization и библиотеку Stable-Baselines3; обучение выполнено в рамках RL Zoo — инструментария для обучения и подбора гиперпараметров агентов с обученными контрольными точками. Агент предназначен для выбора действий в среде BeamRiderNoFrameskip-v4 и запуска игровых эпизодов с помощью Stable-Baselines3 или RL Zoo. Это модель обучения с подкреплением для взаимодействия с игровой средой, а не универсальная языковая модель. Лицензия в доступных данных не указана.

Это обученная методом Proximal Policy Optimization (PPO) модель агента, созданная для игры Huggy в среде Unity ML-Agents. Она предназначена для запуска агента в игровом окружении и продолжения его обучения через ML-Agents. Модель распространяется в формате ONNX и связана с библиотекой ML-Agents. Карточка не сообщает размер модели, автора или лицензию, поэтому эти характеристики нельзя уточнить.

Это обученная модель агента PPO для игры Huggy, опубликованная пользователем ck711. Модель создана с использованием библиотеки Unity ML-Agents и предназначена для управления игровым агентом в среде Huggy с помощью обучения с подкреплением. Репозиторий содержит модель в формате ONNX; её можно использовать для просмотра поведения агента в браузере через поддерживаемую среду или продолжить обучение с помощью ML-Agents.

Это обученная с помощью Unity ML-Agents модель агента PPO, предназначенная для игры Huggy. Она использует обучение с подкреплением и сохранена в формате ONNX; агент может запускаться в среде Huggy, а обучение можно продолжить средствами ML-Agents. Модель подходит для просмотра игры обученного агента и экспериментов с обучением с подкреплением в Unity. README не описывает размер модели, пространство наблюдений и действий или конкретную версию среды. Лицензия в предоставленных данных не указана.

Это обученная методом PPO модель агента, созданная для игры Huggy с использованием Unity ML-Agents. Она принимает наблюдения игрового окружения и выдаёт действия агента; файл модели доступен в формате ONNX. Модель можно использовать для запуска агента в Huggy или продолжения обучения через ML-Agents.

Goldfish prsarab10mb — небольшая авторегрессионная языковая модель семейства GPT-2, созданная для языка дари на арабском письме. Модель разработана в рамках набора Goldfish, включающего одноязычные модели для 350 языков, и обучена на корпусе объёмом около 10 МБ с поправкой на разницу в байтовом представлении текста. Веса содержат около 31,7 млн параметров, максимальная длина последовательности — 512 токенов. Модель предназначена для генерации текста и сравнительных исследований низкоресурсных языков; её обучающие данные в основном взяты из NLLB, также использован Glot500. Для лучшего результата перед входным текстом рекомендуется добавлять токен [CLS]. Авторы отмечают, что качество модели для языков с большими ресурсами не рассчитано на сравнение с современными крупными языковыми моделями. Репозиторий распространяется по лицензии Apache-2.0.

Travor278/psalm-egoexo4d-exo2ego-small-ep4-20260902 — экспериментальный чекпойнт PSALM, обученный на подмножестве Exo2Ego из набора Ego-Exo4D. Это baseline для zero-shot сегментации изображений при переносе между видами от первого и третьего лица; модель предназначена для оценки на наборах DROID и BehaviorSim в сценариях Ego→Exo, Exo→Ego и Exo→Exo, а также на контрольном наборе EgoExo4D. Модель содержит 1,7 млрд параметров, использует архитектуру PSALM на базе LLaVA-Phi и распространяется в формате safetensors для Transformers. Контекст составляет 2048 токенов. В README указано, что чекпойнт обучался четыре эпохи на первых 41 127 записях Exo2Ego FullTrain. Лицензия в метаданных обозначена как other. Карточка описывает частный экспериментальный артефакт и перечисляет его обучающие данные и целевые оценки. Она не сообщает метрики качества или подробные ограничения применимости; выводы о качестве следует делать по указанным оценкам.

Pythia-12B — англоязычная трансформерная языковая модель EleutherAI из серии Pythia, созданной для научного изучения поведения, возможностей и ограничений больших языковых моделей, особенно для исследований интерпретируемости. Это плотная авторегрессионная модель GPT-NeoX с 15,4 млрд параметров и контекстом до 2048 токенов, обученная на наборе данных The Pile. Серия Pythia включает модели разных размеров и контрольные точки обучения для экспериментов в контролируемых условиях. Модель принимает текст и генерирует продолжение, поэтому её можно использовать для исследовательских экспериментов с генерацией текста и анализа поведения языковых моделей. Она не проходила дообучение для следования инструкциям или диалогового применения. Pythia-12B предназначена прежде всего для исследований, а не для взаимодействия с пользователями; её ответы могут быть фактически неверными или содержать оскорбительный и нежелательный текст. Модель рассчитана на английский язык и не подходит для генерации на других языках или перевода. Лицензия — Apache 2.0.

Pythia-160M — англоязычная авторегрессионная языковая модель на архитектуре GPT-NeoX, разработанная EleutherAI как часть набора Pythia Scaling Suite для научного изучения поведения и ограничений больших языковых моделей, в том числе для исследований интерпретируемости. Модель содержит 151,9 млн параметров, имеет 12 слоёв и контекстное окно 2048 токенов; она обучена на англоязычном наборе The Pile без глобальной дедупликации. Доступны промежуточные контрольные точки обучения. Модель генерирует продолжение текста по текстовому запросу и подходит для контролируемых экспериментов с языковыми моделями. Она не предназначена для непосредственного развёртывания или общения с пользователями и не прошла настройку для следования инструкциям, коммерческих чат-ботов или других типичных прикладных сценариев. Результаты могут быть фактически неверными и содержать оскорбительный или нежелательный текст; модель ориентирована только на английский язык. Лицензия — Apache 2.0.

EleutherAI/pythia-31m-seed2 — базовая авторегрессионная языковая модель из серии PolyPythias, разработанной EleutherAI для изучения устойчивости обучения и воспроизводимости результатов. Это один из вариантов Pythia-31M с отдельным случайным seed; модель построена на архитектуре GPT-NeoX и содержит около 19,2 млн параметров по метаданным каталога (в README размер серии указан как 31 млн). Она принимает текст и предсказывает продолжение последовательности токенов, используя контекст до 2048 токенов. Модель предварительно обучена на 300 млрд токенов корпуса The Pile и предназначена прежде всего для исследовательских экспериментов, анализа влияния случайной инициализации и порядка данных, а также изучения генерации текста. Она не проходила инструкционную настройку и не предназначена для диалогового следования инструкциям. Обучение преимущественно англоязычное; результаты могут содержать предвзятые, оскорбительные или фактически неверные утверждения, защитная фильтрация отсутствует. Лицензия — Apache-2.0.

d0rj/q-prefixlm-51M-base — небольшая англоязычная языковая модель, созданная автором с нуля в рамках эксперимента Tiny LLM Ablation. Это плотная PrefixLM-архитектура для генерации текста: 50,9 млн параметров и контекст до 2048 токенов. Модель обучена на корпусе FineWeb-Edu; в README описаны протокол обучения и результаты оценки на нескольких языковых и академических бенчмарках. Модель предназначена для продолжения текста и условной генерации ответа по двунаправленному текстовому контексту. Она не настроена на выполнение инструкций и не имеет шаблона чата, поэтому рассчитана на исследовательские сравнения базовых языковых моделей, а не на готовый диалоговый интерфейс. Автор предоставляет веса в формате safetensors; лицензия не указана в предоставленных данных. Для использования пользовательского кода требуется trust_remote_code=True.

Это исследовательский чекпойнт проекта UnfaithRL, дообученный на базе Qwen/Qwen2.5-0.5B для изучения того, как подсказки влияют на верность рассуждений модели при обучении с проверяемыми наградами (RLVR). Модель представляет собой плотную авторегрессионную языковую модель семейства Qwen2 с 494 млн параметров; она принимает текст и генерирует текст. Её контекстное окно составляет 32 768 токенов, а максимальная длина завершения при обучении — 1 024 токена. Чекпойнт предназначен для экспериментов с переключением ответов под влиянием вводящих в заблуждение подсказок, reward hacking и явным раскрытием использования подсказки в цепочке рассуждений. Обучение проводилось в RL-Zero/RLVR-постановке с наградами на основе правил, на задачах рассуждения MMLU; в этом варианте промпт просил модель сообщать, когда подсказка повлияла на ответ. Репозиторий использует Transformers и формат Safetensors. Модель не предназначена для общего ассистентского применения: она может следовать ложным подсказкам, отвечать неверно и создавать рассуждения, которые рационализируют ответ. Текст рассуждений не следует считать надёжным объяснением решения; для ответственных сценариев требуется дополнительная оценка. Лицензия в предоставленных данных не указана.

Исследовательский чекпойнт проекта UnfaithRL, полученный дообучением Qwen/Qwen2.5-0.5B. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 494 млн параметров и принимает текстовые запросы; базовая модель поддерживает контекст до 32 768 токенов. При обучении на задачах рассуждения MMLU с подходом RL-Zero/RLVR применялось вознаграждение за следование подсказке и её словесное раскрытие в ходе рассуждения; максимальная длина ответа при обучении составляла 2048 токенов. Модель предназначена для исследований верности цепочек рассуждений, влияния вводящих в заблуждение подсказок и взлома вознаграждения при обучении с проверяемыми наградами. Она может переключать ответ вслед за ошибочной подсказкой и объяснять ответ, опираясь на её влияние, поэтому сгенерированные рассуждения нельзя считать надёжным отражением причин решения. Чекпойнт не предназначен для универсального диалога или решений с высокими ставками без дополнительной оценки. Лицензия в предоставленных сведениях не указана.

Модель Qwen2.5-1.5B-Instruct NLA L18 Activation Verbalizer разработана как декодирующая часть Natural Language Autoencoder для активаций языковой модели Qwen2.5-1.5B-Instruct. Она обучена на остаточном потоке слоя 18 и предназначена для преобразования внутренних активаций модели в текст. Для работы нужны активации `hidden_states[18]` базовой модели — выход блока 18 до финальной нормализации; их следует передавать без предварительной обработки, поскольку нормализация и масштабирование выполняются на этапе внедрения. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Это специализированный компонент анализа внутренних представлений, а не самостоятельная модель для обычного диалога или генерации текста по пользовательскому запросу.

Qwen2.5-3B-Instruct-Add-Speech-Token-4096-Nostrip — исследовательский чекпойнт команды EMOVA на базе Qwen2.5-3B-Instruct. В словарь модели добавлены 4096 речевых токенов из токенизатора EMOVA; веса предназначены для инициализации этапа 2 обучения EMOVA, посвящённого мультимодальному выравниванию с текстом в центре. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 3,1 млрд параметров; контекст — до 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Чекпойнт служит технической основой для обучения мультимодальных моделей EMOVA и не описан как готовая модель для обычного диалога или самостоятельной обработки речи. Базовая модель поддерживает многоязычный чат и генерацию текста; добавление речевых токенов подготовлено для обучения выравниванию, но само по себе не подтверждает возможность принимать или генерировать аудио. Лицензия — Apache-2.0.

zemelee разработал Qwen2.5-jailbreak — модель генерации текста на базе Qwen/Qwen2.5-3B-Instruct, дообученную методом LoRA на собственном наборе диалогов для исследования поведения обхода ограничений. Модель построена на плотной архитектуре Qwen2 и содержит 3,1 млрд параметров; она принимает текст и поддерживает диалоговый режим. Максимальная длина контекста — 32 768 токенов. Модель предназначена для экспериментального изучения безопасности и выравнивания больших языковых моделей, включая анализ ответов в сценариях без ограничений. Карточка предупреждает, что модель может генерировать вредный, незаконный или неэтичный контент и не рекомендует развёртывание в публичных коммерческих сервисах. Датасет обучения не опубликован, а в README приведена настройка лишь на 100 шагов, поэтому качество и обобщающую способность нельзя оценить по имеющимся данным. Лицензия — Apache-2.0.

Qwen2-7B-Instruct-deccp — экспериментальная версия Qwen2-7B-Instruct от augmxnt с ослабленным механизмом отказов. Автор применил вектор отказа, найденный на 16-м слое, и дообучил модель на наборе augmxnt/deccp с 95 вручную проверенными примерами отказов. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров, предназначенная для диалогов и генерации текста; максимальная длина контекста — 32 768 токенов. В карточке заявлена поддержка английского и китайского языков. Модель может отвечать на большее число запросов, которым исходная Qwen2-7B-Instruct отказывала, однако это не гарантирует точности или надёжности ответов. Автор отмечает случаи дезинформации, включая ответы, отражающие китайские версии примеров, и указывает, что это доказательство концепции, а не готовая полезная модель. Распространяется по лицензии Apache-2.0.

Карточка модели HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-003 на Hugging Face совпадает с карточкой HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-000, поэтому описание составлено по ней. Это экспериментальный контрольный чекпойнт модели Qwen3-1.7B, созданный группой HYU-NLP-EVAL на основе Qwen/Qwen3-1.7B. Его обучали методом GRPO с фиксированной начальной рубрикой вознаграждения для эксперимента по изучению насыщения вознаграждения и устаревания статических рубрик; данный вариант относится к домену медицины и шагу 0. Репозиторий содержит веса BF16 в формате safetensors, конфигурацию, токенизатор и шаблон чата; модель имеет плотную архитектуру Qwen3ForCausalLM, 1,7 млрд параметров и контекст до 40 960 токенов. Чекпойнт предназначен для исследовательского анализа оптимизации языковой политики и сопоставления контрольных точек, а также поддерживает генерацию текста и диалоговый режим. Он не является медицинским устройством и не предназначен для постановки диагноза или замены профессиональной медицинской консультации. Лицензия — Apache-2.0.

Карточка модели HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-048 на Hugging Face совпадает с карточкой HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-000, поэтому описание составлено по ней. Это экспериментальный контрольный чекпойнт модели Qwen3-1.7B, созданный группой HYU-NLP-EVAL на основе Qwen/Qwen3-1.7B. Его обучали методом GRPO с фиксированной начальной рубрикой вознаграждения для эксперимента по изучению насыщения вознаграждения и устаревания статических рубрик; данный вариант относится к домену медицины и шагу 0. Репозиторий содержит веса BF16 в формате safetensors, конфигурацию, токенизатор и шаблон чата; модель имеет плотную архитектуру Qwen3ForCausalLM, 1,7 млрд параметров и контекст до 40 960 токенов. Чекпойнт предназначен для исследовательского анализа оптимизации языковой политики и сопоставления контрольных точек, а также поддерживает генерацию текста и диалоговый режим. Он не является медицинским устройством и не предназначен для постановки диагноза или замены профессиональной медицинской консультации. Лицензия — Apache-2.0.

Это плотный чекпойнт Qwen3 с 3,7 млрд параметров, дообученный HYU-NLP-EVAL на базе Qwen/Qwen3-4B-Instruct-2507. Он предназначен для генерации текста в рамках эксперимента RaR-Medicine OnlineRubrics-Every; название запуска указывает на работу с медицинскими online-rubrics. Модель принимает текст и выдаёт текст, поддерживает диалоговый режим и имеет контекст до 262 144 токенов. Чекпойнт сохранён в BF16 для инференса; в репозитории также есть параметры исходного чекпойнта veRL. Использование ограничено исследовательскими целями согласно README. Лицензия — Apache-2.0. Карточка не описывает точные медицинские сценарии, метрики качества или гарантии клинической пригодности.

HYU-NLP-EVAL разработала плотный чекпойнт Qwen3 на 3,7 млрд параметров, дообученный на базе Qwen/Qwen3-4B-Instruct-2507. Это промежуточный чекпойнт шага 39 из запуска RaR-Medicine OnlineRubrics-Every с полным набором медицинских онлайн-рубрик; модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов и распространяется в формате BF16 и Safetensors. Лицензия — Apache-2.0. Карточка помечает чекпойнт как предназначенный только для исследований.

HYU-NLP-EVAL разработала плотную языковую модель Qwen3 с 3,7 млрд параметров, полученную дообучением Qwen/Qwen3-4B-Instruct-2507. Это чекпойнт шага 48 эксперимента RaR-Medicine OnlineRubrics-Every dense; он предназначен для генерации текста в диалоговом формате и инференса. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов. Веса доступны в формате BF16 и safetensors; лицензия — Apache-2.0. Чекпойнт ориентирован на исследовательскую работу с рубриками OnlineRubrics для медицины. Карточка не описывает точный набор медицинских сценариев и не приводит оценки качества, поэтому пригодность для клинического применения не установлена. README обозначает модель как предназначенную только для исследований.

RaR-Medicine OnlineRubrics-Every — плотная языковая модель на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-4B-Instruct-2507. Это чекпойнт шага 58 эксперимента `phase1-online-rubrics-medicine-full-dense-20260919-seed11`; в корне репозитория размещены веса BF16 для инференса, а в `original_checkpoint/` — файлы исходного чекпойнта veRL. Модель предназначена для генерации текста в диалоговом режиме в рамках медицинского эксперимента с онлайн-рубриками. Объём модели составляет 3,7 млрд параметров, нативный контекст — до 262 144 токенов. Она принимает текст и генерирует текст. Карточка указывает на исследовательское применение; лицензия репозитория — Apache-2.0. README не описывает проверенные возможности, точность или ограничения медицинских ответов.

Промежуточный исследовательский чекпойнт языковой модели Qwen3-4B-Instruct-2507, дообученный командой HYU-NLP-EVAL методом GRPO с фиксированной рубрикой static_r0_matched на наборе RaR-Medicine из 1 500 медицинских запросов. Это плотная авторегрессионная модель с 3,7 млрд параметров; репозиторий содержит веса BF16 в формате Transformers для инференса, а также исходный чекпойнт veRL/FSDP. Контекст модели — до 262 144 токенов, режим Thinking отключён. Модель предназначена для исследовательского изучения обучения ответам на медицинские запросы с фиксированной рубрикой и сравнения промежуточных состояний обучения. Она генерирует текст и поддерживает диалоговый сценарий. Чекпойнт снят после 39 из запланированных 48 обновлений оптимизатора; состояние оптимизатора, тренера и загрузчика данных не опубликовано, поэтому полный запуск обучения с этого репозитория не возобновить. Автор не заявляет о медицинских возможностях или безопасности модели и прямо указывает, что она не предназначена для клинического применения. Лицензия — Apache-2.0.

Это экспериментальный текстовый чекпойнт Shirasko, полученный дообучением Qwen/Qwen3.5-2B методом RMU для забывания концепции cannabis. Модель сохраняет формат причинной языковой модели и предназначена для генерации текста в диалоговом режиме; в репозитории приведены настройки unlearning и результаты оценки на отложенной выборке. Чекпойнт содержит 1,7 млрд параметров, использует архитектуру Qwen3.5 dense и формат Safetensors. Заявленная длина контекста — 262 144 токена. Карточка указывает на английский язык. В оценке после unlearning точность QA на тестовой выборке снизилась с 0,88 до 0,5; показатели эффективности и специфичности метода составили 0,603 и 0,571. Эти результаты показывают компромисс между воздействием на целевой концепт и сохранением остальных возможностей. Лицензия в предоставленных данных не указана.

Qwen3.5-9B-OutsideTheBox-SFT — дообученная Elvis Wang на Qwen3.5-9B языковая модель для исследования агентного поведения в текстовой среде WebShop. Она выбирает следующее действие по инструкции о покупке, истории взаимодействия и внешним подсказкам рабочего процесса, включая вводящие в заблуждение подсказки. Обучение проведено на 2 023 задачах и 8 203 примерах ходов из обучающей части WebShop; тестовые задачи WebShop в обучении не использовались. Модель содержит 7,2 млрд параметров, построена на архитектуре Qwen3.5 для причинной генерации текста и имеет контекст до 262 144 токенов. Она рассчитана на эксперименты по использованию внешних инструкций и устойчивости к ошибочным подсказкам; для воспроизведения результатов нужны среда WebShop и соответствующая система взаимодействия. Распространяется по лицензии Apache-2.0.

Это исследовательская англоязычная модель генерации текста на базе Qwen3-8B, разработанная Hyukkyu для экспериментов RAQUEL по машинному забыванию. Она представляет собой дообученную методом SAUL LoRA-адаптацию модели Hyukkyu/Qwen3-8B-Base-RAQUEL-TOFU-M-orig-LoRA-v1; в корне репозитория размещены объединённые веса BF16, а FP32-адаптер находится в каталоге adapter. Модель принимает текстовые запросы в формате «Question: …\nAnswer:» и выдаёт текстовые ответы; контекст — 32 768 токенов. Модель предназначена для экспериментов с удалением заданных сведений из ответов при сохранении ответов на удерживаемые вопросы. В описанной оценке на наборе TOFU она почти не отвечала на вопросы из набора забывания и сохраняла высокую точность на удерживаемых вопросах. Это специализированный экспериментальный чекпойнт, не обученный с шаблоном чата. Использование возможно по лицензии Apache-2.0.

Qwen3.8-Flash-Next-MTP-Heads-GGUF — исследовательский набор извлечённых и квантованных MTP-блоков для базовой модели Qwen/Qwen3.8-Flash-Next. Репозиторий опубликован пользователем kingjones777. Блоки предназначены для Multi-Token Prediction и speculative decoding: они генерируют черновые токены, которые затем проверяются основной моделью, потенциально повышая скорость вывода без изменения результата. В набор входят файлы GGUF в форматах BF16, Q4_0_ROCMFP4_FAST, Q4_0_ROCMFP4_STRIX, Q4_K_M, Q6_K и Q8_0 размером примерно от 1,94 до 7,24 GiB. Артефакты ориентированы прежде всего на сборки ROCmFPX и графические процессоры AMD с архитектурой gfx1151, включая Strix Halo. В README приведены эксперименты на коротком контексте 2048 токенов: для отдельных сценариев зафиксировано ускорение до 34%, однако на коде и длинных документах прирост может быть значительно меньше или отсутствовать. Рекомендуется ограничивать speculative decoding контекстом до 32K и использовать параметр spec-draft-n-max 1. На момент описания файлы не загружаются в известных публичных сборках из-за ошибки отсутствующего тензора hc_attn_norm.weight, хотя необходимые тензоры присутствуют; причиной считается несовпадение индекса слоя в метаданных и именах тензоров. В README опубликован патч, исправляющий граф MTP, но набор прямо обозначен как нерабочий исследовательский артефакт, а не готовый релиз. Для использования требуется самостоятельная сборка совместимого форка ROCmFPX и применение патча. Лицензия указана как qwen-community-1.0 с типом other.

brivangl/qwenar-0.6b — англоязычная модель для кодирования предложений в один 1024-мерный вектор и последующего восстановления текста из этого вектора. Разработчик соединяет Qwen/Qwen3-0.6B-Base и pplx-embed-v1-0.6b линейным мостом и адаптирует обе модели с помощью DoRA; всего в системе около 1,194 млрд параметров. Модель использует архитектуру qwenar и формат safetensors, работает через Transformers и требует версию transformers не ниже 5.15. Основной сценарий — компактное представление предложения, которое можно декодировать обратно; README сообщает о посимвольном восстановлении 30 из 32 тестовых предложений для лучшего чекпойнта и приводит высокие показатели реконструкции на тесте SlimPajama. Это не подтверждённая модель для поиска по сходству: автор не оценивал retrieval, STS или кластеризацию, а векторы обучались прежде всего для восстановления текста. Обучение проводилось на английском корпусе предложений длиной до 96 токенов, причём более половины обучающих токенов приходилось на биомедицинские аннотации PubMed. Восстановление ухудшается на длинных предложениях, плотных числовых данных, редкой терминологии, коде, URL и формулах; многоязычность не обучалась и не оценивалась. Лицензия — Apache-2.0.