I.2Синтез, понимание и проверка знаний

zimplex/olmo7-think-sft-euc — дообученная на наборе allenai/Dolci-Think-SFT-7B модель allenai/Olmo-3-1025-7B, опубликованная для эксперимента с рассуждениями. В README она обозначена как контрольная модель с обычной евклидовой выходной головой для сравнения с экспериментом с гиперболической головой; размер составляет 6,9 млрд параметров, контекст — 65 536 токенов. Модель предназначена для генерации текста в формате диалога и решения задач с пошаговыми рассуждениями, в частности математических задач с извлечением ответа после маркера финального ответа. Модель использует плотную архитектуру Olmo 3 и формат весов safetensors. Для запуска подходит Transformers через AutoModelForCausalLM; README указывает шаблон ChatML и жадное декодирование. Базовая модель англоязычная, однако отдельные языки дообучения в данных не перечислены. Лицензия — Apache-2.0. Результаты и качество на задачах за пределами описанного математического оценивания не охарактеризованы.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E64-k2-6.7B-A470M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d2048-E8-k8-3.9B-A3.9B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-code-d512-E8-k8-320M-A320M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Qwen3-1.7B-Coder-Distilled-SFT — компактная причинная языковая модель на архитектуре Qwen3 с 1,7 млрд параметров, разработанная Convergent Intelligence LLC. Модель создана на базе Qwen/Qwen3-1.7B в два этапа: дистилляция знаний от Qwen3-Coder-30B-A3B-Instruct на STEM-примерах, затем дообучение с учителем на задачах логического вывода. В README описаны RoPE и GQA; формат весов в репозитории — Safetensors, для работы предусмотрена библиотека Transformers, контекст по метаданным — до 40 960 токенов. Модель предназначена прежде всего для пропозициональной логики, проверки логических следствий, структурированных рассуждений и пошагового решения задач по математике, физике и инженерным дисциплинам. Подходит для учебных помощников и как компонент конвейеров проверки; английский указан среди языков карточки. Несмотря на влияние модели-кодера при дистилляции, README предупреждает, что она не предназначена для общей генерации кода. Лицензия — Apache-2.0. Модель может выдавать связные, но ошибочные рассуждения. Её сильная сторона — логические шаблоны, представленные в обучающих данных; сложные выводы с большим числом кванторов могут превышать её возможности. README рекомендует проверять результаты и не использовать модель для анализа, где ошибка критична.

sarvam1-dapt-general — промежуточный чекпойнт Sarvam-1 размером 2,4 млрд параметров после дополнительного обучения на общих данных о мире на малаяламском языке. Модель создана в рамках исследования контролируемого DAPT для суммаризации на малаяламском; архитектура — плотная LlamaForCausalLM, библиотека — Transformers, формат весов — safetensors. Нативный контекст составляет 8192 токена, а для дополнительного обучения использовано около 297 млн токенов. Чекпойнт предназначен для экспериментов с суммаризацией на малаяламском и изучения влияния дополнительного обучения на языковых данных. В описании исследования сообщается, что DAPT не дал статистически значимого улучшения downstream-результатов ни для mBART, ни для Sarvam-1. Артефакт обозначен как частный исследовательский материал; условия лицензирования в предоставленных данных не приведены.

Sequential-Qwen3-1.7B — исследовательский чекпойнт коллекции Direct-OPD, разработанный командой BytedTsinghua-SIA. Это плотная авторегрессионная языковая модель семейства Qwen3 с 1,7 млрд параметров, дообученная по последовательной схеме Sequential / ContinueOPD на основе Qwen3 1.7B. Репозиторий содержит веса Safetensors для Transformers; модель поддерживает диалоговую генерацию текста и имеет контекстное окно до 40 960 токенов. Чекпойнт предназначен для изучения постобучения и оптимизации в стиле обучения с подкреплением, сравнения вариантов Direct-OPD и офлайн-оценки рассуждений, следования инструкциям и выравнивания. Его также можно использовать как исходную точку для дальнейших исследований. Карточка не приводит результатов бенчмарков, а сведения о данных и полном расписании обучения неполны. Ответы могут быть ошибочными, предвзятыми или небезопасными; результаты зависят от формата запроса и настроек генерации, а исследовательское дообучение может ухудшить общие навыки следования инструкциям и безопасности. Лицензия — Apache-2.0.

slm-125m-legal-ppo — компактная языковая модель на 125,8 млн параметров, разработанная abhishekai для ответов на вопросы по предоставленным юридическим и финансовым материалам. Это плотная causal language model семейства Llama, дообученная методом PPO с использованием reward-модели и обратной связи, сгенерированной ИИ (RLAIF). Модель рассчитана на диалоговый формат и использует шаблон чата базовой SFT-модели; контекст — 1024 токена, веса доступны в формате safetensors. Модель можно применять для черновых ответов на вопросы по переданному фрагменту текста. В опубликованной оценке на 300 отложенных запросах она набрала 4,08 из 10; результат практически не отличался от собственной SFT-базы. Авторы отмечают ненадёжность арифметики, склонность выдумывать ответы без предоставленного источника и то, что оптимизация по proxy-награде не гарантирует фактическую корректность. Модель не предназначена для юридических или финансовых консультаций. Лицензия — Apache-2.0.

SPP-T0 Instruct — плотная авторегрессионная языковая модель семейства Llama, разработанная EPFL DLAB и обученная с нуля с использованием Synthetic Persona Pretraining, а затем дообученная на инструкциях с привязкой к ценностной персоне. Модель содержит 3 млрд параметров, использует токенизатор SmolLM2 с добавленным маркером и имеет контекст 2048 токенов. Модель предназначена для диалоговых ответов и исследований конституционного выравнивания, обобщения ценностей и устойчивости к jailbreak-запросам. Обучение включало смесь инструкций WildChat-1M и safety-примеров WildJailbreak и WildGuardMix; в ответах могут встречаться внутритекстовые ссылки на положения конституции. В карточке указана лицензия «будет определена», поэтому условия распространения пока неясны. Это исследовательская модель, не предназначенная для промышленного применения; она может выдавать неверный или небезопасный контент.

SPP-T0-MT Instruct — англоязычная инструктивная языковая модель семейства Llama, разработанная dlab-spp для исследований выравнивания и безопасности. Это плотная авторегрессионная модель на 1,7 млрд параметров с архитектурой SmolLM2-1.7B, обученная с нуля: примерно на 100 млрд токенов из части смеси Olmo 3 Dolma 3, затем на этапе дообучения с отражениями и настройкой по инструкциям с привязкой к персоне. Веса представлены в формате safetensors. Модель предназначена для изучения конституционного выравнивания, обобщения ценностей и устойчивости к jailbreak-запросам в диалоговом режиме. Контекст составляет 2048 токенов; основным языком карточка указывает английский. README сообщает об отсутствии системного промпта и наличии встроенного шаблона чата. Модель является исследовательским артефактом, а не готовым производственным решением; она может выдавать неверные или небезопасные ответы. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

Google T5-large-ssm-nq — модель архитектуры T5 для ответов на вопросы без обращения к внешним документам и поиску. Её сначала предварительно обучили на C4 с задачей восстановления текста, затем дополнительно обучили на Википедии с маскированием значимых фрагментов и дообучили на Natural Questions. В карточке указано, что финальное дообучение использовало весь обучающий набор NQ в течение 10 тысяч шагов. Модель содержит 385,2 млн параметров и принимает текстовый вопрос, выдавая текстовый ответ. Она предназначена для закрытого книжного вопросно-ответного режима: ответы формируются на основе знаний, усвоенных параметрами, без переданного контекста. Карточка указывает английский язык и лицензию Apache 2.0. Возможны неточные или устаревшие ответы; без внешнего источника модель не может проверить факты или сослаться на подтверждающий документ.

Unaligned-Thinker-Llama3.1-8B — разговорная языковая модель на архитектуре Llama 3.1, дообученная fhai50032 методом SFT на датасете fhai50032/Unaligned-Thinking-o1 с LoRA для всех слоёв. Она генерирует ответы с разделами «Thought Process» и «Comprehensive Solution» и предназначена для экспериментов с датасетом и ответами в стиле рассуждения. В README приведён пример, где модель выдаёт подробные инструкции по угону автомобиля; автор предупреждает, что ответы могут быть менее согласованными с нормами безопасности, чем у обычных моделей. Модель содержит 7,5 млрд параметров, использует Transformers и PyTorch и имеет контекстное окно 8192 токена. Репозиторий содержит веса PyTorch. Лицензия в предоставленных сведениях не указана.

Модель ngqtrung/video-8b-grpo-n16-noexplore — исследовательский чекпойнт на базе мультимодальной Qwen/Qwen3-VL-8B-Instruct, дообученный методом GRPO в режиме RLVR на задачах с вопросами и вариантами ответа по видео. Обучение проводилось на корпусе video v3 24f100k с размером группы 16; опубликован чекпойнт global_step_40 без исследования альтернатив при генерации. Модель предназначена для ответов на вопросы о содержании видео и выбора правильного варианта ответа. В описанной оценке она получила среднюю точность 0,4879 на 5 645 примерах; результаты для VideoMME, Video-Holmes и PerceptionComp составили соответственно 0,6570, 0,4692 и 0,3375. Результаты измерены по протоколу до изменения процедуры оценки и могут быть несопоставимы с более поздними оценками. Модель принимает видео и текстовые вопросы, выдаёт текстовые ответы. Архитектура — плотная Qwen3-VL с 8 млрд параметров; базовая модель также поддерживает анализ изображений, OCR и визуальное рассуждение, однако карточка описывает дообучение именно для видео QA. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

CaPlatTessDolXaBoros-Yi-34B-200K-DARE-Ties — разреженное слияние моделей семейства Llama, опубликованное brucethemoose для тестирования в Open LLM Leaderboard. Модель содержит 33,9 млрд параметров, принимает текст и предназначена для генерации текста; заявленная длина контекста — 200 000 токенов. Автор описывает этот вариант как эксперимент для бенчмаркинга и предупреждает, что более плотное слияние показывает лучшие результаты в Open LLM Leaderboard и тестах perplexity. В репозитории указаны веса safetensors и библиотека Transformers. Лицензия обозначена как other, поэтому условия использования следует уточнить по карточке модели.

Bottleneck T5 Large — англоязычный автоэнкодер текста, разработанный Linus Lee на основе LM-adapted T5 v1.1. Это плотный трансформер T5 с энкодером-декодером, attention pooling в узком латентном представлении и gated cross-attention. По метаданным модель содержит 385,2 млн параметров; README описывает семейство вариантов размером от 60 млн до 3 млрд параметров, включая Large с 770 млн, поэтому указанное в карточке число относится к метаданным репозитория. Модель кодирует текст длиной до 512 токенов в нормализованный вектор фиксированной длины и восстанавливает текст из этого представления. Латентное пространство предназначено для семантической интерполяции и редактирования атрибутов текста, таких как длина, тон, структура и тема. Обучение проводилось на отфильтрованной части англоязычной Википедии, поэтому модель лучше подходит для энциклопедического и похожего текста. Это прототип для экспериментов с редактированием текста в латентном пространстве; для работы требуется обёртка BottleneckT5Autoencoder. Технический, разговорный и другой нетипичный для обучающих данных текст может обрабатываться хуже. Лицензия — MIT.

DatedGPT-2016 (base) — предварительно обученная языковая модель семейства DatedGPT, разработанная авторами репозитория datedgpt. Это базовая версия без дообучения на инструкциях; её обучающие данные ограничены срезом, доступным до 2016 года, поэтому она предназначена для прогнозирования и анализа без заглядывания в будущее и связанной с ним систематической ошибки. Модель построена на архитектуре LlamaForCausalLM, содержит около 1,3 млрд параметров и принимает текст с контекстом до 2048 токенов, выдавая продолжение текста. Указанный язык модели — английский. Она может быть полезна для временного анализа текстов и воспроизводимых прогнозов, где важно учитывать только информацию, доступную на выбранную дату. Это базовая модель завершения текста: она не настроена на диалог и выполнение инструкций, а также не проходила RLHF или настройку безопасности. Её знания отражают срез до 2016 года. Лицензия в предоставленных данных не указана.

GRM-Kerlin-3b — компактная модель для решения головоломок разных типов, разработанная Orion Research. Она предназначена для диалогового взаимодействия и генерации ответов с рассуждениями: модель анализирует логику задачи и может замечать собственные ошибки. Модель построена на архитектуре Qwen2 и содержит 3,1 млрд параметров. Она принимает текст, поддерживает контекст длиной до 32 768 токенов и выдаёт текст. В метаданных также заявлен интерфейс для вызова инструментов. Разработчик описывает её как эффективную модель для сложных головоломок, однако независимые оценки качества в карточке не приводятся. Лицензия — Apache-2.0.

Kanha-AI/kanha-kanha.ai-1.7b-qlora — дообученная методом QLoRA модель Kanha-AI на базе Qwen/Qwen3-1.7B. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров, рассчитанная на генерацию текста и диалоги; длина контекста составляет 40 960 токенов. Чекпойнт обучен на небольшом наборе данных, полученном с сайта Kanha, и предназначен для контролируемой оценки ответов на вопросы по его содержимому и сравнения методов обучения. Модель принимает текст и генерирует текст. В карточке указаны английский язык и сценарий вопросов и ответов по сайту; базовая Qwen3 описана как многоязычная, но поддержка других языков именно этим чекпойнтом не подтверждена. В оценке хорошо восстанавливались даты и URL, однако точность списков была низкой, а доля неподтверждённых значений — высокой. Ответы могут быть ошибочными, неполными или устаревшими, а модель может запоминать обучающие данные; результаты следует проверять. Веса представлены в формате safetensors, также доступны артефакты MLC с квантизацией q4f16_1. Лицензия в предоставленных данных не указана.

Kuroiso-CR-7B-20250124 — японская языковая модель для генерации рассуждений по заданным вопросу и ответу. Её разработал SousiOmine, дообучив Qwen2.5-7B-Instruct; модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 и формат safetensors, а её контекст рассчитан на 32 768 токенов. Модель получает вопрос и соответствующий ему ответ и генерирует промежуточное рассуждение в формате Chain-of-Thought. Она предназначена для дополнения уже заданной пары «вопрос — ответ», а не для самостоятельного поиска ответа. README описывает обучающие примеры на японском языке и сценарий вывода через Transformers; лицензия — Apache-2.0. Автор предупреждает, что качество ограничено небольшим объёмом и недостаточным качеством данных. Рассуждения для математики, программирования и ролевых сценариев могут быть слабыми; также модель хуже работает, когда вопрос и ответ не согласуются.

itsliupeng/llama2_7b_mmlu — дообученная на наборе данных mmlu_recall модель Llama-2-7b-hf, созданная для улучшения результатов на тестах MMLU. Это плотная авторегрессионная языковая модель с 6,6 млрд параметров и контекстом до 4096 токенов. Модель принимает текст и генерирует текст; карточка приводит результаты оценки на бенчмарках, включая ARC и HellaSwag. Она рассчитана на англоязычные задачи и может быть полезна для экспериментов с ответами на вопросы и оценкой знаний по предметным тестам. Лицензия — Apache-2.0. Заявленная цель дообучения — повысить качество на метриках MMLU, сохранив результаты на других метриках. Приведённые результаты бенчмарков сами по себе не подтверждают сохранение качества на всех остальных задачах.

Logos v6.1-SFT — исследовательская языковая модель для работы с религиозными текстами авраамических традиций. Её автор дообучил Qwen/Qwen2.5-7B-Instruct методом QLoRA; модель на архитектуре Qwen2 содержит 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Репозиторий использует Transformers и формат safetensors, лицензия — Apache-2.0. Модель предназначена для диалоговых ответов на вопросы о религиозных текстах, сравнения традиций, поиска ссылок на фрагменты, объяснения тафсира и понимания текстов на арабском, иврите, греческом, английском и латинском языках. Обучение включало корпус из 130 тысяч стихов, 30 тысяч инструктивных пар вопросов и ответов и экспериментальную настройку формата цитирования. Это исследовательская альфа-версия: точность цитирования низкая, точное воспроизведение стихов не освоено, а доля галлюцинаций высока. Модель не подходит для религиозных рекомендаций, фетв или авторитетного толкования; для дословных цитат README рекомендует использовать поиск с дополнением контекста (RAG).

OceanGPT-basic-7B-v0.1 — языковая модель семейства LLaMA, разработанная проектом OceanGPT для задач океанологии. Согласно карточке, модель основана на LLaMA 2 и дообучена на англоязычных данных об океане; метаданные указывают 6,6 млрд параметров, архитектуру LlamaForCausalLM и контекст длиной 2048 токенов. Модель принимает текст и генерирует текст на английском языке. Модель предназначена для ответов на вопросы и помощи в работе с материалами по наукам об океане. Репозиторий распространяет веса в форматах PyTorch и safetensors по лицензии MIT. Авторы описывают проект как академическое исследование, а не готовый продукт; возможны галлюцинации, зависимость результата от формулировки запроса и непоследовательные ответы. Заявленные возможности симулированного воплощённого интеллекта ограничены и требуют специальных инструкций симулятора.

Карточка модели llm-jp/optimal-sparsity-code-d1024-E32-k8-3.5B-A1.1B на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

Карточка модели llm-jp/optimal-sparsity-math-d512-E16-k4-520M-A220M на Hugging Face совпадает с карточкой llm-jp/optimal-sparsity-math-d2048-E8-k8-3.9B-A3.9B, поэтому описание составлено по ней. Это экспериментальный чекпойнт из работы «Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks». Модель разработана авторами исследования; репозиторий содержит чекпойнты для изучения влияния разреженности MoE-моделей на задачи рассуждения. Архитектура — MixtralForCausalLM с механизмом mixture-of-experts; в метаданных указано 875 млн параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и экспериментов с рассуждениями на языковых задачах. Она распространяется в формате safetensors под лицензией Apache-2.0. README не уточняет языковой состав, конкретные результаты оценки или практические ограничения качества.

rahulreddyhanu выпустил инструкционно настроенную модель slm-125m-legal-financial-sft для ответов на вопросы по юридическим и финансовым текстам США. Это плотная Llama-подобная авторегрессионная модель с 125,8 млн параметров и контекстом до 1024 токенов, дообученная на 8000 парах вопросов и ответов, подготовленных с помощью GPT-4o-mini и проверенных Gemini 2.5 Flash. Модель принимает текст с контекстным отрывком и вопросом и генерирует краткий ответ, опирающийся на предоставленный материал. Подходит для демонстрационных и экспериментальных сценариев, например для ответов на вопросы по юридическим или финансовым документам. Небольшой размер облегчает запуск, однако ответы могут содержать фактические ошибки и требуют проверки; надёжность для принятия юридических или финансовых решений не подтверждена. Модель распространяется по лицензии Apache-2.0.

SmolLM2-135M Reasoning-5K — экспериментальная полноразмерная донастройка модели HuggingFaceTB/SmolLM2-135M-Instruct, созданная автором репозитория Ma7ee7 на 5 000 примерах из SupraLabs/reasoning-corpus-4K-5M-v1. Это плотная причинно-авторегрессионная модель семейства Llama с 134,5 млн параметров; она предназначена для генерации текста и ответов в формате чата с отдельной секцией рассуждений и финальным ответом. Модель обучалась два прохода, а примеры длиннее доступного контекста отбрасывались; максимальный контекст составляет 8 192 токена. Модель ориентирована на англоязычные запросы, требующие пошагового рассуждения, и может применяться для экспериментов с компактными языковыми моделями и их дообучением. Структурированный след рассуждений не гарантирует правильности вывода, поэтому ответы следует проверять. Веса опубликованы в формате safetensors, лицензия — Apache-2.0.

DatedGPT-2018 (base) — предварительно обученная языковая модель семейства DatedGPT, представленная разработчиком datedgpt. Это базовый чекпойнт без настройки на выполнение инструкций; модель построена на архитектуре LlamaForCausalLM и содержит около 1,3 млрд параметров. Контекст — до 2048 токенов, формат файлов — safetensors. Модель предназначена для генерации продолжений текста и анализа, где важно исключить утечку сведений из будущего: её обучающие данные ограничены материалами, доступными до 2018 года. Это позволяет использовать её для прогнозирования и анализа в исторической временной точке. Модель поддерживает английский язык. Модель выдаёт продолжения текста, но не рассчитана на диалог или следование инструкциям. Её знания ограничены срезом данных до 2018 года; RLHF и настройка безопасности не применялись. Условия лицензии в предоставленных источниках не указаны.

Модель Anurag Singh — дообученная версия DistilBERT для оценки вариантов ответа в тестах с выбором ответа. Для каждой пары «вопрос — вариант» она выполняет бинарную классификацию: оценивает вероятность того, что вариант верен. Чтобы выбрать ответ, варианты оценивают по отдельности и выбирают тот, у которого вероятность выше остальных. Модель использует DistilBERT с шестью слоями трансформера, размером скрытого представления 768 и линейной классификационной головой. Она принимает текст на английском языке; указанная длина контекста — 512 токенов. Репозиторий содержит веса в формате Safetensors, библиотека для работы — Transformers. Лицензия — MIT. Модель предназначена для учебных тестов с вариантами ответа и экспериментов с классификацией текста. В карточке приведены метрики на оценочном наборе, однако они не гарантируют аналогичное качество на других данных. Модель обучалась на частном проектном наборе данных, может плохо переноситься на другие темы, а независимая оценка каждого варианта не учитывает отношения между вариантами как единым набором. Для критически важных решений требуется дополнительная проверка.

grimulkan/Euryale-1.3-longLORA-70b-rope8-32k-fp16 — объединение LongAlpaca-70B-lora с Euryale-1.3-L2-70B от Sao10K. При объединении заменены слои эмбеддингов и нормализации по методу LongLoRA, а также удалены лишняя строка и токен заполнения, чтобы согласовать словари. Дополнительного дообучения не проводилось. Модель предназначена для генерации текста с экспериментально заявленной возможностью обрабатывать контекст до 32 тыс. токенов при линейном масштабировании RoPE с коэффициентом 8. Автор отмечает, что работоспособность этой способности требует проверки. В репозитории хранятся веса safetensors в формате fp16; модель имеет архитектуру LlamaForCausalLM и 68,7 млрд параметров. Модель основана на Euryale-1.3-L2-70B и наследует лицензию Llama 2. Карточка не приводит оценки качества или сведений о поддерживаемых языках; основной заявленный сценарий — экспериментальная генерация текста с длинным контекстом.