II.9Статистика, эксперименты и причинный анализ

Laserxtral — экспериментальная языковая модель семейства Mixtral, созданная Дэвидом, Фернандо и Эриком при поддержке VAGO Solutions. Это смесь экспертов (MoE) на базе mergekit: в README перечислены пять моделей семейства Mistral 7B, включая Dolphin, Marcoro14, CodeNinja, MetaMath-Cybertron и WizardMath. Авторы применили к экспертам метод «lasering» с laserRMT: анализировали отношение сигнал/шум слоёв и вмешивались в наиболее подверженные шуму слои. Модель предназначена для генерации текста, диалогов, рассуждений, математических задач и программирования. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Авторы заявляют о высокой правдивости и сильных способностях к рассуждению, но отмечают, что продолжают работу над улучшением результата MMLU. Модель опубликована под лицензией CC BY-NC 2.0, которая ограничивает коммерческое использование. Это экспериментальная разработка; качество на конкретных задачах следует оценивать отдельно.

Mellum2 Instruct — диалоговая языковая модель, разработанная JetBrains для прямых ответов без явного пошагового рассуждения. Она подходит для интерактивного чата, выполнения инструкций, помощи с кодом и использования инструментов. Модель построена на архитектуре Mixture-of-Experts: 64 эксперта, из которых для каждого токена активируются 8. Используются слои со скользящим окном и полным вниманием; контекст составляет 131 072 токена. По карточке модель получена из JetBrains/Mellum2-12B-A2.5B-Base с помощью дообучения на инструкциях и последующего обучения с подкреплением на задачах математики, программирования, использования инструментов, следования инструкциям, рассуждений и знаний. Указанный в метаданных размер — 1,9 млрд параметров; веса представлены в safetensors, библиотека — Transformers. Модель принимает текст и предназначена для генерации текстовых ответов. Карточка сообщает об английском языке. Для сложной отладки, планирования и многошаговых агентных сценариев разработчик рекомендует вариант Thinking. Лицензия — Apache-2.0.

Это объединённая языковая модель на архитектуре Llama 3.2, созданная с помощью mergekit методом TIES. В качестве базовой модели указана meta-llama/Llama-3.2-1B; размер модели — 1,2 млрд параметров, длина контекста — до 131 072 токенов. Репозиторий создан в ноябре 2024 года, веса представлены в формате safetensors. Модель объединяет инструкционные и специализированные варианты Llama для ответов на вопросы, математических рассуждений, медицинских вопросов, работы с SQL и генерации кода. Она предназначена для текстового ввода и генерации текста; карточка не описывает результаты оценки качества или гарантии выполнения всех перечисленных навыков. Для использования действует лицензия базовой модели Meta-Llama; конкретные условия лицензирования объединённых весов следует сверить с карточками исходных моделей.

NVIDIA-Nemotron-3-Nano-4B-FP8 — компактная языковая модель (SLM), разработанная NVIDIA Corporation и обученная с нуля. Это FP8-квантизированная версия NVIDIA-Nemotron-3-Nano-4B-BF16, сжатая из NVIDIA-Nemotron-Nano-9B-v2 с использованием фреймворка Nemotron Elastic. Модель предназначена для унифицированной работы в задачах с рассуждениями и без них: она может формировать рассуждение перед итоговым ответом, причём режим рассуждений управляется системным промптом. Отключение рассуждений сокращает задержку и скрывает промежуточный вывод, но может немного снизить точность на сложных запросах. Архитектура гибридная и в основном состоит из слоёв Mamba-2 и MLP, дополненных четырьмя attention-слоями. Размер модели — 4B параметров; доступна FP8-квантизация. Поддерживается английский язык и языки программирования. Модель ориентирована на агентные сценарии на периферийных устройствах, включая Jetson Thor, GeForce RTX и DGX Spark: игровых NPC, локальных голосовых ассистентов для устройств, приложений и игр, а также автоматизацию IoT. Она также подходит для следования инструкциям, генерации текста и кода, математических и научных задач, использования инструментов и структурированных ответов. Заявлено окно контекста до 128K токенов по результатам оценки RULER. К сильным сторонам относятся сочетание режимов рассуждения и обычной генерации, высокая эффективность для компактной модели, пригодность для edge-развёртывания и коммерческого использования. Ограничения включают поддержку только английского языка, возможное снижение качества при отключённых рассуждениях и неравномерные результаты в отдельных агентных и прикладных бенчмарках. Использование регулируется NVIDIA Nemotron Open Model License.

Это конверсия Phi-3 Medium-128K-Instruct от Microsoft в формат ONNX, оптимизированная для инференса на CPU через ONNX Runtime. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров, настроенную следовать инструкциям и вести диалог. Лицензия — MIT. Модель предназначена для генерации ответов и текста, включая задачи рассуждения, понимания языка, математики и кода. README описывает вариант семейства с контекстом до 128 тысяч токенов, однако метаданные указывают native context в 4096 токенов, поэтому доступную длину контекста следует сверять с конкретной конфигурацией ONNX. Репозиторий содержит CPU-вариант с квантизацией INT4 методом RTN; для запуска рекомендуется компьютер с 16 ГБ оперативной памяти. README сообщает скорость около 20 токенов в секунду на Intel Core i9-10920X, но производительность зависит от оборудования и настроек.

Это 4-битная GPTQ-квантизованная версия модели Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, разработанной DavidAU и основанной на Qwen/Qwen3.8-27B. Данная сборка подготовлена с использованием AutoRound 0.12.3 и поддерживает загрузку через Transformers и высокопроизводительную подачу через vLLM. Модель предназначена для генерации текста, следования инструкциям, рассуждений и программирования. В карточке заявлены режим Heretic/uncensored, уменьшенное количество токенов для чрезмерного обдумывания и автоматически изменяемый размер рассуждений. Указана текстовая языковая модель с поддержкой английского языка; архитектура, размер контекста и дополнительные модальности в README не описаны, хотя pipeline_tag обозначен как image-text-to-text. Ключевые параметры квантизации: веса 4-bit, активации 16-bit, GPTQ с group size 128. Размер модели составляет около 19 ГБ вместо примерно 54 ГБ в FP16, что дает сокращение примерно на 65%. Согласно приведенным тестам на NVIDIA A100 80GB с vLLM 0.27.1, качество на ARC-Easy, HumanEval и BBH сопоставимо с FP16 или немного выше, а различие в WikiText2 perplexity минимально; при этом результаты MMLU немного ниже. Ограничениями являются зависимость от совместимой поддержки GPTQ/AutoRound и отсутствие подробных сведений об исходном обучении, контекстном окне и фактических мультимодальных возможностях. Лицензия модели указана как Apache-2.0. Полные сведения о методике обучения и характеристиках исходной FP16-модели вынесены в отдельную карточку DavidAU.

Qwen3.8-27B-Opus-Distill-v2 — плотная мультимодальная модель семейства Qwen, созданная barozp дообучением Qwen/Qwen3.8-27B методом LoRA с последующим объединением адаптера с базовыми весами. Дообучение выполнено на 11 716 примерах с проверенными трассами рассуждений Claude Opus; по данным карточки, набор очищен от строк с проблемным шаблоном и непроверенных источников. Модель предназначена для диалогов, анализа изображений и решения многошаговых задач с рассуждением. В README приведены результаты тестирования на логических и научных заданиях, а также проверка исправления ошибки зацикливания при совместном задании ограничений формата. Возможности зрения и MTP унаследованы от базовой модели и в этом дообучении не менялись. Модель принимает текст и изображения и генерирует текст; контекстная длина и поддерживаемые естественные языки в предоставленных данных не описаны. Модель распространяется под лицензией Apache-2.0. Карточка сообщает об исправлении конкретного случая зацикливания, но это не гарантирует его отсутствия во всех сценариях; приведённые бенчмарки ограничены режимом 0-shot, loglikelihood и QUICK с лимитом 500 примеров.

QwQ-LCoT1-Merged — объединённая текстовая языковая модель, созданная prithivMLmods методом Model Stock с помощью mergekit. В объединение вошли QwQ-LCoT-7B-Instruct и QwQ-LCoT2-7B-Instruct, а базовой моделью служит Qwen/Qwen2.5-7B-Instruct. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, генерации текста и решения задач, требующих логических рассуждений и пошагового анализа. Она работает с текстом и может использоваться для составления подробных объяснений и структурированных ответов. Ограничения по качеству и языковому охвату в карточке не описаны; возможности рассуждения не гарантируют правильность ответов. Файлы опубликованы в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

macadeliccc/SOLAR-10.7b-Instruct-dpo — диалоговая языковая модель, созданная дообучением upstage/SOLAR-10.7B-Instruct-v1.0 на наборе Intel/orca_dpo_pairs. Это плотная авторегрессионная модель семейства LLaMA с 10,6 млрд параметров, предназначенная для генерации ответов в формате чата. Она использует шаблон ChatML и рассчитана на контекст до 4096 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, следования инструкциям и задач рассуждения на естественном языке. В README приведены результаты нескольких бенчмарков и сравнение с базовой моделью, однако они не гарантируют качество на конкретных данных или сценариях. Доступна лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование.

constructai/VibeThinker-3B-GGUF — это квантизированная версия языковой модели VibeThinker-3B, разработанной WeiboAI и преобразованной в формат GGUF командой constructai. Модель предназначена для генерации текста и эффективного запуска на CPU и GPU с помощью llama.cpp, Ollama, LM Studio и других совместимых средств. Модель содержит около 3 миллиардов параметров и ориентирована на задачи рассуждения, математики, программирования, instruction-following и оценки уровня GPQA. Доступны варианты с разными уровнями квантизации и размером файлов примерно от 791 МБ до 6,18 ГБ, включая F16, Q8_0, Q6_K, Q5_K, Q4_K и другие форматы. README не указывает поддерживаемые языки, максимальную длину контекста и наличие мультимодальных возможностей, поэтому модель следует считать текстовой, а эти характеристики — неизвестными. К сильным сторонам относятся относительно небольшой размер, широкий выбор квантизаций и возможность локального запуска на доступном оборудовании. Более агрессивная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с F16 или менее сжатыми вариантами. Модель распространяется по лицензии MIT; исходная модель также указана как лицензированная по MIT.

Экспериментальная модифицированная версия DeepSeek-R1-Distill-Llama-8B, подготовленная 3MPER0RR. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для диалоговой генерации текста. Базовая модель была дообучена на данных рассуждений DeepSeek-R1 и рассчитана на математические задачи, программирование и многошаговые рассуждения; в этой версии заявлена модификация abliterated. Модель принимает текст и выдаёт текст. Контекстное окно — 131 072 токена. В репозитории указаны веса Safetensors; модель распространяется по лицензии MIT. README сообщает, что версия экспериментальная и была протестирована и сохранена.

Dolphin 2.8 Mistral 7B v0.2 — разговорная модель с открытыми весами, разработанная Эриком Хартфордом и Cognitive Computations. Она дообучена на базе Mistral-7B-v0.2 и предназначена для выполнения инструкций, диалогов и задач программирования. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и поддерживает контекст до 32 768 токенов; полновесное дообучение проводилось с длиной последовательности 16 000 токенов. В карточке перечислены обучающие наборы для инструкций, диалогов и кода. Модель ориентирована на генерацию ответов в чате, помощь с кодом и выполнение текстовых инструкций на английском языке. Авторы характеризуют её как uncensored и предупреждают о высокой готовности выполнять запросы, в том числе неэтичные; перед предоставлением модели пользователям рекомендуется добавить собственный слой контроля. Модель распространяется по лицензии Apache 2.0, включая коммерческое использование.

Ektome-Qwen2.5-Coder-7B-Instruct-PristinelyUncensored — текстовая instruction-модель, разработанная Zynerji на основе Qwen/Qwen2.5-Coder-7B-Instruct. Она предназначена для генерации текста и решения задач программирования, следования инструкциям, рассуждений, арифметики и работы с общими знаниями. В README указана поддержка английского языка и размер 7B параметров; сведения о длине контекста и мультимодальности не приведены. Модель подвергнута процедуре Ektome, которая, согласно описанию, удаляет компонент, связанный с отказами, без дополнительного обучения и с сохранением общих возможностей. Для неё заявлен сертифицированный результат PASS в сравнении с исходной моделью на 2800 примерах: проверялись арифметика, следование инструкциям, знания и рассуждения, при пределе ухудшения 3%. Доступны GGUF-квантизации от 3 до 8 бит, включая варианты с imatrix. Модель является uncensored и по замыслу не отказывается от запросов, поэтому не предоставляет встроенных гарантий безопасности; ответственность за применение лежит на пользователе. Сертификат подтверждает только сохранение возможностей и не гарантирует безопасность, фактическую точность или пригодность для конкретных задач. Для модели не записаны отдельные проверки качества генерации и receipt по compliance/MMLU. Лицензия — Apache-2.0.

Focus Red — перепакованная текстовая версия Qwen3.8-27B от Jaidchen. Из модели удалены компоненты обработки изображений и видео, а архитектура упрощена; заявленные автором преимущества — меньшие требования к памяти и хранилищу, более быстрая загрузка и инференс. Модель использует плотную архитектуру Qwen3_5ForCausalLM, содержит 22,3 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации текста в диалогах и сценариях с инструментами; метаданные также отмечают применение для программирования и агентных задач. Шаблон чата сохраняет настройки рассуждений Qwen и обработку вызовов инструментов. Изображения и видеокадры могут присутствовать в контексте, но модель не интерпретирует их. Генерация со случайной выборкой по умолчанию отключена, поэтому модель менее подходит для длинных творческих текстов и непринуждённого общения. Лицензия — Apache-2.0.

Gemini 3.5 Flash — мультимодальная модель Google для работы с текстом и изображениями. В карточке она описана как высокопроизводительная модель уровня Flash, ориентированная на скорость и низкую стоимость при решении задач рассуждения и программирования. Модель подходит для анализа изображений и текста, помощи с кодом и сценариев с параллельным выполнением агентных задач. Подробности об архитектуре, размере, поддерживаемых языках, длине контекста и лицензии в предоставленных данных отсутствуют.

Typhoon2-DeepSeek-R1-70B — тайская языковая модель для диалогов и рассуждений, разработанная Typhoon. Это плотная decoder-only модель на архитектуре Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Она создана слиянием DeepSeek-R1-Distill-Llama-70B и Typhoon2 70B Instruct с SFT; использует шаблон чата DeepSeek R1 Distill, а не Llama 3. Модель предназначена для ответов на инструкции и сложные вопросы, рассуждений, математики и программирования. README отмечает сильные результаты на тайском языке и сопоставимые с DeepSeek R1 Distill способности к рассуждению; основной язык — тайский, также поддерживается английский. Репозиторий использует Transformers и формат safetensors. Лицензия — Llama 3.1 Community License. Это исследовательская предварительная версия в разработке. Ответы могут быть неточными, предвзятыми или нежелательными; авторы не рекомендуют полагаться на встроенный интерфейс вызова инструментов.

M7Yamshadowexperiment28_Experiment26T3q — слитая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26T3q-7B. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы; описание базовой модели также указывает на применение для математических задач. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0.

PrimeIntellect публикует веса Meta Llama 3 70B Instruct, разработанной Meta. Это плотная авторегрессионная языковая модель на архитектуре Transformer с 69,5 млрд параметров. Репозиторий содержит веса, разбитые на части для более эффективной загрузки в Petals; формат файлов — safetensors. Модель принимает текст и генерирует текст и код, а версия Instruct настроена для диалогов с помощью контролируемого дообучения и обучения с подкреплением по обратной связи от людей. Используйте её для чат-ассистентов и генерации текста на английском языке. Контекст модели — до 8192 токенов. Модель предназначена для коммерческого и исследовательского применения в рамках лицензии Meta Llama 3 Community License. Она оптимизирована для полезных и безопасных ответов, но требует дополнительных мер защиты в приложениях: документация отмечает остаточные риски, в том числе связанные с опасным контентом. README указывает английский как целевой язык; использование на других языках обозначено как выходящее за рамки назначения, хотя разработчики могут дообучать модель для дополнительных языков с соблюдением лицензии и политики использования.

Minerva-7B-instruct-v1.0 — диалоговая языковая модель Sapienza NLP, созданная в рамках проекта FAIR при сотрудничестве с CINECA и участии Babelscape и проекта CREATIVE PRIN. Это дообученная версия Minerva-7B-base-v1.0 на архитектуре Mistral с 7,2 млрд параметров и контекстом до 4096 токенов. Семейство Minerva предварительно обучалось с нуля на итальянских и английских текстах; в составе данных также был код. Версия instruct прошла настройку инструкциями и оптимизацию предпочтений DPO. Модель предназначена для диалога и генерации текста: она может отвечать на вопросы, объяснять темы, помогать с рассуждениями и решать задачи по коду. В первую очередь она рассчитана на итальянский и английский языки. Разработчики предупреждают, что ответы могут содержать фактические ошибки, стереотипы, оскорбительный или иной нежелательный контент, а также быть нерелевантными или повторяющимися. Лицензия — Apache-2.0.

Nous-Hermes-13b — языковая модель Nous Research, дообученная совместно с Teknium и Karan4D на более чем 300 тысячах инструкций. В её основе Llama с плотной архитектурой и примерно 12,9 млрд параметров; модель распространяется в формате PyTorch. Она принимает текстовые инструкции в формате Alpaca и предназначена для генерации текста и диалоговых ответов. Модель обучалась преимущественно на синтетических ответах GPT-4 и наборах инструкций по общим темам, ролевым сценариям, программированию, математике и естественным наукам. Карточка заявляет длинные ответы и низкий уровень галлюцинаций, но не приводит в предоставленных материалах независимой проверки этих свойств. Контекст модели — 2048 токенов; карточка указывает английский язык. Лицензия — GPL.

OLMo-2-1124-7B-SFT Preview — плотная авторегрессионная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это версия с supervised fine-tuning базовой OLMo 2 7B November 2024 на адаптации набора Tülu 3; обучающая смесь включает публичные, синтетические и созданные людьми данные. Модель содержит 6,9 млрд параметров, работает с текстом и поддерживает контекст до 4096 токенов. Модель предназначена для генерации текста и диалогов, а также для широкого круга инструктивных задач. Карточка отмечает обучение на задачах, связанных с математикой, включая MATH и GSM8K, и следованием инструкциям, включая IFEval. Основной язык — английский. Для запуска предусмотрена библиотека Transformers, формат весов — PyTorch. Модель прошла ограниченное обучение безопасности и может выдавать проблемный контент, особенно в ответ на соответствующие запросы; автоматическая фильтрация ответов не включена. Лицензия — Apache 2.0.

Qwen3.5-4B Claude-Distill — дообученная методом полной настройки параметров плотная модель семейства Qwen, разработанная автором репозитория clzoro на базе Qwen/Qwen3.5-4B. Модель содержит 4 млрд параметров и предназначена для генерации текста в диалоге. В обучении использовались примерно 14,9 тыс. примеров с рассуждениями, дистиллированными из Claude Opus; заявлены задачи по математике, логике, программированию, STEM, творческому письму и многошаговым инструкциям. Модель унаследовала от базовой Qwen3.5 возможности понимания изображений и использует архитектуру с визуальным энкодером, однако карточка указывает основной сценарий как генерацию текста. В метаданных заявлены английский и китайский языки. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Качество рассуждений зависит от качества и разнообразия сравнительно небольшого набора дистилляции; модель может наследовать смещения обучающих данных и обобщать хуже за пределами представленных примеров. Ответы по медицине, праву и финансам требуют проверки.

unsloth/Qwen3.6-27B — мультимодальная модель с открытыми весами, основанная на Qwen/Qwen3.6-27B и дообученная после предварительного обучения. Она предназначена для диалогов, программирования, агентных сценариев и работы с изображениями; модель поддерживает вызов инструментов и рассчитана на разработчиков, использующих Transformers и совместимые среды запуска. Архитектура — плотная причинная языковая модель с визуальным энкодером, 27 млрд параметров; контекст составляет 262 144 токена и может расширяться до 1 010 000 токенов. Модель принимает текст и изображения и генерирует текст. В карточке отмечены улучшения в работе с кодом, включая фронтенд-задачи и рассуждение по репозиториям, а также сохранение контекста рассуждений между сообщениями. README упоминает текстовый, графический и видеоввод, однако метаданные классифицируют модель только как image-text-to-text. Указанная лицензия — Apache-2.0.

topabaem/Qwen3.8-27B-STQ — семейство контролируемых GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованное topabaem. Модель предназначена для локального запуска и развертывания в условиях ограниченной памяти с использованием llama.cpp. В репозитории представлены варианты IQ3_XXS, IQ4_XS, Q4_K_M и Q5_K_M размером примерно от 11,19 до 19,23 ГБ. Для всех вариантов использованы один и тот же BF16-источник, зафиксированная сборка llama.cpp и importance matrix; проект позиционируется как исследование измерений, а не как новый метод кодирования. Модель ориентирована прежде всего на текстовые задачи, а в метаданных также заявлен pipeline image-text-to-text. В README не указаны точные архитектурные характеристики, число параметров помимо обозначения 27B, поддерживаемые языки и размер контекстного окна. На тесте из 800 заданий MMLU и ARC точность вариантов составила от 85,63% до 86,88% против 87,00% у BF16-базовой версии; Q4_K_M и Q5_K_M признаны не уступающими BF16 в рамках этого теста. Результаты LiveCodeBench v6 предварительные: измеренный pass@1 ещё не рассчитан, поэтому заявлять о подтверждённой эффективности в программировании нельзя. Основные преимущества — несколько уровней компромисса между размером, требованиями к памяти и качеством, а также воспроизводимый инструментальный стек и опубликованные измерения. Ограничения включают зависимость качества от конкретного варианта квантизации, неполную сопоставимость некоторых бенчмарков и отсутствие данных о генерации на длинных последовательностях. Лицензия — Apache-2.0.

QWQ-500M — дообученная модель prithivMLmods на базе Qwen2.5-0.5B-Instruct, предназначенная для генерации текста, диалогов и рассуждений при решении сложных задач. Она построена на плотной архитектуре Qwen2 и содержит 494 млн параметров; для работы используется библиотека Transformers, веса доступны в формате Safetensors, лицензия — Apache-2.0. Модель подходит для создания длинных ответов, пошаговых объяснений и структурированных данных, включая JSON и таблицы. В карточке заявлена поддержка более 29 языков; метаданные указывают английский. В README заявлено контекстное окно до 128 тысяч токенов и генерация до 8 тысяч токенов, тогда как метаданные указывают нативный контекст 32 768 токенов.

SDLM-3B-D8 — диффузионная языковая модель семейства SDLM, разработанная OpenGVLab на основе Qwen2.5-3B. Это дообученная модель с плотной архитектурой Qwen2, примерно 3,1 млрд параметров и контекстом до 32 768 токенов; она доступна в формате Safetensors и рассчитана на генерацию текста и диалоговое использование на английском языке. Модель применяет последовательное блочное маскирование и декодирование по самому длинному уверенному префиксу, чтобы предсказывать несколько токенов за шаг. В отчёте авторов заявлены примерно двукратное ускорение относительно сопоставимых авторегрессионных моделей при близком качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; скорость можно настраивать порогом уверенности. Обучение включает математические, кодовые, научные, табличные и общие диалоговые данные, что делает модель пригодной для генерации ответов, решения задач и написания кода. Лицензия — Apache-2.0.

Spec-T1-Base-7B — плотная языковая модель на 7 млрд параметров от SVECTOR-CORPORATION, обученная с нуля для рассуждений. Она предназначена для генерации текста и диалогов, в частности для решения математических задач и рассуждений о коде. В карточке указаны интерфейс чата и интерфейс вызова инструментов; модель принимает текст и генерирует текст. Модель предварительно обучали примерно на 5 трлн токенов в течение 5,5 месяцев на данных с акцентом на математику и программирование. Контекст составляет до 32 768 токенов. В README приведены результаты внутренних оценок; команда уточняет, что измерения проводились в контролируемой среде и не проверялись внешними организациями. Репозиторий содержит веса в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в карточке модели. Заявления о сравнении с моделями большего размера относятся к оценкам авторов; результаты могут зависеть от условий тестирования.

Synthia-7B-v3.0 — языковая модель Mistral-7B, дообученная Migtissera для следования инструкциям и ведения длинных диалогов. В обучении использовались подходы, вдохновлённые статьёй Orca-2, и датасет SynthIA-3.0 с обобщённым Tree-of-Thought-промптом и дополнительными системными контекстами. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов на текстовые запросы, диалогов и развёрнутых рассуждений. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель может давать неточные или вводящие в заблуждение ответы, а также генерировать предвзятый, оскорбительный или иной нежелательный контент; автор характеризует её как uncensored. Важную информацию следует перепроверять.

airoboros-13b-gpt4-1.2 — это чат-модель на архитектуре LLaMA с 12,9 млрд параметров, дообученная Jon Durbin методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Она предназначена для генерации ответов на запросы пользователя и охватывает программирование, математику и рассуждения, викторины, ролевые диалоги, задания с выбором ответа и заполнением пропусков, а также вопросы по заданному контексту. Модель использует шаблон диалога в стиле Vicuna. Для запросов на код поддерживает инструкцию PLAINFORMAT, которая просит выдавать код без оформления Markdown, хотя автор отмечает, что это срабатывает не всегда. Контекст составляет 2048 токенов; веса доступны в формате PyTorch. Модель выпущена в июне 2023 года и распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и запрещающей коммерческое применение. Качество ответов и следование инструкциям могут быть непостоянными; сведения о поддерживаемых естественных языках в карточке не приведены.

Beyonder-4x7B-v3 — разговорная языковая модель mlabonne, созданная как смесь экспертов (MoE) с помощью LazyMergekit. В объединение вошли AlphaMonarch-7B, CodeNinja-1.0-OpenChat-7B, Kunoichi-DPO-v2-7B и NeuralDaredevil-7B; архитектура — MixtralForCausalLM. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов, тогда как README рекомендует окно 8 тысяч токенов и шаблон чата Mistral Instruct. Модель предназначена для диалогов общего назначения, ролевого общения, задач с кодом и математикой. По README, при генерации задействуются два эксперта, что позволяет сочетать эти способности. Автор отмечает хорошие результаты на нескольких наборах оценок, но предупреждает, что модель не нацелена на превосходство в традиционных бенчмарках; результаты оценки не гарантируют качество в конкретных приложениях. Модель принимает текст и генерирует текст. Языки отдельно не перечислены. Репозиторий распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.