I.7Речь, диалоги и встречи

bunnycore/Qwen2.5-3B-Loki — объединённая авторегрессионная языковая модель семейства Qwen2.5, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-3B и моделей Qwen2.5-3B-RP-Mix и Qwen2.5-3B-MiniMix. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и доступна в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогового взаимодействия; также поддерживает интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Карточка не сообщает языковую специализацию и лицензию, поэтому их нельзя уточнить. Качество и поведение унаследованы от объединённых моделей; отдельных результатов оценки и конкретных ограничений в карточке нет.

bunnycore/Qwen2.5-3B-MiniMix — слитая разговорная языковая модель, созданная с помощью mergekit и метода TIES на базе Qwen/Qwen2.5-3B. В объединение вошли Qwen/Qwen2.5-3B-Instruct, bunnycore/Qwen-2.5-3b-Evol-CoT и bunnycore/Qwen-2.5-3b-Rp-lora_model. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2 для генерации текста и работает через библиотеку Transformers; заявленный контекст — до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. Сочетание инструкционной и CoT-моделей ориентировано на выполнение инструкций и рассуждения; также доступны чат-возможности и интерфейс вызова инструментов. Поддерживаемые языки и качество на отдельных задачах в карточке не описаны. Веса опубликованы в формате Safetensors. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя. Как результат слияния нескольких моделей, поведение MiniMix может отличаться от исходных моделей; перед применением следует проверить ответы и вызов инструментов на целевых сценариях.

Модель homeb82784/qwen2.5-7b-instruct-cpt-v4.0 — дообученная авторегрессионная языковая модель семейства Qwen2, разработанная homeb82784 на основе unsloth/qwen2.5-7b-instruct-bnb-4bit. Она предназначена для генерации текста в диалоговом формате и может использоваться в чат-сценариях. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке указано, что обучение выполнялось с Unsloth и библиотекой Hugging Face TRL. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0. Данные карточки не описывают специализацию дообучения, поэтому конкретные преимущества или качество в отдельных областях установить нельзя; заявленная поддержка языка — английский.

bunnycore/Qwen2-7B-TitanFusion — разговорная языковая модель на архитектуре Qwen2, созданная сообществом Bunnycore путём слияния нескольких моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована natong19/Qwen2-7B-Instruct-abliterated; в слияние также вошли Samantha-Qwen-2-7B, Dolphin 2.9.2 Qwen2 7B, Arcee Spark и Orca Mini v7 7B. Модель содержит 7,1 млрд параметров, работает с текстом и предназначена для диалогов и генерации текста, включая ответы на вопросы. Максимальная длина контекста составляет 32 768 токенов. В карточке не заявлена специализация на конкретных языках или предметных областях. Файлы доступны в формате safetensors для Transformers; лицензия в предоставленных данных не указана.

mlx-community/Qwen3-32B-4bit — это 4-битная квантизированная версия языковой модели Qwen3-32B, преобразованная сообществом mlx-community из исходной модели Qwen/Qwen3-32B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с сообщениями через chat template. Ключевая характеристика модели — размер исходной модели 32B параметров и 4-битное представление, что снижает требования к памяти по сравнению с полноточной версией и делает модель подходящей для запуска в экосистеме MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и результаты оценки качества. Сильными сторонами являются совместимость с MLX и более экономичное потребление памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за 4-битного представления, зависимость от инструментов mlx-lm и отсутствие в предоставленных данных подробных сведений о производительности и языковой поддержке. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-4B-Thinking-2507-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.2. Исходная модель опубликована организацией Qwen. Модель относится к классу text-generation и предназначена для генерации текста и диалогового взаимодействия. Модель рассчитана на запуск через библиотеку mlx-lm, включая загрузку токенизатора и применение chat template для диалоговых запросов. Из README известно, что она использует формат MLX и имеет размер исходной модели 4B параметров; применяется 4-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальных возможностях не указаны, поэтому модель следует рассматривать как текстовую. Ключевое преимущество — адаптация к экосистеме MLX и уменьшенное 4-битное представление, что может снизить требования к памяти при локальном запуске. Ограничения README не описывает: отсутствуют данные о качестве, производительности, скорости, специализации модели и известных рисках. Лицензия — Apache-2.0.

CodeShield/Qwen3.5-9B-Instruct — инструкционная текстовая генеративная модель семейства Qwen, опубликованная на Hugging Face под организацией CodeShield. Модель предназначена для диалогового взаимодействия и генерации текста по инструкциям; для работы предполагается использование библиотеки Transformers. Из идентификатора модели следует размер порядка 9 млрд параметров и ориентация на instruction-tuning, однако подробности архитектуры, обучения и состава данных в доступных материалах не описаны. Модель может применяться для ответов на вопросы, ведения диалога, создания и преобразования текстов, а также в составе приложений на базе conversational AI. Лицензия, поддерживаемые естественные языки и длина контекста в предоставленных данных не указаны. README содержит шаблонную автоматически созданную карточку без результатов оценки и конкретных рекомендаций по использованию, поэтому модель следует дополнительно проверять на качество, безопасность и соответствие задачам перед применением.

parmanu-lcs2 выпустил разреженную версию Qwen3-8B, сжатую методом SNIPER: после pruning в модели осталось около 6,2 млрд параметров. После сжатия веса дообучили на 2 000 примерах SlimOrca с помощью LoRA и объединили адаптер с весами модели. В метаданных указаны архитектура Qwen3, библиотека Transformers, формат safetensors и контекст до 40 960 токенов. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Её можно применять в чат-ботах и для ответов на текстовые запросы; базовая Qwen3-8B также поддерживает рассуждения, работу с кодом и вызов инструментов, но README этой модели отдельно не подтверждает сохранение этих возможностей после сжатия и дообучения. Модель распространяется по лицензии Apache-2.0.

3MPER0RR/Qwen3.8-27B-3MPER0RR-abliterated — дообученная диалоговая модель семейства Qwen, созданная 3MPER0RR на основе Qwen/Qwen3.8-27B. В метаданных указаны плотная архитектура Qwen3.5, 27 млрд параметров для базовой модели и поддержка генерации текста и чата. Модель подходит для диалогов и генерации текста. Карточка сообщает, что модель прошла тестирование и была сохранена, но не описывает метод дообучения, языки, контекстное окно или отдельные возможности версии «abliterated». Лицензия — Apache 2.0.

AMAImedia выпустила эту модель в рамках платформы NOESIS для автоматизации многоязычного дубляжа. Это дообученная версия Qwen3.8-27B с плотной архитектурой Qwen3_5ForConditionalGeneration: мультимодальный чекпойнт BF16 в формате Safetensors принимает текст и изображения, поддерживает диалог и режим рассуждений, а также доступен в текстовых вариантах GGUF с квантизацией. В карточке указаны поддержка русского, английского, китайского, вьетнамского, японского и других языков; лицензия — Apache 2.0. Главное изменение модели — снижение числа отказов при ответах. Разработчик сообщает о внутренних проверках на 842 запросах и отдельной выборке из 126 запросов, а также о прохождении 23 из 24 проверок связности. Это внутренние автоматические оценки: основная выборка использовалась при настройке, а показатели не подтверждают точность фактов или сохранение исходных результатов по рассуждениям, программированию и зрению. Заявления о снижении отказов не гарантируют одинакового поведения для всех языков, настроек генерации и сред выполнения. Мультимодальный путь с изображениями заявлен для Safetensors; GGUF-варианты рассчитаны на генерацию текста и не включают обработку изображений без совместимого vision-проектора. Для BF16-весов требуется около 56 ГБ памяти, не считая накладных расходов среды выполнения и KV-кэша. Голова MTP отсутствует, поэтому спекулятивное декодирование с её использованием не поддерживается.

esatapedico преобразовал NVFP4-чекпойнт Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 в семейство из шести GGUF-файлов для запуска через llama.cpp. Модель разработана на основе Qwen3.8-27B: это плотная гибридная архитектура с Gated DeltaNet и слоями Gated Attention, а её исходный вариант дообучен DavidAU методом Cold Fusion (GAIN + Unsloth). По README, в модели 27 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов. Она поддерживает мультимодальную обработку изображений при подключении отдельного проектора mmproj-BF16.gguf; в опубликованные GGUF-файлы веса проектора не входят. В каждом файле встроена MTP-голова для спекулятивного декодирования. Шесть вариантов отличаются точностью квантования головы вывода, эмбеддингов и MTP-головы; языковая основа общая и содержит NVFP4-тензоры. README приводит результаты отдельных пробных запусков на двух GPU, а не систематический бенчмарк; скорость и качество могут зависеть от оборудования и конфигурации. Для работы с изображениями нужен совместимый проектор. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-BUDGET-GGUF — производная версия модели Qwen3.8-27B, подготовленная автором репозитория esatapedico на основе квантованной сборки Unsloth. Это плотная модель с 27 млрд параметров, гибридной архитектурой Gated DeltaNet и Gated Attention и контекстом до 262 144 токенов. Репозиторий содержит две компактные сборки GGUF: BUDGET и STARVED; в обеих удалена голова MTP для спекулятивного декодирования, а выходная проекция и эмбеддинги токенов квантованы до малых типов. Модель предназначена для диалогов и генерации текста, а при подключении совместимого проектора mmproj-BF16.gguf также принимает изображения и видео. Сборки рассчитаны на запуск через llama.cpp на видеокартах Blackwell с 16 ГБ памяти: BUDGET занимает 14,72 ГБ, STARVED — 14,59 ГБ. Автор приводит ориентировочные результаты одного запуска на RTX 5070 Ti и предупреждает, что компактное квантование снижает точность; заявленный образный ввод требует отдельного проектора, а для работы нужны свежая версия llama.cpp и поддержка NVFP4 и sm_120. Модель распространяется по лицензии Apache-2.0. Это конверсия и дополнительное квантование/уплотнение производной сборки; веса не обучались и не дообучались автором репозитория.

Это исследовательский вариант Qwen3-Next-80B-A3B-Thinking с разреженными экспертами, усреднённо квантованными до 2,36 бита; остальные веса хранятся в BF16. Разработчик — minjaechoi. Модель предназначена для генерации текста и диалога, включая задачи рассуждения, унаследованные от базовой модели. Архитектура — MoE; по карточке Hugging Face, размер составляет 2,3 млрд параметров, а длина контекста — 262 144 токена. Метаданные также отмечают интерфейс для вызова инструментов. Веса сохранены в формате safetensors как BF16-тензоры после деквантизации; README сообщает о совместимости со стандартными Transformers и vLLM. Лицензия наследуется от базовой модели. Карточка характеризует этот чекпойнт как внутренний исследовательский, поэтому его качество и пригодность для конкретных задач следует проверять отдельно.

Aashraf995/Qwen-Evo-7B — языковая модель на 7,1 млрд параметров, созданная слиянием нескольких предварительно обученных моделей семейства Qwen2 с помощью mergekit и метода Model Stock. В слияние вошли fblgit/cybertron-v4-qw7B-UNAMGS, jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.5 и suayptalha/HomerCreativeAnvita-Mix-Qw7B; последняя использована как базовая. Модель предназначена для генерации текста и диалогового применения, включая ответы на запросы и работу через интерфейс вызова инструментов. Модель использует архитектуру Qwen2ForCausalLM и принимает текст, выдавая текст. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. README не приводит оценок качества или подробных ограничений; характеристики и поведение унаследованы от компонентов слияния.

QwenMosaic-7B — объединённая языковая модель, созданная bunnycore методом линейного слияния через mergekit. В неё вошли AIDC-AI/Marco-o1, fblgit/cybertron-v4-qw7B-UNAMGS, rombodawg/Rombos-LLM-V2.5-Qwen-7b и Qwen/Qwen2.5-7B-Instruct с адаптером bunnycore/Qwen-2.1-7b-Persona-lora_model. Это плотная причинная модель семейства Qwen2 на 7,1 млрд параметров; она распространяется в формате safetensors и работает через Transformers. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции. Контекст составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: среднее 25,31, IFEval 58,19 и BBH 36,75; эти значения не гарантируют качество в конкретном сценарии. Лицензия в предоставленных данных не указана.

NobodyWho/Qwen_Qwen3.5-0.8B-GGUF — GGUF-квантизированная версия модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba Group. Модель подготовлена для использования с NobodyWho, содержит встроенные рекомендованные параметры семплирования Qwen и проверена тестовым набором NobodyWho. Модель предназначена для быстрого диалогового общения и генерации текста, выполнения инструкций, нативного tool calling и локального запуска на устройствах с ограниченными ресурсами. Она поддерживает мультимодальный ввод текста и изображений через дополнительную проекционную модель mmproj-BF16.gguf, режим рассуждений, включённый по умолчанию, а также широкий набор языков. Заявлена поддержка контекста до 262 144 токенов. Модель содержит 0,8 млрд параметров и использует архитектуру qwen35. Доступны варианты BF16, Q8_0 и Q4_K_M; каждый показал результат 13 из 14 тестов tool calling, при этом сложные схемы остаются ограничением. Основные преимущества — малый размер, низкие требования к памяти, мультимодальность, длинный контекст и возможность локального использования. Для работы с изображениями требуется отдельный файл проекционной модели. Распространяется по лицензии Apache 2.0.

Карточка модели mrupatel/reva-mistral-7b на Hugging Face совпадает с карточкой mrupatel/reva-mistral-7b-v2, поэтому описание составлено по ней. mrupatel/reva-mistral-7b-v2 — дообученная модель семейства Mistral, разработанная mrupatel на базе unsloth/mistral-7b-instruct-v0.2-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная модель на 7,1 млрд параметров для генерации текста и диалогового взаимодействия; базовая модель поддерживает контекст до 32 768 токенов. Модель подходит для генерации ответов в чате и других текстовых сценариев общего назначения. В карточке не описаны специальные области применения или результаты оценки качества. Репозиторий распространяется по лицензии Apache-2.0.

Rhombus18 Rhododendron Professor 1o — дообученная языковая модель семейства Qwen3, разработанная пользователем rhombus18 на основе unsloth/qwen3-32b-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 29,7 млрд параметров. Карточка указывает обучение с помощью Unsloth и библиотеки TRL от Hugging Face; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает английский язык и контекст длиной до 128 000 токенов. В README не описаны специализированные области применения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно. Лицензия — Apache 2.0.

claytonwang/rlcr-qwen3-8b — языковая модель с авторегрессионной архитектурой Qwen3, опубликованная в формате BF16 и хранящаяся в шардированных файлах Safetensors. Она подходит для генерации текста и диалогового использования. Модель содержит около 7,6 млрд параметров; заявленный поддерживаемый контекст — до 40 960 токенов. Для работы с весами требуется около 16 ГБ памяти только под параметры, а также дополнительная память для состояния инференса и KV-кэша. В README не приведены сведения об авторе, базовом чекпойнте, обучении, датасетах и оценках, поэтому происхождение и качество модели нельзя установить. Лицензия в предоставленных данных не указана.

Rombos-LLM-V2.6-Qwen-14b — диалоговая языковая модель автора Rombodawg, представленная как обновлённая версия Rombos-LLM-V2.5-Qwen-14b. Это плотная модель семейства Qwen2, дообученная на базе Qwen/Qwen2.5-14B-Instruct; она содержит 14 млрд параметров и предназначена для генерации текста и диалогов. Карточка сообщает о результатах ручного сравнения с предыдущей версией и приводит оценки IFEval и BBH, но подробности метода дообучения и бенчмарков ограничены. Модель работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Метаданные указывают на интерфейс вызова инструментов, однако README не описывает его применение. Лицензия — Apache-2.0. Языки и специальные предметные области в карточке не обозначены.

Rombos-Qwen2.5-32B-lorablated — объединённая текстовая модель на 32 млрд параметров, созданная с помощью mergekit из rombodawg/Rombos-LLM-V2.5-Qwen-32b и nbeerbower/Qwen2.5-32B-abliterated-LORA. Это плотная авторегрессионная архитектура Qwen2, предназначенная для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка описывает объединение методом task arithmetic, однако не приводит оценок качества или подробных сведений о языках. Как и другие крупные генеративные модели, она может выдавать неточные или вымышленные ответы; практические возможности вызова инструментов зависят от используемого интерфейса.

RefalMachine/ruadapt_llama3_8b_instruct_extended_lep_ft — чат-модель на архитектуре Llama 3 с 7,7 млрд параметров. Это LoRA-дообучение базовой модели RefalMachine/llama3_extended_darulm_20_05_24_part1-2_64000_bpe_full_lr2e4_bs256 на датасете saiga_scored d7; перед дообучением использована процедура Learned Embedding Propagation (LEP) с расширенным токенизатором. Разработчик сообщает, что расширенный токенизатор повышает эффективность работы с русским языком. Модель предназначена для генерации текста и диалогового общения на русском и английском языках. Контекст составляет 8192 токена; веса опубликованы в формате safetensors. Карточка не описывает отдельные специализированные области применения или результаты оценки качества. Лицензия в предоставленных данных не указана.

RYS-XLarge — языковая модель автора dnhkng, построенная на архитектуре Qwen2. В README описан метод оптимизации, который анализирует функциональные роли слоёв трансформера и дублирует слои модели; автор называет этот подход self-merging. Модель основана на MaziyarPanahi/calme-2.1-qwen2-72b, дообученной от Qwen2-72B. По метаданным, это плотная модель с 76,7 млрд параметров, контекстом 32 768 токенов и весами в формате safetensors; доступен диалоговый режим. Модель предназначена для генерации текста и диалоговых сценариев. В README приведены результаты оценок на нескольких бенчмарках: улучшения от метода различаются по задачам, включая снижение результата на IFEval. Лицензия — MIT. Карточка не описывает языковой охват и не приводит подробных сведений о безопасности или рекомендуемых ограничениях применения.

Sakalti/Saba1.5-Pro-3B — языковая модель автора Sakalti, созданная с помощью mergekit методом passthrough на основе Sakalti/Saba1.5-Pro. Она предназначена для генерации текста и диалоговых сценариев; в метаданных также указана поддержка интерфейса вызова инструментов. Модель построена на плотной архитектуре Qwen2 с классом Qwen2ForCausalLM и содержит 2,7 млрд параметров. Родной размер контекста — 131 072 токена. Модель принимает текст и выдаёт текст. В репозитории используются веса Safetensors, для работы указана библиотека Transformers. Лицензия — Apache-2.0. Сведения о поддерживаемых языках и специальных областях применения в предоставленных данных отсутствуют.

inkoziev/sbert_synonymy — русскоязычная модель Sentence-Transformers от inkoziev для оценки синонимичности коротких фраз и предложений. Она основана на cointegrated/rubert-tiny2 и содержит около 29 млн параметров; модель использует архитектуру BERT и принимает текстовые фразы для получения векторов размерностью 312. Косинусное сходство между векторами служит оценкой близости по смыслу. Модель подходит для поиска перефразировок и семантически близких высказываний, например в диалоговых системах и при сопоставлении фактов. Она рассчитана преимущественно на короткие фразы длиной до 10–15 слов, быстро работает даже на CPU и поддерживает контекст до 2048 токенов. Обучающие данные частично доступны в датасете inkoziev/paraphrases. Лицензия — Unlicense.

JetLM/SDAR-4B-Chat — диалоговая языковая модель семейства SDAR, разработанная авторами SDAR. Архитектура SDAR объединяет авторегрессионное обучение с дискретным диффузионным моделированием: по заявлению авторов, это сочетает эффективное обучение с параллельным выводом. Репозиторий содержит плотную модель на 3,7 млрд параметров в формате safetensors с контекстом до 32 768 токенов. Модель предназначена для генерации ответов в диалоге и других задач генерации текста; в метаданных также заявлен интерфейс для вызова инструментов. Авторы сообщают о результатах на уровне сильных авторегрессионных моделей сопоставимого масштаба и о преимуществах на отдельных задачах научного рассуждения, однако приведённые в README утверждения относятся к семейству SDAR и сами по себе не подтверждают конкретные результаты этой версии 4B Chat. Поддерживается библиотекой Transformers. Лицензия Apache-2.0.

Sebushka-llama-3.1-8B — русскоязычная чат-модель, разработанная burgasdotpro на базе Llama 3.1 8B. Она дообучена на датасете IlyaGusev/saiga_scored; для обучения использовались Unsloth и TRL. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов на русском языке и генерации ответов на текстовые запросы. Указанная лицензия — Apache-2.0. Карточка не приводит оценок качества или подробных результатов обучения, поэтому пригодность ответов для конкретных задач стоит проверять отдельно.

Tencent Sequential-Hidden-Decoding-8B-n8-Instruct — дообученная для следования инструкциям и диалогов модель генерации текста на архитектуре Qwen3. Она использует Sequential Hidden Decoding: несколько матриц эмбеддингов для одной последовательности чередуются, формируя расширенную последовательность для обработки тем же трансформером; вариант n=8 имеет масштабирование последовательности 8×. Модель содержит 7,6 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для диалоговых сценариев и выполнения инструкций. Для инференса требуется версия SGLang с патчами, а также пользовательский код архитектуры из репозитория и параметр trust_remote_code. README указывает тип данных bfloat16 и рекомендует настройки запуска, рассчитанные на стабильность и производительность при обработке расширенных последовательностей. В метаданных базовыми компонентами указаны Qwen/Qwen3-8B-Base и tencent/Sequential-Hidden-Decoding-8B-n8; происхождение классифицировано как слияние. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории модели.

Seraph-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на основе Mistral-7B-Instruct-v0.2, созданная MaziyarPanahi слиянием весов через метод SLERP с моделью Weyaxi/Seraph-7B. Она предназначена для генерации текста в диалоге и выполнения инструкций. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов; принимает текст и выдаёт текст. Слияние сочетает две модели с настройкой коэффициентов для слоёв self-attention и MLP. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Доступные сведения не описывают отдельные тесты качества или специальные предметные области, поэтому результат следует проверять на задачах, где важны точность и надёжность ответов.

Это слитая модель генерации текста на основе GPT-NeoX, созданная автором репозитория с помощью mergekit. В линейном слиянии использованы контрольные точки предварительно обученной языковой модели с шагов 7 000, 8 000, 9 000, 10 000 и 11 000; базой слияния служила контрольная точка шага 11 000. Модель содержит 8,8 млрд параметров, использует формат safetensors и поддерживает контекст до 16 384 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. README и метаданные не сообщают конкретных языков, тематических областей или специализированных сценариев применения, поэтому её следует рассматривать как языковую модель общего назначения. Лицензия в предоставленных данных не указана.