II.1Анализ требований и архитектура ПО

Perspicacious-LLaMa-70B — экспериментальное объединение языковых моделей, созданное автором репозитория TareksGraveyard с помощью mergekit и метода SCE. В состав вошли модели на базе Llama 70B, включая DeepSeek-R1-Distill-Llama-70B, а в качестве базовой для слияния использована VAGOsolutions/Llama-3.1-SauerkrautLM-70b-Instruct. Модель предназначена для генерации текста и диалогов; объединение моделей, ориентированных на рассуждения и другие разговорные задачи, может быть полезно для ответов на сложные вопросы и ролевых сценариев. Архитектура — плотная LlamaForCausalLM, размер — 69,5 млрд параметров, контекст — до 131 072 токенов. Доступна в формате safetensors и распространяется по лицензии llama3.3. Автор отмечает, что это незавершённый эксперимент; качество и поведение слияния могут быть непредсказуемыми.

win10/phi-3.5-sakura-yuzu-v2 — объединённая языковая модель на архитектуре Phi-3, созданная с помощью mergekit методом passthrough на основе win10/phi-3.5-Sakura-Yuzu-v1.5. Модель содержит около 4,7 млрд параметров, использует формат safetensors и рассчитана на генерацию текста в диалоговом режиме с контекстом до 4096 токенов. Модель подходит для ведения диалогов и генерации текстовых ответов. Карточка не описывает специализированные предметные области или поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.

PiVoT-10.7B-Mistral-v0.2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral от MaziyarPanahi. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и maywell/PiVoT-10.7B-Mistral-v0.2; конфигурация объединяет диапазоны слоёв обеих моделей и задаёт тип bf16. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; поддержка английского и корейского языков следует из метаданных. Веса опубликованы в формате safetensors по лицензии Apache-2.0. README не приводит сравнительных оценок качества или подробностей о специализации PiVoT-компонента, поэтому пригодность для конкретных задач стоит проверять отдельно.

Psyonic-Rose-20B-Higher-Quality — плотная языковая модель семейства Llama с 19,8 млрд параметров, созданная слиянием через mergekit моделей DavidAU/Psyonic-Cetacean-V1-20B-Ultra-Quality-Float32 и tavtav/Rose-20B. Модель предназначена для генерации текста и диалогов в формате Alpaca instruct; контекст составляет 4096 токенов. Модель опубликована в формате safetensors и использует точность float32 согласно описанию слияния. Она подходит для генерации ответов и ролевых диалогов, но доступные сведения не подтверждают специализацию на конкретной предметной области или языках. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели TinyR1-32B-Preview, разработанной qihoo360 и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Указан формат prompt с ролями system, user и assistant. Модель относится к классу примерно 32-миллиардных параметров; точная архитектура, поддерживаемые языки, модальности и размер контекстного окна в предоставленных данных не указаны. Доступны варианты квантования от Q8_0 до Q2_K_L и IQ-серии размером примерно от 13 до 35 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; варианты Q4_K_M, Q5, Q6 и Q8 описаны как качественные, а низкоразрядные Q2 и Q3 имеют заметные ограничения. Сильной стороной является возможность локального запуска на совместимом оборудовании и выбор между множеством вариантов размера и качества. Ограничения связаны с высокими требованиями к оперативной или видеопамяти, потерей качества при сильном квантовании и отсутствием в README подробных сведений о результатах тестирования, контекстном окне и языковых возможностях. Модель распространяется по лицензии Apache-2.0; для инференса рекомендуется llama.cpp или проекты на его основе.

QuestA-Qwen3-8b-DirectOPD — экспериментальный чекпойнт на базе плотной причинно-языковой модели Qwen3, загруженный из экспериментов BiDirect-OPD. Репозиторий содержит основной чекпойнт global_step_300 и более ранние контрольные точки обучения вплоть до global_step_20. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат safetensors. Она предназначена для генерации текста и диалогового взаимодействия; максимальная длина контекста — 40 960 токенов. Описание эксперимента не сообщает о специализированной области применения, языках или лицензии, поэтому их нельзя уточнить.

Whalan/Qwen2.5-0.5B-Instruct-Gensyn-Swarm-tall_small_coral — дообученная компанией или автором Whalan диалоговая языковая модель на базе unsloth/Qwen2.5-0.5B-Instruct. Она предназначена для генерации текста и ответов на запросы в формате чата; карточка показывает пример ответа на открытый вопрос. Модель имеет плотную архитектуру Qwen2, содержит 494 млн параметров и поддерживает контекст до 32 768 токенов. Для работы используются Transformers и формат весов safetensors; модель обучалась с помощью TRL в рамках проекта Gensyn Swarm.

Qwen2.5-14B_Uncencored-GGUF — это GGUF-квантизированная версия модели SicariusSicariiStuff/Qwen2.5-14B_Uncencored, подготовленная пользователем bartowski с применением llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, с использованием указанного шаблона промпта в формате ChatML. Заявленный язык — английский. Модель относится к семейству Qwen2.5 и имеет размер 14B параметров. В репозитории представлены варианты от полноразмерного F16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Некоторые варианты оптимизированы для ARM-процессоров и требуют соответствующих аппаратных инструкций. Сведения о поддерживаемых модальностях, максимальной длине контекста и точной архитектуре в README не указаны. Сильной стороной является широкий выбор квантизаций, включая варианты с высоким качеством и версии для устройств с ограниченными ресурсами. Ограничения зависят от выбранного варианта: более сильная квантизация уменьшает размер, но может снижать качество генерации; низкокачественные варианты прямо не рекомендуются. Модель обозначена как uncensored и имеет тег not-for-all-audiences, поэтому её поведение и результаты могут требовать дополнительного контроля. Указанная лицензия — Apache-2.0.

Laurie/Qwen2.5-1.5B-O1 — дообученная Laurie модель Qwen2.5 с 1,5 млрд параметров для генерации ответов с отдельным этапом рассуждения. Она принимает текстовые диалоги и обучена формировать сначала рассуждение, затем ответ ассистента; README описывает добавление специального токена для обозначения блока reasoning и изменение обучающей разметки. Модель рассчитана на диалоговые сценарии, вопросы и задачи, где полезен структурированный ход рассуждения. Архитектура — плотная авторегрессионная Qwen2 (`Qwen2ForCausalLM`), формат весов — Safetensors, базовая модель поддерживает контекст до 131 072 токенов. В метаданных указаны английский и китайский языки. Модель распространяется по лицензии Apache-2.0. README описывает пример использования с ограничением истории в 32 000 токенов; явных сравнительных оценок качества нет.

QuantFactory/Qwen2.5-7B-Instruct-abliterated-v2-GGUF — квантизированная GGUF-версия модели Qwen2.5-7B-Instruct-abliterated-v2, созданная QuantFactory с использованием llama.cpp. Исходная модель разработана huihui-ai на базе Qwen/Qwen2.5-7B-Instruct и модифицирована методом abliteration, направленным на снижение ограничений отказа в ответах. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в приложениях с чат-интерфейсом и локальный запуск через совместимые инструменты. Модель относится к классу instruction-tuned языковых моделей с примерно 7 млрд параметров и поддерживает текстовую модальность. В карточке заявлен английский язык. Формат GGUF и квантизация ориентированы на более эффективное использование ресурсов по сравнению с полной версией, однако конкретный вариант квантизации, требования к памяти и размер контекста не указаны. К сильным сторонам относятся улучшенный результат в IF_Eval и GPQA относительно исходной Qwen2.5-7B-Instruct, а также возможность применения в сценариях, где требуется менее ограниченное поведение модели. При этом показатели MMLU Pro, TruthfulQA и BBH ниже, чем у исходной модели, а заявленное снижение ограничений может повышать риски генерации небезопасного или недостоверного содержания. Модель распространяется по лицензии Apache-2.0.

Qwen3-14B-abliterated-GGUF — текстовая генеративная модель в формате GGUF, подготовленная richardyoung на базе Qwen/Qwen3-14B. Она предназначена для локального запуска и совместима с инструментами Ollama, llama.cpp, llama-cpp-python и LM Studio. Модель ориентирована на генерацию текста, исследование методов выравнивания, творческое письмо, обучение и сценарии локального вывода без встроенных отказов по широкому кругу запросов. Размер базовой модели составляет 14 млрд параметров. Доступны варианты квантования Q4_K_M, Q5_K_M и Q8_0; Q4_K_M рекомендуется как компромисс между качеством и требованиями к ресурсам, Q5_K_M обеспечивает более высокое качество, а Q8_0 — максимальное среди указанных вариантов. В README заявлена поддержка английского языка. Модель работает с текстом; сведения о контекстном окне, точной архитектуре и других модальностях не приведены. Ключевая особенность — abliteration, то есть удаление направления отказа из residual stream без дополнительного обучения. По приведённым в README результатам, доля отказов снизилась с 97 до 19 из 100, а KL divergence составила 0,98. Это может повысить гибкость и уменьшить количество отказов, но одновременно снижает встроенные защитные ограничения и не гарантирует безопасность или корректность ответов. Модель распространяется по лицензии Apache-2.0.

dahye58/Qwen3-1.7B-base-MED — текстовая генеративная модель объёмом 1,7 млрд параметров, размещённая на Hugging Face и доступная через библиотеку Transformers. По метаданным она относится к семейству Qwen3, поддерживает контекст до 32 768 токенов и связана с обучением методом supervised fine-tuning (SFT) с использованием TRL; в тегах также указана conversational-направленность. Модель предназначена для генерации текста и может применяться в диалоговых сценариях, создании ответов и последующей интеграции в приложения на базе Transformers. В идентификаторе присутствует суффикс MED, однако README не содержит подтверждённого описания медицинской специализации, данных обучения, результатов оценки, поддерживаемых языков, разработчика или лицензии, поэтому использовать её в критически важных сценариях без дополнительной проверки не следует.

Qwen3-4B-Dolci-Think-SFT-7B — разговорная языковая модель, созданная полным supervised fine-tuning модели Qwen/Qwen3-4B командой sagisch на 600 тысячах примеров из allenai/Dolci-Think-SFT-7B. Это плотная авторегрессионная модель семейства Qwen3 с примерно 3,7 млрд параметров; она генерирует ответы и рассуждения, помещая рассуждения в блоки `...`. Контекст составляет 40 960 токенов. Модель предназначена для диалогов и генерации ответов с пошаговыми рассуждениями. Обучение проведено за одну эпоху на одном наборе данных без preference tuning и RL; стандартные бенчмарки рассуждений не приведены, поэтому превосходство над базовой моделью не подтверждено. Для генерации рекомендованы настройки Qwen3 thinking mode: temperature 0.6, top-p 0.95 и top-k 20; жадное декодирование может приводить к повторениям. Модель распространяется под лицензией Apache-2.0. В README указано, что специального safety tuning при дообучении не проводилось; модель наследует ограничения Qwen3-4B и возможные смещения данных Dolci-Think.

OP12138/qwen3-4b-grpo — разговорная языковая модель семейства Qwen3, разработанная на базе плотной архитектуры Qwen3ForCausalLM. Модель содержит 3,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 40 960 токенов. Репозиторий содержит веса в формате safetensors и поддерживает запуск через Transformers. README сообщает о дообучении с использованием TRL, однако базовая модель указана как None, поэтому определить её идентификатор нельзя. Модель предназначена для диалоговой генерации текста. В карточке не описаны конкретная специализация, обучающие данные или результаты оценки качества. Лицензия в предоставленных данных не указана.

Qwen3.5-397B-A17B-VQ-2.6bpw — квантованная vector-quantization версия модели Qwen3.5-397B-A17B, разработанная сообществом TheDrainFlorist для Apple Silicon и запускаемая через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимой версии mlx-vlm. В карточке заявлен английский язык, однако полный список поддерживаемых языков и размер контекстного окна не указаны. Модель содержит 397B параметров с архитектурой MoE и активной частью A17B; размер артефакта составляет около 122,3 GiB, а веса текстовой модели квантованы до 2,6 бит на параметр. В комплект входит vision tower в формате bf16 объёмом около 0,849 GiB, поэтому сборка поддерживает мультимодальные сценарии. Для текста требуется mlx-lm с поддержкой model_file, для изображений — mlx-vlm версии 0.6.16 или новее. Указана совместимость с Apple Silicon и exo, а также поддержка speculative decoding через MTP при наличии соответствующего sidecar. По измерениям авторов, модель показывает perplexity 2,5634 на Wikitext и 2,6123 на смешанном наборе для кода; заявлено преимущество над сопоставимой 2,6-битной сборкой на прозе и коде. При этом прикладные task-бенчмарки для этой конкретной модели ещё не проводились, поэтому результаты родственных моделей переносить на неё нельзя. Сборка не помещается на машину с 128 GB памяти, требует значительного объёма unified memory и актуального программного окружения. Лицензия — Apache 2.0.

Qwen3.5-9B-abliterated — текстовая диалоговая модель на архитектуре Qwen3.5, созданная lukey03 на основе Qwen/Qwen3.5-9B. Автор удалил часть поведения отказа ортогональной проекцией весов, затем применил QLoRA-дообучение и объединил адаптер с основными весами. В репозитории указано 7,2 млрд параметров, архитектура dense и контекст длиной 262 144 токена; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации ответов в диалоге, включая запросы, на которые исходная модель отказывалась отвечать. В README также приведены примеры рассуждений, математики и программирования, но основная задача в каталоге — генерация текста. Карточка сообщает о тестировании на 18 запросах, однако это небольшой набор и результаты не гарантируют качество на других задачах. Удаление отказов означает, что модель может выдавать вредоносный, опасный или откровенный контент. Лицензия — Apache-2.0.

Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-X8b — разговорная модель с поддержкой изображений на архитектуре Qwen3.5. По карточке, это дообученная версия Qwen3.5-9B-Instruct с режимом рассуждений, который автор описывает как похожий на Claude, и без стандартных ограничений на ответы. Метаданные указывают класс Qwen3_5ForConditionalGeneration, библиотеку Transformers и файлы в формате safetensors. Модель предназначена для диалога и ответов на текстовые и визуальные запросы. README приводит сравнительные результаты на нескольких тестах, но не раскрывает полный набор оценок и методику сравнения. Модель распространяется по лицензии Apache-2.0. Карточка не приводит длину контекста и подробные сведения об обучении.

Qwen3.8-27B-MTP-TQ3_4S — сборка Qwen/Qwen3.8-27B в формате GGUF с квантизацией TurboQuant TQ3_4S и встроенной черновой головой MTP для speculative decoding. Разработчик сборки — jajmangold; в README также отмечен вклад Y Tan в путь квантизации и поддержку формата в форке llama.cpp. Модель предназначена для диалоговой генерации текста. Архитектура указана как qwen35: 64 слоя, гибрид Gated DeltaNet и Gated Attention, один блок MTP; нативный контекст — 262 144 токена. Файл занимает 13,68 ГБ. Для запуска требуется совместимый форк TurboQuant runtime: обычная сборка llama.cpp не поддерживает тип тензоров TQ3_4S. Метаданные указывают английский язык и лицензию Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.8bpw — это векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B для Apple Silicon. Модель предназначена для генерации текста и обработки изображений в экосистеме MLX; она включает vision tower и распространяется в формате, совместимом с mlx-lm и mlx-vlm. Модель содержит около 27 млрд параметров, использует векторное квантование с эффективностью 4,8 бита на параметр и занимает примерно 15,45 GiB. В карточке указаны английский язык и текстовая генерация, однако размер контекстного окна не приведён. По сравнению с 4-битной affine-квантизацией эта сборка ближе к исходной bf16-модели: согласие по наиболее вероятному токену составляет 90,8%, а измеренное расхождение KL — 32,8 millinats на токен. При этом точность ниже, чем у вариантов q6, q8 и bf16. Для работы требуется версия mlx-lm с поддержкой параметра model_file; для изображений нужен mlx-vlm версии 0.6.16 или новее. Сборка рассчитана прежде всего на локальный запуск на устройствах Apple Silicon и поддерживает exo. Ограничениями являются зависимость от совместимого загрузчика и неизбежная потеря качества из-за квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-SFT — дообученная методом supervised fine-tuning модель formalmathatepfl на базе Qwen/Qwen3-8B. Это плотная языковая модель с 7,6 млрд параметров для генерации текста в диалоговом формате; в метаданных указана поддержка чата. Для запуска используется библиотека Transformers, веса представлены в формате safetensors. Указанная длина контекста — 40 960 токенов. Модель предназначена для диалоговой генерации текста. README сообщает о дообучении на SFT-датасете и приводит значение loss 0,0647 на наборе оценки, но не раскрывает состав данных, методику оценки или специализацию модели. Лицензия обозначена как other, поэтому условия использования следует проверять в карточке модели и связанных документах.

vittorino/qwen3-8b-tmax-sft-run2 — дообученная модель диалоговой генерации текста на базе Qwen/Qwen3-8B. Разработчик выполнил полное supervised fine-tuning на наборе vittorino/tmax-sft-cleaned; модель имеет плотную архитектуру Qwen3ForCausalLM с 7,6 млрд параметров и рассчитана на контекст до 40 960 токенов. Модель предназначена для диалогов и генерации ответов по инструкциям в сценариях, охваченных обучающими данными. Она загружается через Transformers; при обучении использовались вычисления матриц FP8, torch.compile и адаптивное сохранение контрольных точек градиентов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит оценок качества или подробностей о составе данных и конкретных навыках, поэтому пригодность для узких задач следует проверять отдельно.

Это GGUF-сборка модели Qwen3.8-Flash-Next-99B-A5B-Niwaki, подготовленная проектом Niwaki для запуска через специализированный форк llama.cpp на CUDA, Vulkan, Metal или CPU. Базовую модель разработала команда Qwen; в этой версии маршрутизируемые эксперты прорежены по статистике их использования, результат скорректирован восстановлением и краткой дистилляцией, а веса сохранены в низкой точности. Модель содержит 99 млрд параметров, из которых активно около 5,2 млрд; в архитектуре 48 слоёв и до 512 маршрутизируемых экспертов. Модель предназначена для генерации текста и диалогового использования. В README приведены результаты оценки на WikiText-2 и сообщается, что качество составляет около 97% среднего результата исходной модели по задачам, но нишевые технические факты и числа менее надёжны. Оценка проводилась на англоязычных веб-данных; модель наследует смещения базовой модели. Для запуска необходим форк neopolita-llama.cpp: стандартный llama.cpp пока не поддерживает используемую раскладку тензоров, а файлы конвертера этого форка работают только в нём. Лицензия указана как other; подробные условия следует проверять в карточке базовой модели и файлах лицензии репозитория.

Radix UI Qwen 7B Fused Sep 04 2026 — языковая модель для генерации текста, опубликованная в репозитории alluriaiprojects/radix-ui-qwen-7b-fused-sep-04-2026. Модель предназначена для продолжения текста, диалоговых ответов и других сценариев text generation на английском языке. Модель содержит около 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она распространяется в формате, совместимом с библиотекой MLX, и использует safetensors; в метаданных также указана принадлежность к семейству Qwen2. Теги модели включают conversational и text-generation. README не содержит сведений о лицензии, данных обучения, результатах оценки или специальных предметных областях, поэтому применимость модели для критически важных и узкоспециализированных задач требует отдельной проверки.

recoilme/recoilme-gemma-2-9B-v0.4 — диалоговая модель на базе Gemma 2 с 9 млрд параметров, предназначенная для генерации текста и общения в формате чата. Согласно метаданным, модель является слиянием recoilme/Gemma-2-Ataraxy-Gemmasutra-9B-slerp и использует архитектуру Gemma2ForCausalLM. Модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. README не содержит дополнительных сведений о специализации или ограничениях модели.

MaziyarPanahi/rfp_instruct_model-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и arjunssat/rfp_instruct_model. Модель содержит 7,1 млрд параметров, принимает текстовые инструкции и генерирует ответы; поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций в текстовом формате. Карточка описывает способ объединения весов, но не приводит оценок качества или специализированных сценариев применения. Распространяется по лицензии Apache-2.0.

Rhodia — объединённая языковая модель автора TheDrunkenSnail, созданная методом SLERP с помощью mergekit на основе emplitude/rubysmart2 и StoneLabs/HorrorMerge-NOS4A2. Это плотная авторегрессионная модель семейства Mistral объёмом 9,8 млрд параметров, доступная в формате safetensors и предназначенная для генерации текста и диалогового общения. Модель подходит для генерации продолжений текста и ведения диалогов. Метаданные указывают на контекст до 1 024 000 токенов; библиотека для работы — Transformers. Условия лицензии и конкретные поддерживаемые языки в предоставленных данных не отражены.

ruGPT-3.5 13B — русскоязычная языковая модель авторства AI-Forever на архитектуре GPT-2 с 13 млрд параметров. Она обучена генерировать продолжение текста и предназначена для создания текстов на русском языке. Модель предварительно обучена на корпусе из разных областей объёмом около 300 ГБ, а затем дообучена на дополнительных 100 ГБ кода и юридических документов. В README указано обучение примерно на 300 млрд токенов и контекст длиной 2048 токенов. Авторы сообщают, что модель использовалась при обучении GigaChat. Модель может применяться для генерации текстов, кода и юридических документов на русском языке. Карточка предлагает экспериментировать со стратегиями генерации; в ней не приведены оценки качества по отдельным задачам. Лицензия — MIT.

NaomiBTW/rwkv7-g1c-13.3b-gguf — квантизированная версия языковой модели RWKV7 g1c с приблизительно 13,3 млрд параметров. Модель основана на BlinkDL/rwkv7-g1 и предназначена для генерации текста, включая диалоговые и другие сценарии обработки естественного языка, совместимые с форматом GGUF. Ключевые характеристики включают архитектуру RWKV7, размер около 13,3 млрд параметров и квантизацию, выполненную с использованием калибровки Bartowski calibrationv5 для imatrix. README не содержит сведений о поддерживаемых языках, размере контекста, точном типе квантизации, мультимодальности или результатах тестирования, поэтому эти свойства нельзя оценить по имеющимся данным. К потенциальным ограничениям относятся возможная потеря качества из-за квантизации и требования к ресурсам, характерные для модели такого размера. Лицензия — Apache 2.0.

Saber-LM — объединённая разговорная языковая модель, созданная bunnycore на основе RLHFlow/LLaMA3-iterative-DPO-final, bunnycore/Maverick-8B и TIGER-Lab/MAmmoTH2-8B-Plus с помощью mergekit и метода model_stock. Она предназначена для генерации текста и диалоговых ответов. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. В состав слияния входит MAmmoTH2-8B-Plus — модель Llama 3, ориентированная на математические рассуждения и ответы на английском языке; поэтому Saber-LM может быть полезна для диалогов и задач, требующих рассуждений. README не описывает отдельные результаты оценки или конкретные преимущества Saber-LM. Модель распространяется в формате safetensors по лицензии Llama 3.

Sage-LLaMa-70B — экспериментальное слияние языковых моделей семейства Llama, созданное автором TareksGraveyard с помощью mergekit. В основе слияния использован nbeerbower/Llama-3.1-Nemotron-lorablated-70B; также включены EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1, Sao10K/L3.3-70B-Euryale-v2.3, SicariusSicariiStuff/Negative_LLAMA_70B, Sao10K/70B-L3.3-Cirrus-x1 и TheDrummer/Anubis-70B-v1. Применён метод della_linear с консервативными параметрами. Модель содержит 69,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и представлена в формате safetensors для библиотеки Transformers. Она предназначена для генерации текста и диалогового общения; заявленная длина контекста — 131 072 токена. Карточка описывает результат как эксперимент слияния и отмечает, что другой вариант автора показался ему лучше. Лицензия — Llama 3.3; перед использованием необходимо соблюдать её условия и ограничения, а также учитывать лицензии и условия исходных моделей, вошедших в слияние.