II.1Анализ требований и архитектура ПО

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — модель, опубликованная bielquants и основанная на базовой модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Это многоэтапная fine-tune-модель с использованием Unsloth, методов Cold Fusion и Fable Fusion, представленная в форматах GGUF с обычными и MTP-квантами. В README заявлена поддержка английского и китайского языков; карточка также указывает сценарий image-text-to-text, однако подробности о фактических визуальных возможностях не приведены. Модель предназначена для широкого спектра задач: рассуждений и решения задач, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Основной заявленный акцент — высокая детализация ответов при сокращении объёма внутренних рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно повышать скорость генерации. Указан размер базовой модели 27B, а также поддержка трёх режимов мышления, но максимальный размер контекста в карточке не указан. Автор README заявляет превосходство над рядом базовых моделей по внутренним бенчмаркам ARC и высокую производительность на потребительском оборудовании, включая tool calling; эти результаты представлены как утверждения создателя и требуют независимой проверки. Возможные ограничения — отсутствие подробных данных о контексте, точной архитектуре модальности, системных требованиях и качестве на разных языках, а также потенциально нестандартное поведение из-за uncensored/abliterated-настройки. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это многоэтапная fine-tune-модель на базе Qwen3.8-27B, опубликованная schwyzquant и созданная с использованием наработок DavidAU и инструментов Unsloth. Модель распространяется в формате GGUF, включая обычные и MTP-варианты квантования, с заявленной поддержкой 4- и 8-битных конфигураций. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, художественной прозы, ролевого взаимодействия и других сценариев генерации текста. Основные заявленные цели дообучения — повысить способность к решению задач, сократить объём рассуждений и ускорить генерацию при сохранении детализации и качества ответов. Указаны языки English и Chinese; архитектура основана на Qwen3.8 с 27 миллиардами параметров. Размер контекста в README не указан. К сильным сторонам относятся акцент на подробных ответах, программировании, творческих сценариях и сокращении избыточного «мышления», а также возможность запуска квантованных вариантов на потребительском оборудовании. Заявления о превосходстве над базовыми и другими моделями основаны на приведённых автором бенчмарках и не сопровождаются независимой проверкой в README. Ограничения включают отсутствие подробных данных о контекстном окне, точной архитектуре, системных требованиях и качестве по отдельным задачам; характеристики могут различаться между квантованными версиями. Модель описывается как uncensored, поэтому её ответы могут требовать дополнительной фильтрации и контроля. Лицензия — Apache-2.0.

Max-GE/Qwen3.8-27B-uncen — многоэтапная fine-tune-модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Согласно README, модель создана с использованием Unsloth, методов COLD FUSION и Fable Fusion и ориентирована на повышение качества рассуждений, общее решение задач, программирование, творческое письмо, создание историй и roleplaying. Заявлена как uncensored/abliterated-модель. Модель относится к семейству Qwen3.8 с размером 27B и поддерживает английский и китайский языки. Репозиторий содержит Regular и MTP GGUF-квантизации, включая варианты с точностью 4 и 8 бит; заявлена поддержка трёх режимов мышления. Основной особенностью разработчики называют сокращение объёма reasoning-токенов примерно от двух до десяти раз по сравнению с обычной Qwen3.8 при сохранении детализации и качества, а также оптимизацию скорости генерации. README также указывает тег image-text-to-text, но не приводит подробностей о визуальном энкодере или подтверждённой обработке изображений. Сильными сторонами заявлены высокие результаты на ARC-C и ARC-E, улучшение по сравнению с базовыми моделями Qwen и эффективность на потребительском оборудовании. Эти результаты представлены разработчиками и не сопровождаются в карточке независимой методологией проверки. Возможные ограничения включают зависимость характеристик от выбранной GGUF-квантизации, отсутствие данных о размере контекста и детальных тестах безопасности, а также uncensored-настройку, которая может повышать риск нежелательных или небезопасных ответов. В метаданных указана лицензия Apache-2.0.

MihaiPopa-1 опубликовал модель на основе Empero Qwen3.8-2B-Distill; в карточке указано, что исходную модель разработала Empero. Это причинная языковая модель для диалогов, рассуждений и генерации текста, дообученная методом abliteration для снижения числа отказов. В сравнении с исходной моделью авторы сообщают 3 отказа из 100 запросов против 83 из 100; это может быть полезно для широкого круга запросов, но не гарантирует ответы на каждый запрос. Модель содержит около 2 млрд параметров и использует архитектуру Qwen3.5. Карточка базовой модели указывает дистилляцию на примерах для математики, общих рассуждений и следования инструкциям; заявлен контекст до 262 144 токенов и поддержка вызова инструментов. Доступны веса в формате Safetensors для Transformers и совместимых с архитектурой сред. Хотя архитектура происходит от мультимодальной модели, это дообучение описано как текстовое, а поведение при работе с изображениями не оценивалось. В README приведены результаты на GSM8K и MMLU, однако они относятся к базовой Qwen3.8-2B, а не к версии Heretic-Max, поэтому их нельзя считать оценкой качества этой версии. Веса распространяются по лицензии Apache-2.0; авторы предоставляют их без гарантий и для исследований и экспериментов.

Noobito45/Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF — квантизированная GGUF-версия языковой модели, разработанная на основе empero-ai/Qwen3.8-9B. Модель создана с использованием Heretic v1.4.0 и предназначена для генерации текста, рассуждений и других задач, поддерживаемых исходной моделью Qwen3.8-9B. Это «decensored» или «uncensored» вариант, в котором снижена склонность к отказам: в указанной проверке модель отказалась отвечать на 22 из 100 запросов против 100 из 100 у исходной версии. Модель основана на архитектуре Qwen3.5-9B и представляет собой дистилляцию исходной Qwen3.8 2.4T A95B; точные характеристики архитектуры, размер контекста и полный набор языков в этой карточке не указаны. Доступная версия использует квантизацию NVFP4 + Q8_0 и предназначена для запуска в совместимых с GGUF средах, включая llama.cpp. По данным бенчмарков, квантизация вызывает небольшие изменения качества и поведения по сравнению с эталонной версией BF16; результаты зависят от оборудования и настроек оценки. Модель сохраняет близость к исходной по KL-дивергенции, однако снижение отказов может сопровождаться изменением поведения и не означает отсутствия ограничений или рисков при использовании. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

cygnal/Qwen3.8-Flash-Next-Heretic2-IQ4XS-Halogen — это квантованная GGUF-сборка Qwen3.8-Flash-Next, подготовленная для Halogen Flash Server разработчиком cygnal. Исходные веса модели прошли abliteration методом direction-removal в Heretic v1.3.0, затем были переквантованы в смешанном формате: преимущественно IQ4_XS для экспертных весов, Q8_0 для плотных слоёв и IQ4_NL для per_layer_token_embd.weight. Архитектура qwen4exp использует гибрид DeltaNet, SSM и attention; заявлено около 166 млрд параметров всего и 27 млрд активных на токен. Модель предназначена для диалоговой генерации текста и может принимать изображения при подключении отдельного vision tower. Сборка оптимизирована для Halogen Flash Server и AMD Strix Halo с ROCm; в README приведены измерения производительности на Radeon 8060S и требования примерно к 117 ГБ объединённой памяти. Видео не поддерживается. Для использования нужны совместимые сервер и аппаратное обеспечение; vision tower и MTP head поставляются отдельно. Лицензия — Apache-2.0.

Qwopus3.6-27B-v1-preview-i1-GGUF — квантованная GGUF-версия модели Qwopus3.6-27B-v1-preview, опубликованная mradermacher на основе модели Jackrong. Модель относится к классу conversational и instruct, ориентирована на диалоговое взаимодействие и задачи рассуждения. В README также указано, что это мультимодальная vision-language-модель, способная работать с изображениями и текстом. Модель содержит 27 миллиардов параметров и поддерживает английский, китайский, японский, корейский, испанский и русский языки. Точная архитектура, размер контекста и спецификация мультимодального компонента не указаны. Доступны варианты квантования i1-IQ1_S, i1-IQ1_M, i1-IQ2, i1-IQ3, i1-IQ4, i1-Q2_K, i1-Q3_K, i1-Q4, i1-Q5_K и i1-Q6_K размером примерно от 7,2 до 22,2 ГБ. Более сильное квантование обычно требует больше памяти, тогда как низкобитные варианты экономичнее, но могут заметно терять в качестве. Для создания модели использовались датасеты Claude-Distillation-Dataset, GLM-5.1-Reasoning-1M-Cleaned, Kimi-K2.5-Reasoning-1M-Cleaned и Qwen3.5-reasoning-700x. Это может быть преимуществом для диалогов и задач рассуждения, однако README не содержит результатов тестирования, поэтому качество нельзя оценить количественно. Для работы с изображениями могут потребоваться дополнительные mmproj-файлы из статического репозитория. Модель распространяется по лицензии Apache-2.0.

Ourse/R4L-v0.1 — компактная языковая модель на архитектуре Qwen2, созданная слиянием двух моделей методом SLERP с помощью mergekit: bunnycore/Qwen2.5-1.5B-Matrix и unsloth/Qwen2.5-1.5B-Instruct. Модель содержит 1,5 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Карточка не описывает отдельную специализацию или набор языков, поэтому она подходит как компактная модель общего назначения на базе Qwen2.5. Лицензия в предоставленных данных не указана. Качество и ограничения по конкретным задачам не охарактеризованы; результаты следует проверять для целевого применения.

Guilherme34/Reasoner-Hermes3-70b — языковая модель семейства Llama, представленная в формате safetensors и рассчитанная на генерацию текста в диалоговом режиме. В карточке приведён пример системного промпта, задающего ассистенту имя и стиль ответа; метаданные также указывают интерфейс для вызова инструментов. Модель содержит 69,5 млрд параметров и поддерживает контекст длиной до 131 072 токенов. В метаданных указан датасет Guilherme34/Reasoner-dataset-v2, но сведения о способе обучения и базовой модели отсутствуют, поэтому происхождение модели установить нельзя. README не описывает языки, качество рассуждений или специализированные области применения. Лицензия в предоставленных данных не указана. Для практического применения стоит проверить совместимость формата и доступных ресурсов с выбранной средой запуска.

Replete-LLM-Qwen2-7b_Beta-Preview-GGUF — это GGUF-квантизованная версия языковой модели Replete-LLM-Qwen2-7b_Beta-Preview, разработанной Replete-AI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. В README также указан обучающий датасет Replete-AI/Everything_Instruct_8k_context_filtered. Модель основана на архитектуре Qwen2 и содержит около 7 млрд параметров. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий; размеры файлов составляют примерно от 3,5 до 15,2 ГБ. Указан английский язык и контекст до 8k, связанный с использованным датасетом. Это текстовая модель без заявленной поддержки других модальностей. Сильная сторона репозитория — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Высококачественными считаются варианты Q6 и Q5, а Q4 предлагают компромисс по размеру. Более сильная квантизация снижает требования к памяти, но может ухудшать качество генерации. Модель распространяется по лицензии Apache-2.0.

Sakalti/Saba1.5-Pro-3B — языковая модель автора Sakalti, созданная с помощью mergekit методом passthrough на основе Sakalti/Saba1.5-Pro. Она предназначена для генерации текста и диалоговых сценариев; в метаданных также указана поддержка интерфейса вызова инструментов. Модель построена на плотной архитектуре Qwen2 с классом Qwen2ForCausalLM и содержит 2,7 млрд параметров. Родной размер контекста — 131 072 токена. Модель принимает текст и выдаёт текст. В репозитории используются веса Safetensors, для работы указана библиотека Transformers. Лицензия — Apache-2.0. Сведения о поддерживаемых языках и специальных областях применения в предоставленных данных отсутствуют.

SauerkrautLM Mixtral 8X7B — это языковая модель для генерации текста в формате GGUF, созданная VAGO solutions и квантизированная TheBloke. Модель основана на VAGOsolutions/SauerkrautLM-Mixtral-8x7B, дообучалась с использованием наборов данных Open-Orca/SlimOrca и argilla/distilabel-math-preference-dpo. Она предназначена для диалогов, ответов на запросы и других задач генерации текста, включая локальный запуск на CPU и GPU. Модель использует архитектуру Mixtral и доступна в вариантах GGUF с квантизацией на 2, 3, 4, 5, 6 и 8 бит. README не указывает точное число параметров активной архитектуры или размер контекста. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для взаимодействия используется шаблон ChatML. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильными сторонами являются мультиязычность, возможность выбора степени квантизации и локального запуска, а также поддержка CPU и GPU-инструментов. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с исходной моделью, особенно при более низкой разрядности. Модель предназначена только для текстовой модальности; сведения о специализированных ограничениях качества и безопасности в README не приведены. Лицензия — Apache-2.0.

lmstudio-community/Seed-OSS-36B-Instruct-MLX-8bit — 8-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи, поддерживаемые исходной instruct-моделью. В README указаны архитектурная база Seed-OSS-36B-Instruct, размер 36B параметров, текстовая модальность и 8-битное квантование. Сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевые преимущества — снижение требований к памяти по сравнению с полноразмерной версией и оптимизация для экосистемы Apple Silicon. Ограничения связаны с зависимостью от совместимого оборудования и MLX, а также с общими рисками генеративных моделей: возможны неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

jaspionjader/sof-13 — объединённая предобученная языковая модель, созданная методом Model Stock с помощью mergekit. В качестве базовой модели использована jaspionjader/sof-10, также в объединение вошли jaspionjader/sof-11 и jaspionjader/sof-12. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогов, поддерживает контекст до 131 072 токенов и работает с текстовым вводом и выводом. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Карточка не описывает специальные предметные области, языковое покрытие или сравнительные преимущества модели. Лицензия в предоставленных данных не указана.

Speechless Mistral Dolphin Orca Platypus Samantha 7B — это языковая модель для генерации текста на основе архитектуры Mistral с примерно 7 млрд параметров. Исходную модель разработал Jiangwen Su, а данный репозиторий подготовлен TheBloke и содержит её квантизированные версии в формате GGUF. Модель обучалась на наборах данных Airoboros 2.2.1, OpenOrca, Open-Platypus и Samantha. Модель предназначена для текстового диалога, ответов на вопросы, следования инструкциям и других сценариев генерации текста. Также заявлена ориентация на задачи, связанные с кодом; в метаданных приведён результат pass@1 34,146% на HumanEval, однако он не подтверждён. Указан английский язык. Для взаимодействия используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. GGUF-версии поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что делает модель пригодной для локального запуска на CPU и GPU. Доступны варианты квантизации от 2 до 8 бит: меньшая разрядность обычно снижает требования к памяти, но может ухудшать качество по сравнению с исходной моделью. Сведения о размере контекста и мультимодальных возможностях не указаны; модель предназначена для работы с текстом. Лицензия указана как Llama 2.

SRIQwen-V1.3 — плотная мультимодальная модель семейства Qwen3.5 от SRIQ, полученная supervised fine-tuning базовой Qwen/Qwen3.8-27B с помощью LoRA; адаптер объединён с выпущенными весами. Обучение на наборе sriq-ai/sriq-sft-v1.3 направлено на сокращение цепочек рассуждений при сохранении исходных ответов. Модель загружается через Transformers как Qwen3_5ForConditionalGeneration и поддерживает диалог, текст и изображения; интерфейс также предусматривает вызов инструментов. Контекст базовой модели составляет 262 144 токена, но дообучение проводилось на последовательностях длиной до 131 072 токенов, поэтому поведение на большей длине не проверено. Обучающие цели включали сжатые рассуждения на упрощённом китайском языке, а итоговый ответ формировался на языке запроса. Для релиза не проводились бенчмарки, поэтому улучшение точности, расхода токенов и скорости не подтверждено. Лицензия — Apache-2.0.

Subin_v2 — дообученная и конвертированная в формат GGUF языковая модель, опубликованная azizshaw. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, рассчитанная на генерацию текста в диалоговом режиме; заявленная длина контекста составляет 131 072 токена. В репозитории есть файл llama-3.2-3b-instruct.F16.gguf, а для запуска предлагаются llama.cpp и Ollama. Модель подходит для диалоговых ответов и генерации текста. README не описывает специализацию, обучающие данные или конкретные языки, поэтому её следует считать моделью общего назначения. Доступны варианты GGUF BF16 и F16. Сведения о лицензии в предоставленных данных отсутствуют.

T5Gemma XL-XL PrefixLM IT — текстовая модель семейства T5Gemma, разработанная Google и настроенная для выполнения инструкций. Это вариант с энкодером XL и декодером XL, адаптированный с использованием PrefixLM; архитектура T5Gemma преобразует предварительно обученные модели типа decoder-only в encoder-decoder. Модель работает в формате text-to-text и предназначена для генерации текста, ответов на вопросы, суммаризации и рассуждений; также может использоваться для подготовки черновиков и исследований в NLP. В карточке семейство описано как англоязычное. Веса представлены в формате safetensors и доступны через библиотеку Transformers. Для производной указана базовая модель google/t5gemma-xl-xl-prefixlm. Лицензия Gemma; применяйте модель с учетом условий Gemma и соответствующей политики допустимого использования. Качество ответов зависит от данных и формулировки инструкции: возможны фактические ошибки, предвзятость, трудности с неоднозначностью и сложными задачами, а также генерация вредного или вводящего в заблуждение текста. Длина контекста и число параметров в предоставленных сведениях не указаны.

Tarek07_Legion-V2.1-LLaMa-70B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Legion-V2.1-LLaMa-70B, разработанной Tarek07. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель доступна как Tarek07/Legion-V2.1-LLaMa-70B. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разным уровнем сжатия и качеством: от Q8_0 размером около 75 ГБ до Q2_K размером около 26 ГБ. Рекомендуемыми указаны, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; варианты с более низкой разрядностью требуют меньше оперативной памяти, но снижают качество. Известно, что модель имеет размер 70 миллиардов параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Для работы следует использовать формат подсказок, совместимый с шаблоном Llama 3.3, с секциями system, user и assistant. Лицензия указана как llama3.3; дополнительные условия исходной модели в README не приведены.

TEST-L3.2-ReWish-3B — объединённая текстовая модель, созданная djuna-test-lab с помощью mergekit на основе unsloth/Llama-3.2-3B и с участием SicariusSicariiStuff/Impish_LLAMA_3B и djuna/ReWiz-Llama-3.2-3B-fix-config. Для слияния применён метод DARE linear с нормализацией и int8-маской; архитектура — плотная LlamaForCausalLM, размер — 3,2 млрд параметров. Модель предназначена для генерации текста и диалогов. Метаданные указывают контекст до 131 072 токенов и интерфейс tool calling. В README приведены результаты Open LLM Leaderboard, включая IFEval 63,68 и BBH 22,07, однако эти показатели сами по себе не гарантируют качество в прикладных сценариях. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Thespis-CurtainCall-7b-v0.3 — языковая модель на 7,1 млрд параметров, опубликованная cgato. Это плотная авторегрессионная модель семейства Mistral для генерации текста; в карточке указан контекст до 32 768 токенов и формат PyTorch. Модель обучена на наборах Dolphin, UltraChat, Capybara, Augmental, ToxicQA, MagicCoder-Evol-Instruct-110k, Yahoo Answers, OpenOrca, Airoboros 3.1 и данных по физическому рассуждению и теории разума. Она предназначена для диалогов и генерации ответов в шаблоне, совместимом с Ooba и Silly Tavern, а также может применяться для инструкционного следования, рассуждений и задач по коду благодаря составу обучающих данных. Модель выпущена как версия 7B; автор сообщает о планах выпустить вариант Mixtral. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает результаты оценивания качества, поэтому пригодность для конкретных задач следует проверять самостоятельно.

TheTop-5x7B-Instruct-D-v0.1 — объединённая MaziyarPanahi модель на основе пяти инструкционно настроенных языковых моделей семейства Mistral с применением метода DARE. Она предназначена для генерации текста и ответов на запросы в диалоговом формате. Модель использует архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на задачах рассуждения AI2 Reasoning Challenge и HellaSwag. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README не сообщает поддерживаемые языки или специализированные области применения.

TheTop-5x7B-Instruct-S3-v0.1 — текстовая генеративная модель MaziyarPanahi, созданная слиянием нескольких языковых моделей класса 7B и дополнительным объединением SLERP. Репозиторий содержит веса в формате safetensors; модель основана на архитектуре Mistral и имеет около 7,1 млрд параметров. Для запуска и работы с моделью указана библиотека Transformers. Модель предназначена для генерации текста по запросу и может использоваться для ответов на вопросы, диалогов и решения широкого круга задач на естественном языке. В карточке приведены результаты оценки на тестах ARC, HellaSwag и MMLU, включая вопросы по естественным и точным наукам, истории и другим областям. Контекст модели составляет до 32 768 токенов. Карточка не подтверждает поддержку конкретных языков или специализированное назначение. Модель распространяется по лицензии Apache-2.0. Поскольку это слияние нескольких моделей, качество может различаться между задачами; опубликованные оценки не гарантируют точность отдельных ответов.

Tralalabs_Pythia-6.9B-Instruct-v1-Merged-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Pythia-6.9B-Instruct-v1-Merged, разработанной Tralalabs и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, работы в качестве чат-ассистента и агентских приложений. Доступны варианты от BF16 до различных уровней квантизации, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. Модель поддерживается инструментами llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другими совместимыми приложениями. Модель обучалась с использованием наборов данных OpenAssistant Guanaco и Tulu v2 SFT Mixture. Заявлена поддержка английского, испанского, немецкого, русского, японского, французского, польского, вьетнамского, китайского, венгерского, корейского, каталонского и баскского языков. Точная архитектура, размер контекстного окна и формат инструкций в README не указаны; для выбора шаблона промпта рекомендуется обратиться к странице исходной модели. Сильной стороной является широкий выбор квантизаций, включая рекомендуемые варианты Q4_K_M, Q5_K_M и Q6_K, позволяющие запускать модель локально при разных аппаратных ресурсах. Ограничения включают отсутствие описания точных характеристик, бенчмарков и prompt format, а также возможное снижение качества в наиболее компактных вариантах. Распространение указано по лицензии Apache-2.0.

Vicuna-13B-v1.5 — авторегрессионная языковая модель на архитектуре Transformer семейства Llama, разработанная LMSYS. Модель дообучена на базе Llama 2 на пользовательских диалогах, опубликованных на ShareGPT; содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для диалогового общения и экспериментов с чат-ботами и большими языковыми моделями. Она генерирует текст в ответ на текстовые запросы и может применяться исследователями и энтузиастами в задачах обработки естественного языка, машинного обучения и искусственного интеллекта. В карточке описана оценка по стандартным бенчмаркам, предпочтениям людей и подходу LLM-as-a-judge. Модель распространяется по лицензии Llama 2 Community License Agreement. Её ответы могут быть неточными или необоснованными; качество зависит от запроса и не гарантирует надёжность в критически важных сценариях.

Vikhr-Nemo-12B-Instruct-R-21-09-24-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Vikhr-Nemo-12B-Instruct-R-21-09-24, разработанной Vikhrmodels и подготовленной для распространения в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и работу с русскоязычными и англоязычными текстами. Модель имеет размер 12 млрд параметров; точная архитектура, поддерживаемые варианты квантования, размер контекста и другие технические характеристики в README не указаны. В качестве связанных наборов данных перечислены Vikhrmodels/GrandMaster-PRO-MAX и Vikhrmodels/Grounded-RAG-RU-v2. Основная заявленная модальность — текстовая. Сильной стороной модели является специализация на инструкционном использовании и поддержка русского языка наряду с английским. Ограничения, результаты оценки, сведения о безопасности, смещениях, производительности и рекомендуемых аппаратных требованиях не приведены, поэтому качество в конкретных сценариях требует самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-abliterated — диалоговая языковая модель на 8,6 млрд параметров, созданная на основе 01-ai/Yi-1.5-9B-Chat. Автор сообщает, что модель получена методом «abliteration»; подробности приведены в ноутбуке, на который ссылается карточка. Модель использует плотную архитектуру семейства Llama и библиотеку Transformers. Модель предназначена для генерации текста в диалоге и ответов на запросы. Базовая Yi-1.5-9B-Chat рассчитана на следование инструкциям, рассуждения, математику и программирование; эти возможности унаследованы от основы, но карточка не приводит отдельной оценки их качества после преобразования. Контекст — до 4096 токенов. Указаны китайский и английский языки. Лицензия — Apache-2.0.

Yi-1.5-9B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-9B-Chat, разработанной 01.AI. Модель распространяется в формате GGUF для использования с llama.cpp; квантизацию выполнил bartowski с применением imatrix и набора данных Kalomaze. Модель предназначена для генерации текста и ведения диалогов, включая сценарии локального запуска при ограниченных ресурсах. В репозитории представлены варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K, IQ3, Q2 и IQ1 с размером файлов примерно от 2,01 до 9,38 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K и Q4_K обозначены как рекомендуемые, тогда как IQ1 и некоторые варианты с низким битрейтом имеют существенно более низкое качество. Поддерживаются текстовые диалоги с указанным форматом промпта. Сведения о точной архитектуре, языках и размере контекста в README не приведены. Лицензия — Apache-2.0. Для работы требуется совместимое программное обеспечение, например llama.cpp, а выбор конкретного файла зависит от доступной памяти и допустимого компромисса между качеством и размером модели.

GLM-5.1-GGUF — набор квантизированных версий языковой модели GLM-5.1, разработанной zai-org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Поддерживаются английский и китайский языки. Модель поставляется в формате GGUF с вариантами квантизации от Q8_0 до Q2_K и IQ-серии. Размер файлов составляет примерно от 226,60 до 801,34 ГБ; некоторые варианты разделены на несколько частей. Версии с более высокой разрядностью обычно обеспечивают лучшее качество, но требуют значительно больше памяти, тогда как низкоразрядные варианты экономичнее, но заметно уступают по качеству. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q4_K_L, Q5_K_M, Q5_K_S и Q6_K. Это текстовая модель без заявленной поддержки изображений или других модальностей. Архитектура, число параметров и размер контекста в README не указаны. Квантизация выполнена с использованием imatrix и llama.cpp; для недавно поддерживаемых моделей может потребоваться обновление используемого приложения. Модель распространяется по лицензии MIT.

T145/ZEUS-8B-V9 — плотная языковая модель семейства Llama, созданная T145 с помощью слияния предобученных моделей методом DARE TIES. В качестве базовой использована T145/KRONOS-8B-V5; также в слияние вошли Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2, akjindal53244/Llama-3.1-Storm-8B и arcee-ai/Llama-3.1-SuperNova-Lite. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу через интерфейс вызова инструментов. В карточке приведены результаты Open LLM Leaderboard, в том числе 55,51% на IFEval и 31,85% на BBH; этих показателей недостаточно, чтобы делать выводы о качестве в конкретных прикладных задачах. Модель распространяется в формате safetensors; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.