II.4Отладка, тестирование и качество ПО

Qwen3.6-35B-A3B-Abliterated-Heretic-MLX-4bit — локальная MLX-версия модели Qwen3.6-35B-A3B, подготовленная пользователем Youssofal на базе аблитерированного BF16-чекпойнта. Модель относится к семейству Qwen3.5 MoE и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и коротких программных фрагментов на устройствах Apple Silicon через mlx-lm. Модель использует разреженную архитектуру Mixture of Experts с общим размером около 35 млрд параметров и обозначением A3B. Применена высококачественная 4-битная смешанная квантизация с учётом чувствительности отдельных слоёв; часть проекций хранится с повышенной точностью 6 бит. В репозитории сохранены компоненты обработки изображений и видео, vision tower и процессорные файлы, поэтому вариант может поддерживать мультимодальные сценарии в совместимых MLX-рантаймах Qwen3.6. Поддерживаемые языки и размер контекста в README не указаны. Ключевая особенность — удаление базового поведения отказа на уровне весов с помощью пайплайна Heretic, поэтому модель отвечает на значительную часть запросов, которые исходная модель отклоняла. В проверке на 25 маркерных запросах она отказала в 3 случаях; также прошла локальные проверки общего чата, краткого рассуждения и генерации кода. Это одновременно является ограничением: встроенные защитные отказы ослаблены или удалены, поэтому модель требует осторожного применения и самостоятельных мер безопасности. В README также не приведены результаты комплексных бенчмарков качества. Распространение указано под лицензией Apache-2.0. Модель ориентирована прежде всего на локальный запуск на Apple Silicon и требует совместимой поддержки MLX для мультимодальных возможностей.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Final-GGUF — мультимодальная модель в формате GGUF, основанная на HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель разработана автором LuffyTheFox с применением метода Genesis — посттренировочной числовой коррекции тензоров без дополнительного обучения или тонкой настройки. В README также упоминается исходная разработка Qwen и Tongyi Lab Alibaba Group. Модель предназначена для диалоговых сценариев, генерации текста, задач программирования и работы с изображениями благодаря заявленной поддержке vision и pipeline image-text-to-text. Указана архитектура MoE с 35 млрд параметров и 3 млрд активных параметров, однако размер контекста в README не приведён. Заявлены английский, китайский и мультиязычный режимы работы. Доступны режимы с рассуждением и без него, а также рекомендации по настройкам генерации и запуску на GPU. К заявленным сильным сторонам относятся отсутствие отказов в указанном тесте из 465 запросов, повышенная стабильность, ясность контекста и следование инструкциям после коррекции тензоров. При этом модель позиционируется как uncensored, поэтому может не применять стандартные ограничения безопасности. Фактическое качество, устойчивость, требования к памяти и поддержка конкретных мультимодальных сценариев зависят от выбранной квантизации и среды запуска. Модель распространяется по лицензии Apache-2.0.

sakamakismile/Qwen3.8-27B-MTP-NVFP4 — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная гибридная модель с архитектурой DeltaNet и полноразмерным attention, компонентами компьютерного зрения Qwen3-VL и встроенной MTP-головой для speculative decoding. Модель предназначена прежде всего для генерации текста, рассуждений и использования в серверных сценариях через vLLM; поддержка мультимодального режима заявлена благодаря vision tower, но в README её производительность не оценивалась. Основная часть весов сжата в формат NVFP4 W4A4 с размером группы 16, тогда как vision tower, lm_head, conv1d DeltaNet и MTP-голова сохранены в bf16. Размер базовой модели составляет 27,8 млрд параметров; объём уменьшен с 55,6 до 20,6 ГБ. Заявлен контекст до 131 072 токенов, поддерживается KV-кэш fp8 и работа на GPU Blackwell через vLLM 0.22.0. MTP-голова позволяет ускорять декодирование, однако требует корректного сохранения специальных модулей и конфигурации speculative decoding. Сильными сторонами модели являются существенное сокращение объёма весов, высокая скорость генерации на совместимом оборудовании и поддержка длинного контекста. Ограничения связаны с требованиями к GPU Blackwell и конфигурации vLLM: формат W4A4 необходим для указанной архитектуры, а мультимодальная производительность не проверялась. Модель ориентирована на задачи рассуждений; при высоком уровне reasoning effort значительная часть лимита токенов может расходоваться на внутреннее рассуждение без итогового ответа, поэтому для длинных запросов рекомендуется режим medium и max_tokens не менее 4096. Распространяется по лицензии Apache-2.0.

Карточка модели m-hasnain-sabqi/Qwen3-Embedding-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Карточка модели Rasputin312/Qwen3-Embedding-4B_both_0_pct_3_epochs на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Карточка модели lvandy/Qwen3-Embedding-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

Qwen3-VL-32B-Instruct-Heretic — мультимодальная модель для диалога по тексту и изображениям, созданная как дообученная версия Qwen/Qwen3-VL-32B-Instruct. Она предназначена для ответов на вопросы об изображениях, визуального рассуждения, распознавания текста и анализа видео; архитектура Qwen3-VL dense содержит 32 млрд параметров. В карточке базовой модели заявлены контекст 256 тыс. токенов с возможностью расширения до 1 млн и OCR на 32 языках. Модель сохраняет возможности базовой версии для текстового и визуального понимания, включая пространственное рассуждение и разбор интерфейсов. Abliteration заметно снижает частоту отказов в указанном сравнении: 4 из 100 против 89 из 100 у исходной модели; это не гарантирует корректность или безопасность ответов. Доступна по лицензии Apache-2.0.

RWKV7-G1 «GooseOne» — семейство базовых языковых моделей от BlinkDL на архитектуре RWKV-7, сочетающей свойства рекуррентной сети и языковой модели с авторегрессионной генерацией. Модели предварительно обучены на веб-текстах, коде, синтетических данных, а также инструкционных, диалоговых и рассуждательных примерах; доступны варианты от 0,1 до 13,3 млрд параметров. Указаны словарь из 65 536 токенов и размер головы 64. Модели предназначены для генерации текста, диалога и рассуждений, а также для дальнейшего дообучения и адаптации под конкретные задачи. Автор отмечает локальный запуск на мобильных и настольных устройствах и высокую скорость инференса; приведённые показатели относятся к RWKV-7 7,2B на RTX 5090. В карточке описаны рекомендации по настройкам генерации и вызову функций. Карточка не сообщает длину контекста и не приводит сопоставимых оценок качества, поэтому производительность на конкретных задачах следует проверять отдельно. Модели распространяются по лицензии Apache-2.0.

SOLAR-13B-Instruct-v1.0 — разговорная языковая модель на базе архитектуры Llama, созданная Vicgalle с помощью mergekit. Это вариант SOLAR-10.7B-Instruct-v1.0, расширенный до 13 млрд параметров методом passthrough: в итоговую модель включены диапазоны слоёв исходной модели. Репозиторий содержит веса Safetensors; нативный контекст — 4096 токенов. Модель предназначена для диалогов, выполнения инструкций и генерации текстовых ответов. Автор указывает, что 4-битная квантизация помещается в 12 ГБ видеопамяти; приведены результаты нескольких бенчмарков, но полная оценка качества ещё не опубликована. Модель поддерживает чатовый сценарий и унаследована от англоязычной инструкционной модели Upstage. Распространяется по лицензии Apache-2.0.

Spark-X2.5-4B-GGUF — это GGUF-квантизированная версия модели Spark-X2.5-4B, разработанной XHToken. Квантизацию выполнил stornic56 с использованием imatrix и форка llama.cpp на базе коммита b10514-4a3635c32; начиная с версии llama.cpp b10828 архитектура spark2_5 поддерживается в основном репозитории. Модель содержит около 4,11 млрд параметров, принимает текстовые данные и поддерживает английский и китайский языки. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, включая рассуждения и thinking-режим, а также вызов инструментов. Шаблон чата встроен в каждый GGUF-файл и поддерживает автоматическое применение через --jinja. По умолчанию рассуждения выводятся внутри тегов <think>...</think> перед итоговым ответом. Доступны варианты от BF16 до низкобитных Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, Q3_K_M, IQ3_M и IQ2_M; вариант Q4_K_M рекомендован как компромисс между размером и качеством. К сильным сторонам относятся широкий выбор квантизаций, поддержка imatrix и возможность запуска через llama.cpp, включая ускорение на Intel Arc с Vulkan. IQ2_M сохраняет работоспособность в расширенном тесте связности, тогда как Q2_K был исключён из выпуска из-за циклов повторения; варианты ниже IQ2_M не создавались из-за ожидаемой существенной потери качества. Максимальная длина контекста в README не указана, поэтому параметры запуска с 8192 или 16384 токенами нельзя считать подтверждённым ограничением модели. Распространение осуществляется по лицензии Apache-2.0.

Teuken-7B-instruct-research-v0.4-GGUF — это квантизированная версия инструкционной языковой модели Teuken-7B-instruct-research-v0.4, разработанной openGPT-X и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций, а также для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер наиболее компактных представленных вариантов составляет около 4,1–4,7 ГБ, а F16-версия занимает около 14,9 ГБ. В README заявлена поддержка немецкого, болгарского, чешского, датского, греческого, английского, испанского, эстонского, финского, французского, ирландского, хорватского, венгерского, итальянского, литовского, латышского, мальтийского, нидерландского, польского, португальского, румынского, словенского, шведского и словацкого языков. Некоторые квантизации оптимизированы для ARM или AVX, однако отдельные варианты не рекомендуются для Mac или GPU. Более качественные варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. README не содержит сведений об архитектуре, размере контекстного окна, параметрах обучения, точных мультимодальных возможностях или формате промпта, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки других модальностей. Лицензия указана как other, без дополнительных условий; перед использованием в коммерческих или распространительных сценариях необходимо проверить лицензию исходной модели и конкретные ограничения.

TopEvolution-DPO-32K — слитая языковая модель семейства Mistral, созданная сообществом mergekit-community методом SLERP на основе mergekit-community/TopEvolution и mpasila/Kunoichi-DPO-v2-Instruct-32k-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и выполнения инструкций; поддерживает контекст до 32 768 токенов. В конфигурации слияния использована V-образная кривая весов: TopEvolution задаёт вклад на входе и выходе, а Kunoichi-DPO-v2-Instruct — в средних слоях. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Языковая специализация и лицензия в предоставленных источниках не описаны.

Sakalti/ultiima-14B — объединённая модель для генерации текста, созданная автором репозитория с помощью mergekit. В слиянии методом TIES использованы Qwen/Qwen2.5-14B как базовая модель и Qwen/Qwen2.5-14B-Instruct; модель имеет плотную архитектуру Qwen2ForCausalLM и 14 млрд параметров. Модель предназначена для диалогов и генерации текста, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов. Репозиторий содержит веса Safetensors; указана лицензия Apache-2.0. Конкретные языковые возможности и оценки качества в карточке не описаны.

Карточка модели fknuette/werwolf-sft на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

agiin-13.6B-v0.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и mncai/agiin-13.6B-v0.1 методом SLERP. В каталоге указаны архитектура MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и поддерживает диалоговый режим. Модель предназначена для генерации текста и ответов на инструкции в чат-сценариях. В README описана настройка слияния слоёв внимания и MLP, а базовая модель определена как mistralai/Mistral-7B-Instruct-v0.2. Лицензия Apache-2.0. Данные о специальных доменах и языках применения в карточке не приведены.

Olmo-3.1-32B-Instruct-GGUF — это квантизированная версия языковой модели Olmo-3.1-32B-Instruct, разработанной AllenAI. Публикацией и квантизацией в формате GGUF занимался bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Модель имеет размер 32 млрд параметров, относится к текстовым моделям и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ; размеры файлов составляют примерно от 14 до 64 ГБ. Для работы необходимо использовать соответствующий шаблон чата с ролями system, user и assistant. Размер контекста и другие архитектурные характеристики в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий вариант для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная; поддержка других языков, кроме английского, в карточке не описана. Лицензия — Apache 2.0.

EssentialAI_rnj-1-instruct-GGUF — это набор GGUF-квантизованных версий instruct-модели rnj-1-instruct, разработанной Essential AI и квантизованной пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных средах, совместимых с llama.cpp, включая LM Studio и другие проекты на его основе. Доступны варианты от BF16 до 3- и 4-битных форматов, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размеры файлов варьируются примерно от 3,8 до 16,6 ГБ; наиболее качественными считаются BF16, Q8_0 и варианты Q6, а Q4 предназначены для более универсального локального использования. В README не указаны архитектура, максимальная длина контекста, поддерживаемые языки, число параметров и мультимодальные возможности, поэтому модель следует считать текстовой без подтверждённой поддержки других модальностей. Сильные стороны — широкий выбор степеней квантизации, возможность запуска на локальном оборудовании и сохранение высокого качества у вариантов Q5–Q8. Более компактные варианты экономят память, но могут заметно уступать по качеству; низкобитные версии характеризуются как менее качественные или нерекомендуемые. Для работы требуется использовать рекомендованный формат prompt-шаблона rnj-1 и совместимый inference-движок. Указанная лицензия — Apache-2.0.

FwF-Qwen-7B-0.2 — языковая модель на архитектуре Qwen2, созданная bunnycore линейным слиянием четырёх моделей, ориентированных на рассуждения, длительное пошаговое мышление, ролевой диалог и универсальные задачи. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; метаданные также отмечают интерфейс вызова инструментов. Нативная длина контекста — 32 768 токенов. Модель подходит для диалоговых приложений, следования инструкциям и многошаговых задач, где полезно сочетание компонентов с разными специализациями. В README приведены результаты оценивания на IFEval и BBH, однако они сами по себе не гарантируют качество на пользовательских сценариях. Лицензия в предоставленных данных не указана.

PocketWeights/Gemma-4-12B-agentic-abliterated-GGUF — это квантизированная в формате GGUF версия 12-миллиардной модели на архитектуре Gemma, разработанной Google. К использованной базовой модели Huihui-gemma-4-12B-agentic-fable5-abliterated применены дообучение и методы удаления отказов от huihui-ai / yuxinlu1; сборку и оптимизацию GGUF выполняет PocketWeights. Модель предназначена для генерации текста, диалогов, многошагового планирования, декомпозиции сложных запросов, структурированного вывода, агентских сценариев и использования инструментов или function calling. Заявлены возможности технического анализа, автономного выполнения многошаговых целей, red-teaming и творческого письма. Поддерживаемые модальности и языки в README не указаны; контекстное окно также не заявлено. Доступны варианты IQ3_M размером 5,73 ГБ, рассчитанный примерно на 6 ГБ VRAM или 8 ГБ RAM, и Q4_K_M размером 7,38 ГБ, рекомендованный для 8–12 ГБ VRAM или 16 ГБ RAM. Ключевое преимущество — сочетание 12B-параметров с локальным запуском на потребительском оборудовании. Ограничение — удалённые защитные механизмы, поэтому модель может генерировать небезопасный контент и рекомендуется для авторизованных исследований безопасности, симуляций red-teaming и локальных изолированных сред. Модель распространяется по Gemma Terms of Use / Open Model License; конкретные условия применения следует проверять в тексте лицензии.

gemma-4-E2B-it-Uncensored-MAX-GGUF — языковая модель с поддержкой изображений, разработанная prithivMLmods на основе google/gemma-4-E2B-it. Это instruction-tuned и alignment-modified вариант, предназначенный для генерации текста, подробных ответов, следования инструкциям, reasoning и агентских сценариев. Модель также позиционируется для запуска через llama.cpp, vLLM и другие совместимые инструменты, поддерживающие формат GGUF. Модель относится к классу MoE и имеет 2 млрд параметров согласно описанию. Заявлен английский язык. Наличие файлов mmproj указывает на поддержку обработки изображений, однако подробные сведения о визуальной архитектуре, размере контекста и точном наборе поддерживаемых модальностей не приведены. Доступны варианты BF16, F16, F32 и Q8_0 размером примерно от 4,95 до 18,6 ГБ, а также соответствующие мультимодальные компоненты. Ключевая особенность — снижение внутренних отказов от ответа с помощью анализа refusal-направлений и abliteration-based training при сохранении способностей к reasoning и instruction-following. Это может быть полезно для приложений, которым нужны менее ограниченные ответы, но одновременно означает повышенные риски получения небезопасного или нежелательного контента. Качество и требования к ресурсам зависят от выбранной квантизации. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Hermes-2-Theta-Llama-3-8B-GGUF — квантованная GGUF-версия Hermes-2-Theta-Llama-3-8B, созданная с использованием llama.cpp. Исходную модель разработала Nous Research совместно с Charles Goddard из Arcee, при этом Hermes-2 Theta представляет собой экспериментальное объединение Hermes 2 Pro и Meta Llama 3 Instruct с последующим обучением с подкреплением на основе обратной связи человека (RLHF). Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель ориентирована на многошаговые чаты, следование системным инструкциям, генерацию структурированного JSON и вызов функций. Она использует формат промптов ChatML с ролями system, user и assistant, поддерживает chat template и совместима с подходом OpenAI к форматированию диалогов. В карточке также указано обучение на датасете teknium/OpenHermes-2.5 и наличие методов DPO, синтетических данных и дистилляции в контексте разработки. Размер исходной модели — 8B параметров; точный тип и уровень квантования, размер контекста и требования к ресурсам не указаны. Сильными сторонами являются сочетание возможностей Hermes 2 Pro и Llama 3 Instruct, поддержка управляемых диалогов, function calling и JSON-вывода. Модель описана как экспериментальная, а в карточке отсутствуют количественные результаты оценки, сведения о конкретных вариантах квантования и подробные ограничения качества, поэтому пригодность для конкретных задач следует проверять отдельно. Распространение указано по лицензии Apache 2.0.

Hermes-3-Llama-3.1-70B-IMat-GGUF — это квантизированная версия текстовой языковой модели NousResearch/Hermes-3-Llama-3.1-70B, подготовленная пользователем legraphista в формате GGUF для запуска через llama.cpp. Исходная модель имеет размер 70B параметров и тип данных BF16, а доступные варианты включают BF16, FP16 и несколько уровней квантования от 1 до 8 бит, в том числе варианты с IMatrix. Модель предназначена для генерации текста, диалоговых сценариев и работы в формате instruct/chat. В описании также заявлены поддержка ChatML, function calling и JSON mode, а среди возможных применений указаны ролевые диалоги и задачи, связанные с синтетическими данными и дистилляцией. Указан английский язык; сведения о других языках и размере контекстного окна отсутствуют. Модель является текстовой и не заявляет поддержку изображений или других дополнительных модальностей. Основное преимущество сборки — возможность выбрать баланс качества, размера файлов и требований к ресурсам за счёт большого набора GGUF-квантов; IMatrix применяется в ряде вариантов с более низкой разрядностью. Ограничения связаны с очень большим размером модели: файлы занимают примерно от 26 до 141 ГБ, а некоторые варианты разделены на несколько частей. Квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно в вариантах с меньшей разрядностью. Лицензия указана как llama3.

Human-Like-LLama3-8B-Instruct-GGUF — это 8-миллиардная текстовая instruction-модель семейства Llama 3, разработанная HumanLLMs на основе Humanish-LLama3-8B-Instruct. Данная версия опубликована в формате GGUF и квантизирована bartowski с использованием llama.cpp и метода imatrix. Обучение или дообучение модели связано с набором данных humanish-dpo-project и методом DPO. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и иных текстовых сценариях. В README приведены результаты оценивания на IFEval, BBH, MATH, GPQA, MuSR и MMLU-PRO, однако показатели заметно различаются между задачами, поэтому их следует рассматривать как ориентиры, а не гарантию качества в конкретном применении. Мультимодальность, поддерживаемые языки, размер контекстного окна и рекомендуемый формат промптов в карточке не указаны. Доступно несколько вариантов квантизации от F16 до Q3_K_XL. Более высокие варианты обычно лучше сохраняют качество, но требуют больше памяти; Q4_K_M указан как вариант стандартного размера, а Q5 и Q6 — как высококачественные варианты. Ограничения включают отсутствие описания prompt format и неполную информацию о языках, контексте и поведении модели. Лицензия указана как llama3.

LLaMA-2-7B-32K-Instruct_GGUF — это набор файлов модели в формате GGUF, подготовленный пользователем rozek на основе Llama-2-7B-32K-Instruct от Together Computer, Inc., которая, в свою очередь, создана на базе Meta AI LLaMA-2-7B. Исходная модель дообучена для работы с контекстом до 32 000 токенов с использованием Position Interpolation и Rotary Position Embeddings (RoPE). Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска через llama.cpp. Репозиторий содержит варианты с различной степенью квантования: Q2_K, Q3_K, Q4, Q5, Q6_K, Q8_0, а также неквантованный F16. Квантованные версии снижают требования к памяти и позволяют запускать модель локально, но могут уступать F16 по точности. Несмотря на поддержку контекста до 32K, использование максимальной длины требует значительного объёма RAM; рекомендуется выбирать минимальный необходимый размер контекста. Модель текстовая и имеет около 7 миллиардов параметров. В README указана лицензия llama2.

Llama3.3-70B-CogniLink-i1-GGUF — квантизированная GGUF-версия модели Daemontatox/Llama3.3-70B-CogniLink, подготовленная mradermacher. Это текстовая языковая модель семейства Llama с 70 миллиардами параметров, ориентированная на генерацию текста, выполнение инструкций и задачи, требующие рассуждений. Модель обучалась с использованием наборов данных Daemontatox/Deepthinking-COT и gghfez/QwQ-LongCoT-130K-cleaned; заявленный язык — английский. Поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Модель предназначена для локального запуска в приложениях и средах, совместимых с форматом GGUF. Доступно множество вариантов квантизации размером примерно от 15,4 до 58 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством; README отмечает, что вариант i1-Q4_K_M является быстрым и рекомендуемым, а некоторые низкобитные варианты имеют пониженное качество. К ограничениям относятся возможная потеря качества из-за квантизации, высокие требования к ресурсам у 70B-версии и отсутствие опубликованных в README количественных результатов тестирования. Модель распространяется по лицензии Apache-2.0.

rinna/llama-3-youko-8b-instruct — диалоговая языковая модель компании rinna на архитектуре Llama 3, созданная на основе Llama 3 Youko 8B. Модель содержит около 7,5 млрд параметров, использует плотный 32-слойный трансформер и контекст до 8192 токенов. Она обучена следовать инструкциям и работает в формате чата Llama 3. Модель предназначена для генерации ответов и диалога на японском и английском языках. Обучение включало supervised fine-tuning, добавление chat vector и direct preference optimization на наборах данных с японскими и английскими диалогами, а также примерами математики и кода. Для генерации разработчики рекомендуют repetition_penalty=1.1: без этой настройки модель чаще повторяет текст. Весовые файлы опубликованы в формате safetensors. Лицензия — llama3; использование регулируется условиями лицензии Meta Llama 3.

LongCat-Flash-Lite-Sparse-Uncensored-Heretic-Native-MTP-And-LSA-Preserved — дообученная версия LongCat-Flash-Lite-Sparse от независимого автора llmfan46. Это разговорная причинная языковая модель для генерации текста с архитектурой LongCat Flash Sparse и 4,6 млрд параметров. По метаданным, модель принимает контекст до 983 040 токенов; исходное семейство использует разреженное внимание LongCat Sparse Attention для эффективной работы с длинным контекстом. Модель изменена методом abliteration, чтобы снизить частоту отказов: в приведённом README сравнительном тесте отказов стало 9 из 100 против 99 из 100 у исходной модели. Она предназначена для диалогов, генерации текста и сценариев с длинными входными данными; README также ссылается на отдельную GGUF-версию. Заявленная лицензия — MIT. README предупреждает, что модель не оценивалась всесторонне для всех прикладных задач.

Maverick-7B — объединённая модель для генерации текста, созданная на основе mlabonne/Marcoro14-7B-slerp и mlabonne/NeuralBeagle14-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для диалога, ответов на вопросы и других общих языковых задач; в карточке приведены результаты тестов TruthfulQA, GPT4ALL, AGIEval и Bigbench. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Mungert/Meta-Llama-3-8B-GGUF — модель для генерации текста на базе Meta Llama 3, разработанной Meta. Судя по идентификатору, это 8-миллиардная версия модели, представленная в формате GGUF, предназначенном для локального или совместимого с GGUF инференса. В карточке указана англоязычная поддержка и задача text-generation. Модель может использоваться для генерации и продолжения текста, ответов на запросы и других сценариев обработки естественного языка. Точная архитектура, размер контекста, варианты квантования, системные требования и дополнительные модальности в README не указаны; подтверждена только текстовая генерация, поэтому модель следует рассматривать как текстовую, без заявленной поддержки изображений, аудио или других модальностей. К сильным сторонам относятся компактный по современным меркам размер 8B и формат GGUF, потенциально удобный для локального запуска, однако конкретные преимущества производительности зависят от варианта квантования и используемого программного обеспечения. Ограничения модели, показатели качества и детальные сведения о тренировочных данных не приведены. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, включая требования к атрибуции, обозначению «Built with Meta Llama 3», Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 миллионами ежемесячных пользователей.

MisCalmity-v0.1-model_stock — языковая модель на архитектуре Mistral, созданная слиянием нескольких моделей с помощью LazyMergekit: Mistral-7B-v0.1, Calme-7B-Instruct-v0.9 и The-Trinity-Coder-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться для диалоговых ответов и генерации кода благодаря включению инструкционной модели и модели для программирования в слияние. В карточке не приведены результаты оценки качества или сведения о лицензии, поэтому пригодность для конкретных сценариев и условия использования следует проверять по исходным моделям и репозиторию.