II.4Отладка, тестирование и качество ПО

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT-Search-TauSFT-Tau на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

dealignai/Qwen3.8-Flash-Next-UNCENSORED-FP8 — модифицированная версия Qwen3.8-Flash-Next-FP8 от команды dealignai. Модель предназначена для генерации текста, решения задач и сценариев, где требуется повышенная готовность отвечать на широкий спектр запросов без встроенных отказов. Также заявлена поддержка обработки изображений благодаря сохранённой vision tower. Модель работает в формате FP8 и сохраняет MTP head и vision tower базовой модели. В README также указана архитектура MoE, однако размер модели, максимальная длина контекста и перечень поддерживаемых языков не приведены. По заявленным внутренним тестам, модель демонстрирует более глубокое рассуждение: на пяти логических головоломках она решила четыре задачи против трёх у базовой модели, при этом использовала примерно в 3,5 раза больше токенов рассуждения. На полном тесте MMLU результат составил 80,39% против 83,54% у базовой модели, то есть снижение общей точности знаний сопровождается неоднородными изменениями по отдельным предметам. К сильным сторонам относятся сохранённые мультимодальные возможности, поддержка FP8, отсутствие жёстких отказов в заявленном тестировании HarmBench и увеличение глубины рассуждений. Ограничения включают возможное ухудшение точности на части академических и прикладных тематик, повышенный расход токенов при рассуждении и отсутствие подробных сведений о размере, контексте и языках. Модель распространяется по лицензии Apache-2.0.

SmolLM3-3B-Base — базовая языковая модель HuggingFaceTB, обученная предсказывать продолжение текста. Это плотный decoder-only Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель опубликована в форматах Safetensors и ONNX. По карточке, предобучение проводилось на 11,2 трлн токенов из веб-текстов, кода, математики и материалов для рассуждений. Это базовая версия семейства; instruct-модель опубликована отдельно. Модель предназначена для генерации и продолжения текста, а также может служить основой для адаптации под прикладные задачи. Она обучалась на английском, французском, испанском, немецком, итальянском и португальском языках; в меньшем объёме также использовались арабский, китайский и русский. Контекст конфигурации — 65 536 токенов; README описывает расширение до 128k токенов с YaRN. Карточка приводит результаты тестирования на задачах рассуждения, математики, кода и многоязычного понимания, но они не гарантируют точность ответов в практическом использовании. Разработчик предупреждает, что текст может содержать фактические ошибки, логические несоответствия и предубеждения из обучающих данных; важную информацию следует проверять. Модель распространяется по лицензии Apache-2.0.

Lucyfer1718/Spartan_v3 — языковая модель на архитектуре Llama, созданная слиянием методом SLERP моделей meta-llama/Meta-Llama-3-8B и meta-llama/Llama-3.1-8B-Instruct. Веса представлены в формате safetensors; модель содержит около 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на запросы и использование интерфейса вызова инструментов. Она работает с текстом; карточка указывает базовые многоязычные модели, но конкретный перечень языков для этого слияния не приведён. Условия лицензирования в предоставленных данных не описаны.

StrangeMerges_54-7B-model_stock — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная Gille с помощью LazyMergekit и метода model_stock. В конфигурации указаны несколько исходных моделей, включая Gille/StrangerPerciVaaled_Strange-7B-slerp в качестве базовой; метаданные также связывают модель с другими объединёнными чекпойнтами.

SynthIA-7B-v1.3-dare-0.85-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/SynthIA-7B-v1.3-dare-0.85 методом SLERP. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors; базовая модель предназначена для генерации ответов на инструкции и диалоговые запросы. Модель подходит для диалогового взаимодействия и генерации текста по инструкциям с контекстом до 32 768 токенов. Используйте её для создания чат-ботов, черновиков и ответов на текстовые запросы. В README указана конфигурация слияния и точность bfloat16. Лицензия — Apache-2.0.

T3qm7xNeuralsirkrishna_ShadowCalme — объединённая языковая модель семейства Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/ShadowCalme-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поставляется в формате safetensors. Модель предназначена для генерации текста и диалогов. Контекстное окно составляет до 32 768 токенов. В метаданных указана лицензия Apache-2.0. Сведения о специальных областях применения и языках не приведены.

Olmo-3.1-32B-Think-GGUF — это квантизированная версия текстовой генеративной модели Olmo-3.1-32B-Think, разработанной Allen Institute for AI (AI2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В репозитории доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, включая IQ-квантизации. Размер файлов варьируется примерно от 14 до 64 ГБ, поэтому модель можно адаптировать под доступные ресурсы, выбирая компромисс между качеством и потреблением памяти. Указан английский язык; сведения об архитектуре, максимальном контексте, мультимодальности и поддерживаемых языках, кроме английского, не предоставлены. Сильной стороной модели являются варианты с высокой точностью, близкой к исходной, а также возможность локального запуска на совместимом оборудовании. Низкобитные варианты экономят память, но могут снижать качество генерации; некоторые форматы имеют устаревшие особенности или не рекомендуются из-за более низкого качества. Модель распространяется по лицензии Apache-2.0.

Olmo-3-32B-Think-GGUF — это набор квантизированных GGUF-версий языковой модели Olmo-3-32B-Think, разработанной Allen Institute for AI (allenai) и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Варианты представлены в форматах от BF16 до низкобитных Q- и IQ-квантизаций; размер файлов составляет примерно от 13 до 64 ГБ. Доступен англоязычный режим, поскольку в карточке указано только English. Модель относится к текстовым, а не мультимодальным системам. Архитектура и размер контекстного окна в README не указаны. Главное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q6 и Q5 обеспечивают очень высокое качество, Q4 подходят для большинства сценариев, а Q3 и IQ3 рассчитаны на системы с ограниченным объёмом RAM, но заметно уступают по качеству. Ограничения включают отсутствие заявленной поддержки других языков, неизвестные характеристики контекста и необходимость достаточно производительного оборудования для крупных версий. Квантизация выполнена с использованием imatrix и llama.cpp. Лицензия модели — Apache-2.0.

Bagel-Hermes-34B-Slerp — языковая модель для генерации текста и диалогов, созданная слиянием предварительно обученных моделей с помощью mergekit. В слияние вошли Nous-Hermes-2-Yi-34B, bagel-dpo-34b-v0.2 и nontoxic-bagel-34b-v0.2; применён метод SLERP с настройками, различающимися для слоёв внимания и MLP. Архитектура — плотная LlamaForCausalLM, размер — 33,9 млрд параметров, формат весов — safetensors, контекст — до 200 000 токенов. Модель предназначена для генерации текста и ведения диалогов. В README приведены результаты оценок на наборах задач рассуждения и следования инструкциям, включая ARC, HellaSwag, IFEval и BBH. Поддерживаемый язык в карточке не обозначен. Модель распространяется по лицензии Apache-2.0.

Sakalti/beril — разговорная языковая модель, созданная слиянием моделей Qwen/Qwen2.5-0.5B-Instruct и HuggingFaceH4/zephyr-7b-beta. Для объединения применён метод SLERP с помощью mergekit; модель использует архитектуру MistralForCausalLM и состоит из 5,1 млрд параметров. Модель предназначена для генерации текста и диалогов: её можно использовать для ответов на вопросы, выполнения инструкций и создания текстовых продолжений. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Bhineka-GPT-500M — двуязычная авторегрессионная языковая модель BhinekaIntiLabs для генерации индонезийского и английского текста. Она использует плотную decoder-only архитектуру Transformer в стиле Llama; в метаданных указано 482,5 млн параметров, тогда как README приводит 556,3 млн для проверенного тренировочного чекпойнта. Контекст модели — 2048 токенов, токенизатор BPE обучен для этого проекта. Репозиторий содержит веса в форматах Safetensors и GGUF; модель поддерживает диалоговый сценарий. Модель предназначена для ответов на вопросы, суммаризации и перефразирования, перевода между индонезийским и английским, технических текстов, помощи с кодом и генерации структурированных ответов в Markdown или JSON. README описывает обучение с предварительным обучением, дообучением на инструкциях и оптимизацией предпочтений; проект позиционирует модель для исследований, экспериментов и прототипирования, хотя по критериям каталога это применимая модель, а не промежуточный исследовательский чекпойнт. Лицензия — Apache-2.0. Модель может выдумывать факты, цитаты, поведение кода и численные данные; качество может различаться для диалектов и неформальной индонезийской речи. Небольшой размер ограничивает сложные рассуждения, работу с инструментами и фактическую точность, а оценка языкового моделирования сама по себе не подтверждает качество прикладных задач. Не следует полагаться на неё как на единственный источник в медицинских, юридических, финансовых и других критически важных вопросах.

BigQwen2.5-52B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели BigQwen2.5-52B-Instruct, разработанной mlabonne и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. В README указан английский язык; сведения о других языках отсутствуют. Модель имеет размер 52 млрд параметров и поставляется в вариантах от F16 до низкобитных Q- и IQ-квантизаций. Доступны файлы размером примерно от 12,39 до 104,55 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix; варианты Q6_K, Q5_K_L, Q5_K_M, Q4_K_L, Q4_K_M и IQ4_XS отмечены как рекомендуемые благодаря сочетанию качества и размера, тогда как более низкие уровни квантизации снижают качество, но уменьшают требования к памяти. Размер контекста и точная архитектура в README не указаны. Для работы требуется совместимое ПО, например llama.cpp или LM Studio, а также значительный объём оперативной или видеопамяти в зависимости от выбранного файла. Модель использует лицензию tongyi-qianwen; в карточке она обозначена как other и приведена ссылка на лицензию Qwen2-72B-Instruct. Условия коммерческого и иного использования следует уточнять в тексте этой лицензии.

mlx-community/DeepSeek-R1-4bit — это 4-битная версия модели DeepSeek-R1, разработанной командой DeepSeek и преобразованная сообществом mlx-community в формат MLX. Конвертация выполнена с использованием mlx-lm версии 0.21.0. Модель предназначена для локального запуска и генерации текста через библиотеку mlx-lm, включая сценарии с чат-шаблоном и передачей сообщений пользователя. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках и модальностях, размере контекста, результатах тестирования, ограничениях или лицензии, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

arcee-ai/DeepSeek-V3-0324-bf16 — конверсия модели DeepSeek V3 от Arcee AI в формат BF16. По метаданным это плотная авторегрессионная языковая модель архитектуры DeepseekV3ForCausalLM с 37,6 млрд параметров и контекстом до 163 840 токенов. Предназначена для генерации текста в диалогах и сценариях с интерфейсом вызова инструментов. Модель принимает текст и выдаёт текст. В карточке указана лицензия MIT. README сообщает о преобразовании весов из FP8 в BF16, но не даёт подробностей об обучении или результатах оценки.

DevQuasar-R1-Uncensored-Llama-8B — объединённая авторами DevQuasar языковая модель для генерации текста и диалогов. Она создана методом линейного слияния трёх моделей: DeepSeek-R1-Distill-Llama-8B, LLama-3.1-8B-HyperNova-abliteration и Llama-3.1-8B-Lexi-Uncensored-V2. Архитектура — плотная LlamaForCausalLM; размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалоговых ответов, рассуждений и задач общего характера. В README приведены результаты оценивания, включая HellaSwag, и заявлено улучшение по большинству тестов относительно DeepSeek-R1-Distill-Llama-8B, однако подробности таблицы в карточке представлены не полностью. Модель распространяется по лицензии MIT.

Карточка модели GrishaKushnir/embeddinggemma-300m на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

FineLlama-3.1-8B-fiftycore-V1 — языковая модель компании fiftycore, созданная дообучением unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit с помощью Unsloth и библиотеки Hugging Face TRL. Модель семейства Llama с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и предназначена для генерации текста и диалогового взаимодействия; также заявлен интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Для неё указано контекстное окно до 131 072 токенов, а среди языковых меток карточки указан английский. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.

Functionary Medium v3.1 — языковая модель компании MeetKai для диалогов и работы с функциями и плагинами. Она основана на meta-llama/Meta-Llama-3.1-70B-Instruct и использует плотную архитектуру Llama; в метаданных указаны 69,5 млрд параметров и контекст до 131 072 токенов. Модель принимает определения инструментов в формате JSON Schema, выбирает, когда вызывать функции, может запускать несколько вызовов параллельно или последовательно и учитывать их результаты в ответе. Она также может вести обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Модель предназначена для ассистентов, которым нужно вызывать API и плагины, оркестрировать инструменты и формулировать ответы с учётом полученных данных. README рекомендует запуск через совместимый с OpenAI сервер vLLM; для разбора сырых ответов в JSON предусмотрен специальный код. Репозиторий содержит веса Safetensors. Лицензия — MIT.

FuseQwQen-7B — объединённая разговорная языковая модель от bunnycore на архитектуре Qwen2. Она создана методом линейного слияния нескольких моделей, включая FuseChat-Qwen-2.5-7B-Instruct, QwQ-LCoT-7B-Instruct, cybertron-v4-qw7B-UNAMGS и модель с адаптером Persona. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 32 768 токенов. Модель предназначена для диалога и генерации ответов, в том числе с опорой на инструкции и рассуждения. В карточке приведены результаты Open LLM Leaderboard, однако данных недостаточно, чтобы подтвердить конкретный уровень качества в отдельных сценариях. Использование предполагает библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

unsloth/gemma-2-9b-it-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Gemma 2 с 9 миллиардами параметров, основанная на google/gemma-2-9b-it. Модель распространяется в экосистеме Unsloth и предназначена для запуска и дообучения с использованием Transformers. В метаданных указаны разработчик базовой модели Google и поддерживаемый язык English. Модель ориентирована на диалоговые приложения, генерацию и продолжение текста, а также на дообучение под пользовательские наборы данных. Ключевой особенностью является 4-битное квантование bnb, снижающее требования к памяти; для Gemma 2 (9B) Unsloth заявляет ускорение до 2,4 раза и сокращение использования памяти до 58% в соответствующих сценариях. Модель также может экспортироваться в форматы GGUF и использоваться с vLLM, однако размер контекста, точный набор поддерживаемых языков и другие архитектурные характеристики в README не указаны. Сильные стороны модели — относительно экономичный запуск и возможность эффективного fine-tuning на ограниченных ресурсах, включая GPU Tesla T4. Ограничения связаны с 4-битным представлением, предназначенностью базовой модели преимущественно для English и отсутствием в README подробных результатов оценки качества. Лицензия указана как gemma; перед использованием необходимо учитывать условия лицензии Google Gemma.

jenerallee78/gemma-4-26B-A4B-it-ara-abliterated — мультимодальная instruction-tuned модель, созданная на базе Google Gemma 4 26B-A4B-IT с применением метода Adaptive Refusal Abliteration (ARA). Разработчик заявляет, что модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями; в метаданных указан английский язык. Это модификация с ослабленными встроенными ограничениями на отказы, поэтому её применение требует самостоятельной оценки безопасности. Модель использует MoE-архитектуру со 128 экспертами и 8 активными экспертами на токен, примерно 4 млрд активных параметров на токен, 30 слоями и контекстом до 262 144 токенов. Она поддерживает мультимодальный ввод благодаря vision encoder на базе SigLIP; каждое изображение преобразуется примерно в 280 soft tokens. Доступны варианты BF16 SafeTensors и GGUF для Transformers, vLLM, SGLang и llama.cpp, а также смешанная 4-битная MLX-квантизация для Apple Silicon. Размеры файлов составляют около 48 ГБ для BF16, 20 ГБ для Q5_K_M GGUF и 15 ГБ для MLX-варианта. По приведённым автором результатам, на наборе из 507 тестовых вредоносных запросов доля отказов составила 7,7%, средняя оценка качества соблюдения запроса — 4,6 из 5, а KL-дивергенция относительно базовой модели — 0,1299. Эти показатели относятся к заявленной методике и конкретным бенчмаркам и не гарантируют аналогичное поведение в других условиях. Модель распространяется по лицензии Apache 2.0.

Gemma-4-26B-A4B-it-NVFP4 — это версия Google Gemma 4, подготовленная FusenAI в формате modelopt и оптимизированная для запуска через vLLM на GPU NVIDIA Blackwell (SM120). Модель предназначена для генерации текста и использует архитектуру MoE. Она подходит для локального и серверного инференса, включая сценарии с высокой параллельной нагрузкой. Модель применяет квантизацию NVFP4 с размером группы 16 к экспертам MoE и MLP-слоям, тогда как self-attention, router, vision tower и lm_head сохранены в BF16. Размер весов составляет около 17,2 GiB, размер на диске — около 17 GB. README не указывает полный набор поддерживаемых языков, точное число параметров активной части или максимальный контекст; в примерах используется длина контекста 4096 токенов. Модель поддерживает текстовую генерацию, а наличие vision tower указывает на мультимодальные компоненты, однако их сценарии использования в README не описаны. К сильным сторонам относятся сниженное потребление памяти, сохранение attention-слоёв в BF16 для уменьшения потерь качества и высокая производительность на RTX 5090 при использовании CUDA Graphs. Ограничения включают необходимость совместимого оборудования NVIDIA Blackwell или новее, vLLM 0.19.x с параметром modelopt и соответствующими исправлениями, а также зависимость производительности от конфигурации KV-кэша: FP8 увеличивает его ёмкость, но снижает скорость обработки отдельных запросов. Модель распространяется по лицензии Apache 2.0 и наследует лицензионные условия Gemma 4 от Google.

gemma-4-26B-A4B-it-Uncensored-MAX-GGUF — это GGUF-версия модели, разработанной prithivMLmods на базе google/gemma-4-26B-A4B-it. Модель представляет собой модифицированную версию Gemma с уменьшенным уровнем встроенных отказов от ответа: для этого применялись анализ направлений отказа и методы abliteration. Заявлено сохранение возможностей рассуждения и следования инструкциям исходной архитектуры. Модель предназначена для генерации текста, подробных ответов, выполнения инструкций, исследовательских и обучающих сценариев, а также агентских задач. Указана поддержка обработки изображений и текста; заявлен английский язык. Архитектура описана как MoE, размер — 26 млрд параметров. Доступны файлы GGUF в форматах BF16, F16, F32 и Q8_0, а также отдельные mmproj-файлы для мультимодальной обработки. Сведения о размере контекстного окна и точных характеристиках MoE-компонентов не приведены. К сильным сторонам относятся сниженная склонность к отказам, ориентация на подробные ответы, рассуждение и следование инструкциям. Ограничением является потенциально повышенный риск генерации небезопасного или незаконного содержания из-за уменьшенных защитных механизмов; использование осуществляется на риск пользователя. Модель предоставляется по лицензии Apache-2.0 и заявлена авторами для исследовательских и учебных целей.

Hermes-2-Pro-Llama-3-13B — плотная авторегрессионная языковая модель семейства Llama, созданная объединением предварительно обученных моделей с помощью mergekit. В README указана базовая модель NousResearch/Hermes-2-Pro-Llama-3-8B; метаданные описывают модель как дообученную производную этой модели. Репозиторий содержит веса Safetensors, всего 11,4 млрд параметров, с контекстом 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на инструкции. Метаданные каталога также указывают на возможности чата; описание базовой модели связывает семейство Hermes-2-Pro с вызовом функций и генерацией структурированных данных в JSON. Основной язык и отдельные профильные области применения в карточке не обозначены. Лицензия в предоставленных данных не указана. README называет метод слияния passthrough, но перечень объединённых моделей и детали конфигурации опущены, поэтому состав слияния нельзя установить полностью.

InternLM2.5-7B-Chat-GGUF — это квантизированная версия диалоговой языковой модели InternLM2.5-7B-Chat, разработанной командой InternLM и опубликованной в формате GGUF для использования с llama.cpp. Квантизацию выполнил bartowski с применением imatrix и различных схем квантования, рассчитанных на баланс между качеством ответов, размером файла и требованиями к памяти. Модель предназначена для текстовой генерации и диалоговых сценариев: ведения беседы, ответа на вопросы и выполнения инструкций. Для работы используется специальный шаблон prompt с ролями system, user и assistant. Доступны варианты от Q8 до Q2 и IQ-квантов; размеры файлов в README указаны примерно от 2,58 до 8,93 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, тогда как низкобитные версии подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. К сильным сторонам относятся широкий выбор уровней квантования, совместимость с llama.cpp и возможность локального запуска. Рекомендуемыми названы варианты Q4–Q6 и некоторые IQ4, тогда как Q3 и Q2 экономят память ценой снижения качества. README не содержит достоверных сведений о языках, размере контекста, точной архитектуре исходной модели и условиях лицензирования: указано лишь, что лицензия имеет тип other. Для использования необходимо учитывать требования выбранного GGUF-файла и поддерживать соответствующий формат prompt.

Jina Embeddings v2 Base Code Q8_0 GGUF — это квантизированная версия модели для создания векторных представлений текста и исходного кода. Исходную модель разработала команда Jina AI, а данный вариант был конвертирован из jinaai/jina-embeddings-v2-base-code в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для задач семантического поиска, сравнения сходства предложений, извлечения признаков и работы с кодом, включая сценарии, совместимые с llama.cpp. В карточке указано, что модель ориентирована на английский язык; точные сведения об архитектуре, количестве параметров, размерности эмбеддингов, поддерживаемой длине контекста и наборе модальностей не приведены. Квантование Q8_0 позволяет использовать модель в компактном формате, однако характеристики качества и влияние квантования в README не описаны. Для запуска требуется llama.cpp; доступен режим CLI и серверный режим. Лицензия — Apache-2.0.

Kimi-K2.6-RAM-447GB-GGUF — это смешанно-точная GGUF-квантизация модели moonshotai/Kimi-K2.6, опубликованная baa-ai и созданная с использованием конвейера RAM (Resource-Aware Mixed-precision). Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе на системах с 512 ГБ оперативной памяти или на конфигурациях с двумя модулями по 256 ГБ. В основе лежит архитектура DeepSeek-V3 decoder (kimi_k2) с 61 слоем, 1,03 трлн параметров, скрытым размером 7168, MLA-attention и MoE-структурой из 384 маршрутизируемых экспертов, из которых для каждого токена активируются 8. Экспертные веса квантизированы в Q3_K, а веса attention распределены между Q5_K и Q8_0 на основе чувствительности отдельных тензоров к ошибкам квантования. Размер файла составляет 447 ГБ. Ключевое преимущество варианта — ориентация на более высокое качество по сравнению с менее ресурсоёмкими сборками благодаря неравномерному распределению разрядности для attention-тензоров. Ограничениями являются чрезвычайно высокие требования к оперативной памяти и отсутствие imatrix: его не использовали, поскольку промежуточный файл Q8_0 объёмом 1,1 ТБ превышал доступную память. Экспертные веса исходной модели INT4 были предварительно деквантизированы и повторно квантизированы в GGUF. В карточке указана лицензия modified-MIT с типом license: other. Поддерживаемые языки и мультимодальные возможности в README не описаны.

RedHatAI/Llama-3.2-1B-Instruct-FP8 — квантизированная FP8-версия Meta Llama 3.2 1B Instruct, разработанная Neural Magic. Это текстовая autoregressive-модель для генерации текста и диалоговых сценариев, включая ассистентские чаты, с поддержкой коммерческого и исследовательского использования на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель использует архитектуру Llama 3 и принимает текст на входе, генерируя текст на выходе. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8; размер модели — 1 млрд параметров. По сравнению с исходной FP16-моделью это примерно вдвое снижает требования к GPU-памяти и размеру на диске и может примерно вдвое увеличить пропускную способность матричных вычислений. В README также указана поддержка контекста до 8192 токенов при развертывании с vLLM. К сильным сторонам относятся эффективное развертывание и небольшая потеря качества: на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA результаты находятся в пределах 1% от неквантизированной версии. Для использования требуется совместимое окружение, например backend vLLM. Ограничения включают меньший размер и, соответственно, более ограниченные возможности по сравнению с крупными языковыми моделями; конкретные ограничения безопасности и качества в README не раскрыты. Лицензия указана как Llama3.2; использование не должно нарушать применимое законодательство и экспортные или торговые ограничения.

QuantFactory/Llama-3-8B-WizardLM-196K-GGUF — это квантизированная версия модели Llama-3-8B-WizardLM-196K, созданная QuantFactory с использованием llama.cpp. Исходная модель основана на Meta Llama 3 8B и дообучена с применением Axolotl на наборе данных Leon-Leee/Wizardlm_Evol_Instruct_v2_196K_backuped. Модель предназначена для генерации текста и выполнения инструкций в сценариях, совместимых с causal language model. Архитектура модели — LlamaForCausalLM, размер — около 8 миллиардов параметров. В конфигурации обучения использовалась максимальная длина последовательности 8192 токена, однако точный поддерживаемый контекст квантизированной версии в README не указан. Данные о языках и мультимодальности отсутствуют; по описанию это текстовая, а не мультимодальная модель. Среди характеристик указаны дообучение в течение двух эпох и итоговая validation loss 0.6077, но результаты независимых тестов не приведены. Квантизация в формате GGUF может снизить требования к памяти и упростить локальный запуск через совместимые инструменты llama.cpp, однако конкретный уровень квантизации, размер файлов и требования к оборудованию не указаны. Ограничениями являются отсутствие подробных сведений о языковой специализации, фактическом размере контекста, точности на прикладных бенчмарках и возможных рисках поведения. Лицензия обозначена как llama3; условия её применения следует уточнять по лицензии исходной модели Meta Llama 3.