II.4Отладка, тестирование и качество ПО

Theros/L3-ColdBrew-R1-test1 — языковая модель на архитектуре Llama, созданная разработчиком Theros слиянием весов через mergekit методом DARE TIES. В слиянии использованы Theros/L3-ColdBrew-Daybreak и deepseek-ai/DeepSeek-R1-Distill-Llama-8B; итоговая модель содержит 7,5 млрд параметров и работает с контекстом до 8192 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, математических задач, программирования и многошаговых рассуждений — эти возможности описаны для базовой модели DeepSeek-R1-Distill-Llama-8B. Метаданные указывают на поддержку чата, но README не приводит собственных примеров или оценок качества слияния. Репозиторий содержит веса Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

Карточка модели Undi95/Meta-Llama-3-8B-hf на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия принимает текст и генерирует текст, в том числе код. Семейство Llama 3 включает предварительно обученные и дообученные для инструкций модели; карточка этой модели описывает базовый предварительно обученный чекпойнт, пригодный для адаптации к различным задачам генерации текста. Модель предназначена для коммерческого и исследовательского применения на английском языке. Её можно использовать как основу для генерации текста и кода, а после адаптации — для диалоговых сценариев. Выпущена в апреле 2024 года и распространяется по пользовательской коммерческой лицензии Meta Llama 3. Карточка не приводит для этого репозитория конкретную длину контекста; сама модель статична и обучена на офлайн-данных. Для развёртывания приложений разработчикам следует самостоятельно подбирать меры безопасности под свой сценарий.

Это квантованная версия модели Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16, преобразованная в формат GGUF для запуска с llama.cpp. Базовая модель связана с AEON-7/Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16; репозиторий создан kainecorneko, а конвертацию выполнили через пространство GGUF-my-repo. Модель предназначена для диалогового и инструкционного использования. В метаданных заявлены мультимодальность, работа с текстом, изображениями и аудио, а также функции reasoning, coding и tool calling; README описывает запуск через llama.cpp. Метаданные указывают английский язык и формат GGUF BF16, но точный размер и длина контекста в предоставленных данных не приведены. Метка uncensored указывает на снятые ограничения отказов, поэтому ответы могут включать нежелательное содержание. Лицензия обозначена как other; конкретные условия следует сверить с карточкой базовой модели. Это конверсия в GGUF, а не основание считать репозиторий отдельным дообучением.

Nemotron-H-4B-Base-8K — базовая языковая модель NVIDIA для продолжения текста. Она использует гибридную архитектуру Nemotron-Hybrid на основе Mamba-2 и слоёв MLP с четырьмя слоями Attention; размер модели — 4 млрд параметров, длина контекста — до 8 тысяч токенов. Модель создана с применением прореживания и дистилляции Nemotron-H-8B-Base-8K на 380 млрд токенов. Модель принимает и генерирует текст. Она поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки; в обучающих данных также был код. Модель подходит для дополнения текста, генерации кода, математических задач и рассуждений. Это базовая модель без обязательного формата промпта; для специализированных сценариев NVIDIA рекомендует адаптацию с помощью инструментов NeMo. Модель предназначена для исследований и разработок и оптимизирована для систем с GPU NVIDIA; в карточке указана лицензия other, конкретные условия которой следует сверить с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичные высказывания и усиление предвзятости из обучающих данных; модель уязвима к атакам, нарушающим выравнивание.

TheBloke разместил эту модель в формате PyTorch fp16: это Nous-Hermes-13B от Nous Research, объединённая с адаптером SuperHOT 8K от Kaio Ken. Модель основана на плотной архитектуре LlamaForCausalLM и содержит около 12,9 млрд параметров. При настройке инференса с поддержкой remote code она рассчитана на контекст до 8192 токенов. Модель предназначена для диалогов, следования инструкциям и генерации текста, включая творческие ответы, ролевые сценарии и задачи по программированию. Она обучена на более чем 300 тысячах инструкций, преимущественно на синтетических данных; README отмечает склонность к длинным ответам и заявляет низкий уровень галлюцинаций. Используется формат запросов Alpaca. Веса представлены в fp16 для GPU-инференса и дальнейшей конвертации. Лицензия указана как other, поэтому конкретные условия использования следует проверять в файлах репозитория. Модель создана в 2023 году; заявленные свойства и результаты бенчмарков приведены авторами карточки и не являются независимой оценкой.

Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF — это квантизированная версия языковой модели Nous-Hermes-2-Mixtral-8x7B-DPO, разработанной NousResearch и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и дообучена с применением DPO и RLHF; в метаданных также указаны синтетические данные и дистилляция. Заявленный язык — английский. Модель предназначена для диалоговых и инструкционных сценариев: генерации ответов, общения в формате чат-бота и выполнения текстовых запросов. Она использует шаблон ChatML и поддерживает контекст размером 4096 токенов. Доступно несколько вариантов квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. К сильным сторонам относятся архитектура Mixtral, диалоговая настройка и широкий выбор уровней квантизации для локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; наиболее компактные варианты не рекомендуются для большинства задач. В README не указаны мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0. Для запуска с LlamaEdge требуется версия 0.2.8 или новее.

bartowski/Phi-3.1-mini-128k-instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели Phi-3.1-mini-128k-instruct, разработанной Microsoft и подготовленной для распространения пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, выполнение инструкций и задачи, связанные с обработкой естественного языка и кодом. Модель работает с текстом, заявлена поддержка английского языка, а контекстное окно составляет до 128 000 токенов. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-разновидностей; размер файлов варьируется примерно от 1,42 до 15,29 ГБ. Более высокие варианты квантования обеспечивают лучшее сохранение качества, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск через llama.cpp и совместимые приложения, включая LM Studio. В README не приведены результаты тестирования, точные сведения об архитектуре, аппаратные требования или ограничения по применению, поэтому её возможности нельзя оценить за пределами указанных сценариев. Для модели указана лицензия MIT.

Aratako создал эту диалоговую языковую модель, объединив через mergekit Qwen/Qwen1.5-7B-Chat и abacusai/Liberated-Qwen1.5-7B в архитектуру Mixture of Experts без дополнительного дообучения. Модель имеет архитектуру Qwen2ForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов; она предназначена для генерации текста и диалогов на английском языке. В тестах MT-Bench модель показала результаты, близкие к исходной Qwen1.5-7B-Chat; автор приводит сравнительные оценки для задач кодирования, извлечения информации, рассуждений, ролевого общения и письма. Для запуска нужны пользовательские файлы модели и конфигурации, размещённые рядом с весами. В карточке указана лицензия other, а README сообщает о наследовании лицензии Tongyi-Qianwen.

Qwen3-0.6B-GGUF — компактная языковая модель семейства Qwen3, разработанная Alibaba Cloud и представителями команды Qwen. Это causal language model с предварительным обучением и последующей настройкой, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, а также интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для Q и 8 для KV. Длина контекста заявлена до 32 768 токенов. Представлена в формате GGUF с квантизацией q8_0, что делает её подходящей для локального запуска через llama.cpp и Ollama при ограниченных вычислительных ресурсах. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач и рассуждений и non-thinking для более быстрых ответов и обычного диалога. Сильными сторонами являются компактность, поддержка многоязычных сценариев, диалоговые возможности, следование инструкциям и пригодность для локального использования. Ограничения включают небольшой по современным меркам размер, возможное снижение качества на сложных задачах по сравнению с более крупными моделями, а также необходимость подбора параметров генерации; README отдельно предупреждает о повторениях при жадном декодировании в thinking mode. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-0.6B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-0.6B, опубликованная JunHowie на базе модели Qwen/Qwen3-0.6B, разработанной командой Qwen. Она предназначена для генерации текста, диалогов, следования инструкциям, решения задач, программирования, перевода и других сценариев применения причинных языковых моделей, включая локальный запуск и развёртывание через vLLM. Модель имеет архитектуру causal language model, 0,6 млрд параметров, из которых 0,44 млрд не относятся к эмбеддингам, 28 слоёв и механизм GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Квантизация выполнена до 4 бит с размером группы 128; параметр desc_act установлен в false, что, согласно README, повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. К сильным сторонам относятся небольшой размер, сниженные требования к памяти, поддержка мультиязычных задач, диалогов, рассуждений и интеграции с инструментами, а также совместимость с vLLM при наличии версии не ниже 0.9.2. Ограничениями являются малый масштаб модели по сравнению с крупными версиями Qwen3 и возможное снижение качества из-за 4-битной квантизации; конкретные результаты бенчмарков и требования к аппаратному обеспечению в README не приведены. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Qwen3-0.6B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-0.6B, разработанная RedHat совместно с Neural Magic. Это авторегрессионная модель архитектуры Qwen3ForCausalLM для генерации текста по текстовому вводу. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных предметных экспертов посредством дообучения. Указанный размер базовой модели — 0,6 млрд параметров. Веса линейных слоёв трансформера сжаты до INT4 с использованием GPTQ, асимметричной поканальной групповой схемы с размером группы 64; параметры сохраняются в формате w4a16. Это примерно на 75% снижает размер на диске и требования к памяти GPU по сравнению с 16-битным представлением весов. В README приведены сценарии оценки с длиной контекста до 40960 токенов, однако точное максимальное контекстное окно модели отдельно не указано. Модель поддерживает только текстовые входы и выходы. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание, в частности через vLLM с OpenAI-совместимым сервером. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных результатов оценки, перечня поддерживаемых языков и гарантий качества для конкретных прикладных задач. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимые законы и нормативные требования.

Это GGUF-версия Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, подготовленная theLittleStone с квантизацией K-Quant и калибровкой iMatrix; поддерживается MTP (предсказание нескольких токенов). Калибровка использовала 20 000 примеров из набора eaddario/imatrix-calibration. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование; карточка описывает её как вариант с ослабленными отказами. Для запуска подходят llama.cpp и LM Studio. В карточке заявлено, что калибровка iMatrix улучшает точность относительно обычной квантизации той же разрядности. Репозиторий указывает форматы GGUF BF16 и варианты K-Quant, включая IQ4 и Q4_K_M; размер базовой модели — 27 млрд параметров. Метаданные отмечают английский и китайский языки, а также многоязычность. Лицензия — Apache-2.0. Это производная от AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 модель. Заявления карточки о точности, сохранении возможностей и снижении отказов основаны на описании автора и приведённых им проверках. Ослабленные отказы могут приводить к генерации небезопасного или нежелательного содержания; ответы модели также могут содержать ошибки.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Разработка выполнена в сотрудничестве DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; модель распространяется в формате GGUF, включая обычные варианты и варианты с multi-token prediction (MTP). Доступны квантизации с использованием NEO IMATRIX, а выходной тензор в описании заявлен как частично сохранённый в 16-битной точности. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, ролевых сценариев и других универсальных применений. Заявлена поддержка текста и изображений, а также английского и китайского языков. Размер модели — 27B параметров; конкретный максимальный размер контекста в README не указан. Дообучение ориентировано на повышение общего интеллекта, способности к рассуждению и качеству следования инструкциям, без намеренного изменения базовых возможностей Qwen. Модель позиционируется как uncensored и heretic. К сильным сторонам относятся наличие нескольких вариантов квантизации для запуска на потребительском оборудовании, улучшенная точность GGUF благодаря NEO IMATRIX и заявленные автором высокие результаты на ряде бенчмарков. При этом приведённые показатели и превосходство над другими моделями являются утверждениями README и требуют независимой проверки. Возможны ограничения, связанные с качеством конкретной квантизации, требованиями к памяти и производительности оборудования, а также с отсутствием точных данных о контекстном окне и детальных условиях работы с изображениями. Лицензия модели — Apache-2.0.

Qwen3.8-27B-Continuum — экспериментальная мультимодальная модель на архитектуре Qwen3.5, созданная независимой лабораторией NightmediaAI. Это слияние моделей nightmedia/Qwen3.8-27B-Brainwaves и migtissera/Synthia-4-27B; метаданные также связывают её с несколькими другими слитыми моделями. Репозиторий содержит веса Safetensors и предназначен для диалогов и следования инструкциям с поддержкой изображений. Модель подходит для общения, анализа изображений, рассуждений, математики, программирования и творческого письма, включая продолжение сцен и создание историй. В карточке приведены оценки на ряде бенчмарков и показатели скорости, памяти и перплексии для нескольких вариантов квантования, однако сам репозиторий указан в формате Safetensors. Поддерживаемые языки по метаданным: английский, китайский, японский и испанский. Лицензия — Apache-2.0.

cyankiwi/Qwen3-VL-8B-Thinking-AWQ-4bit — это 4-битно-квантизированная версия vision-language модели Qwen3-VL-8B-Thinking, разработанной командой Qwen. Модель предназначена для совместной работы с текстом и изображениями, а также для понимания видео, визуального рассуждения и генерации ответов на естественном языке. Она подходит для анализа изображений и документов, OCR, STEM- и математического рассуждения, визуального программирования, пространственного анализа и сценариев визуального агента, включая взаимодействие с графическими интерфейсами и инструментами. Модель использует плотную архитектуру размером 8B параметров и поддерживает мультимодальный ввод. Заявлен контекст до 256K токенов с возможностью расширения до 1M, а видео может анализироваться с учетом временной структуры и привязки событий к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования во времени, ширине и высоте, DeepStack для объединения многоуровневых визуальных признаков и улучшенное выравнивание текста с временными метками. OCR заявлен для 32 языков, однако полный перечень языков в README не приведен. Сильными сторонами являются визуальное и пространственное восприятие, понимание длинного контекста и видео, мультимодальное рассуждение, распознавание объектов и документов, а также поддержка агентских и визуально-кодировочных задач. Ограничения, включая возможные ошибки распознавания, рассуждения и требования к вычислительным ресурсам, в README не описаны; 4-битная AWQ-квантизация призвана снизить требования к памяти по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.

Trida-7B-Preview — языковая модель на 7,76 млрд параметров, разработанная Trillion Labs. Это Block Diffusion Language Model на базе Transformer Decoder с RoPE, SwiGLU и RMSNorm. Модель создана непрерывным предварительным обучением Trillion Labs/Tri-7B и последующим обучением по подходу Block Diffusion, который сочетает параллельную генерацию блоков с авторегрессионными зависимостями. Длина контекста — 4096 токенов; модель распространяется в формате safetensors и поддерживает диалоговую генерацию текста. Модель оптимизирована для корейского, английского и японского языков. Её можно применять для ответов на вопросы, следования инструкциям, рассуждений, математических задач и генерации кода. README приводит результаты тестирования на языковых и задачах рассуждения, кодирования, математики и следования инструкциям, но не описывает ограничения по вычислительным ресурсам или гарантии качества. Для других языков качество может снижаться; знания ограничены данными до февраля 2025 года. Лицензия — Apache-2.0.

Whittle-Qwen-3.8-35B-A3B-i1-GGUF — это квантизированная GGUF-версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и опубликованной в формате квантизаций пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач, а также для локального запуска через llama.cpp и совместимые инструменты. Модель использует архитектуру mixture-of-experts (MoE) и заявленные механизмы n-gram memory, conditional memory, hyper-connections и knowledge distillation. В обозначении указано 35B параметров, однако README не уточняет число активных параметров при инференсе. Поддерживаются английский, китайский и другие языки; модель работает с текстом и не предназначена для мультимодальных входов. Размер контекста и другие параметры архитектуры не указаны. Доступно множество вариантов квантизации i1-GGUF объёмом примерно от 13,1 до 29,4 ГБ. Они предлагают разные компромиссы между размером, скоростью и качеством; README отмечает i1-Q4_K_M как быстрый рекомендуемый вариант, а i1-Q4_K_S — как удачный баланс размера, скорости и качества. Ограничения включают возможную потерю качества при низкой разрядности и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Baanzon-Chenni-1.5-9B-i1-GGUF — это квантизированная версия модели Baanzon-Chenni-1.5-9B, разработанной Devopsopraiz и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, задач разработки программного обеспечения и автономных агентов. В метаданных также указано, что это vision-модель, однако подробности о поддерживаемых визуальных входах и способах их использования в описании не приведены. Модель содержит около 9 млрд параметров и связана с семейством Qwen3. Указан английский язык. Репозиторий предоставляет набор вариантов квантизации i1, включая IQ- и Q-форматы размером примерно от 2,8 до 7,5 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по сочетанию размера, скорости и качества; наиболее низкие уровни квантизации могут заметно снижать качество. Доступны imatrix-кванты и статические GGUF-файлы для локального запуска в совместимом программном обеспечении. Размер контекстного окна, точная архитектура, результаты оценивания, перечень языков помимо английского и характеристики мультимодальности не указаны. Модель распространяется по лицензии MIT.

Dolphin 2.5 Mixtral 8x7B GGUF — это набор квантованных файлов модели cognitivecomputations/dolphin-2.5-mixtral-8x7b, подготовленный MaziyarPanahi в формате GGUF. Модель предназначена для генерации текста и может использоваться локально через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. В основе лежит архитектура Mixtral с конфигурацией 8x7B; точный размер контекста и полный набор поддерживаемых языков в README не указаны, хотя модель помечена как предназначенная для английского языка. Доступны варианты квантования от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Квантование упрощает запуск на локальном оборудовании, но варианты с меньшей разрядностью могут иметь более низкое качество генерации. Модель обучалась на наборах данных Dolphin, Airoboros, Dolphin Coder, Synthia, OpenHermes, Magicoder и других, перечисленных в карточке. Сценарии применения включают локальную генерацию текста и, судя по составу данных и тегам, задачи общего назначения и программирования, однако специализированные возможности и ограничения отдельно не описаны. Распространяется по лицензии Apache-2.0.

Eunoia-Llama-8B-R1 — объединённая текстовая языковая модель на архитектуре Llama, созданная с помощью mergekit методом TIES. В основу объединения вошли GoToCompany/llama3-8b-cpt-sahabatai-v1-instruct и huihui-ai/DeepSeek-R1-Distill-Llama-8B-abliterated; итоговая модель содержит около 7,5 млрд параметров и использует формат Safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка базовой модели указывает на сценарии рассуждений, математики и программирования, однако README Eunoia не содержит отдельных оценок качества или подробных рекомендаций по применению. Контекст составляет 8192 токена. Данных о поддерживаемых естественных языках и лицензии в предоставленных источниках нет.

GPT-6 Astra Pro — вариант GPT-6 Astra от OpenAI, работающий с параметром reasoning.mode, установленным в pro. Он предназначен для получения более качественных ответов на сложные задачи. README направляет к документации OpenAI за дополнительными сведениями; данных об архитектуре, размере, модальностях, языках, контексте и лицензии в доступной карточке нет.

furiosa-ai/gpt-oss-20b — версия openai/gpt-oss-20b, подготовленная для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель с архитектурой Mixture-of-Experts (MoE), ориентированная на задачи рассуждения, генерации текста и сценарии с пониженной задержкой, включая локальное или периферийное развертывание. Модель принимает текст и генерирует текст, поддерживает английский язык и совместима с OpenAI-совместимым API Furiosa-LLM. Модель формирует рассуждение отдельно от итогового ответа в формате harmony, поддерживает настраиваемую глубину рассуждений с параметром reasoning_effort со значениями low, medium и high, а также вызов инструментов через function calling. Веса экспертов MoE квантизованы в MXFP4, тогда как attention, router и embeddings сохраняются в более высокой точности. На RNGD используется tensor parallelism с размером 8 PE, соответствующим одной карте RNGD. Размер модели заявлен как 20B, однако сведения о контекстном окне в README отсутствуют. Сильными сторонами являются поддержка рассуждений, инструментов и эффективного запуска на специализированном оборудовании FuriosaAI. Ограничения включают зависимость от Furiosa-LLM и FuriosaAI RNGD для описанного варианта развертывания, а также отсутствие в README подробных данных о качестве, бенчмарках и поддерживаемых языках за пределами английского. Модель распространяется по лицензии Apache 2.0.

K2-Horizon-MoVA-36B-A4B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной IFM и опубликованной пользователем ngquocvinh. Модель предназначена для запуска через llama.cpp и задач генерации текста, рассуждений, программирования, агентских сценариев и работы с длинным контекстом. Исходная модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values attention (MoVA): всего заявлено 36 млрд параметров, из которых на каждый токен активируется около 4 млрд. Указано нативное контекстное окно до 524 288 токенов и поддержка английского языка. В набор входят варианты квантизации от Q8_0 до крайне компактных профилей Q1_0; они различаются размером файлов, требованиями к памяти и близостью поведения к эталонной BF16-модели. Практическими вариантами названы Q5_K_M с повышенной точностью, Q4_K_M как сбалансированный профиль и IQ3_M как компактный вариант с квантизацией с учётом важности. Измерения на ограниченном наборе WikiText показывают высокое совпадение старших вариантов с BF16, однако не являются прямой оценкой сохранённых способностей. Профили с экстремальным сжатием, особенно Q1_0, существенно отклоняются от эталона и должны рассматриваться как экспериментальные. Для работы требуется совместимая сборка llama.cpp; длинный контекст может потребовать значительно больше памяти, а полная выгрузка модели на ускоритель может быть недоступна. В метаданных указана лицензия Apache-2.0. README описывает именно квантизированные GGUF-файлы и не содержит полного набора результатов или подробностей исходной модели; за ними рекомендуется обращаться к официальной карточке IFM/K2-Horizon-MoVA-36B-A4B.

luckysong777 дообучил Kanana 1.5 Instruct 8B — плотную Llama-модель для генерации текста и диалогового взаимодействия. Модель содержит 7,5 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. В метаданных указаны интерфейс вызова инструментов и английский язык; README сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Модель подходит для диалоговых сценариев и генерации текста, унаследовав возможности базовой kakaocorp/kanana-1.5-8b-instruct-2505, включая программирование, математику и вызов инструментов. Распространяется по лицензии Apache-2.0. README не описывает отдельную специализацию этого дообучения или его сравнительное качество.

RDson/Llama-3-Peach-Instruct-4x8B-MoE — экспериментальная языковая модель RDson, созданная с помощью Mergekit путём объединения четырёх моделей семейства Llama 3 в архитектуру MoE. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, следования инструкциям и решения задач с рассуждением. В README приведены результаты GSM8K для варианта Q4_K_M; в репозитории указаны веса safetensors, а GGUF-версия доступна отдельно. Модель имеет около 7,5 млрд параметров и контекстное окно 8192 токена. В состав объединения вошли Meta-Llama-3-8B-Instruct, SFR-Iterative-DPO-LLaMA-3-8B-R, Hermes-2-Theta-Llama-3-8B и Llama-3-8B-Instruct-Coder. README называет её экспериментальной; сведения о лицензии в предоставленных данных отсутствуют.

Карточка модели bofenghuang/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

Карточка модели median-group/Meta-Llama-3-8B-logits на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

MetaModel_moe_multilingualv1 — языковая модель с архитектурой Mixtral Mixture of Experts, созданная с помощью mergekit путём объединения нескольких моделей на базе Mistral 7B. В состав объединения входят OpenChat, CodeNinja, PiVoT, WizardMath, komt-mistral, OpenBuddy, open-aditi-hi и SauerkrautLM. Модель предназначена для генерации текста в диалогах и других сценариях, где нужны общие ответы, помощь с кодом и математикой, а также многоязычная генерация. Карточка указывает на языки английский, хинди, немецкий, французский, арабский и японский; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. README описывает объединение специализированных моделей, но не приводит оценок качества или результатов тестирования. Поэтому пригодность для конкретного языка и задачи следует проверять на собственных примерах; качество может различаться между направлениями, представленными в смеси.

Mistral-7B-Instruct-v0.3-quantized.w4a16 — квантизированная версия языковой модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов, генерации текста и выполнения инструкций. Она принимает текст и генерирует текст, поддерживает чатовый формат взаимодействия и рассчитана на работу через vLLM или Transformers. Модель использует архитектуру Mistral-v0.3 и содержит 7 миллиардов параметров; точная длина контекста в README не указана. Веса линейных слоёв внутри трансформерных блоков сжаты до INT4 с применением симметричной групповой квантизации и размером группы 128. Это уменьшает объём дискового хранения и требования к памяти GPU примерно на 25% по сравнению с представлением FP16. Квантизация выполнена с помощью AutoGPTQ. На OpenLLM benchmark версии 1 модель получила средний результат 65,08 против 66,42 у неквантизированной версии, что указывает на небольшое снижение качества при более экономичном размещении и запуске. Основные ограничения — ориентация на английский язык и отсутствие заявленной поддержки других языков; использование за пределами применимого законодательства не допускается. Лицензия Apache-2.0 разрешает коммерческое и исследовательское применение при соблюдении её условий. Дата выпуска — 11 июля 2024 года, версия 1.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-Base-BF16 — базовая большая языковая модель, разработанная NVIDIA Corporation и выпущенная в версии v1.0 GA. Она предназначена для разработчиков и исследователей, которые создают и адаптируют LLM. Модель предварительно обучена на данных по программированию, математике, науке и общим знаниям; заявлены 550 млрд параметров всего и 55 млрд активных параметров. Архитектура Nemotron Hybrid LatentMoE сочетает слои Mamba-2, MoE и выборочные слои Attention. Слои Multi-Token Prediction помогают ускорить генерацию, в том числе посредством speculative decoding. Метаданные указывают контекст до 262 144 токенов; в README заявлена поддержка до 1 млн токенов. Модель принимает и генерирует текст и поддерживает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит согласно тегам метаданных; README отдельно называет бразильский вариант португальского и не упоминает арабский и иврит. Модель заявлена для коммерческого и некоммерческого использования, однако в метаданных лицензия обозначена как «other», поэтому конкретные условия следует проверить на странице модели. Для запуска NVIDIA рекомендует GPU-ускоренные системы; README перечисляет интеграцию с NeMo и совместимое оборудование NVIDIA. Перед внедрением требуется проверка на данных конкретного сценария. (Размер файлов BF16 и практические требования к памяти в предоставленных данных не раскрыты.)