II.3Рефакторинг, миграция и модернизация

Yi-1.5-6B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной 01.AI. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста и общения в формате system/user/assistant, а также для локального запуска через совместимые инструменты llama.cpp. Модель содержит около 6 миллиардов параметров и поставляется в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Размер файлов составляет примерно от 1,43 до 6,44 ГБ. Более высокие варианты квантизации обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как варианты с очень низкой точностью могут заметно уступать по качеству. README не содержит сведений об архитектуре, размере контекста, поддерживаемых языках и мультимодальности, поэтому эти характеристики нельзя достоверно указать. Основные преимущества — широкий выбор уровней квантизации, возможность подобрать баланс между качеством и требованиями к памяти, а также пригодность для локального использования. Ограничения связаны с потерями качества при низкой точности квантизации и зависимостью от корректного prompt format. Распространение указано по лицензии Apache-2.0.

Yi-1.5-9B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-9B-Chat, разработанной 01.AI. Модель распространяется в формате GGUF для использования с llama.cpp; квантизацию выполнил bartowski с применением imatrix и набора данных Kalomaze. Модель предназначена для генерации текста и ведения диалогов, включая сценарии локального запуска при ограниченных ресурсах. В репозитории представлены варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K, IQ3, Q2 и IQ1 с размером файлов примерно от 2,01 до 9,38 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K и Q4_K обозначены как рекомендуемые, тогда как IQ1 и некоторые варианты с низким битрейтом имеют существенно более низкое качество. Поддерживаются текстовые диалоги с указанным форматом промпта. Сведения о точной архитектуре, языках и размере контекста в README не приведены. Лицензия — Apache-2.0. Для работы требуется совместимое программное обеспечение, например llama.cpp, а выбор конкретного файла зависит от доступной памяти и допустимого компромисса между качеством и размером модели.

Airoboros 7B GPT4 1.4.1 QLoRA — дообученная модель семейства LLaMA, созданная jondurbin на базе синтетических данных, сгенерированных GPT-4. Это вариант QLoRA для сравнения с полной тонкой настройкой; модель содержит около 6,6 млрд параметров и рассчитана на контекст до 2048 токенов. Для диалога использует шаблон в стиле Vicuna 1.1. Модель предназначена для генерации ответов в диалоге, следования инструкциям, ответов на вопросы по предоставленному контексту, помощи с программированием, письма, ролевых диалогов, загадок и викторин. В обучающем наборе есть примеры кода на десяти языках программирования, но естественные языки модели в источниках не перечислены. Модель ориентирована на подробные и прямые ответы, однако README предупреждает, что ответы по контексту могут выдумываться, поэтому для закрытых вопросов рекомендуется явно просить не придумывать ответ при нехватке данных. Модель обучалась следовать запросам без отказов, включая незаконные или аморальные; это может приводить к небезопасным ответам. Лицензия — CC BY-NC 4.0, разрешающая использование с указанием авторства и запрещающая коммерческое использование.

Alpaca-Dragon-Smaug-Slerp — 71-миллиардная плотная языковая модель семейства Llama, созданная объединением моделей ibivibiv/alpaca-dragon-72b-v1 и abacusai/Smaug-72B-v0.1 с помощью mergekit и метода SLERP. Для смешивания параметров внимания и MLP использованы разные коэффициенты; базой в конфигурации указан Smaug-72B-v0.1. Модель предназначена для генерации текста и может применяться в диалогах, ответах на вопросы и рассуждениях — задачах, связанных с базовой моделью Smaug. Поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Модель принимает текст и генерирует текст. В метаданных указана лицензия Apache-2.0. Карточка не приводит отдельных оценок качества или конкретных ограничений; для практического использования следует учитывать большой размер модели и требования к вычислительным ресурсам.

Apertus v1.5 70B text-only GGUF — это квантизированная версия базовой модели swiss-ai/Apertus-v1.5-70B, подготовленная в формате GGUF для запуска через llama.cpp. Модель разработана Swiss AI и предназначена для генерации и обработки текста, включая мультиязычные сценарии. Представленные файлы содержат только текстовый декодер с архитектурой Apertus и примерно 70 млрд параметров; варианты поставляются в квантизациях Q4_K_M и q8_0. Исходная Apertus v1.5 является мультимодальной моделью с компонентами для текста, изображений и аудио, однако в этой сборке vision- и audio-компоненты удалены. Поэтому модель не принимает изображения или аудиоданные и работает исключительно с текстом. Для запуска требуется актуальная версия llama.cpp с поддержкой архитектуры Apertus; vLLM этот GGUF-формат не поддерживает. В README также указано, что для корректной остановки генерации и отображения reasoning необходимо задать специальные параметры запуска. Главное преимущество сборки — возможность запускать Apertus v1.5 через стандартный llama.cpp без специальной ветки SwissAI и без исходных safetensors. При этом это тестовые квантизации без imatrix, измерений perplexity и результатов бенчмарков, поэтому качество и эффективность не были тщательно валидированы. Для опубликованных файлов указана лицензия Apache-2.0.

jondurbin/bagel-2.8b-v0.2 — экспериментальная чат-модель, созданная Jondurbin путём дообучения state-spaces/mamba-2.8b-slimpj с помощью Bagel. По метаданным, модель содержит 6 млрд параметров и распространяется в формате PyTorch по лицензии Apache-2.0. Модель предназначена для диалогов и широкого круга инструктивных задач: ответов на вопросы, рассуждений, решения математических задач, написания кода и SQL, чтения и понимания текста, а также ролевого общения. В README указана поддержка форматов Vicuna, Llama 2, Alpaca и ChatML-подобного формата; также можно использовать шаблон диалога токенизатора. При обучении применялись разнообразные англоязычные и многоязычные датасеты, включая Belebele, MMLU, MathInstruct, Spider и наборы диалогов. Это экспериментальное дообучение базовой архитектуры Mamba, а не модель с гарантированными производственными характеристиками. Автор отмечает, что версия с DPO работает заметно лучше; данная версия не должна считаться эквивалентной ей. README не сообщает длину контекста и отдельные результаты оценки качества.

bartowski/deepseek-ai_DeepSeek-V3.1-Base-GGUF — это набор GGUF-квантизаций базовой языковой модели DeepSeek-V3.1-Base, разработанной deepseek-ai. Квантизации подготовлены bartowski с использованием llama.cpp версии b6214 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантизации: от Q8_0 размером около 713 ГБ до IQ1_M размером около 147 ГБ. В README рекомендуются Q6_K как вариант почти максимального качества, Q4_K_M как сбалансированный вариант для большинства сценариев и IQ4_XS как более компактный вариант с сопоставимой производительностью. Также представлены форматы Q2, Q3, Q4, IQ2 и IQ3 с различным компромиссом между качеством и требованиями к памяти; некоторые варианты используют Q8_0 для embedding- и output-весов. Модель подходит для локального текстового вывода при наличии значительных ресурсов оперативной или видеопамяти. Чем ниже уровень квантизации, тем меньше размер файлов и требования к памяти, но тем выше потенциальная потеря качества; варианты IQ1 и некоторые варианты Q2 отмечены как низкокачественные или нерекомендуемые. Архитектура, поддерживаемые языки, размер контекста и формат промпта в README не указаны, а лицензия также не приведена, поэтому эти характеристики следует уточнить на странице исходной модели deepseek-ai/DeepSeek-V3.1-Base.

MLX-версия модели DeepSeek-R1-0528-Qwen3-8B, разработанная сообществом mlx-community и преобразованная из исходной модели deepseek-ai с помощью mlx-lm 0.24.1. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в приложениях, использующих формат диалоговых сообщений и chat template. Модель основана на DeepSeek-R1-0528-Qwen3-8B и представлена в 4-битном формате квантования, что может снизить требования к памяти по сравнению с полноточной версией, однако README не содержит подробностей об архитектуре, количестве параметров, поддерживаемых языках, контексте, модальностях, производительности или ограничениях качества. Указана лицензия MIT, поэтому условия использования определяются её положениями.

DeepSeek-R1-Distill-Qwen-14B-3MPER0RR-abliterated — экспериментально изменённая версия DeepSeek-R1-Distill-Qwen-14B от 3MPER0RR. Это плотная 14-миллиардная языковая модель на архитектуре Qwen2 для диалогов и генерации текста; в карточке указано, что модель протестирована и сохранена. Она унаследовала от базовой модели поддержку рассуждений, в том числе для математических и программных задач, и контекст до 131 072 токенов. Модель рассчитана на разговорное взаимодействие и текстовые запросы. README описывает её как модифицированную, «abliterated» экспериментальную версию, но не уточняет метод изменения и не приводит результатов сравнительных оценок, поэтому нельзя установить, как оно повлияло на качество и поведение. Лицензия — MIT.

mlx-community/DeepSeek-V3.1-8bit — это 8-битная версия модели DeepSeek-V3.1, преобразованная сообществом mlx-community в формат MLX из исходной модели deepseek-ai/DeepSeek-V3.1. Модель предназначена для генерации текста и локального использования через библиотеку mlx-lm на устройствах, поддерживающих MLX. Она может применяться для диалогов и других задач текстовой генерации; в README приведён пример использования с chat template и сообщениями в формате ролей. Ключевые характеристики — формат MLX, 8-битное представление весов и тег text-generation. Конвертация выполнена с помощью mlx-lm версии 0.26.3. Данные о точном размере модели, архитектуре, поддерживаемых языках и длине контекста в README не указаны. Сжатое 8-битное представление может быть удобно для локального запуска, однако конкретные требования к памяти, производительность и качество по сравнению с исходной моделью не описаны. Модель распространяется по лицензии MIT.

EssentialAI_rnj-1-instruct-GGUF — это набор GGUF-квантизованных версий instruct-модели rnj-1-instruct, разработанной Essential AI и квантизованной пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных средах, совместимых с llama.cpp, включая LM Studio и другие проекты на его основе. Доступны варианты от BF16 до 3- и 4-битных форматов, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размеры файлов варьируются примерно от 3,8 до 16,6 ГБ; наиболее качественными считаются BF16, Q8_0 и варианты Q6, а Q4 предназначены для более универсального локального использования. В README не указаны архитектура, максимальная длина контекста, поддерживаемые языки, число параметров и мультимодальные возможности, поэтому модель следует считать текстовой без подтверждённой поддержки других модальностей. Сильные стороны — широкий выбор степеней квантизации, возможность запуска на локальном оборудовании и сохранение высокого качества у вариантов Q5–Q8. Более компактные варианты экономят память, но могут заметно уступать по качеству; низкобитные версии характеризуются как менее качественные или нерекомендуемые. Для работы требуется использовать рекомендованный формат prompt-шаблона rnj-1 и совместимый inference-движок. Указанная лицензия — Apache-2.0.

FuseLLM-7B — языковая модель, разработанная исследователями Sun Yat-sen University и Tencent AI Lab. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, созданная методом слияния знаний трёх открытых моделей разных архитектур: Llama-2-7B, OpenLLaMA-7B и MPT-7B. Авторы извлекали их генеративные распределения и переносили общие знания и сильные стороны в целевую модель посредством дополнительного обучения. Модель предназначена для генерации текста и может применяться для рассуждений, ответов на вопросы, понимания прочитанного, генерации кода и машинного перевода. README приводит оценки на бенчмарках общих знаний, здравого смысла, кода и генерации текста. Модель принимает текст и генерирует текст; заявленный родной контекст — 2048 токенов, язык карточки — английский. Весы доступны в форматах PyTorch и Safetensors. FuseLLM-7B выпущена под лицензией Apache-2.0. Результаты бенчмарков не гарантируют качество в конкретном приложении; модель имеет относительно короткое окно контекста и не описана как instruction-tuned релиз.

ThomasBaruzier/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций instruction-tuned модели Gemma 2 27B, разработанной Google. Квантизации выполнены с помощью llama.cpp с использованием метода imatrix на основе оригинальной модели google/gemma-2-27b-it и калибровочного файла Bartowski. Модель предназначена для текстовой генерации, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии взаимодействия по инструкциям. Это decoder-only языковая модель формата text-to-text с открытыми весами; в README указана поддержка английского языка. Доступно множество вариантов квантизации от IQ1_S до Q8_0, а также F16, с размером файлов примерно от 5,8 до 51,9 ГБ. Более компактные варианты требуют меньше памяти, но уступают менее квантизированным версиям по измеренным показателям perplexity и accuracy. Сильной стороной набора является возможность запускать крупную 27-миллиардную модель в llama.cpp и выбирать компромисс между качеством, размером и требованиями к ресурсам. Ограничения включают потенциальную потерю качества при сильной квантизации, значительные требования к памяти для крупных вариантов и преимущественную ориентацию на английский язык. Контекстное окно и точные аппаратные требования в README не указаны. Использование модели регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию Google.

Gemma-2-2b-TitanFusion — разговорная языковая модель на архитектуре Gemma 2, созданная bunnycore с помощью mergekit. В README описано слияние методом Model Stock на базе IlyaGusev/gemma-2-2b-it-abliterated с несколькими моделями Gemma 2 и адаптерами, включая варианты для диалога, рассуждений и кода. Размер модели — 2,7 млрд параметров, контекст — до 8192 токенов; модель работает с текстом и поддерживает чат. Модель предназначена для генерации ответов в диалоге, следования инструкциям, рассуждений и помощи с кодом. Метаданные указывают англоязычную базовую модель. В README не приведены результаты оценки качества или подробности о поведении итогового слияния. Лицензия в доступных данных не указана.

unsloth/gemma-2-9b-it-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Gemma 2 с 9 миллиардами параметров, основанная на google/gemma-2-9b-it. Модель распространяется в экосистеме Unsloth и предназначена для запуска и дообучения с использованием Transformers. В метаданных указаны разработчик базовой модели Google и поддерживаемый язык English. Модель ориентирована на диалоговые приложения, генерацию и продолжение текста, а также на дообучение под пользовательские наборы данных. Ключевой особенностью является 4-битное квантование bnb, снижающее требования к памяти; для Gemma 2 (9B) Unsloth заявляет ускорение до 2,4 раза и сокращение использования памяти до 58% в соответствующих сценариях. Модель также может экспортироваться в форматы GGUF и использоваться с vLLM, однако размер контекста, точный набор поддерживаемых языков и другие архитектурные характеристики в README не указаны. Сильные стороны модели — относительно экономичный запуск и возможность эффективного fine-tuning на ограниченных ресурсах, включая GPU Tesla T4. Ограничения связаны с 4-битным представлением, предназначенностью базовой модели преимущественно для English и отсутствием в README подробных результатов оценки качества. Лицензия указана как gemma; перед использованием необходимо учитывать условия лицензии Google Gemma.

gemma-4-E2B-it-Uncensored-MAX-GGUF — языковая модель с поддержкой изображений, разработанная prithivMLmods на основе google/gemma-4-E2B-it. Это instruction-tuned и alignment-modified вариант, предназначенный для генерации текста, подробных ответов, следования инструкциям, reasoning и агентских сценариев. Модель также позиционируется для запуска через llama.cpp, vLLM и другие совместимые инструменты, поддерживающие формат GGUF. Модель относится к классу MoE и имеет 2 млрд параметров согласно описанию. Заявлен английский язык. Наличие файлов mmproj указывает на поддержку обработки изображений, однако подробные сведения о визуальной архитектуре, размере контекста и точном наборе поддерживаемых модальностей не приведены. Доступны варианты BF16, F16, F32 и Q8_0 размером примерно от 4,95 до 18,6 ГБ, а также соответствующие мультимодальные компоненты. Ключевая особенность — снижение внутренних отказов от ответа с помощью анализа refusal-направлений и abliteration-based training при сохранении способностей к reasoning и instruction-following. Это может быть полезно для приложений, которым нужны менее ограниченные ответы, но одновременно означает повышенные риски получения небезопасного или нежелательного контента. Качество и требования к ресурсам зависят от выбранной квантизации. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-MLX-mixed-4_8bit — сборка модели GLM-5.3 от zai-org, адаптированная PipeNetwork для MLX и Apple Silicon. Это генеративная текстовая модель на архитектуре Mixture-of-Experts glm_moe_dsa с 744 млрд параметров, 256 экспертами и маршрутизацией top-8. В архитектуре используется MLA со sparse attention в стиле DeepSeek-V3.2. Модель предназначена для генерации текста и локального инференса на компьютерах Apple Silicon. Экспертные слои занимают около 724,8 млрд параметров и квантизованы в 4 бита, тогда как attention, общие эксперты, плотные слои, эмбеддинги и lm_head хранятся в 8 битах; маршрутизаторы, нормы и индексатор сохранены в исходной точности. Размер файлов составляет около 427,8 ГБ, для запуска рекомендуется Mac с 512 ГБ оперативной памяти. Сборка использует библиотеку MLX и требует специального runtime-файла glm_moe_dsa.py; указанный README рекомендует запуск через mlx-lm с включённым trust remote code. По измерениям на wikitext-2 модель имеет perplexity 2,7420, что лучше равномерной 4-битной версии, хотя смешанная квантизация требует примерно на 9 ГБ больше места. Основные ограничения — крайне высокие требования к памяти, отсутствие multi-token-prediction layer и возможное снижение качества на контекстах свыше 2048 токенов из-за особенностей sparse indexer; заявленная длина контекста в README не указана. Лицензия — GLM-5.3 license, унаследованная от исходной модели; точные условия приведены в файле LICENSE.

ibm-granite_granite-4.1-30b-GGUF — это набор GGUF-квантизаций языковой модели Granite 4.1 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.1-30b. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix, предназначены для локального запуска и генерации текста. Модель рассчитана на задачи text-generation и может использоваться через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Размер файлов варьируется примерно от 12,78 до 57,74 ГБ; наиболее качественные варианты Q6_K_L и Q6_K имеют размер около 24 ГБ, а Q4_K_M предлагается как сбалансированный вариант. Сильной стороной набора является широкий выбор квантизаций, включая варианты, оптимизированные для различных сценариев и архитектур CPU, а также сохранение высокого качества у старших форматов. Ограничения включают значительные требования к оперативной или видеопамяти для 30-миллиардной модели, снижение качества у младших квантизаций и необходимость поддержки Granite 4.1 используемым программным обеспечением. В README не указаны языки, размер контекста, архитектурные детали и мультимодальные возможности, поэтому эти характеристики нельзя достоверно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

K2-Horizon-32B MLX 6-bit — 6-битная квантизованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, подготовленная hermitdave для запуска на компьютерах Apple Silicon через MLX. Модель содержит 31,2 млрд параметров по метаданным, а README описывает исходную архитектуру как декодер с 64 слоями. Заявленная длина контекста — 524 288 токенов. Модель предназначена для генерации текста, диалогов, рассуждений и агентных задач; карточка характеризует исходную модель как reasoning-модель и приводит результаты нескольких бенчмарков. Квантование уменьшает объём весов примерно до 24 ГБ, что, согласно README, позволяет запускать модель на устройствах Apple Silicon с 64 ГБ памяти. Для использования указаны MLX и mlx-lm; README также сообщает о необходимости патча oMLX версии 0.6.4 или новее для поддержки типа модели и формата вызовов инструментов. Это чекпойнт Stage 1; автор README сообщает, что ожидается финальный чекпойнт с улучшенными результатами. Модель выпущена по лицензии Apache-2.0. Данные о поддерживаемых естественных языках в источниках не приведены.

Llama 2 13B Chat — языковая модель Meta, представленная в формате GGUF и квантизированная TheBloke. Она основана на исходной модели Meta Llama 2 13B Chat и предназначена для генерации текста и ведения диалогов с использованием инструкций в формате Llama-2-Chat. Модель ориентирована на сценарии чат-ассистентов, локального запуска, генерации текста и интерактивных приложений. Указан английский язык. Архитектура — Llama, размер — 13 миллиардов параметров; модель работает в текстовой модальности. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию, а также совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются возможность локального запуска на CPU и GPU, поддержка множества инструментов инференса и наличие нескольких вариантов квантизации. Ограничения включают зависимость характеристик от выбранного уровня квантизации; сведения о размере контекста, точных архитектурных деталях и качестве на конкретных задачах в README не указаны. Модель распространяется по лицензии Llama 2.

Llama-3-Teal-Instruct-2x8B-MoE — экспериментальная языковая модель с архитектурой MoE, созданная RDson путём слияния Meta-Llama-3-8B-Instruct и nvidia/Llama3-ChatQA-1.5-8B с помощью Mergekit. Она предназначена для диалогов с ассистентом и генерации текста; в README отдельно выделены запросы на объяснения и общение, а также задачи по Python, математике и программированию. Метаданные указывают 7,5 млрд параметров, контекст до 8192 токенов и формат Safetensors. Модель принимает текст и выдаёт текст. В карточке не приведены результаты оценки качества или подробные ограничения, поэтому пригодность для конкретных задач следует проверять самостоятельно. Лицензия в предоставленных данных не указана.

Meta-Llama-3-8B-Instruct-GGUF — языковая модель для генерации текста, созданная Meta и представленная сообществом lmstudio-community в формате GGUF. Она основана на Meta-Llama-3-8B-Instruct и предназначена для диалоговых приложений, ответов на вопросы, следования инструкциям и других задач текстовой генерации. Указан английский язык и тип применения text-generation. Модель имеет 8 миллиардов параметров и относится к семейству Llama 3. В предоставленных данных не указаны точная архитектура, размер контекстного окна, доступные варианты квантования и дополнительные модальности, поэтому эти характеристики нельзя определить надёжно. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая приложения класса LM Studio. Модель может быть полезна для локальных текстовых помощников и других сценариев, где требуется выполнение инструкций на английском языке. Ограничения включают неизвестные параметры производительности, отсутствие подтверждённых мультиязычных возможностей и потенциальные ошибки или нежелательные ответы, характерные для генеративных языковых моделей. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, требования к атрибуции, Acceptable Use Policy и прочие ограничения Meta.

duyntnet/Mistral-7B-Instruct-v0.3-imatrix-GGUF — набор квантизированных вариантов модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и представленной в формате GGUF с использованием imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая выполнение инструкций, ответы на вопросы и сценарии с вызовом функций или инструментов. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору. Это текстовая instruct-модель с поддержкой форматов и библиотек, совместимых с GGUF; README также показывает использование через mistral-inference и Hugging Face Transformers. Длина контекста, точные варианты квантизации, аппаратные требования и дополнительные модальности не указаны. К сильным сторонам относятся компактный размер по сравнению с более крупными языковыми моделями, возможность локального запуска в квантизированном виде и поддержка инструкций и function calling. Ограничения включают заявленную языковую поддержку только для английского, отсутствие данных о качестве, бенчмарках и контекстном окне, а также возможные потери качества, зависящие от выбранного уровня квантизации. В карточке указана лицензия «other», но её конкретные условия не раскрыты.

Unsloth/Mistral-Nemo-Instruct-2407-GGUF — это GGUF-версия инструкционной модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для запуска в совместимых средах, поддерживающих формат GGUF, а также для диалоговых сценариев, генерации текста и выполнения инструкций. В README указано, что она связана с экосистемой Transformers и поддерживает английский язык. Из доступных данных следует, что модель относится к семейству Mistral Nemo и имеет размер 12B параметров, однако сведения о точной архитектуре, максимальном контексте, модальностях и конкретных вариантах квантования отсутствуют. Формат GGUF удобен для локального инференса и последующей работы с оптимизированными представлениями модели, но характеристики скорости и потребления памяти зависят от используемого варианта файла и программного окружения. Модель может быть полезна для локальных чат-ботов, ассистентов и экспериментов с дообучением: README описывает инструменты Unsloth для более быстрого fine-tuning с меньшим потреблением памяти и экспортом в GGUF. При этом заявленные ускорение и экономия памяти относятся к процессу дообучения в Unsloth, а не обязательно к инференсу этой конкретной модели. Лицензия — Apache-2.0.

CISCai/Mistral-Nemo-Instruct-2407-SOTA-GGUF — это набор квантизированных моделей в формате GGUF на основе Mistral-Nemo-Instruct-2407, разработанной Mistral AI. Квантизацию выполнил CISC с использованием importance matrix, обученной примерно на 1 млн токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp, сторонние графические интерфейсы и библиотеки, совместимые с актуальными версиями llama.cpp. Модель поддерживает текстовую модальность и английский язык. Встроенный шаблон чата Mistral Tekken включает поддержку function calling через OpenAI-совместимый параметр tools; также были исправлены связанные с tool calls проблемы токенизации и шаблона чата. Репозиторий содержит варианты квантизации IQ1_S, IQ1_M, IQ2, IQ3 и IQ4 с эффективной разрядностью примерно от 1,56 до 4,5 бит на вес и размером файлов примерно от 2,8 ГБ, что позволяет выбирать между экономией памяти и качеством. Главное преимущество набора — возможность локального запуска при ограниченных ресурсах и наличие вариантов с разным компромиссом между размером, требованиями к оперативной памяти и качеством. Низкоразрядные варианты характеризуются существенной или высокой потерей качества, поэтому для более требовательных задач предпочтительны более точные варианты. Файлы совместимы с llama.cpp начиная с версии от 22 июля 2024 года, включая commit 50e0535. Модель распространяется по лицензии Apache-2.0.

shivash/moetest1 — языковая модель на архитектуре Llama, созданная автором репозитория с помощью объединения весов через SLERP и mergekit на основе meta-llama/Llama-3.1-8B-Instruct. Модель предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель содержит 6,9 млрд параметров, принимает текст и выдаёт текст. Указанная длина контекста — 131 072 токена. Репозиторий использует Transformers и формат safetensors. Поддерживаемые языки отдельно не обозначены. Сведений о лицензии в предоставленных данных нет.

Nous Hermes 2 Llama-2 70B — языковая модель для диалоговой генерации текста, разработанная Nous Research и дообученная на наборе Hermes 2. Для обучения использовали более миллиона примеров, преимущественно созданных GPT-4, а также данные из открытых наборов. Модель основана на плотной архитектуре Llama и содержит 68,7 млрд параметров. Модель предназначена для многоходового общения и выполнения инструкций. Она использует формат запросов ChatML с ролями и специальными маркерами ходов; карточка также отмечает совместимость этого формата с интерфейсами OpenAI API. Контекст составляет 4096 токенов. Указанный язык — английский. Модель принимает текстовые запросы и генерирует текстовые ответы. Карточка приводит пример использования через Transformers и отмечает высокие требования к видеопамяти: даже в 4-битном режиме требуется более 24 ГБ VRAM. Лицензия — Apache-2.0.

QuantFactory/Nous-Hermes-2-Mistral-7B-DPO-GGUF — квантизированная версия модели Nous-Hermes-2-Mistral-7B-DPO, разработанной NousResearch. Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска и диалогового применения. Она создана с использованием llama.cpp и распространяется в формате GGUF. В основе лежит Mistral с 7 миллиардами параметров, дообученная с применением DPO; в описании также упоминаются RLHF и синтетические данные. Доступны варианты квантизации IQ3_S, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством генерации. Сильной стороной модели является возможность запуска через llama.cpp с выбором подходящего уровня квантизации. README не содержит результатов тестирования, сведений о контекстном окне, поддерживаемых модальностях кроме текста, а также подробного описания ограничений качества, поэтому производительность в конкретных задачах требует самостоятельной проверки. Лицензия — Apache 2.0.

Это GGUF-квантизация модели Nemotron-Cascade-2-30B-A3B, разработанной NVIDIA, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения и задач, где важны рассуждения; в метаданных также указано обучение с применением SFT и RL. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Известно, что модель относится к семейству Nemotron-Cascade-2 и имеет обозначение 30B-A3B, однако подробности архитектуры, фактическое число активируемых параметров, размер контекста и поддерживаемые модальности в README не указаны. Заявлен английский язык. Модель можно запускать через llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты; для работы может потребоваться их обновлённая версия с поддержкой этой архитектуры. Более сильные варианты квантования обеспечивают лучшее сохранение качества, а компактные варианты снижают требования к оперативной памяти, но могут заметнее ухудшать результаты. Использование регулируется NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на условия NVIDIA. Конкретные ограничения лицензии, результаты benchmark-тестов и подробные сведения о сильных и слабых сторонах исходной модели в README не приведены.

Nemotron-Cascade-8B-GGUF — это квантованная версия языковой модели Nemotron-Cascade-8B, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, рассуждений и задач общего назначения; в карточке указаны сценарии локального запуска через LM Studio, llama.cpp и совместимые проекты. Заявленный язык — английский. Модель содержит 8 миллиардов параметров. Доступны варианты с точностью от BF16 до Q2 и различными форматами квантования, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Размер файлов составляет примерно от 3,9 до 16,4 ГБ. Квантование выполнено с использованием imatrix на базе llama.cpp; для работы рекомендуется применять шаблон диалога с поддержкой маркера /think. Сильной стороной является выбор вариантов между качеством и требованиями к памяти, включая варианты, рекомендованные автором как близкие к исходному качеству. Сведения о размере контекста, архитектуре, дополнительных модальностях и результатах бенчмарков в README не приведены. Модель распространяется по лицензии NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на её текст. Условия лицензии следует учитывать отдельно перед использованием и распространением.