II.3Рефакторинг, миграция и модернизация

Hercules-5.0-Qwen2-7B-GGUF — это GGUF-квантизированная версия языковой модели Locutusque/Hercules-5.0-Qwen2-7B, подготовленная пользователем bartowski с использованием llama.cpp и калибровочного набора данных imatrix. Модель предназначена для генерации текста и локального запуска в совместимых приложениях на базе llama.cpp и других инструментов, поддерживающих формат GGUF. В README указан шаблон диалога с системными и пользовательскими сообщениями в формате ChatML. Модель относится к семейству Qwen2 и имеет размер 7B параметров; она работает с текстовой модальностью. Доступны варианты от F32 до низкобитных Q2–Q8, включая Q4_K_M как компромисс между размером и качеством, а также варианты Q5 и Q6 с более высоким качеством. Квантизация позволяет снизить требования к памяти, но по сравнению с полной точностью может ухудшать качество, особенно в младших вариантах. Языки, размер контекстного окна, результаты оценивания и специализированные сценарии применения в README не указаны. Распространение заявлено по лицензии Apache-2.0.

DevQuasar-7/huihui-ai.DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-GGUF — это квантованная версия модели huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2, подготовленная в формате GGUF командой или проектом DevQuasar. Модель предназначена для генерации текста и может использоваться в сценариях локального запуска и инференса с совместимыми инструментами, поддерживающими GGUF. Из карточки следует, что её базовая модель относится к семейству DeepSeek-R1-Distill-Qwen и имеет размер 14B параметров; точный тип квантования не указан. Ключевая заявленная модальность — текстовая генерация. Сведения о поддерживаемых языках, размере контекстного окна, конкретной архитектуре, требованиях к оборудованию и результатах оценки отсутствуют. К потенциальным ограничениям относятся зависимость качества и скорости от выбранного варианта квантования и программного окружения, а также отсутствие в карточке описания сильных сторон, бенчмарков и рекомендаций по применению. Лицензия и условия использования в README не указаны.

Huihui-Qwen3.5-9B-abliterated-GGUF — набор файлов модели в формате GGUF, созданный на основе huihui-ai/Huihui-Qwen3.5-9B-abliterated и опубликованный Abiray. Модель предназначена для локального запуска и генерации текста в совместимых приложениях, включая LM Studio, Ollama, Jan, text-generation-webui и llama.cpp. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q4_K_S до Q8_0 с размером файлов примерно от 5,1 до 9,6 ГБ. Рекомендуемый вариант Q4_K_M обеспечивает баланс между скоростью, потреблением памяти, размером и сохранением качества рассуждений; более высокие уровни квантования требуют больше RAM или VRAM и дают качество, близкое к исходной модели F16. README не содержит сведений о точном контекстном окне, поддерживаемых языках, модальностях, лицензии и конкретной архитектуре, поэтому эти характеристики нельзя уточнить.

Abiray/Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF — набор квантизированных моделей в формате GGUF, созданный Abiray на основе Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated от huihui-ai. Базовая модель представляет собой версию Qwythos-9B-Claude-Mythos-5-1M от empero-ai, модифицированную методами abliteration для удаления векторов отказа. Репозиторий также содержит мультимодальные проекционные файлы mmproj для работы с изображениями локально. Модель предназначена для генерации текста, рассуждений и сценариев image-to-text с поддержкой зрения. Заявлены архитектура современного семейства Qwen 3.5, 9 млрд параметров, английский язык и контекст до 1 млн токенов; конкретные возможности зависят от используемой сборки и совместимости с llama.cpp. Доступны варианты квантизации от 3 до 8 бит размером примерно от 4,74 до 9,79 ГБ, включая рекомендуемый компромисс Q4_K_M. Для визуального ввода требуется отдельный проектор mmproj; доступны квантизированный и F16-варианты. К сильным сторонам относятся локальный запуск, широкий выбор квантизации, поддержка длинного контекста и изображений, а также сниженное количество встроенных отказов. Ограничения включают возможную потерю качества при низкой квантизации, требования к свежей версии llama.cpp и необходимость дополнительного проектора для мультимодальной работы. Модель распространяется по лицензии Apache-2.0.

K2-Horizon-MoVA-36B-A4B-GGUF — открытая GGUF-версия модели K2-Horizon-MoVA-36B-A4B, разработанная IFM. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего она содержит 36 млрд параметров, при обработке каждого токена активируется около 4 млрд. Модель предназначена для генерации текста, рассуждений и агентских сценариев; заявлена поддержка контекста до 524 288 токенов. В карточке указано, что модель обучалась на англоязычных данных и ориентирована на английский язык. К сильным сторонам относятся высокая заявленная эффективность при небольшом числе активных параметров, конкурентоспособные результаты на задачах рассуждения и агентского взаимодействия, а также открытый статус проекта. Файлы содержат метаданные токенизатора и совместимый с llama.cpp шаблон чата, однако для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon, которая на момент публикации находилась в разработке. Тензоры сохранены в исходной точности BF16, поэтому практические требования к ресурсам зависят от конкретной среды запуска. Модель распространяется по лицензии Apache-2.0.

LingoWhale-8B — плотная двуязычная языковая модель с авторегрессионной архитектурой LingoWhaleForCausalLM, разработанная DeepLang Technology совместно с лабораторией NLP Университета Цинхуа. Модель содержит 7,7 млрд параметров, обучена на качественных китайских и английских данных и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и может использоваться как базовая модель для ответов на вопросы, написания текстов, рассуждений и генерации кода. В README также приведены примеры диалоговой модели, полученной дообучением LingoWhale-8B на открытых SFT-данных; это пример производной модели, а не отдельная возможность исходной базовой модели. Для адаптации доступны примеры тонкой настройки, включая LoRA. Разработчики отмечают, что модель может галлюцинировать, а её математические способности ограничены. Для академических исследований модель открыта; коммерческое использование исходной модели и её производных требует заявки и получения разрешения по лицензии LingoWhale-8B наряду с Apache 2.0.

Apollo Raines представляет Llama-3.1-8B-Instruct-Uncensored-Complete — вариант Llama-3.1-8B-Instruct, изменённый инструментом jBlaze. По README, модель создана без дополнительного обучения: поведенческие изменения внесены непосредственно в веса. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она принимает текст и генерирует текст; метаданные указывают контекст до 131 072 токенов и английский язык. Модель предназначена для диалогов и генерации ответов, включая прямые ответы без обычных отказов и оговорок. Примеры в карточке показывают ответы на общие вопросы, простые вычисления, написание кода и практические инструкции. В README заявлено подавление многословности, уклончивости, токсичности и отказов; это описание поведения автора, а не независимая оценка качества. Карточка сообщает, что известных проблем не наблюдалось, но не приводит результатов систематической оценки. Модель распространяется в формате safetensors и использует лицензию Llama 3.1 (llama3.1).

LLaMa-3.1-Zeroed-70-30-13B — объединённая модель семейства Llama, созданная сообществом mergekit-community с помощью mergekit. В линейном слиянии объединены LLaMa-3.1-Zeroed-13B с весом 0,7 и LLaMa-3.1-Instruct-Zeroed-13B с весом 0,3. Модель содержит 12,5 млрд параметров, работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов по запросам и инструкциям. Она принимает текст и поддерживает контекст до 131 072 токенов; метаданные также указывают интерфейс вызова инструментов. Карточка не описывает отдельные специализированные области применения или языки. Лицензия в предоставленных данных не указана. Практическое качество, ограничения по языкам и надёжность вызова инструментов README не характеризует.

Llama-3.2-3B-Instruct-GGUF — это набор квантизированных файлов модели в формате GGUF для meta-llama/Llama-3.2-3B-Instruct. Исходную модель разработала meta-llama, а квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и прикладных сценариях через совместимые локальные инструменты. Модель имеет около 3 миллиардов параметров и доступна в вариантах с квантизацией от 2 до 8 бит. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими библиотеками и приложениями, включая варианты с GPU-ускорением. README не содержит сведений о языках, размере контекста, поддерживаемых модальностях и конкретных показателях качества. Ключевые преимущества — уменьшенный размер файлов и возможность локального запуска на широком спектре устройств с использованием CPU или GPU. Ограничения связаны с потерями качества, возможными при низкобитной квантизации, а также с зависимостью от совместимого программного обеспечения. Лицензия в README не указана; условия использования исходной модели следует проверять отдельно в карточке meta-llama/Llama-3.2-3B-Instruct.

Llama-3.3-70B-Instruct-ablated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3.3-70B-Instruct-ablated от NaniDAO. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и LM Studio. Модель относится к семейству Llama и содержит 70 миллиардов параметров. В README указана поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступны варианты квантизации от Q8_0 до Q2_K, что позволяет выбирать между качеством генерации и требованиями к памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Все версии поставляются в формате GGUF, некоторые крупные варианты разделены на несколько файлов. Сильными сторонами являются большой размер модели, инструкционная настройка, широкий выбор уровней квантизации и пригодность для локального использования. Ограничения включают высокие требования к оперативной памяти, особенно для вариантов высокого качества, а также возможное снижение качества при использовании низкобитных квантизаций. Пометка ablated указывает на изменённую версию базовой модели, а заявленная характеристика uncensored может означать менее строгие ограничения на содержание, однако подробности изменений в README не описаны. Лицензия указана как llama3.

LYRAMOON — разговорная языковая модель, разработанная и сопровождаемая Muhammad Taqi. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалога, рассуждений, оценки сложной логики и генерации кода. Карточка позиционирует её как движок для многоходового общения; метаданные также отмечают чат и интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В метаданных указан контекст до 32 768 токенов и поддержка английского языка; модель рассчитана на запуск через Transformers. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0. Заявленные возможности рассуждения, скорости и качества генерации кода не подкреплены в карточке оценками или результатами тестирования. Поэтому качество на конкретных задачах следует проверять отдельно; подтверждена поддержка английского, но не иных языков.

bartowski/magnum-v3-27b-kto-GGUF — это набор GGUF-квантизированных версий языковой модели anthracite-org/magnum-v3-27b-kto. Квантизация выполнена bartowski с использованием llama.cpp, версии b3715, и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимые приложения, включая LM Studio. Для взаимодействия рекомендуется шаблон сообщений ChatML с ролями system, user и assistant. Модель имеет 27 миллиардов параметров; README не указывает точную базовую архитектуру, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от F16 до Q2_K, включая Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и другие форматы. Более высокие разрядности обеспечивают лучшее сохранение качества, но требуют больше памяти; низкоразрядные варианты уменьшают требования к памяти за счёт снижения качества. Для ARM-процессоров предусмотрены специальные варианты Q4_0 с требованиями к поддержке SVE или i8mm. Сильной стороной набора является широкий выбор размеров файлов и уровней квантизации, позволяющий адаптировать запуск под доступную оперативную память; варианты Q6_K_L, Q6_K, Q5_K и Q4_K отмечены как рекомендуемые. Ограничения включают значительные требования к памяти для полноразмерных вариантов и возможное ухудшение качества у низкоразрядных форматов. Лицензия в README не указана.

MiniMax-M2 — языковая модель для генерации текста, разработанная MiniMax AI. Она предназначена для сценариев text-generation, включая создание и преобразование текстов, ответы на запросы и интеграцию в приложения на базе Transformers. Из доступных данных известно, что модель распространяется для работы с библиотекой Transformers. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования или конкретных ограничениях качества, поэтому эти характеристики нельзя оценить по представленным материалам. Модель предоставляется по лицензии modified-MIT; точные условия следует уточнять в файле лицензии, указанном в репозитории MiniMax-AI/MiniMax-M2. Лицензионные ограничения и требования к коммерческому использованию могут отличаться от стандартной MIT-лицензии.

Ministral-3-8B-Reasoning-2512-Uncensored-i1-GGUF — квантованная версия модели Ministral-3-8B-Reasoning-2512-Uncensored, разработанной ccharnkij и подготовленной в формате GGUF пользователем mradermacher. Модель относится к семейству Mistral/Ministral и ориентирована на генерацию текста и задачи, требующие рассуждений. В README также указана поддержка сценариев image-text-to-text, то есть работы с изображениями и текстом; для этого могут потребоваться отдельные mmproj-файлы. Модель имеет размер 8B параметров согласно идентификатору и предназначена для локального запуска через совместимые инструменты, поддерживающие GGUF. Доступны варианты квантования от крайне компактных IQ1 до более качественных Q6 и других форматов, что позволяет выбирать компромисс между размером файла, скоростью и качеством. Заявлен английский язык. Размер контекста, точная архитектура, перечень поддерживаемых языков помимо английского и результаты сравнительных тестов в README не указаны. Сильными сторонами являются наличие reasoning-настройки, мультимодальная поддержка и широкий выбор квантованных вариантов, включая версии с imatrix. Ограничения связаны с потерями качества при агрессивном квантовании, а также с отсутствием подробных данных о производительности, контекстном окне и фактических возможностях работы с изображениями. В метаданных указана лицензия Apache-2.0.

MiroThinker-v1.0-30B-GGUF — набор GGUF-квантизированных версий модели MiroThinker-v1.0-30B, разработанной miromind-ai и подготовленной квантизатором bartowski. Модель предназначена для генерации текста, агентских сценариев и задач deep research, включая работу в приложениях и проектах на базе llama.cpp. Указан английский язык; поддержка других языков не заявлена. Это модель размером 30B параметров, представленная в форматах от BF16 до различных вариантов Q8, Q6, Q5, Q4, Q3 и IQ-квантизации. Квантизация выполнена с использованием imatrix в llama.cpp, что позволяет выбирать между качеством и требованиями к памяти. Рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; Q4_K_M обозначен как вариант стандартного размера для большинства сценариев. Модель можно запускать через LM Studio, llama.cpp и другие совместимые проекты. Сильными сторонами являются открытый формат GGUF, широкий выбор уровней сжатия и ориентация исходной модели на агентские и исследовательские задачи. Более компактные варианты требуют меньше оперативной памяти, но уступают высокоточным версиям по качеству. В README не указаны архитектура базовой модели, размер контекстного окна, мультимодальные возможности и результаты benchmark-тестов, поэтому эти характеристики нельзя оценить. Лицензия — MIT.

MaziyarPanahi/Mistral-7B-Instruct-v0.2-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.2, разработанной Mistral AI (mistralai) и преобразованной в квантизированный формат MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Базовая модель имеет 7 миллиардов параметров и относится к семейству Mistral Instruct. В репозитории доступны варианты квантизации с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. README не содержит сведений о языках, размере контекста, точной архитектуре или результатах оценки качества. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка GPU-ускорения в совместимых приложениях. Ограничения связаны с потерей части качества при более агрессивной квантизации, а также с необходимостью выбирать подходящий GGUF-файл и программную среду. Модель распространяется по лицензии Apache-2.0.

Jan-HQ Mistral-7B-Instruct-v0.2-SLERP — языковая модель Jan на базе Mistral-7B-Instruct-v0.2, созданная слиянием методом SLERP базовой модели с Marcoroni-7B-v3 и go-bruins-v2. Это плотная авторегрессионная модель MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. В карточке указаны шаблоны ChatML и Alpaca, а запуск предлагается через Jan Desktop на macOS, Windows и Linux. Метаданные указывают английский язык и возможность chat. README описывает проект как тест слияния моделей; результатов оценки в карточке нет. Доступна по лицензии Apache-2.0.

Это шардинг версии Mistral-7B-v0.1 — предварительно обученной языковой модели Mistral AI с 7,1 млрд параметров. Весовые файлы разбиты на части размером до 2 ГБ, чтобы снизить требования к оперативной памяти при загрузке; модель сохраняет исходные параметры Mistral-7B-v0.1 и представлена в форматах PyTorch и Safetensors. Модель предназначена для генерации текста и может служить базой для приложений на основе языковых моделей и дальнейшей адаптации под конкретные задачи. Архитектура — плотный Transformer с Grouped-Query Attention и Sliding-Window Attention; нативный контекст составляет 32 768 токенов. По заявлению карточки, модель превосходит Llama 2 13B на проверенных разработчиками бенчмарках. Модель не имеет встроенных механизмов модерации, поэтому сгенерированный текст может быть неподходящим или небезопасным. Распространяется по лицензии Apache-2.0.

KnutJaegersberg/MistralInstructLongish — дообученная инструкция-модель семейства Mistral, созданная автором KnutJaegersberg. Модель обучалась около трёх эпох на объединении нескольких наборов инструкций, включая часть более длинных инструкций, и рассчитана на генерацию ответов в формате Alpaca с разделами Instruction, необязательным Input и Response. Это плотная причинная языковая модель MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов. Она предназначена для следования инструкциям и генерации текста; в карточке приведены результаты оценки на Open LLM Leaderboard, включая среднее значение 48,99, ARC и HellaSwag. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Карточка не описывает языки обучения, поэтому языковую специализацию нельзя установить. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах; данных о дополнительных ограничениях или проверках безопасности нет.

Mixtral-8x7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе оригинальной модели Mixtral-8x7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и диалоговых сценариев, а GGUF-версии позволяют запускать её локально с помощью llama.cpp и совместимых приложений и библиотек, включая text-generation-webui, LM Studio, GPT4All, KoboldCpp и llama-cpp-python. Архитектура исходной модели — Mixtral с восемью экспертами по 7B параметров; конкретные характеристики контекста, языковой поддержки и модальностей в README не указаны. Репозиторий содержит варианты квантования с разной разрядностью — от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Модель текстовая и относится к pipeline text-generation. Сильной стороной является поддержка множества локальных инструментов и возможность подбирать степень квантования под доступное оборудование. Ограничения и влияние конкретных вариантов квантования на качество в README подробно не описаны; также не указаны рекомендуемые аппаратные требования и максимальная длина контекста. Модель распространяется по лицензии Apache-2.0.

Nebula-v2-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 и Nebula-v2-7B методом SLERP. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров, принимает текст и выдаёт текст; максимальный контекст составляет 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Языки в предоставленных данных не перечислены, поэтому нельзя определить, на каких языках она работает лучше всего. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений.

DeepHermes-3-Llama-3-3B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели DeepHermes-3-Llama-3-3B-Preview, разработанной NousResearch и подготовленной квантизацией bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалогов и выполнения инструкций; среди заявленных сценариев — чат, reasoning, roleplaying, function calling и генерация JSON. Указана поддержка английского языка и формата prompt, совместимого с Llama 3 и ChatML-подобной структурой ролей. Модель имеет около 3 млрд параметров и работает с текстовой модальностью. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3 размером примерно от 1,9 до 6,4 ГБ, что позволяет запускать её локально через llama.cpp, LM Studio и другие совместимые проекты, в том числе на устройствах с ограниченной памятью. Более сильные стороны — компактность, широкий выбор квантизаций и пригодность для локального inference; при этом это preview-версия, а квантизация может снижать качество по сравнению с исходными весами. Размер контекстного окна и дополнительные языки в README не указаны. Лицензия обозначена как llama3.

NVIDIA-Nemotron-Labs-3-Elastic-12B-A2B-NVFP4 — квантованная версия на NVFP4 семейства эластичных языковых моделей NVIDIA Nemotron 3, представленная в карточке как 3-в-1 чекпойнт с вариантами 30B, 23B и 12B. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; архитектура родительской модели сочетает слои Mamba-2, Attention и Mixture-of-Experts. Метаданные указывают 946,5 млн параметров, а README описывает вложенный вариант 12B с 2,0 млрд активных параметров; эти сведения относятся к разным представлениям и не совпадают. Модель предназначена для генерации текста в диалоге и задач рассуждения. Эластичная структура позволяет извлекать варианты меньшего размера из общего набора весов; README описывает также квантизацию NVFP4 с дистилляцией с учителем и использование через Transformers и vLLM. Указан контекст 262 144 токена. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. README заявляет готовность к коммерческому использованию, но метаданные указывают лицензию «other», поэтому конкретные условия следует сверить с лицензией в репозитории. Карточка содержит несоответствия в названии и числе параметров: README описывает 30B A3B NVFP4 чекпойнт, тогда как идентификатор и метаданные относятся к 12B A2B NVFP4.

TobDeBer/Olmo-3-1025-7B-magic1 — преобразованная с помощью Magic V1 версия языковой модели OLMo 3 7B, разработанной Allen Institute for AI (Ai2). Это плотная авторегрессионная Transformer-модель примерно с 6,9 млрд параметров, предназначенная для генерации текста и продолжения запросов. Модель обучалась на данных Dolma 3; карточка описывает этапы предварительного обучения, дообучения на смешанных данных и обучения для длинного контекста. Модель работает с текстом на английском языке и поддерживает контекст до 65 536 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Подходит для генерации текста, ответов на вопросы, задач по математике и коду, однако конкретное качество на таких задачах зависит от запроса и развёртывания. Это базовая языковая модель без фильтрации безопасности: она может выдавать неточные, предвзятые или вредоносные ответы, поэтому факты следует проверять. Модель и код распространяются по лицензии Apache 2.0.

openbuddy-llama3.3-70b-v24.1-131k-GGUF — это квантизированная GGUF-версия языковой модели OpenBuddy, разработанной OpenBuddy и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в LM Studio и других средах, совместимых с llama.cpp. В README указан специальный формат промптов с ролями system, user и assistant. В основе лежит OpenBuddy/openbuddy-llama3.3-70b-v24.1-131k — модель семейства Llama 3.3 с 70 млрд параметров и заявленным в идентификаторе контекстом 131k токенов. Поддерживаются китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Модель представлена в нескольких вариантах квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти; рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Основные ограничения связаны с квантизацией: более компактные варианты могут заметно уступать по качеству, а файлы требуют значительного объёма памяти — примерно от 29 до 75 ГБ в зависимости от варианта. Некоторые сборки оптимизированы для ARM или AVX и имеют специальные требования к поддержке инструкций; отдельные варианты не рекомендуется использовать на Mac или с GPU. Лицензия указана как llama3.3.

OpenBuddy Nemotron 70B v23.2q 131K GGUF — квантизированная версия языковой модели OpenBuddy-nemotron-70b-v23.2q-131k, подготовленная bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, включая LM Studio, с применением формата диалоговых промптов OpenBuddy. Поддерживаются английский, китайский, французский, немецкий, японский, корейский, итальянский и финский языки. Модель содержит около 70 млрд параметров и имеет заявленный контекст до 131 072 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты GGUF с разными уровнями квантизации — от Q8_0 до Q2_K и IQ2_M; размер файлов составляет примерно от 24 до 75 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильными сторонами являются большой контекст, мультиязычность и возможность локального запуска с выбором компромисса между качеством и требованиями к памяти. Ограничения включают значительный размер модели, зависимость качества от выбранной квантизации и отсутствие в предоставленных данных результатов бенчмарков или подробного описания архитектуры. Лицензия указана как llama3.1.

OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT-GGUF — это набор GGUF-квантизаций языковой модели OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT, разработанной OpenBuddy и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В основе лежит 32-миллиардная модель семейства Qwen3, представленная в нескольких вариантах точности: от BF16 до Q3 и различных Q4–Q8-квантизаций. README указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Формат GGUF и варианты квантизации позволяют выбирать между качеством, размером файлов и требованиями к оперативной памяти; рекомендуемым универсальным вариантом назван Q4_K_M размером 19,76 ГБ, а Q6_K и Q6_K_L — высококачественными вариантами. Сильные стороны модели — широкий выбор квантизаций, возможность локального запуска и сохранение высокого качества в старших вариантах. Ограничения включают значительные требования к памяти даже для компактных вариантов, а также отсутствие в README сведений о размере контекста, конкретных возможностях рассуждения, мультимодальности и результатах benchmark-тестов. Распространение указано по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Phi-3.5-mini-3.8B-ArliAI-RPMax-v1.1, опубликованная и квантизированная пользователем bartowski на основе модели ArliAI. Модель предназначена для генерации текста и может запускаться локально через llama.cpp и LM Studio. В README также указан формат промптов с ролями system, user и assistant. Модель содержит около 3,8 млрд параметров и относится к текстовым моделям; сведения о поддерживаемых языках, максимальной длине контекста и точной архитектуре в README не приведены. Доступны варианты от F16 до различных уровней квантования GGUF, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4. Варианты с более низким размером требуют меньше оперативной памяти, но могут уступать по качеству; Q6_K_L, Q6_K, Q5_K и Q4_K представлены как рекомендуемые, а отдельные варианты оптимизированы для ARM-процессоров. К сильным сторонам относятся широкий выбор квантованных файлов, возможность локального запуска и компромисс между качеством и требованиями к памяти. Ограничения включают отсутствие в предоставленных данных результатов оценки, подробностей обучения, перечня языков, контекстного окна и характеристик мультимодальности. Лицензия модели указана как MIT.

legraphista/Qwen2-7B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-7B-Instruct, разработанной командой Qwen и дополнительно квантизированной пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через совместимые с GGUF инструменты и llama.cpp. Модель содержит около 7 миллиардов параметров и создана на основе исходной версии с форматом BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантов. Для ряда низкобитных вариантов применена IMatrix — калибровочная матрица, призванная сохранить качество при уменьшении размера модели. Размеры файлов варьируются примерно от 3,02 до 15,24 ГБ. В карточке указана поддержка английского языка; сведения о контекстном окне и дополнительных модальностях отсутствуют. Основные преимущества — большое количество вариантов квантования, возможность подобрать баланс между размером, требованиями к памяти и качеством, а также поддержка формата GGUF. Низкобитные версии экономичнее по ресурсам, но могут сильнее терять качество по сравнению с BF16 или FP16. Точные характеристики производительности, контекстного окна и поведения на других языках в README не указаны. Модель распространяется по лицензии Apache-2.0.

Модель t-firefly/qwen3-1.7b-rknn3-rk1828 — адаптация Qwen3-1.7B, разработанной командой Qwen, для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная языковая модель с 1,7 млрд параметров; репозиторий содержит веса в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования и рассуждений. Поддерживает режимы с рассуждением и без него, а также более 100 языков и диалектов. Контекстное окно составляет 40 960 токенов. Модель подходит для локальных сценариев на периферийных устройствах, где нужны компактный диалоговый помощник, ответы на инструкции или помощь с кодом. Метаданные отмечают интерфейс вызова инструментов, однако подробности его использования в карточке не приведены. Лицензия — Apache-2.0.