II.3Рефакторинг, миграция и модернизация

mlx-community/gpt-oss-120b-MXFP4-Q8 — языковая модель для генерации текста, разработанная на основе openai/gpt-oss-120b компанией OpenAI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.27.0. Модель предназначена для сценариев генерации текста и диалогового взаимодействия, включая работу с prompt и chat template, и может использоваться через библиотеку mlx-lm. Модель относится к pipeline text-generation и рассчитана на запуск в экосистеме MLX. В идентификаторе указано обозначение MXFP4-Q8, однако README не раскрывает подробности архитектуры, фактический объём параметров, поддерживаемые языки, максимальную длину контекста, модальности или результаты тестирования. Лицензия — Apache-2.0. Сильной стороной является адаптация к MLX и возможность локального использования через mlx-lm; ограничения и требования к аппаратным ресурсам в предоставленных данных не указаны.

Hermes-3-Llama-3.1-8B-IMat-GGUF — квантизированная версия текстовой генеративной модели NousResearch/Hermes-3-Llama-3.1-8B, подготовленная legraphista в формате GGUF для llama.cpp. В основе лежит модель семейства Llama 3.1 с 8 млрд параметров; исходный тип данных — BF16. Указан английский язык, а назначение модели — генерация текста и диалоговое взаимодействие. Модель предназначена для чат-сценариев, следования инструкциям, ролевого общения, работы с ChatML, генерации структурированных ответов в JSON и function calling. Доступны варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов; часть низкобитных вариантов использует IMatrix для снижения потерь качества при уменьшении размера. Это позволяет запускать модель на более ограниченных по памяти системах, выбирая компромисс между качеством, скоростью и требованиями к ресурсам. В README не указаны размер контекстного окна, мультимодальные возможности, результаты бенчмарков и подробные ограничения качества, поэтому модель следует считать текстовой и ориентированной прежде всего на английский язык. Квантизация может приводить к снижению точности по сравнению с исходной BF16-моделью, особенно в наиболее компактных вариантах. Лицензия указана как Llama 3; условия её применения следует уточнять в лицензии исходной модели.

Hermes-3-Llama-3.1-8B-lorablated-GGUF — это набор квантизированных GGUF-версий текстовой генеративной модели mlabonne/Hermes-3-Llama-3.1-8B-lorablated. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для локального запуска задач генерации текста, включая диалоговое взаимодействие и следование инструкциям, в совместимых средах, таких как llama.cpp и LM Studio. В основе лежит модель размера 8B, однако точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ; более крупные варианты обычно сохраняют более высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать в качестве. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Лицензия в README не указана.

Это GGUF-квантизированная версия Mistral-Small-24B-Instruct-2501-abliterated, разработанная huihui-ai и подготовленная квантизатором bartowski. Модель предназначена для генерации текста и работы в формате инструкций, включая диалоговые сценарии, ответы на запросы и другие задачи text-generation. Варианты доступны для запуска через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 24 млрд параметров и распространяется в форматах квантования от Q3 до Q8, а также в полном формате F32. Квантизация выполнена с использованием imatrix; варианты отличаются размером файлов, требованиями к памяти и сохранением качества. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат приглашений использует конструкции SYSTEM_PROMPT и INST. К сильным сторонам относятся широкий выбор уровней квантования, возможность локального запуска и высокое качество рекомендуемых вариантов Q5–Q6. Ограничения включают значительные требования к оперативной или видеопамяти для версий высокого качества, а также отсутствие в предоставленных данных сведений о размере контекста, точной архитектуре, мультимодальности и результатах бенчмарков. Обозначение abliterated указывает на изменённую версию исходной instruct-модели, однако конкретные последствия этого изменения в README не описаны. Лицензия — Apache-2.0.

internlm2_5-20b-chat-IMat-GGUF — это GGUF-квантизованная версия чат-модели internlm/internlm2_5-20b-chat, подготовленная legraphista с использованием llama.cpp (сборка b3524). Исходная модель имеет формат BF16, а в репозитории доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и более компактных IQ-квантизаций. Некоторые варианты используют IMatrix для калибровки квантования, что рассчитано на более эффективное сохранение качества при уменьшении размера модели. Модель предназначена для локального запуска задач генерации текста и чат-взаимодействия через совместимые инструменты, включая llama.cpp. Доступны файлы размером примерно от 7,55 до 39,73 ГБ, поэтому требования к оперативной или видеопамяти зависят от выбранного варианта. Ключевые характеристики исходной архитектуры, поддерживаемые языки, размер контекста, результаты тестирования и конкретные сильные стороны в README не указаны; качество и скорость также будут зависеть от уровня квантования и оборудования. Лицензия обозначена как other, без дополнительных условий в представленном README.

bartowski/kalomaze_Qwen3-16B-A3B-GGUF — набор GGUF-квантизаций базовой модели kalomaze/Qwen3-16B-A3B. Квантизации подготовлены bartowski с использованием llama.cpp b5255 и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты от BF16 размером 32,08 ГБ до компактных низкобитных форматов. Доступны Q8_0, Q6_K_L, Q6_K, Q5, Q4, IQ4, Q3 и Q2-варианты с разным соотношением качества, размера и требований к памяти. Наиболее качественными и рекомендуемыми обозначены Q6_K_L, Q6_K, Q5_K и Q4_K; Q4_K_M указан как вариант по умолчанию для большинства сценариев, а низкобитные Q3 и Q2 обеспечивают экономию памяти ценой снижения качества. Модель поддерживает текстовую генерацию; сведения о языках, размере контекста и точной архитектуре в представленном README не указаны. Для работы следует использовать шаблон запросов с маркерами <|im_start|> и <|im_end|>. Распространение выполняется по лицензии Apache-2.0.

KoAlpaca-RealQA-Solar-Ko-Recovery-11B-Merged — разговорная языковая модель, разработанная beomi. Это слитая LoRA-модель на базе beomi/Solar-Ko-Recovery-11B, дообученная для ответов на вопросы и диалоговых сценариев. Модель использует плотную авторегрессионную архитектуру LlamaForCausalLM и содержит 10,7 млрд параметров; максимальный контекст — 4096 токенов. Репозиторий распространяет веса в формате safetensors. Модель предназначена для генерации текста в диалоге, понимания запросов, письма, рассуждений, решения математических задач и помощи с кодом. В README приведены результаты оценки LogicKor для одно- и многоходовых сценариев, включая режимы с одним примером и пошаговым рассуждением. Базовая модель ориентирована на корейский и английский языки; README не уточняет отдельные языковые показатели этой версии. Лицензия — Apache-2.0.

LeoScorpius-GreenNode-Alpaca-7B-v1-Mistral-7B-Instruct-v0.2-slerp — объединённая языковая модель на базе Mistral-7B-Instruct-v0.2 и LeoScorpius-GreenNode-Alpaca-7B-v1. Разработчик карточки объединил модели методом SLERP с помощью mergekit; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. В карточке не заявлены специализированные области применения или поддерживаемые языки. Репозиторий распространяется по лицензии Apache-2.0. Качество и поведение объединённой модели могут отличаться от исходных моделей; карточка не приводит оценок или сравнительных тестов.

MaziyarPanahi/Llama-3-16B-Instruct-v0.1-GGUF — набор файлов модели в формате GGUF, созданный и квантованный MaziyarPanahi на основе MaziyarPanahi/Llama-3-16B-Instruct-v0.1. Модель относится к семейству Llama 3 и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Основной сценарий использования — локальный запуск через совместимые инструменты, включая llama.cpp, с применением специального шаблона промпта Llama 3. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, конкретные характеристики вариантов квантования и лицензия. Сильной стороной модели является наличие нескольких GGUF-вариантов для локального инференса и адаптации под разные аппаратные ограничения. Ограничения включают возможную потерю качества при низкоразрядном квантовании, необходимость использовать корректный шаблон Llama 3 и отсутствие в предоставленных данных сведений о лицензии и детальных технических характеристиках.

Это квантизированная версия llama-3-70B-Instruct-abliterated в формате GGUF, подготовленная пользователем bartowski на основе модели failspy/llama-3-70B-Instruct-abliterated. Квантизация выполнена с помощью llama.cpp версии b2854 и метода imatrix. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая локальный запуск через совместимые инструменты llama.cpp. Модель относится к семейству Llama 3 и содержит 70B параметров, однако README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или набор модальностей. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, различающиеся размером файлов и качеством: от 74,97 ГБ у Q8_0 до 21,14 ГБ у IQ2_XS. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты требуют меньше памяти, но обычно снижают качество. Сильной стороной являются разнообразие квантизаций, возможность локального использования и сохранение высокого качества у вариантов Q6_K и Q5. Ограничения связаны с существенными требованиями к памяти для 70B-модели, потерей качества в низкобитных вариантах и отсутствием подробных сведений о результатах тестирования, языках и контекстном окне. Для корректного общения следует использовать указанный в README шаблон prompt format с системным, пользовательским и ассистентским сообщениями. Указана лицензия llama3; дополнительные условия следует уточнять в файле LICENSE исходной модели.

QuantFactory/Llama3-8B-Chinese-Chat-GGUF — это квантизированная GGUF-версия модели shenzhi-wang/Llama3-8B-Chinese-Chat, созданная с помощью llama.cpp. Исходная модель дообучена на базе Meta-Llama-3-8B-Instruct с использованием метода ORPO и фреймворка LLaMA-Factory; в README автором указана QuantFactory. Модель предназначена для диалогового применения и генерации текста на китайском и английском языках: она ориентирована на ответы на китайские запросы, написание и редактирование текстов, решение математических задач, программирование и соблюдение базовых ограничений безопасности. По сравнению с исходной Meta-Llama-3-8B-Instruct она должна реже отвечать на китайские вопросы по-английски, меньше смешивать языки и использовать меньше эмодзи, обеспечивая более формальный стиль. Указана длина контекста 8192 токена; архитектура — семейство Llama 3, размер — 8 млрд параметров. Модель работает в текстовой модальности, а формат GGUF предназначен для использования с совместимыми инструментами, включая llama.cpp. К ограничениям относятся возможные ошибки в фактах, рассуждениях, математике и коде, что видно по приведённым примерам, а также отсутствие гарантии полной безопасности или качества ответов. В README не указаны конкретный вариант квантизации, требования к памяти и производительности, поэтому совместимость и скорость необходимо проверять для выбранной конфигурации. Лицензия обозначена как other с названием llama3; применимые условия следует уточнять в файле LICENSE и лицензии исходной модели.

Llama-3-Perky-Pat-Instruct-8B-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3-Perky-Pat-Instruct-8B. В качестве базовых моделей указаны Meta-Llama-3-8B-Instruct от Meta и Llama-3-8B-Instruct-MopeyMule от failspy; исходная модель опубликована grimjim. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям. Она поддерживает текстовый ввод и вывод, использует формат промптов Llama 3 с ролями system, user и assistant. Размер базовой модели — 8 миллиардов параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Репозиторий содержит множество вариантов квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q5–Q6 и Q4 описаны как обеспечивающие высокое или хорошее качество, тогда как варианты Q2–Q3 экономят память, но заметно уступают по качеству. Лицензия указана как llama3; конкретные условия её применения следует проверять в документации лицензии Llama 3.

NousResearch/Meta-Llama-3-8B-Instruct-GGUF — это инструкция-ориентированная языковая модель в формате GGUF, основанная на Meta Llama 3 и опубликованная NousResearch. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции пользователя, запуск локального вывода и интеграцию в приложения, поддерживающие формат GGUF. В карточке указано, что модель работает с текстом и ориентирована на английский язык. Из доступных данных известны размер базовой модели — 8 миллиардов параметров — и принадлежность к семейству Llama 3. Формат GGUF удобен для локального запуска и использования средствами совместимой экосистемы, однако конкретные варианты квантования, требования к памяти, максимальная длина контекста, архитектурные детали и показатели качества в README не указаны. Ограничениями также являются возможные ошибки и ограничения, характерные для генеративных языковых моделей; область применения и качество для других языков не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. Использование и распространение требуют соблюдения условий этой лицензии и Acceptable Use Policy, а при распространении материалов или продуктов на их основе необходимо предоставить копию соглашения и указать «Built with Meta Llama 3». Для производных моделей предусмотрены дополнительные требования к наименованию, а для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц требуется отдельное разрешение Meta.

microsoft_Phi-4-mini-instruct-GGUF — набор GGUF-квантизованных версий инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp версии b4792 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через LM Studio, llama.cpp и другие проекты на его основе. Доступны варианты квантизации от Q2_K_L до Q8_0 размером примерно от 1,83 до 4,08 ГБ. Более высокие разрядности обычно обеспечивают лучшее качество, но требуют больше памяти; в README рекомендуются, в частности, Q4_K_M как вариант стандартного размера, а также Q5, Q6 и Q8 для более высокого качества. Некоторые варианты используют Q8_0 для весов embedding и output, а отдельные форматы оптимизированы для CPU ARM, AVX или Apple silicon. Формат prompt использует специальные маркеры system, user и assistant. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, мультимодальности или лицензии исходной модели. Основные ограничения связаны с потерями качества при низких уровнях квантизации и необходимостью выбирать вариант с учётом доступной оперативной памяти.

Mistral-7B-Instruct-Aya-101-GGUF — набор квантованных файлов в формате GGUF для модели Mistral-7B-Instruct-Aya-101, созданный и подготовленный MaziyarPanahi. Базой указана Mistral-7B-Instruct-v0.2 от Mistral AI; модель предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на многоязычные сценарии, включая работу более чем со 100 языками, среди которых английский, русский, французский, немецкий, испанский, арабский, китайский, японский и другие. Она имеет архитектуру Mistral с примерно 7 млрд параметров и поддерживает варианты квантования в форматах GGUF, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. GGUF позволяет запускать модель локально через llama.cpp и совместимые приложения и библиотеки, в том числе text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Основные преимущества — уменьшенное потребление памяти по сравнению с полноразмерной моделью, возможность выбора компромисса между качеством и скоростью за счёт разных уровней квантования и удобство локального запуска на CPU или GPU. README не содержит данных о размере контекста, точных требованиях к памяти, результатах тестирования и ограничениях качества, поэтому эти характеристики нельзя достоверно оценить. Для модели указана лицензия Apache-2.0.

Это квантизированная версия в формате GGUF модели MaziyarPanahi/Mistral-7B-Instruct-v0.1-16k-Mistral-7B-Instruct-v0.2-slerp. Модель разработана и подготовлена MaziyarPanahi; исходная версия получена объединением Mistral-7B-Instruct-v0.1-16k от NurtureAI и Mistral-7B-Instruct-v0.2 от Mistral AI методом slerp. Модель предназначена для генерации текста и работы с инструкциями, включая локальные чат-сценарии и другие задачи text generation, совместимые с поддерживаемыми GGUF инструментами. Модель имеет около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством. README не указывает точный размер контекстного окна объединённой модели, языки, результаты тестирования или специализированные преимущества. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими совместимыми средствами, поэтому модель подходит для локального запуска на различных платформах, в том числе с GPU-ускорением. Ограничениями являются зависимость характеристик от выбранного уровня квантизации и отсутствие подтверждённых в README данных о качестве, языковой специализации и производительности. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-v0.3 — языковая модель семейства Mistral, разработанная Mistral AI. Это плотная авторегрессионная модель на 7,1 млрд параметров, основанная на Mistral-7B-v0.2 и отличающаяся расширенным до 32 768 токенов словарём. Модель принимает текст и генерирует текст; максимальный контекст составляет 32 768 токенов. Модель предназначена для генерации текста и может использоваться как базовая модель для текстовых приложений и последующего дообучения. В карточке приведены инструкции для запуска через mistral-inference и Transformers. Указанная лицензия — Apache-2.0. README содержит упоминание об отсутствии механизмов модерации; также его раздел об ограничениях относится к Mistral 7B Instruct, поэтому не позволяет сделать отдельные выводы о качестве или мерах безопасности базовой версии.

NVIDIA-Nemotron-Nano-12B-v2-GGUF — это набор GGUF-квантизаций языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В набор входят версии с точностью от BF16 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Полная BF16-версия занимает около 24,63 ГБ, а доступные квантизированные варианты — примерно от 5,69 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp b6317. Архитектура исходной модели, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны; по представленным данным модель описывается как текстовая. Сильной стороной набора является широкий выбор уровней квантизации: Q6 и Q5 ориентированы на высокое качество, Q4 предлагают сбалансированный размер и качество, а Q3 и IQ3/IQ4 подходят для систем с ограниченной памятью. При этом более сильное сжатие может снижать качество генерации, а совместимость и производительность зависят от используемого приложения и оборудования. Лицензия в README не указана; условия следует уточнять на странице исходной модели NVIDIA-Nemotron-Nano-12B-v2.

Это набор GGUF-квантизаций языковой модели OpenReasoning-Nemotron-32B, разработанной NVIDIA и преобразованной пользователем bartowski для запуска в llama.cpp и совместимых приложениях. Модель предназначена для генерации текста и локального использования в средах вроде LM Studio, а также в других проектах на базе llama.cpp. В README указано, что исходная модель имеет размер 32B параметров; сведения об архитектуре, языках, мультимодальности и размере контекста не приведены. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 14,39 до 65,54 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как вариант стандартного размера для большинства сценариев, а Q6_K и Q6_K_L — как варианты очень высокого качества. Квантизации выполнены с использованием imatrix и llama.cpp версии b5934. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством и требованиями к памяти, включая варианты для ограниченных ресурсов и оптимизации для некоторых CPU-платформ. Ограничения включают значительный объём памяти, необходимый для 32B-модели, а также потенциальное снижение качества у низкобитных вариантов. Лицензия в предоставленном README не указана.

OmniBeagleSquaredMBX-v3-7B — слитая текстовая модель, созданная paulml с помощью LazyMergekit из paulml/OmniBeagleMBX-v3-7B и flemmingmiguel/MBX-7B-v3. Она предназначена для генерации текста и может использоваться в диалоговых и других сценариях, где требуется продолжать или создавать текст по текстовому запросу. Модель построена на плотной архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Для слияния применён метод SLERP; файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Open-Instruct SNI 13B — языковая модель семейства LLaMA с 12,9 млрд параметров, дообученная Allen Institute for AI на наборе Super-Natural Instructions. Это плотная авторегрессионная модель для генерации текста по инструкциям; она рассчитана на выполнение разнообразных инструкций и исследование методов настройки открытых моделей. Контекст модели составляет 2048 токенов, основной язык в карточке — английский. Модель поставляется как diff весов и для использования требует базовую модель LLaMA в формате Hugging Face. В README приведены результаты оценки на наборах задач общего знания, математики, рассуждений, вопросов и ответов и генерации кода; качество зависит от правильного формата входа, включая переносы строк. Лицензирование регулируется лицензией AI model license из репозитория и исходной лицензией LLaMA.

Open-Instruct Unnatural Instructions 13B — языковая модель семейства LLaMA с 12,9 млрд параметров, дообученная исследователями AllenAI на наборе Unnatural Instructions для генерации ответов на инструкции. Модель принимает текст и генерирует текст; она рассчитана на англоязычные запросы. Контекстное окно — 2048 токенов. Модель предназначена для следования инструкциям и исследовательской оценки instruction tuning; в карточке приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Для работы нужны исходные веса LLaMA в формате Hugging Face, поскольку опубликована разность весов. Модель распространяется по лицензии AI Model License вместе с исходной лицензией LLaMA.

OpenLLaMA 7B — авторская предварительно обученная языковая модель OpenLM Research, созданная как открытая воспроизводимая реализация архитектуры Meta AI LLaMA. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов. Она обучена с нуля на наборе RedPajama, содержащем более 1,2 трлн токенов; доступны веса PyTorch, а проект также выпускал веса для JAX. Модель предназначена для генерации текста и может служить основой для языковых приложений и дальнейшей адаптации. По оценке авторов, OpenLLaMA 7B показывает сопоставимые с оригинальной LLaMA 7B и GPT-J 6B результаты на большинстве рассмотренных задач. В карточке не заявлены специализированная область или отдельная языковая специализация. Для корректной токенизации авторы рекомендуют не использовать быстрый токенизатор Transformers: автоматически конвертированная версия может ошибаться. При few-shot оценке рекомендуется добавлять BOS-токен. Авторы также отмечают возможное загрязнение обучающего набора данными бенчмарков CB и WSC и исключили эти задачи из оценки. Лицензия модели — Apache-2.0.

bartowski/open-thoughts_OpenThinker-32B-GGUF — набор GGUF-квантизаций модели OpenThinker-32B, разработанной проектом open-thoughts. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; исходная модель обучена на датасете open-thoughts/open-thoughts-114k. Модель относится к генеративным текстовым моделям и предназначена для запуска локально через llama.cpp, LM Studio и совместимые проекты. Варианты доступны в форматах от F16 до Q3 и IQ3/IQ4 с размерами примерно от 13,71 до 65,54 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как варианты с меньшей разрядностью требуют меньше оперативной памяти, но могут заметно уступать по качеству. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности. Для работы следует использовать шаблон сообщений с маркерами <|im_start|> и <|im_end|>. Модель распространяется по лицензии Apache-2.0. Ограничения включают высокие требования к памяти для полноразмерных и качественных квантованных вариантов, а также возможное снижение качества при использовании низкоразрядных форматов.

Progenitor-LLaMa-70B — объединённая модель генерации текста, созданная автором TareksGraveyard из нескольких предварительно обученных моделей семейства Llama с помощью mergekit. В качестве базовой модели использована nbeerbower/Llama-3.1-Nemotron-lorablated-70B; в объединение также вошли модели Hanami, Negative LLAMA, Anubis, EVA-LLaMA и Cirrus. Архитектура — плотная LlamaForCausalLM, размер — 69,5 млрд параметров, формат весов — safetensors; контекст — до 131 072 токенов. Модель предназначена для диалога и генерации текста. Автор описывает её как более консервативное слияние и сообщает о хорошем результате, но считает свою более агрессивную версию Progenitor-V1.1-LLaMa-70B удачнее. Модель использует лицензию Llama 3.3; перед применением следует учитывать её условия.

Qwen2.5-32B-AGI-GGUF — это GGUF-квантизация модели Qwen2.5-32B-AGI, подготовленная разработчиком bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Указаны языки Chinese и English, однако подробное описание исходной модели и её специализации в README отсутствует. Модель основана на архитектуре Qwen2.5 и содержит 32B параметров. Доступны варианты от F16 до низкобитных форматов Q2 и Q3, а также варианты Q4–Q8, что позволяет выбирать между качеством ответов и требованиями к памяти. Рекомендуемыми названы некоторые варианты Q4–Q6; отдельные сборки оптимизированы для ARM-процессоров и требуют соответствующих аппаратных инструкций. Контекстное окно, поддерживаемые модальности, точные сценарии применения и дополнительные характеристики не указаны. Распространение заявлено по лицензии Apache-2.0. Ограничения связаны прежде всего с потерей качества при агрессивной квантизации и различиями в требованиях к памяти; низкобитные варианты подходят для устройств с ограниченными ресурсами, но могут заметно уступать более крупным форматам.

Qwen2.5-72B-Instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen. Квантизацию выполнил legraphista с использованием llama.cpp версии b3787 и калибровочного набора IMatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в совместимых локальных средствах инференса, таких как llama.cpp. Модель основана на версии с 72 миллиардами параметров и исходным форматом BF16. Доступны варианты от BF16 и F16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и более компактных IQ-квантизаций; размеры файлов составляют примерно от 29,81 до 145,42 ГБ. Для ряда вариантов применена IMatrix, что направлено на повышение качества при квантизации. В метаданных указан английский язык; сведения о других языках, архитектуре и размере контекста в представленном README не указаны. Сильная сторона модели — широкий выбор уровней квантизации, позволяющий подобрать компромисс между качеством, размером и требованиями к ресурсам, а также поддержка формата GGUF и IMatrix для многих компактных вариантов. Ограничения включают очень высокие требования к памяти даже для квантизированных файлов, зависимость совместимости и производительности от используемого движка и оборудования, а также возможное снижение качества при сильной квантизации. Модель распространяется по лицензии Qwen; подробные условия указаны в лицензии исходной модели.

Qwen2.5-7B-Instruct-YS-V2 — дообученная yusikyang инструктивная языковая модель на архитектуре Qwen2, основанная на unsloth/Qwen2.5-7B-Instruct. В репозитории указано, что обучение проводилось с Unsloth и библиотекой Hugging Face TRL; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, составления текстов и кода, а также выдачи структурированных ответов. Метаданные указывают на интерфейс диалога и tool calling, но карточка не описывает специализированные сценарии или качество этих возможностей. Указанный язык карточки — английский. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или подробностей о данных и целях дообучения, поэтому её преимущества относительно базовой модели не установлены.

legraphista/Qwen2-7B-IMat-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen2-7B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В репозитории представлены варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В метаданных указан английский язык. Квантизация выполнена legraphista с использованием llama.cpp версии b3091. Для ряда низко- и среднебитных вариантов применена IMatrix, предназначенная для улучшения сохранения качества при уменьшении разрядности; для некоторых вариантов доступны статические квантизации без IMatrix. Размер файлов варьируется примерно от 2,60 до 15,24 ГБ. Контекстное окно, точная архитектура базовой модели, мультимодальные возможности и результаты сравнительных тестов в предоставленных данных не указаны. Главное преимущество набора — широкий выбор форматов для запуска модели на оборудовании с различным объёмом памяти и возможность локального использования. Ограничения связаны с компромиссом квантизации: более компактные варианты могут уступать полноточным по качеству, стабильности и точности ответов, однако конкретные потери не измерены. Модель распространяется по лицензии Apache-2.0.

k1nto/Qwen3-14B-Q5_K_M-GGUF — это квантизированная версия базовой модели Qwen/Qwen3-14B, преобразованная пользователем k1nto в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и запуска локального вывода через llama.cpp, включая режим командной строки и серверный режим. Известно, что модель содержит около 14 миллиардов параметров и использует квантизацию Q5_K_M, которая уменьшает требования к памяти по сравнению с полноразмерной версией, сохраняя значительную часть качества. Поддерживаются сценарии диалога, дополнения текста и другие задачи генерации, совместимые с базовой моделью Qwen3-14B. Точные архитектурные особенности, список языков и размер контекстного окна в представленном README не указаны. Преимуществами являются компактный GGUF-формат, совместимость с llama.cpp и возможность локального запуска на подходящем CPU или GPU. Ограничения включают потенциальную потерю качества из-за квантизации, зависимость от настроек и аппаратных ресурсов, а также отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.