II.3Рефакторинг, миграция и модернизация

Mungert/gpt-oss-20b-Derestricted-GGUF — это GGUF-версия модифицированной модели gpt-oss-20b, разработанной Arli AI на базе открытой модели OpenAI. Модель предназначена для генерации текста, локального и специализированного использования, задач рассуждения и агентных сценариев, где требуется снизить выраженность стандартных отказов модели. При этом заявленная цель модификации — сохранить качество рассуждений исходной модели. Базовая gpt-oss-20b содержит около 21 млрд параметров, из которых примерно 3,6 млрд активны одновременно, и относится к моделям с архитектурой Mixture of Experts. Модель ориентирована на меньшую задержку и локальный запуск; README также указывает формат GGUF и генерацию с использованием llama.cpp. Для снятия отказов применён метод Norm-Preserving Biprojected Abliteration, который изменяет направляющие компонентов весов с сохранением их исходных норм. Дополнительно в процессе квантования отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но может улучшать точность при низкой разрядности. Сильной стороной модели заявляется сочетание уменьшенного количества отказов, сохранённого качества рассуждений и удобства локального запуска в различных вариантах квантования. Ограничения включают возможные остаточные попытки подавлять отдельные запросы, зависимость качества и размера от выбранного GGUF-варианта, а также отсутствие в представленном README подробных данных о языках, длине контекста, результатах стандартизированных бенчмарков и точных системных требованиях. Лицензия указана как Apache-2.0.

Mungert/granite-3.3-8b-instruct-GGUF — это GGUF-кเวантованная версия инструкционной модели Granite 3.3 с примерно 8 млрд параметров, основанная на IBM Granite 3.3 8B Base. Модель предназначена для генерации текста и запуска локального inference через совместимые инструменты, включая сценарии на устройствах с ограниченной видеопамятью, CPU и edge-оборудовании. Основная особенность репозитория — варианты ultra-low-bit quantization с использованием метода IQ-DynamicGate, который распределяет точность по слоям и защищает embeddings и output layers. Доступны форматы с экстремально низкой разрядностью, включая IQ1 и IQ2, а также другие варианты квантования. Такие форматы существенно снижают требования к памяти, сохраняя больше качества по сравнению со стандартным 1–2-битным квантованием; однако точность всё равно ниже, чем у полноразмерных или высокоточных вариантов, а прирост эффективности зависит от конкретного формата и оборудования. В README приведены результаты тестов на Llama-3-8B-Instruct с контекстом 2048 токенов, поэтому эти показатели нельзя напрямую считать характеристиками Granite-модели. Языки, точный максимальный контекст, поддерживаемые модальности и подробные результаты именно для данной модели не указаны. Лицензия заявлена как Apache 2.0.

ibm-granite/granite-4.1-30b-GGUF — это конверсия модели IBM Granite 4.1 30B в формат GGUF, предназначенная для запуска и инференса с инструментами, поддерживающими этот формат. Разработчик исходной модели — IBM; репозиторий содержит варианты с различными уровнями квантования, преобразованные из модели в формате .safetensors. Базовая модель указана как ibm-granite/granite-4.1-30b. Модель относится к задачам генерации текста и может использоваться в сценариях локального или оптимизированного инференса, совместимого с GGUF. Из доступных данных известны размер базовой модели — 30B параметров, текстовая модальность и поддержка библиотеки Transformers; сведения о конкретной архитектуре, языках, размере контекста, результатах тестирования и сильных или слабых сторонах отсутствуют. Вариант bf16 разделён на пять файлов из-за ограничений на размер одного файла и может быть объединён инструментом llama-gguf-split. Лицензия — Apache-2.0. Условия применения квантованных вариантов, требования к аппаратным ресурсам и совместимость с конкретными средствами запуска в карточке подробно не указаны.

ibm-granite/granite-4.1-8b-GGUF — это версия модели IBM Granite 4.1 с 8 млрд параметров, преобразованная в формат GGUF. Модель разработана IBM и предназначена для задач генерации текста; репозиторий содержит варианты с различными уровнями квантования, созданные на основе модели ibm-granite/granite-4.1-8b в формате Safetensors. Формат GGUF удобен для локального запуска и совместим с программными средствами, поддерживающими этот формат, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантованной версии. В предоставленной карточке не указаны архитектурные детали, поддерживаемые языки, размер контекста, дополнительные модальности и специализированные сценарии применения, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Модель распространяется по лицензии Apache 2.0. Для подробной информации о возможностях, ограничениях и базовых характеристиках следует обратиться к полной карточке базовой модели ibm-granite/granite-4.1-8b.

richardyoung/granite-4.2-3b-heretic — изменённая версия Granite 4.2-3B от IBM, подготовленная автором richardyoung с помощью Heretic 2.0.0.dev0. Это плотный декодерный трансформер GraniteForCausalLM с 3,4 млрд параметров, рассчитанный на диалоги, рассуждения и вызов инструментов. Модель принимает текст и генерирует текст; заявлена поддержка контекстного окна до 131 072 токенов. Модель получена методом abliteration: модификация снижает частоту отказов отвечать, сохраняя, согласно README, близость к базовой модели по KL-дивергенции. Она предназначена для локального инференса, исследований методов выравнивания, обучения и творческого письма. README сообщает о режимах рассуждения, однако эти характеристики описывают базовую Granite 4.2-3B и отдельно не подтверждены для данной версии. В карточке приведены результаты одного теста: 27 отказов из 100 вредоносных запросов против 98 у базовой модели; это не гарантирует поведения на других запросах. Как и базовая модель, она может выдавать неточные, предвзятые или небезопасные ответы; качество на языках помимо английского может быть ниже. Лицензия Apache 2.0.

Hermes-4-70B-GGUF — это квантизированная версия языковой модели Hermes-4-70B, разработанной NousResearch. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, создание и преобразование текстов и другие задачи обработки естественного языка. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp и LM Studio. В основе модели лежит модель размером 70 миллиардов параметров; точный вариант квантования в README не указан. Модель работает с текстовой модальностью, сведения о поддерживаемых языках и размере контекстного окна не приведены. Квантизация может снизить требования к памяти по сравнению с полноразмерной моделью, но потенциально влияет на точность и качество генерации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. GGUF-квантизация предоставлена командой LM Studio с использованием llama.cpp release b6287, при этом LM Studio не является разработчиком исходной модели. Лицензия в README не указана.

TelperionAI Huihui-Qwen3.8-27B-abliterated-INT4-AWQ-GPTQ — квантованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель построена с использованием llm-compressor и предназначена для запуска и генерации текста с меньшими требованиями к памяти, в том числе через vLLM. Калибровка выполнена на данных, сгенерированных самой abliterated-моделью, с примерами кода, математики, STEM, диалогов и многоязычных запросов. Основой является смешанная квантализация INT4 W4A16: большинство MLP-слоёв используют асимметричную INT4-квантализацию с размером группы 32, а отдельные компоненты сохраняются в INT8 или BF16. Attention-компоненты, GDN-слои, эмбеддинги, нормализации, выходная голова и vision tower используют более высокую точность. Размер весов на диске составляет около 25,1 ГБ. Поддерживаются AWQ-масштабирование и GPTQ-компенсация ошибок; заявлена совместимость с GPU архитектуры Turing и новее без необходимости FP8 или FP4. По результатам внутреннего сравнения с исходной BF16-версией модель показывает 96,45% совпадения top-1 токенов и медианное расхождение генерации на 41-м токене. При этом оценка проведена только на одном корпусе и без downstream-бенчмарков, поэтому качество на прикладных задачах не установлено. Vision tower не квантован, но модель оценивалась как текстовая; эффективность speculative decoding с MTP-головой не измерялась. Модель унаследовала от базовой версии удалённые направления отказа, поэтому её поведение в части отказов отличается от стандартной модели Qwen. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия чат-модели InternLM2.5-20B-Chat, исходно разработанной командой internlm, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, например LM Studio. Для корректного взаимодействия следует использовать указанный в карточке шаблон prompt format с ролями system, user и assistant. Модель основана на архитектуре InternLM2.5 и имеет 20 млрд параметров; доступна в форматах от F32 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 6,97 до 79,45 ГБ, поэтому требования к памяти зависят от выбранного варианта. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а компактные варианты позволяют запускать модель на системах с меньшим объёмом RAM, но могут заметно снижать точность. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что потенциально повышает качество. В карточке не указаны поддерживаемые языки, размер контекста, точная архитектура, результаты оценивания и ограничения по безопасности. Лицензия обозначена как other, без дополнительных условий в README, поэтому перед использованием необходимо проверить лицензию исходной модели InternLM2.5-20B-Chat и условия распространения конкретных файлов.

InternLM2.5-7B-Chat-GGUF — квантизированная версия чат-модели InternLM2.5-7B-Chat, разработанной командой InternLM и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая чат-взаимодействие и использование инструментов. Она рассчитана на запуск через LlamaEdge и совместимые среды, использует шаблон запросов ChatML, а для вызовов инструментов предусмотрен отдельный шаблон internlm-2-tool. Модель содержит 7 миллиардов параметров, поддерживает контекст до 32 000 токенов и относится к текстовым, а не мультимодальным моделям. Доступны варианты квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,01 до 15,5 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S предлагают более низкую потерю качества при большем размере. Более сильная квантизация уменьшает требования к памяти, но может заметно снижать качество. README не содержит сведений о поддерживаемых языках, внутренней архитектуре, результатах тестирования, сильных сторонах и ограничениях исходной модели. Лицензия указана как other, без дополнительных условий или подробностей; перед использованием необходимо ознакомиться с лицензией исходной модели и репозитория.

Jais-30b-chat-v3 — диалоговая языковая модель, разработанная Core42 (Inception) совместно с Cerebras Systems и дообученная на парах запросов и ответов на арабском и английском языках. Она предназначена для чат-ассистентов, клиентской поддержки, ответов на вопросы, генерации кода и рассуждений по тексту. Модель использует декодерную архитектуру Transformer, близкую к GPT-3, с активацией SwiGLU и позиционными представлениями ALiBi. README указывает контекст до 8192 токенов. Модель принимает текст и генерирует текст; для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Модель оптимизирована для современного стандартного арабского и английского языков. Среди ограничений — возможные ошибки, предвзятость и неподходящие ответы; качество на других языках и диалектах не гарантируется. Не следует использовать её для высокорисковых решений без контроля человека или для работы с чувствительной информацией. Лицензия Apache 2.0.

virtuanista/LFM2.5-8B-A1B-Uncensored-GGUF — это версия языковой модели LFM2.5-8B-A1B от Liquid AI без встроенного поведения, направленного на отказ от ответов. virtuanista выполнил abliteration, квантование и подготовку модели в формате GGUF для локального запуска. Модель предназначена для генерации текста, работы в качестве локального ассистента, следования инструкциям и задач, требующих рассуждений, при этом сохраняет блоки рассуждений <think>...</think>. Модель использует гибридную архитектуру, объединяющую короткие свёрточные блоки shortconv/LIV, внимание GQA и слои MoE, а не классический чистый Transformer. Заявлен контекст до 128K токенов. Доступны квантованные варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 4,6 до 9 ГБ, что позволяет выбирать между требованиями к памяти и качеством. Модель поддерживает запуск через llama.cpp и Ollama; README не указывает поддерживаемые языки. Сильные стороны — локальная и приватная работа, несколько вариантов квантования, высокая заявленная длина контекста и сохранение возможностей базовой модели после модификации. Ограничение версии заключается в отсутствии стандартных защитных барьеров: она отвечает с меньшим количеством фильтров, поэтому требует осторожного применения и не гарантирует безопасность или достоверность результатов. Модель распространяется по LFM Open License v1.0: коммерческое использование разрешено при годовой выручке менее 10 млн долларов, исследовательское и некоммерческое использование не ограничено; при перераспределении необходимо сохранять уведомления об авторских правах и атрибуцию Liquid AI.

MaziyarPanahi/Llama-3-11B-Instruct-v0.1-GGUF — набор квантованных файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе MaziyarPanahi/Llama-3-11B-Instruct-v0.1. Модель предназначена для генерации текста и использования в диалоговых сценариях, включая запуск через совместимые инструменты, такие как llama.cpp. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством работы. Модель относится к семейству Llama 3 и требует использования соответствующего шаблона промпта с управляющими токенами Llama 3. В README не указаны поддерживаемые языки, размер контекста, точная архитектура базовой модели, результаты оценки, лицензия и ограничения использования.

MaziyarPanahi/Llama-3-13B-Instruct-v0.1-GGUF — набор квантизованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе MaziyarPanahi/Llama-3-13B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев с использованием инструкционного формата Llama 3, включая работу через llama.cpp. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим размером файлов и потенциально более высоким качеством. Размер базовой модели составляет 13B параметров. Модальность — текстовая; сведения о поддерживаемых языках, размере контекста, точной архитектуре и результатах оценки в README не указаны. Для корректной работы требуется применять шаблон промпта Llama 3 и поддержка формата GGUF в используемом программном обеспечении. Лицензия в README не указана.

Ereeeeef3/llama-3.3-merged — текстовая модель семейства Llama, созданная автором репозитория с помощью mergekit из unsloth/Llama-3.3-70B-Instruct. Использован метод passthrough: слои базовой модели продублированы, а итоговая плотная архитектура LlamaForCausalLM содержит 55,8 млрд параметров. Модель предназначена для генерации текста и диалогового использования; доступен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и унаследованные от базовой модели многоязычные возможности. Репозиторий содержит веса safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка описывает способ слияния, но не приводит отдельной оценки качества итоговой модели; дублирование слоёв само по себе не подтверждает улучшение способностей базовой модели.

unsloth/llama-3-8b — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta и представленная в репозитории Unsloth. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors. Модель подходит для генерации продолжений текста и диалоговых сценариев. README Unsloth также предлагает ноутбуки для дообучения Llama 3 8B, включая разговорный формат ShareGPT ChatML/Vicuna и завершение произвольного текста; сам README описывает инструменты и примеры настройки обучения, а не отдельную специализацию чекпойнта. Репозиторий указывает лицензию Llama 3 (llama3); условия использования определяются лицензией Meta Llama 3.

Llama3-8B-1.58-100B-tokens — большая языковая модель, разработанная командой HF1BitLLM на базе Meta Llama 3 8B Instruct. Модель дообучена с использованием архитектуры BitNet 1.58b и предназначена для генерации текста и решения стандартных задач, поддерживаемых каузальными языковыми моделями. Для загрузки используется Transformers, а токенизатор — от meta-llama/Meta-Llama-3-8B-Instruct. Модель обучалась на подмножестве FineWeb-edu: сначала был использован чекпойнт после обучения на 10 миллиардах токенов, затем выполнено ещё 45 000 шагов с общим объёмом обучения 100 миллиардов токенов. Размер исходной модели составляет 8 миллиардов параметров; заявленная особенность — экстремальное квантование до 1,58 бита. README не указывает точный список поддерживаемых языков, длину контекста или дополнительные модальности, поэтому модель следует рассматривать как текстовую. По результатам оценки модель близка к Llama 3 8B по некоторым метрикам, включая perplexity и MMLU, но в среднем уступает исходной Llama 3 8B. Главное преимущество — существенно более компактное представление параметров, потенциально снижающее требования к памяти и вычислениям; при этом README не приводит точных показателей экономии ресурсов или производительности. Лицензия в предоставленных данных не указана.

Это модель brunopio в формате GGUF, конвертированная с использованием llama.cpp из HF1BitLLM/Llama3-8B-1.58-100B-tokens. В качестве базовой модели также указан meta-llama/Meta-Llama-3-8B-Instruct. Модель предназначена для локального запуска задач генерации текста и диалогового вывода через llama.cpp, включая работу в командной строке или в режиме сервера. Ключевая характеристика — размер базовой модели 8B; в названии и исходной модели также указано обозначение 1.58 и обучение на 100B токенов, однако README не раскрывает их техническую интерпретацию, точную архитектуру, размер файла, параметры квантования, поддерживаемые языки и максимальную длину контекста. Для запуска требуется llama.cpp; в примере сервера задан контекст 2048 токенов, но не указано, является ли это предельным значением модели. Лицензия в README не указана, поэтому условия использования необходимо уточнять у автора и разработчиков базовых моделей.

MaziyarPanahi/Llama-3-8B-Instruct-v0.9-GGUF — это набор файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе модели MaziyarPanahi/Llama-3-8B-Instruct-v0.9. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Известно, что модель относится к семейству Llama 3 и имеет размер 8B параметров. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и потенциальным сохранением качества. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. Сведения о языках, размере контекста, точной архитектуре и результатах оценки в README не указаны. Основные преимущества — локальное использование, широкий выбор уровней квантования и совместимость с различными клиентами, включая GPU-ускорение и OpenAI-совместимые серверные интерфейсы в отдельных инструментах. Ограничения и условия лицензии в README не описаны; перед использованием необходимо проверить лицензию исходной модели и соответствующие условия распространения.

Llama3-ChatQA-1.5-70B-GGUF — это квантизированная версия языковой модели Llama3-ChatQA-1.5-70B, первоначально разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска средствами, совместимыми с llama.cpp. Модель относится к классу text-generation и ориентирована на диалоговые сценарии, ответы на вопросы и работу с предоставленным контекстом. В README указан английский язык. Рекомендуемый формат запроса включает системную инструкцию, контекст, вопросы пользователя и ответы ассистента, что делает модель подходящей для контекстного вопросно-ответного взаимодействия. Размер исходной модели составляет 70 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_S, объёмом примерно от 15,34 до 74,97 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые и обеспечивают компромисс между качеством и требованиями к памяти; более компактные варианты снижают качество, но подходят для систем с ограниченными ресурсами. Длина контекста и другие архитектурные характеристики в README не указаны. Модель лицензирована по лицензии llama3. Для запуска требуется достаточно оперативной или видеопамяти в зависимости от выбранного варианта квантизации; наиболее качественные версии требуют значительных ресурсов. README не содержит сведений о мультимодальности, поддерживаемых языках помимо английского, результатах бенчмарков или дополнительных ограничениях использования.

bartowski/lordx64_Qwable-v1-GGUF — набор GGUF-квантизованных версий модели Qwable-v1, разработанной lordx64. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и агентских сценариев, включая использование инструментов, цепочки рассуждений и генерацию текста; в метаданных она также отмечена как image-text-to-text, однако подробности о поддерживаемых визуальных возможностях не приведены. Указан английский язык, а обучение связано с датасетом agentic-distill-fable-5-sft. В тегах упоминаются Qwen3, Qwen3.6, MoE, distillation и chained distill, но точная архитектура, число параметров и размер контекста в README не указаны. Доступны варианты от BF16 и Q8_0 до более компактных IQ- и Q3-квантизаций. Размер файлов варьируется примерно от 15,98 до 71,07 ГБ; Q4_K_M обозначен как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как рекомендуемые варианты более высокого качества. Более сильные квантизации обеспечивают лучшее сохранение качества, тогда как низкобитные версии экономят оперативную память, но могут заметно уступать в качестве. Для запуска предлагаются llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты, однако для недавно поддерживаемых архитектур может потребоваться обновление ПО. Лицензия модели указана как AGPL-3.0. README не содержит результатов бенчмарков, точных требований к оборудованию, данных о размере контекста и детального описания ограничений, поэтому производительность и фактические мультимодальные возможности следует проверять отдельно.

MiniCPM-2B-sft-fp32 — версия языковой модели MiniCPM-2B после instruction fine-tuning (SFT), представленная в формате FP32. Её разработали ModelBest и лаборатория обработки естественного языка Университета Цинхуа. Модель построена на архитектуре MiniCPMForCausalLM, содержит 2,7 млрд параметров и предназначена для генерации текста и диалоговых ответов на английском и китайском языках. Максимальная длина контекста — 4096 токенов. Модель подходит для диалоговых систем, ответов на вопросы, а также генерации текстов, кода и решений математических задач. Разработчики отмечают её компактный размер и возможность развёртывания на устройствах с ограниченными ресурсами после квантизации; этот репозиторий содержит веса FP32. В карточке указана лицензия other, а README сообщает об открытых весах для академических исследований и ограниченного коммерческого использования. Известные ограничения — склонность к галлюцинациям, зависимость ответов от формулировки запроса и вариативность результатов при повторных попытках; знания модели могут быть неточными. Качество генерации в Transformers, по сообщению авторов, может быть ниже, чем при использовании vLLM.

Mistral-22B-v0.2-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Mistral-22B-v0.2, опубликованный и квантизированный bartowski на основе исходной модели Vezora/Mistral-22B-v0.2. Файлы предназначены для запуска через llama.cpp и совместимые инструменты, включая локальный запуск с использованием CPU, GPU или их комбинации. Модель рассчитана на задачи генерации текста и диалогового взаимодействия. В README указаны шаблон запроса с ролями System, Human и Assistant, а также множество вариантов квантизации от Q8_0 до IQ1_S. Размер файлов составляет примерно от 4,82 до 23,63 ГБ; варианты с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше памяти. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS. К ключевым ограничениям относятся потери качества при использовании низкобитных вариантов, причём IQ1_M и IQ1_S прямо не рекомендуются. README не содержит сведений об архитектуре слоёв, размере контекста, поддерживаемых языках, модальностях помимо текста или результатах бенчмарков. Квантизации выполнены с использованием imatrix и датасета Kalomaze. Указана лицензия Apache-2.0.

Mistral-Evolved-11b-v0.1-GGUF — это набор квантизированных версий языковой модели Mistral-Evolved-11b-v0.1, разработанной Replete-AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, включая сценарии, где важны автономная работа и снижение требований к оперативной памяти по сравнению с полноразмерной моделью. В набор входят варианты квантования от Q2_K до Q8_0 размером примерно от 4,16 до 11,86 ГБ. Версия Q6_K обозначена как рекомендуемая и обеспечивает очень высокое качество, близкое к исходной модели; Q8_0 предлагает максимальное доступное качество, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. README не содержит сведений об архитектуре, длине контекста, поддерживаемых языках, точном числе параметров, дополнительных модальностях или результатах оценки, поэтому модель следует рассматривать как текстовую. Преимуществами являются широкий выбор уровней квантования, совместимость с llama.cpp и возможность подобрать баланс между качеством и потреблением памяти. Ограничения связаны с потерей качества при низких уровнях квантования, а также с отсутствием подробной информации о возможностях и бенчмарках исходной модели. Репозиторий распространяется по лицензии Apache-2.0; квантование выполнено с использованием llama.cpp release b2440.

Mistral-Nemo-Instruct-2407-IMat-GGUF — это набор квантизированных версий instruct-модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем legraphista. Квантизация выполнена с помощью llama.cpp на основе исходных весов BF16; для ряда вариантов применена IMatrix-калибровка, предназначенная для снижения потерь качества при уменьшении размера модели. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, совместимых с llama.cpp и форматом GGUF. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других форматов; размеры файлов варьируются примерно от 4,79 до 24,50 ГБ. Основное преимущество набора — выбор между качеством, требованиями к памяти и скоростью локального запуска. IMatrix применяется в некоторых вариантах с более сильным сжатием, включая Q4_K, Q3_K и Q2_K, однако README не содержит результатов сравнительных тестов, точных характеристик архитектуры, числа параметров, размера контекста или требований к оборудованию. Поэтому качество и производительность зависят от выбранного варианта квантизации и среды выполнения. Лицензия модели — Apache-2.0.

Mistral-Nemo-Instruct-2407-quantized.w4a16 — текстовая instruction-tuned модель семейства Mistral-Nemo, разработанная Neural Magic на основе Mistral-Nemo-Instruct-2407. Она предназначена для коммерческого и исследовательского использования в англоязычных assistant-like чат-сценариях и задачах генерации текста. Модель работает только с текстом на входе и выходе и использует INT4-квантизацию весов линейных слоёв трансформера по схеме W4A16 с алгоритмом GPTQ, групповой симметричной квантизацией и размером группы 128. Снижение разрядности с 16 до 4 бит уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что облегчает развёртывание через vLLM или Transformers. Заявленный результат на OpenLLM Leaderboard v1 составляет 70,13 против 71,61 у неквантизированной версии. К сильным сторонам относятся существенно сниженные требования к памяти и удобство эффективного инференса. Ограничения включают поддержку и заявленное назначение только для английского языка, а также небольшое снижение benchmark-показателей относительно исходной модели; размер модели и максимальная длина контекста в README не указаны. В описании указана лицензия Apache-2.0, хотя в метаданных README также присутствует значение llama2; это расхождение следует уточнить перед использованием.

ModernBERT-large — англоязычная модель Answer.AI, LightOn и их коллег, представляющая собой двунаправленный трансформерный энкодер в стиле BERT. Она содержит около 395 млн параметров и принимает последовательности длиной до 8 192 токенов. В архитектуре используются Rotary Position Embeddings, чередование локального и глобального внимания, а также оптимизации для эффективной обработки длинных входов. Модель предварительно обучена на 2 трлн токенов английского текста и кода. Её основная задача — предсказание замаскированных токенов; как энкодер она также подходит в качестве основы для классификации, поиска информации и семантического поиска по текстовым и кодовым корпусам. Для запуска доступны форматы PyTorch, Safetensors и ONNX через библиотеку Transformers. Модель особенно полезна для длинных документов и поиска по коду, но карточка Hugging Face классифицирует её как fill-mask, а не как готовую модель эмбеддингов или классификатор. Качество может быть ниже для языков помимо английского и кода; обработка всего контекстного окна может быть медленнее коротких входов, а представления могут отражать смещения обучающих данных. Лицензия — Apache-2.0.

Moonlight-16B-A3B — предобученная языковая модель Moonshot AI для генерации текста и диалогового общения. Она построена на архитектуре Mixture-of-Experts: содержит около 16 млрд параметров, из которых при генерации активируется около 3 млрд. В метаданных указаны 2,7 млрд параметров; README приводит округлённые значения 16B и 3B для общей и активируемой частей модели. Модель обучена на 5,7 трлн токенов с оптимизатором Muon и рассчитана на контекст до 8K токенов. Её можно использовать для диалоговых приложений, генерации и продолжения текста. Авторы сообщают о сравнительных результатах на бенчмарках и публикуют исследовательские чекпойнты; заявленные преимущества обучения относятся к их экспериментам и не гарантируют превосходства на любой прикладной задаче. Модель распространяется под лицензией MIT. Для работы авторы рекомендуют Python 3.10, PyTorch 2.1 или новее и Transformers 4.48.2.

Nanbeige 16B Chat 32K — это диалоговая языковая модель семейства Nanbeige, разработанная Nanbeige LLM Lab и представленная в данном репозитории в формате GGUF. Квантованные файлы подготовлены TheBloke; исходная модель доступна в формате PyTorch на Hugging Face. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель имеет около 16 миллиардов параметров и заявленный контекст до 32K токенов. В метаданных указаны английский и китайский языки. Архитектура обозначена как nanbeige, а формат GGUF поддерживает различные варианты квантования с разрядностью от 2 до 6 бит, что позволяет выбирать компромисс между размером, требованиями к памяти, скоростью и качеством генерации. Модель рассчитана на текстовую модальность; сведения о поддержке изображений или других типов данных отсутствуют. К сильным сторонам относятся большой контекст, диалоговая специализация и возможность запуска на CPU и GPU с использованием llama.cpp, text-generation-webui, LM Studio, KoboldCpp и других совместимых инструментов. Ограничения включают возможные потери качества из-за квантования, зависимость требований к ресурсам от выбранного варианта GGUF и отсутствие в README подробных данных о результатах тестирования, обучающем наборе и точных характеристиках базовой архитектуры. В метаданных указана лицензия Apache-2.0.

Open-Instruct Open Assistant 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на наборе инструкций OpenAssistant/oasst1. Это плотная авторегрессионная модель примерно на 6,6 млрд параметров для генерации текста по инструкциям и ответов в формате диалога. Контекст модели составляет 2048 токенов; для корректной генерации нужно соблюдать предусмотренный формат ввода и переносы строк. Модель подходит для экспериментов с инструкционными диалогами, ответами на вопросы, рассуждениями и генерацией кода. В опубликованной оценке представлены результаты MMLU, GSM, BBH, TyDiQA и Codex-Eval; показатели различаются по задачам и режимам оценки. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Лицензирование регулируется лицензией модели из LICENSE.txt и исходной лицензией LLaMA.

Это набор GGUF-квантизаций модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем mistrjirka с использованием форматов PXA/PXQ. Модель имеет около 9 млрд плотных параметров, архитектуру qwen35 и нативный контекст до 262 144 токенов. Она предназначена для генерации и анализа текста, а исходная модель также поддерживает обработку изображений при наличии совместимого мультимодального проектора, который в этом репозитории не поставляется. Доступны варианты с разной степенью сжатия: от PXQ2 и PXQ3 до рекомендованного PXQ4, повышающего качество PXQ4-HQ и ориентированного на качество PXQ6. Чем выше уровень, тем больше размер файла и потенциально выше точность, тогда как PXQ2 и PXQ3 рассчитаны на ограниченные ресурсы и сильнее жертвуют качеством. Преимуществами являются большой контекст и выбор компромисса между размером, качеством и скоростью декодирования. Ограничение заключается в использовании нестандартных PXQ-типов тензоров: обычные сборки llama.cpp без их поддержки, как правило, не загрузят файлы. Требуется PXA или специальная ветка mistrjirka/llama.cpp; оптимизация в первую очередь ориентирована на GPU NVIDIA Pascal и Volta, а поддержка более новых архитектур может использовать общие, менее специализированные пути. Указана лицензия MIT.