II.3Рефакторинг, миграция и модернизация

TroyDoesAGI — экспериментальная плотная языковая модель на архитектуре Mistral с 15 млрд параметров и контекстом до 32 768 токенов, созданная независимым разработчиком TroyDoesAI. Модель предназначена для генерации текста по инструкциям и ответов с опорой на предоставленный контекст, в том числе для сценариев RAG. В карточке описан специальный формат контекстного запроса с разделителями для входных блоков, метаданных и инструкций. Обучение включало набор инструкций по Python, вручную подготовленные графы знаний и данные персонального помощника; автор экспериментировал с прореживанием, абляциями и учебными последовательностями. Модель распространяется в формате safetensors по лицензии CC BY-ND 4.0. Автор сообщает о хорошей привязке к контексту и следовании инструкциям, но это не сопровождается формальной оценкой; результат зависит от формата запроса и качества контекста.

YamshadowInex12_NeuralsirkrishnaShadow — слитая текстовая модель MaziyarPanahi на архитектуре Mistral. Она объединяет модели automerger/YamshadowInex12-7B и automerger/NeuralsirkrishnaShadow-7B и предназначена для генерации текста. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Доступна в формате safetensors по лицензии Apache-2.0.

MaziyarPanahi/Yi-1.5-34B-Chat-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе чат-модели Yi-1.5-34B-Chat, разработанной командой 01-ai. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель имеет размер 34B параметров и доступна в вариантах квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством генерации. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами. В README не указаны языки, размер контекста и поддерживаемые модальности; по представленным данным модель является текстовой. К сильным сторонам относятся широкий выбор уровней квантования и удобство локального использования с CPU и GPU через экосистему GGUF. Ограничениями являются повышенные требования к ресурсам для версии 34B, особенно при минимальном квантовании, а также возможная потеря качества в более компактных вариантах. Для модели указана лицензия Apache-2.0.

Yi-1.5-34B-Chat-GGUF — квантизированная версия чат-модели Yi-1.5-34B-Chat, разработанной 01-ai и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через LlamaEdge. Для работы применяется шаблон запросов ChatML и контекст длиной до 7168 токенов. Модель имеет размер 34 млрд параметров; в README не указаны поддерживаемые языки и модальности, поэтому её следует рассматривать как текстовую. Доступны варианты с разной степенью квантизации от Q2_K до Q8_0, а также версии f16. Вариант Q4_K_M рекомендован как сбалансированный по размеру и качеству, тогда как Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем потреблении памяти. Более сильная квантизация уменьшает размер файлов и требования к ресурсам, но может заметно ухудшать качество ответов. Модель распространяется по лицензии Apache-2.0. Для запуска с LlamaEdge в README указана версия, которая на момент публикации ещё не была доступна; приведены команды для сервиса и консольного приложения. Размеры файлов зависят от варианта квантизации и составляют примерно от 12,8 до 36,5 ГБ.

zephyr-7b-beta-Mistral-7B-Instruct-v0.2 — диалоговая языковая модель на архитектуре Mistral, созданная MaziyarPanahi слиянием mistralai/Mistral-7B-Instruct-v0.2 и HuggingFaceH4/zephyr-7b-beta методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на запросы и инструкции; заявленная длина контекста — до 32 768 токенов. Модель подходит для диалоговых помощников, ответов на вопросы и других сценариев генерации текста по инструкции. В репозитории указаны веса safetensors в формате bfloat16; README также упоминает отдельные GPTQ- и GGUF-сборки для инференса на GPU и CPU/GPU. Поддерживается английский язык. Лицензия — Apache-2.0. Качество и поведение могут отличаться от исходных моделей из-за слияния; README не приводит сравнительных оценок или отдельных гарантий качества.

ZEUS 8B V27 — языковая модель, созданная автором репозитория T145 слиянием нескольких моделей через mergekit и метод DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в слияние также вошли модели Skywork, HuatuoGPT, SuperNova Lite, SauerkrautLM, Lexi Uncensored и Storm. Это плотная авторегрессионная архитектура Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. Модель подходит для диалоговых приложений и генерации ответов по инструкциям. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; эти оценки не гарантируют качество на конкретных пользовательских задачах. Языки, на которых модель специально оптимизирована, в предоставленных данных не обозначены. Лицензия в предоставленной карточке и метаданных отсутствует, поэтому условия использования здесь определить нельзя.

ALLaM-7B-Instruct-preview-GGUF — это набор GGUF-квантизаций инструкционной языковой модели ALLaM-7B-Instruct-preview, разработанной ALLaM-AI и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая арабские и англоязычные сценарии. Доступен запуск через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Модель содержит около 7 миллиардов параметров; README не уточняет её архитектуру, максимальную длину контекста, формат промптов и дополнительные модальности, поэтому она описывается как текстовая. Набор включает варианты от BF16 до Q3 и IQ3-квантизаций с размерами примерно от 3,11 до 14 ГБ. Варианты Q6 и Q5 отмечены как обеспечивающие очень высокое или высокое качество, а Q4 — как оптимальные для большинства сценариев по соотношению качества и размера. Основные преимущества — поддержка локального запуска, широкий выбор квантизаций и возможность подобрать вариант под доступную оперативную память. Более агрессивные квантизации уменьшают требования к памяти, но могут снижать качество генерации; некоторые форматы имеют статус legacy или не рекомендуются. Модель распространяется по лицензии Apache-2.0.

Athene-V2-Chat-GGUF — набор квантизированных версий диалоговой языковой модели Athene-V2-Chat, разработанной Nexusflow и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в чат-сценариях и локального инференса, в том числе через LM Studio и совместимые инструменты llama.cpp. В README указан английский язык и текстовая модальность; исходная архитектура, число параметров и размер контекстного окна не приведены. Модель доступна в вариантах квантизации Q2–Q8 и IQ2–IQ4 с размерами файлов примерно от 25,49 до 77,26 ГБ. Старшие варианты Q5–Q8 обеспечивают более высокое качество, тогда как младшие требуют меньше оперативной памяти, но заметно уступают по качеству. Некоторые варианты используют Q8_0 для весов embedding и output, а Q4_0_8_8 оптимизирован для ARM с поддержкой SVE и не рекомендуется для Mac или Windows. Указан специальный формат prompt с ролями system, user и assistant. Лицензия обозначена как other, без дополнительных условий в представленном README.

bartowski/baidu_ERNIE-4.5-21B-A3B-PT-GGUF — это GGUF-квантизация модели ERNIE-4.5-21B-A3B-PT, разработанной Baidu. Квантизации подготовлены bartowski с использованием llama.cpp b5924 и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от исходных весов BF16 размером 43,66 ГБ до компактных IQ3 и Q3 объёмом около 9,35–10,73 ГБ, а также распространённые форматы Q4, Q5, Q6 и Q8. Варианты Q4–Q6 обеспечивают хороший или очень высокий уровень качества при меньших требованиях к памяти; Q4_K_M обозначен как стандартный вариант для большинства сценариев, а Q6_K_L и Q6_K — как варианты, близкие к максимальному качеству. Некоторые форматы оптимизированы для CPU, ARM или Apple Silicon. В README не указаны контекстное окно, поддерживаемые языки, модальности, точная архитектура и рекомендуемый формат промпта. Лицензия также не указана, поэтому условия использования следует уточнять на странице исходной модели Baidu. Ключевое ограничение — необходимость подобрать вариант квантизации с учётом доступной оперативной или видеопамяти и допустимой потери качества.

ERNIE-4.5-21B-A3B-Thinking-GGUF — это квантизированная версия языковой модели ERNIE-4.5-21B-A3B-Thinking, разработанной Baidu. Данный репозиторий подготовлен пользователем bartowski в формате GGUF с использованием llama.cpp и калибровочных imatrix-данных. Модель предназначена для генерации текста и локального запуска в llama.cpp, LM Studio и других совместимых проектах. В README указано, что доступны варианты от исходных весов BF16 размером 43,66 ГБ до различных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Обозначение 21B указывает на заявленный размер модели, однако дополнительные сведения об архитектуре, числе активных параметров, контекстном окне, поддерживаемых языках и модальностях в предоставленных данных отсутствуют. Формат GGUF и набор квантований позволяют выбирать компромисс между качеством, потреблением памяти и скоростью локального вывода; наиболее качественными названы варианты Q6_K_L и Q6_K, а Q4_K_M описан как рекомендуемый вариант стандартного размера. Ограничения включают снижение качества при использовании более компактных квантований, особенно Q3 и некоторых IQ-вариантов, а также отсутствие указанного в README шаблона промпта. Лицензия модели и условия её использования в предоставленных данных не указаны, поэтому их следует уточнить на странице исходной модели Baidu.

Beepo-22B-GGUF — набор GGUF-квантизированных версий языковой модели Beepo-22B, разработанной concedo и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. Указан английский язык; поддерживается формат инструкций Alpaca, несмотря на сохранённый формат Mistral. Модель имеет размер 22 млрд параметров. Доступны варианты от F16 до различных уровней Q8, Q6, Q5, Q4, Q3 и Q2, включая IQ-квантизации, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5 и Q4-варианты, тогда как младшие Q3 и Q2 экономят память, но снижают качество. Для некоторых вариантов указаны ограничения совместимости с ARM, AVX и Mac. Архитектура, размер контекста, дополнительные модальности и лицензия в README не указаны.

win10/BigLiberated-20B-V2 — разговорная языковая модель на архитектуре Qwen2, созданная слиянием предварительно обученных моделей с помощью mergekit и метода passthrough. В README указана участвовавшая в слиянии модель abacusai/Liberated-Qwen1.5-14B. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 19,4 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Лицензия в предоставленных данных не указана.

Bonsai 2 27B Ternary CRACK GGUF — языковая модель на базе Qwen3.8-27B, сжатая компанией PrismML в тернарный формат, а затем модифицированная исследовательской командой dealignai. В модели на уровне весов удалены механизмы отказа от ответа; заявляется сохранение базовых возможностей, режимов рассуждения, использования инструментов, мультитуровой связности и интерфейса работы с изображениями. Модель распространяется в формате GGUF и предназначена для локального запуска на ноутбуке, одном GPU или CPU через форк llama.cpp от PrismML с поддержкой CUDA и Metal. Архитектура включает гибрид Attention и SSM на основе GatedDeltaNet, 64 блока, скрытое измерение 5120 и отдельную vision-башню. Используется квантование PrismML PQ2_0 с эффективностью 2,13 бит на вес и размером файла около 7,21 ГБ. Доступны режимы рассуждения off, low и xhigh; для обработки изображений требуются совместимые файлы mmproj. Токенизатор, шаблон чата и интерфейс vision заявлены совместимыми с базовой моделью. Языки и максимальная длина контекста в карточке не указаны. Сильными сторонами являются компактный размер для модели класса 27B, поддержка локального инференса, мультимодальность, режимы рассуждения и практически полное отсутствие отказов в приведённых тестах HarmBench. По данным MMLU, точность модифицированной версии составила 39,91% против 40,53% у базовой, то есть заявлено сохранение общей способности с небольшим снижением на данном тесте. К ограничениям относятся сильное снижение безопасности из-за удаления защитных механизмов, потери качества из-за экстремального квантования, необходимость специального форка llama.cpp и совместимого vision-проектора, а также отсутствие сведений о языках и контексте. Лицензия — Apache-2.0. Для ранее скачанных сборок рекомендуется повторная загрузка версии, выпущенной после 18 сентября 2026 года UTC, поскольку в старой версии была исправлена ошибка зацикливания токенов в режимах low и xhigh.

Chuluun-Qwen2.5-72B-v0.01-GGUF — набор GGUF-квантизаций модели Chuluun-Qwen2.5-72B-v0.01, подготовленный bartowski на базе оригинальной модели DatToad. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указан английский язык и формат диалога с ролями system, user и assistant. Модель основана на архитектуре Qwen2.5 с заявленным размером 72B параметров. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-серии, объёмом примерно от 27,94 до 77,26 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Квантизация выполнена с использованием imatrix и llama.cpp версии b4418. Основные преимущества — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью инференса, а также поддержка локального запуска. Низкобитные варианты требуют меньше оперативной памяти, но могут заметно уступать более крупным версиям по качеству; варианты Q2 и Q3 характеризуются как низкокачественные или пригодные при ограниченных ресурсах. Сведения о контекстном окне, точных возможностях исходной модели, мультимодальности и лицензии в представленном README отсутствуют.

Chuluun-Qwen2.5-72B-v0.08-GGUF — это набор квантизированных моделей в формате GGUF для генерации текста, подготовленный пользователем bartowski на основе модели DatToad/Chuluun-Qwen2.5-72B-v0.08. Квантизация выполнена с использованием llama.cpp версии b4497 и метода imatrix. Модель предназначена для локального запуска, в частности через LM Studio, а также совместимых инструментов на базе llama.cpp. В репозитории представлены варианты с разными типами квантизации и размером файлов — примерно от 27,94 до 77,26 ГБ. Доступны форматы Q2, Q3, Q4, Q5, Q6, Q8 и IQ, причём Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и IQ4_XS отмечены как рекомендуемые с точки зрения сочетания качества и требований к памяти. Более компактные варианты экономят оперативную память, но могут заметно уступать по качеству; Q8_0 обеспечивает максимально высокое качество, однако обычно не нужен. В README указано, что модель поддерживает английский язык. Рекомендуемый шаблон запросов использует формат сообщений Qwen с ролями system, user и assistant. Архитектура, длина контекста, точное число параметров исходной модели, дополнительные модальности и лицензия в предоставленных данных не указаны.

Codepy-Deepthink-3B — дообученная модель PrithivMLmods на базе meta-llama/Llama-3.2-3B-Instruct для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Она предназначена для диалогов, пошаговых объяснений, помощи в программировании, учебных задач и творческого письма. Модель использует плотную архитектуру Llama с 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает английский язык; формат весов — safetensors. Лицензия — CreativeML OpenRAIL-M. В README приведён пример генерации пароля, но он помечен как неприменимый, поэтому качество выполнения конкретных задач программирования по карточке подтвердить нельзя.

Cygnis Alpha 2 (8B) v0.3 i1 GGUF — квантизированная GGUF-версия модели Cygnis-Alpha 2 8B v0.3, разработанная автором или организацией Simonc-44. Модель относится к семейству Llama 3.1 и оптимизирована для генерации текста, рассуждений и задач, где требуется сохранение сложных паттернов цепочки рассуждений (CoT). Модель предназначена для локального вывода через llama.cpp, Ollama и совместимые инструменты. Она ориентирована на английский и французский языки. Вариант i1 использует оптимизацию Imatrix, призванную повысить качество низкобитной квантизации; доступны, в частности, варианты Q6_K размером около 6,7 ГБ и рекомендуемый Q4_K_M размером около 5,0 ГБ. Архитектура, заявленный размер около 8B параметров и текстовая модальность указаны в README, но размер контекстного окна не приведён. Сильными сторонами являются локальный запуск, поддержка французского и английского языков, а также направленность на рассуждения при сниженной потребности в памяти благодаря квантизации. Ограничения включают возможную потерю качества по сравнению с полной точностью и отсутствие в предоставленных данных количественных результатов тестирования, подробных сведений об архитектуре и контекстном окне. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF — это набор квантизированных версий текстовой генеративной модели DeepSeek-R1-Distill-Qwen-32B-abliterated. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходную модель разработала huihui-ai. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая LM Studio и llama.cpp. Модель содержит около 32 миллиардов параметров и распространяется в формате GGUF с вариантами от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, включая IQ-варианты. Размер файлов составляет примерно от 15,94 до 65,54 ГБ в зависимости от варианта. README не указывает поддерживаемые языки, размер контекстного окна и мультимодальные возможности, поэтому подтверждено только текстовое применение. Ключевые преимущества — широкий выбор вариантов квантизации, возможность локального запуска и сохранение высокого качества у версий Q6 и Q5; Q4_K_M обозначена как вариант по умолчанию для большинства сценариев. Более компактные версии подходят для систем с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель помечена как abliterated и uncensored, однако подробные характеристики, ограничения и лицензия в README не указаны.

bartowski/DeepSeek-R1-GGUF — набор GGUF-квантизаций модели DeepSeek-R1, разработанной deepseek-ai и подготовленной bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и локального инференса, в том числе в LM Studio. Доступны варианты с разными уровнями квантизации — от Q8_0 до IQ1_M — чтобы выбирать между качеством ответов, требованиями к памяти и скоростью работы. В README не указаны точная архитектура исходной модели, число параметров, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти характеристики нельзя достоверно описать. Размер файлов зависит от варианта и составляет примерно от 133,56 до 713,29 ГБ; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, тогда как варианты Q2 и Q1 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Квантизации подготовлены с использованием imatrix и llama.cpp release b4514. Модель распространяется по лицензии MIT. Для работы следует использовать указанный формат промпта и совместимое программное обеспечение, например llama.cpp или LM Studio. Ограничениями являются исключительно большие требования к дисковому пространству и памяти, а также возможное снижение качества при выборе более агрессивной квантизации.

DeepSeek-V2.5-IMat-GGUF — это GGUF-квантизованная версия модели DeepSeek-V2.5, разработанной DeepSeek и подготовленной для распространения пользователем legraphista. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp и совместимых инструментов. В качестве исходной использована версия в формате BF16, а квантизация выполнена с помощью llama.cpp b3675. В репозитории доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3, IQ3, Q2 и IQ2 с размерами файлов примерно от 69,87 до 250,62 ГБ; файлы поставляются разделёнными на части. Для большинства вариантов применена IMatrix-квантизация, которая призвана эффективнее сохранять качество при уменьшении размера модели, тогда как Q8_0 и Q6_K используют статическую квантизацию. Конкретные архитектурные параметры, поддерживаемые языки, модальности и размер контекста в README не указаны. Сильная сторона сборки — широкий выбор уровней квантизации и совместимость с экосистемой GGUF и llama.cpp, что позволяет подбирать компромисс между требованиями к памяти и качеством генерации. Ограничениями являются очень большой размер даже наиболее компактных вариантов, необходимость работы с разделёнными файлами и возможная потеря качества на низких уровнях квантизации. Модель распространяется по лицензии DeepSeek; указана лицензия other со ссылкой на LICENSE-MODEL исходной модели.

DeepSeek-V2-Lite-IMat-GGUF — это GGUF-квантизированная версия языковой модели DeepSeek-V2-Lite, разработанной deepseek-ai. Квантизацию выполнил legraphista с использованием llama.cpp и метода IMatrix, предназначенного для снижения размера модели с сохранением качества. Модель относится к задачам генерации текста и рассчитана на запуск через совместимые инструменты, включая llama.cpp. В репозитории доступны варианты от исходных FP16 и BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серии. Размер файлов составляет примерно от 5,64 до 31,42 ГБ. IMatrix применяется в вариантах с более низкой точностью, включая Q4_K, Q3_K, Q2_K и IQ-квантизации; для FP16, BF16, Q8_0 и некоторых других вариантов он не используется. Исходная модель имеет тип данных BF16. Сильная сторона сборки — широкий выбор компромиссов между качеством, размером и требованиями к ресурсам, а IMatrix может улучшать сохранение качества при агрессивной квантизации. README не содержит сведений об архитектуре, числе параметров, длине контекста, поддерживаемых языках, мультимодальности, результатах оценивания или лицензии, поэтому эти характеристики нельзя достоверно определить по представленным данным.

DeepSeek-V4-Flash-MXFP4-GGUF — конверсия официальных весов DeepSeek-V4-Flash в формат GGUF, подготовленная для локального запуска и тестирования. Модель построена на архитектуре Mixture-of-Experts и поддерживает диалоговую генерацию текста; файлы сохраняют маршрутизируемые экспертные веса в MXFP4, а плотные веса и тензоры — в исходных типах FP8, BF16 и F32 либо в варианте совместимости с F16 и Q8_0. Репозиторий содержит два файла размером около 156 и 158 ГБ. Для запуска требуются runtime с поддержкой архитектуры DeepSeek V4 и соответствующих типов тензоров; README указывает на V4-совместимую ветку llama.cpp. Вариант Q8Compat проверен короткими тестами на фактический ответ, JSON, структуру вызова инструмента и генерацию кода. Файлы конверсии помечены как находящиеся в разработке и проходят валидацию, поэтому совместимость и корректность ещё ограничены. Лицензия — MIT.

Mungert/Devstral-Small-2505-GGUF — это набор GGUF-квантизованных версий модели Devstral-Small-2505, базовой моделью которой указана mistralai/Devstral-Small-2505. Модель предназначена для генерации и преобразования текста, а GGUF-формат — для ресурсоэффективного локального запуска, в том числе на системах с ограниченной видеопамятью, CPU и edge-устройствах. Файлы созданы с использованием llama.cpp, commit f5cd27b7. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Точные архитектура, число параметров, размер контекста и набор модальностей не указаны. Представлены варианты квантования, включая ультранизкобитные схемы IQ1 и IQ2 с динамическим распределением точности IQ-DynamicGate; они снижают требования к памяти, но могут уступать полноразмерным версиям по точности. В приведённых тестах для Llama-3-8B такие схемы улучшали perplexity относительно стандартного квантования при сопоставимой скорости, однако эти результаты не являются прямой оценкой данной модели. Модель подходит для локального инференса при ограниченных ресурсах и для исследований низкобитного квантования. Для максимальной точности рекомендуется использовать более высокоточные форматы, если оборудование их поддерживает. Лицензия — Apache-2.0.

Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf-GGUF — это квантизированная GGUF-версия языковой модели Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf, разработанной e-n-v-y и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В основе лежит модель семейства LLaMa с заявленным размером 70B параметров. Доступны варианты квантизации от Q8_0 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; размеры доступных файлов составляют примерно от 31,94 до 74,98 ГБ. Для работы используется форматированный шаблон промпта LLaMA 3 с системными, пользовательскими и ассистентскими сообщениями. Сильной стороной модели является возможность локального запуска и широкий выбор квантизаций, включая варианты, оптимизированные для ограниченного объёма памяти и некоторых CPU-платформ. Ограничения включают значительные требования к дисковому пространству и памяти, особенно для высококачественных вариантов; при более сильной квантизации качество снижается. Сведения о поддерживаемых языках, размере контекстного окна, мультимодальности и специализированных сценариях в README не указаны. Лицензия обозначена как llama3.3.

Experiment26Yamshadow_NeuralsirkrishnaExperiment28 — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/NeuralsirkrishnaExperiment28-7B. Она предназначена для генерации текста и принимает текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors. Репозиторий использует лицензию Apache-2.0.

MaziyarPanahi/Experiment28M7_ShadowCalme — объединённая модель на архитектуре Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/ShadowCalme-7B. Она предназначена для генерации текста и может использоваться в диалоговых и других текстовых сценариях на основе языковой модели. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и опубликована в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

flammen26-mistral-7B — объединённая языковая модель на архитектуре Mistral, созданная flammenai с помощью mergekit. В качестве основы использована flammenai/flammen25-mistral-7B, а в слияние также вошли flammenai/Mahou-1.2-mistral-7B, flammenai/flammen23-mistral-7B и flammenai/flammen18X-mistral-7B; применён метод Model Stock. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста, включая диалоговые сценарии. В карточке приведены результаты Open LLM Leaderboard, в том числе средний балл 72,49, 67,92 на AI2 Reasoning Challenge и 86,96 на HellaSwag. Модель распространяется по лицензии Apache-2.0. README не описывает отдельные ограничения применения или поддерживаемые языки.

FuseChat-Llama-3.1-8B-Instruct-GGUF — это набор квантованных версий инструкционной языковой модели FuseChat-Llama-3.1-8B-Instruct, разработанной FuseAI. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с пользовательскими запросами в локальных приложениях на базе llama.cpp и LM Studio. Квантованные файлы представлены в формате GGUF и подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу текстовых генеративных моделей и имеет около 8 млрд параметров в исходной версии. Доступны варианты от F32 и F16 до различных форматов квантования Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов составляет примерно от 4,3 до 32,1 ГБ. Для работы предусмотрен специальный шаблон промпта с ролями system, user и assistant. Сильной стороной набора является широкий выбор квантований: варианты Q6 и Q5 ориентированы на высокое качество, а Q4 и Q3 — на снижение требований к памяти. Некоторые файлы оптимизированы для ARM или AVX, однако отдельные варианты не рекомендуются для Mac или GPU. README не содержит сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре, результатах оценки и лицензии, поэтому эти характеристики нельзя подтвердить.

mlx-community/gemma-2-27b-it-4bit — 4-битная квантованная версия модели Gemma 2 27B, преобразованная сообществом mlx-community из google/gemma-2-27b-it в формат MLX с помощью mlx-lm 0.15.0. Исходную модель разработала Google. Модель предназначена для генерации текста и диалогового взаимодействия с инструкциями. Модель содержит 27,6 млрд параметров и поддерживает контекст длиной до 8192 токенов. Она рассчитана на работу в экосистеме MLX и может использоваться через библиотеку mlx-lm; в метаданных также указана совместимость с Transformers. Ключевое преимущество — 4-битное представление, уменьшающее требования к памяти по сравнению с полноразмерной моделью. Модель подходит для ответов на вопросы, диалогов, написания и преобразования текста, а также локального запуска генеративной модели на совместимом оборудовании Apple. Ограничения включают возможные ошибки, галлюцинации и зависимость качества от формулировки запроса; README не содержит подробных результатов оценки. Использование регулируется лицензией Gemma, для доступа на Hugging Face требуется принять условия лицензии Google.

Это GGUF-представление модели openai/gpt-oss-20b, подготовленное FreedomAISVR с квантованием MXFP4_MOE для запуска через совместимые инструменты, например llama.cpp. Модель относится к семейству GPT-OSS, использует архитектуру смеси экспертов и содержит 20,91 млрд параметров; файл весов занимает 11,28 ГиБ. Веса экспертных FFN-блоков представлены в MXFP4, веса внимания — в Q8_0, а параметры маршрутизатора, нормализации и смещений — в F32. Модель предназначена для генерации текста и диалогового использования. По карточке заявлена поддержка запуска на GPU или CPU, без требования к архитектуре NVIDIA Blackwell. Квантование сокращает размер весов, но может повлиять на качество вывода относительно исходной модели. Репозиторий распространяется по лицензии Apache-2.0.